Просмотр сообщений - Muyyd

Просмотр сообщений

В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.


Сообщения - Muyyd

Страницы: 1 [2] 3 4 ... 14
16
Как насчет таких рассуждений: "Мой предшественник, упокой Бог его нелогичную душу, наивно полагал, что молчание будет сильным свидетельством как в пользу вины, так и в пользу невиновности, но я, зная о байесовском свидетельстве, понимаю, что такое противоречие следует устранить. Основываясь на наблюдениях, я узнаю, сколько из женщин, чья вина была доказана другими уликами, молчат. И определю, какой предсказательной силой по отношению в ожиданию найти другие улики обладает молчание, отрицание вины или признание."

17
Мы могли бы представить, что на месте этих приятных и ужинающих людей квиррелмортов, одному из которых действительно важно, чтобы аборты были незаконны, а другому - чтобы все пролайфы заткнулись. Это поможет перейти от оценки поведения обычных декларирующих-убеждения людей, к движимыми целями консеквениалистам :)

18
Вам не кажется, что, если бы люди, практикующие байесовскую рациональность, выстраивали свои убеждения в соответствии с вашими о байесовской рациональности представлениями, они бы... Даже не знаю. Не смогли бы функционировать?
Это верный сигнал того, что вы не можете посмотреть на мир с моей точки зрения - она кажется вам абсурдной. Что-то вроде того, что "если Бога нет, то все дозволено",

Афаик, "отсутствие свидетельств" часто появляется как следствие выстраивания непротиворечивой карты. Судья из примера сделал свою карту непротиворечивой, достроив ее убеждением "всякая, обвиняемая как ведьма, - виновна, вне зависимости от наблюдаемых фактов".
Про это Юдковский придумал хорошо звучащий пример. Составленные разными людьми пять карт одного города будут с необходимостью содержать меньше противоречий, чем пять случайных карт. Но, нарисовав случайную карту, скопировав ее четыре раза, можно получить пять абсолютно непротиворечивых карт, но бесполезных.

19
имхо, не стоит использовать слово "вероятность" для ситуаций, не связанных с частотой. Такое употребление ухудшает коммуникацию между людьми из-за двусмысленности.
Не так то уж легко себя останавливать, если привык думать о вероятностях, как о субъектино-объективных штуках. Но, когда я помню про коммуникацию, стараюсь использовать слово "ожидание".

Почему важна логическая непротиворечивость в условиях неполноты информации?
Почему нельзя отметить "да, в данный момент данные противоречивы из-за неполноты информации" и жить(принимать решения) дальше, исходя из этого?
Почему важнее потратить ресурсы на устранение противоречий в карте, чем на сами задачи?
Потому что в таком случае люди склонны к созданию убеждений вроде:
Цитировать
Фридрих Шпее фон Лангенфельд, духовник присуждённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.
Или
Цитировать
«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности.» — Робин Дэйвс, «Rational Choice in an Uncertain World».

Даже больше, если не ограничивать себя правилами - получается чепуха. Посмотрите, как я перестану ограничивать себя правилами построения слов на русском языке:длорвыапдлро ывадлр оывч адлроывап ло рывап дол риаплодрр олдчсваидлр овилдор. Достижение целей, т.е. максимизация функции ожидаемой полезности - цель рациональности по лессвронгу, однако, байесовская эпистемология - средство которое редко подводит.


20
Будущее - одно. Принятие решений на основе вероятностей оптимально для задач, которые возникают многократно.
Это если думать в вероятностях, как о частоте. А не как о методе сохранения логической непротиворечивости в условиях неполной информации.

21
Согласен, что LessWrong полезен (в некоторой топологии описания реальности).

Меня мучают вопросы: Полезен ли LessWrong максимально? Что можно добавить для продвижения к максимуму?
Думаю, полезней вопрос ставить так: [наиболее полезная идея для достижения задачи Х от лессвронга] в сравнении с [наиболее полезной идеей для решения задачи Х из другой области] помогает решить задачу Х?

Цитировать
Sarah and Abraham laughed when theywere told that Sarah would bear a son, considering that she was 90 years old and he was 100 years old. Did they have good reason to laugh? It is curious that Abraham laughs, since it is God himself who is telling him and God has clearlyrevealed his identityto Abraham. Sarah is not so fortunate. God appears in the form of three strangers who paya visit to Abraham in the desert. One of these strangers reports to him that Sarah will bear a son. Sarah overhears the stranger, whose true identityis not revealed to her. It seems that she has good reason to laugh, since it would indeed be out of the ordinary that she and Abraham would still have a child considering their old age.
Очевидно, что априорные шансы гипотез ребенок и не-ребенок сильно в пользу второй гипотезы. Однако, так же очевидно, что Абрам наблюдал куда более сильное байесовское свидетельство, чем Сара. Так же очевидно, как должны Сара и Абрам сдвинуть свое апостериорное ожидание. Это, разумеется, пример из Bayesian Epistemology, так что он мог быть составлен с подразумеваемым готовым ответом.
Но, если серьезно, что полезней, чем байесовская эпистемология, для решения такого рода вопросов? И, как я вижу, подавляющее большинство вопросов повседневной жизни таковы.

22
очему "молчание" предпочтительнее, чем "выглядеть идиотом"?
Почему с точки зрения рационального агента стратегия "отсутствие формирования гипотез о неизведанном" дает большую максимизацию пользы, чем стратегия "формирование самостоятельных гипотез, часть из которых окажется позже ошибочной"?
Как формулируется в данном случае "польза"? Каким способом измеряется?
Когда я писал это, я не столько был рациональным агентом, сколько человеком :)
И тем не менее, равномерное распределение ожидания (максимальная энтропия, гипотеза невежества, ignorant) предпочтительней "глупой гипотезы" (stupid theory).

23
Я не понимаю теорему Геделя на формальном уровне. Ровно как и спецификацию кода Bayesian superintelligence, модифицирующего свой код в соответствии с его ожиданиями того, как эти модификации оптимизируют его возможность максимизировать ожидаемую полезность. Вполне возможно, что Bayesian superintelligence придется решать эту проблему, но мне тут предпочтительней молчать, чтобы не выглядеть идиотом еще больше, чем сейчас.

Однако, если речь идет про мапирование (увеличение соответствия между моделью реальности в мозге отдельного человека и реальностью)  в исполнении людей, то тут мне приходят в голову другие варианты.

А именно, из байесовской интерпретации второго закона термодинамики следует фундаментальная неполнота модели реальности (карты) для любого человека. Если я спрошу: "Сколько кошачьих волосков разбросано по моей квартире", то у вас наверняка будут некоторые предположения (относительно которых у вас будет разные уровни уверенности\неуверенности), но вероятность угадать точное число больше, чем вероятность саморазложения воды в стакане на лед и электричество, но вполне понятно, что угадать будет трудно.

Также, ограничения вычислительных способностей человеческого мозга (не знаю, можно ли в данном случае говорить "с необходимостью", но очень хочется) является сильным свидетельством в пользу ожидания найти множество противоречий в карте любого мозга.

Модели реальности в любом человеческом мозге содержат и противоречия и неполны.

Советую вам ознакомиться с статьей «Dual-Process Theories of Deductive Reasoning: Facts and Fallacies» или посмотреть видео Частые заблуждения про две системы мышления. Вы делаете специфические утверждения о работе двух систем, и у меня чувство (хоть я и не знаком с этой теорией достаточно чтобы указать конкретно) что с вашими рассуждениями что-то не так.

Что касается проблемы по приоритезации задач с точки зрения применения к ним Системы 1 или Системы 2, то у меня есть мнение, но ничего нового сказать не могу.

24
Почему вы знаете, что противоречивость в теории требует её пересмотра?
Хоть вопрос и не мне адресован, но он навел меня на мысли, и я ими поделюсь.

Трудно сказать, что за вопрос вы задавали, так как вы в байесовкую эпистемологию, похоже, не слишком погружены. Но вот что (т.е. прочитав вопрос, я подумал: "вижу байесовскую структуру в этом вопросе"; я не настолько крутой байесовский рационалист, чтобы на ходу произвоть то, что вы увидите дальше) я услышал:
  Опишите цепочку событий-свидетельств, в ходе наблюдения за ходом которых, увеличилось ваше ожидание того, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше.

Это скорее то, что мог бы один супер умный байесовский максимизатор функции ожидаемой полезности спросить другого (или скорее моделируемый мной в теченкии некоторого времени супер умный байесовский максимизатор функции ожидаемой полезности; я всего лишь человек). На лессвронг.ком людей описывают, как "Just as evolving organisms are adaptation-executors and not fitness-maximizers, so minds are behavior-executors and not utility-maximizers."

Добавлено 09 Май 2016, 08:25:
  Опишите цепочку событий-свидетельств, в ходе наблюдения за ходом которых, увеличилось ваше ожидание того, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше.
На что можно было бы ответить:
Я ожидаю, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше, потому что это является следствием привилегированной гипотезы о непротиворечивости территории, т.е. я стремлюсь менять свою карту в сторону большего соответствия территории, в первую очередь, во-вторую - привилегирировать менее противоречивые теории. Exploration and Exploitation, знаешь ли.

25
Похоже мы рассматриваем разные задачи. Или разные области применения. Или еще что-то. Я тут уже за рамками своей компетентности. Можно открыть амазон или genlib со словом bayes и посмотреть литературу, где используется байесовский вывод (много литературы). В The Oxford Handbook of Thinking and Reasoning лишь одна глава посвящена байесовскому выводу (Bayesian inference)
Цитировать
Key Words: Bayesian inference, rational models, inductive inference, learning

Conclusions and Future Directions

The Bayesian toolkit offers several contributions to understanding human thinking and reasoning. It provides a unifying mathematical language for framing cognition as the solution to inductive problems and for building principled quantitative models of thought with a minimum of free parameters and ad hoc assumptions. Deeper, it offers a framework for understanding why the mind works the way it does, in terms of rational inference adapted to the structure of real-world environments, and what the mind knows about the world—abstract schemas and intuitive theories revealed only indirectly through how they constrain generalizations. The new tools we obtain by adopting this perspective allow us to integrate symbolic representations with statistical learning, identify human inductive biases and understand their origins, and connect cognitive psychology with other scientific disciplines.
Most important, the Bayesian approach lets us move beyond classic “either-or” dichotomies that have long shaped and limited debates in cognitive science: “empiricism versus nativism,” “domain-general versus domain-specific,” “logic (rules, symbols) versus probability (statistics, numbers).” Instead we can ask harder questions of reverse engineering, with answers potentially rich enough to help us build more human-like artificial intelligence. The future directions for Bayesian models involve grappling with some of the central questions of cognitive science. How can domain-general mechanisms of learning and representation build domain-specific systems of knowledge? How can structured symbolic knowledge be acquired by statistical learning? The answers that are emerging from current research suggest new ways to think about the development of a cognitive system. Powerful abstractions can be learned surprisingly quickly, together with or prior to learning the more concrete knowledge they constrain. Structured symbolic representations need not be rigid, static, hardwired, or brittle. Embedded in a probabilistic framework, they can grow dynamically and robustly in response to the sparse, noisy data of experience.
Так же там есть глава "causal learning"
Цитировать
Key Words: causal learning, rationality, associative models, causal models, causal Bayes nets, Bayesian causal models, temporal contiguity, causal invariance, intervention, empirical knowledge

Еще есть глава "rational argument"

Цитировать
Abstract
Argumentation is an integral part of how we negotiate life in a complex world. In many contexts it matters, furthermore, that arguments be rational, not that they are simply convincing. Rational debate is subject to both procedural norms and to epistemic norms that allow the evaluation of argument content. This chapter outlines normative  rameworks for argumentation (dialectical, logical, and Bayesian); it then summarizes psychological research on argumentation, drawn from cognitive psychology, as well as a number of applied domains.
Key Words: argumentation, logic, probability, evidence, reasoning, inference, belief change

Theoretical Frameworks
...
An individual’s degree of belief in the claim is represented by a probability. Bayes’ theorem, which follows from the fundamental axioms of probability theory, then provides a normative standard for belief revision; it thus provides a formal tool for evaluating how convinced that individuals should be about the claim in light of that particular piece of evidence. There are three probabilistic quantities involved in Bayes’ theorem that determine what degree of conviction should be associated with a claim once a piece of evidence has been received: prior degree of belief in the claim, how likely the evidence would be if the claim were true, and how likely it would be if the claim were false...

И, в целом, теорема Байеса там упоминается регулярно.
Надеюсь, вам стало понятней, почему байесовская вероятность занимает центральное место в lw рациональности? Это разумеется, не показывает, что байесовская рациональность самая рациональная рациональность. С другой стороны, если появится другая модель рациональности, основанная на, например, fuzzy logic, я бы, наверное, с интересом исследовал бы ее.

26
Моя модель обучения и убеждения, разумеется, байесовская - в физическом смысле. И, если бы я хотел вас убедить в том, что, не только это возможно, но что
1. люди действительно моделируют неуверенность\уверенность с помощью вероятностей и теоремы Байеса;
2. что это один из (с учетом того, что я мало знаком с этой областью) мейнстримных способов моделирования убеждений (убеждение не как идеал, вроде "демократия - хорошо", а как знание_о_мире "в моем холодильнике возможно есть молоко")
В соответствии с принципом близости к задаче мне следовало бы, как это делается в литературе, разобрать несколько примеров, где мы могли бы посмотреть, какие модели неполного знания удобней и согласованней (должен признаться, я могу лишь приводить примеры и анализировать их с помощью теоремы Байеса, а не сравнивать разные способы моделирования неуверенности). Однако мне очень не хочется этим заниматься.

Вместо этого, я могу указать на литературу для чтения.

Юдковский:
Убеждения должны окупаться Убеждения, как ожидания. Убеждение - не то, что люди говорят, а то, что они ожидают. Убеждения не являющиеся ожиданиями принимают разные формы: Вера в убеждения, Провозглашения и крики ободрения, Убеждение как одеяние.
Интуитивное объяснение теоремы Байеса
A Technical Explanation of Technical Explanation Большая статья про особенности рациональности и байесовской эпистемологии: вероятностная фальсифицируемость, ожидание проснуться с тентаклем вместо руки, религия Байесианства и правило святого Лапласа.
Закономерная неуверенность. Статья о том, как при столкновении со случайными событиями люди склонны принимать решения по "случайному" алгоритму, вместо того, чтобы действовать по упорядоченному.
Рациональность: введение. Статья  Роба Бенсинджера из Rationality: From AI to Zombies.
Лотереи: бессмысленная трата надежды. Статья об эффекте уверенности и оценке шанса на примере лотереи. "Но шанс то есть?" - так люди говорят.
But There's Still A Chance, Right? Статья об эффекте уверенности и оценке шанса с другими примерами и новыми выводами.
Софизм серого. Статья про то, что убеждения не делятся исключительно на "точно произойдет" (1), может быть да\может быть нет (.5), точно нет (0). В скобках, разумеется, вероятности.
Absolute Authority. Про чудовщных размеров разрыв между людьми, привыкшими к уверенности и наукой, утверждения которой часто носят вероятностный характер, как и большая часть человеческого знания.
Как убедить меня в том, что 2+2=3 Описывается причинная цепочка, которая приводит людей к убеждению 2+2=4 и как такая же цепочка событий может убедить рационалиста в том, что 2+2=3.
Infinite Certainty В рамках байесовской эпистемологии, в соответствии с законами вероятности принято назначать логическим истинам вероятность 1. В рамках фреймворка "вероятность - мера уверенности" с вероятностями 1 возникают некоторые сложности. Эта статья описывает некоторые из них.
0 And 1 Are Not Probabilities . Знаменитое  доказательство Кокса (и разные его расширения и переделки) показывает, что все способы репрезентации неуверенности, подчиняющиеся разумным правилам будут изоморфны друг другу. И если перевести вероятности путем десятичного логарифма в децибелы, то будет видно, что 1 и 0 превращаются в бесконечности, что, в свою очередь требует свидетельство бесконечной силы.
Entropy, and Short Codes Энтропия Шеннона и вероятностная формализация бритвы Оккама - Сообщение минимальной длины
Mutual Information, and Density in Thingspace. Продолжение предыдущей статьи.
Conditional Independence, and Naive Bayes Эту статью я не осилил.
Прекрасная вероятность Про разные подходы к вероятностям и законам.
The Second Law of Thermodynamics, and Engines of Cognition Вероятностное доказательство необходимости взаимодействия с реальностью для получения точных убеждений о ней.
Perpetual Motion Beliefs Продолжение предыдущей статьи.
Decoherence is Simple Вероятностная интерпретация сложности гипотезы на примере "decoherence (a.k.a. many-worlds) version of quantum mechanics".
Decoherence is Falsifiable and Testable Вероятностная интерпретация фальсифицируемости (опровергаемости) и верифицируемости (способности делать новые предсказания), а так же формализации бритвы Оккама - "Индукция Соломонова" и "Сообщение минимальной Длинны".



Decision Making and Rationality in the Modern World (Fundamentals in Cognition) 1st Edition
Книга Становича про рациональность.
Во второй главе рассматривается рациональность действий (инструментальная рациональность - максимизация ожидаемой полезности; какое действие позволит максимально приблизить цель) и поведенческие паттерны, того, как люди отклоняются от норм инструментальной рациональности.
В третьей главе описывается рациональность убеждений (как придерживаться убеждений, которые соответствуют доступным свидетельствам - эпистемическая рациональность). И поведенческие паттерны, того, как люди отклоняются от норм эпистемической рациональности.
Обе рациональности - вероятностные, разумеется.

A Critical Introduction to Formal Epistemology (Bloomsbury Critical Introductions to Contemporary Epistemology) Применение формальной системы (тервер - Байес) для моделирования убеждений и разные трудности связанные с этим. Лодка, в которой плывет человек медленно погружается под воду. Он не верит в то, что тонет. Рациональны ли его убеждения?

Bayesian Epistemology 1st Edition Bayes is all the rage in philosophy. Metaphysicians discuss the nature of probability, philosophers of religion recast the problem of evil and the argument from design in probabilistic terms, ethicists appeal to decision- and game-theoretic arguments. We ride this wave and examine what probabilistic models have to offer for certain topics in epistemology and for epistemological questions in philosophyof science. Our approach is an engineering approach rather than a foundational approach. Just as engineers do not bother with the foundations of geometrywhen constructing a bridge, we are consumers of probabilitytheoryand the theoryof Bayesian Networks and construct models to resolve philosophical questions.


Probability Theory: The Logic of Science 1st Edition
Впечатлившая Юдковского своей дотошностью книга про репрезентацию убеждений с помощью тервера от автора Mind projection fallacy. И статьи Юдковского на эту тему: Вероятность находится в голове, Probability is Subjectively Objective, Frequentist Statistics are Frequently Subjective.

Книги Канемана, разумеется, без них куда.

И финальная статья: Ожидая короткие понятийные расстояния

27
Цитировать
В конце концов, хорошо известно что вы не можете использовать байесовские методы на множестве проблем из-за того, что байесовские вычисления сложны для подсчетов. Так почему бы не позволить цвести многим цветам? Почему бы не иметь больше одного инструмента в вашем наборе?

Это фундаментальное различие в сознании. Статистики старой школы думают в терминах инструментов и трюков, применяемых для определенных проблем. Байесианцы, по крайней мере этот байесианец, хотя я не думаю, что говорю только за себя — мы думаем в терминах законов.

Поиск законов это не то же самое что поиск особенно чистых и красивых инструментов. Второй закон термодинамики это не одно и то же, что и чистый и красивый холодильник.

Цикл Карно это идеальный двигатель — на самом деле идеальный. Нет двигателя, который бы питался от двух накопителей тепла и был бы эффективней чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, которые функционируют между одинаковыми накопителями тепла, имеют одинаковую эффективность.

Но, конечно, вы не можете использовать двигатель Карно для питания реальной машины. Двигатель машины имеет такое же сходство с двигателем Карно, что и шины автомобиля с идеальными катящимися цилиндрами.

Тогда ясно, что двигатель Карно бесполезный инструмент для постройки настоящей машины. Второй закон термодинамики, очевидно, неприменим здесь. Чересчур сложно сделать двигатель который будет отвечать таким условиям, в реальности. Просто игнорируйте термодинамику — используйте все что работает.

Это определенный род путаницы, который, как я думаю, управляет теми, кто все еще цепляется за старые методы.

Нет, вы не можете всегда делать точные байесовские вычисления для проблемы. Иногда вам надо искать аппроксимацию; на самом деле, часто. Это не значит что теорию вероятности нужно прекратить применять, так же как ваша неспособность вычислить аэродинамику самолета из атомных взаимодействий не означает что самолет не сделан из атомов. Какую бы аппроксимацию вы не использовали, она будет работать если является аппроксимацией идеального байесовского вычисления — и не будет работать в любом другом случае.

Доказательства когерентности и уникальности байесианства отметают оба пути. Так же как любой расчет, который подчиняется аксиомам когерентности Кокса (или любой из его переформулировок или обобщений) должен отображаться в вероятностях, так что точно так же любой не байесовский расчет должен провалить какой-либо из тестов на когерентность. Что, в свою очередь, приводит к наказаниями таким как голландское бронирование (прием комбинаций ставок, которые приводят к точным убыткам или отказу от комбинаций, которые дают точные выгоды).

Вы можете быть не способны вычислить оптимальный ответ. Но любая аппроксимация которую вы используете, с ее достоинствами и недостатками, должна быть объяснима с позиции байесовской теории вероятности. Вы можете не знать объяснения: но это не значит что его не существует.
...
Бесполезно быть простым на поверхностном уровне. Вы должны погрузиться глубже, чтобы найти стабильность.

Мыслите законами, а не инструментами. Необходимость вычислять аппроксимации к закону не меняет закон. Самолеты по-прежнему состоят из атомов, они не станут исключением только из-за аэродинамических вычислений. Аппроксимация существует на карте, не на территории. Вы можете знать второй закон термодинамики и все еще пробовать себя как инженера, строя несовершенный двигатель машины. Второй закон не перестает быть применим; ваше знание этого закона и цикла Карно помогает вам приблизиться к наибольшей эффективности, которую вы только можете достигнуть.

Мы не очаровываемся байесовскими методами только потому что они красивы. Красота всего лишь побочный эффект. Теоремы Байеса изящны, когерентны, оптимальны и доказуемо однозначны, потому что они относятся к законам.
Прекрасная вероятность

Добавлено 07 Май 2016, 18:20:
Так же рекомендую ознакомится с мысленным экспериментом - фокусировкой неуверенности.

28
Когда вы спросили, я подумал про http://lesswrong.com/ и там немало статей про это в контексте утилитаризма, а так же прямо про функцию полезности и ожидаемою полезность. Это неочевидная важная проблема, затмеваемая очевидными важными проблемами.
Подмена пространств. Произошел переход от пространства исходов реальности к пространству исходов, моделируемых индивидуумом.
Вероятность исхода имеет смысл в первом пространстве, но не имеет смысла во втором.
У меня, к сожалению нет доступа (насколько я знаю) к пространству исходов реальности (чем бы это пространство ни было). Как индивидууму, мне приходя в голову разные исходы. Одни исходы я ожидаю уверенней, другие менее уверенней.

Во второй половине двадцатого века появляется идея рассматривать теорему Байеса и другие важные (вроде правила конъюнкции) моменты теории вероятностей, как нормативную модель принятия решений и правдонахождения для рациональных агентов. Было проведено множество исследований, в ходе которых люди решали выдуманные задачи и ошибки объяснялись расхождениями с нормативной рациональностью, а успехи - следованием ей.

Джейнс, ввел термин "заблуждение проецирования разума" и описал в книге "Probability Theory: The Logic of Science" множество примеров того, к чему приводят взгляд на вероятности, как на "что-то там вовне", вместо "вероятность - мера уверенности агента" (агентом может быть даже робот).

Потом Юдковский написал несколько статей и теперь я думаю о вероятностях, как о мере неуверенности агента. Но нам необязательно говорить об этом. Чем бы вероятности не являлись, мы все еще остаемся планирующими будущее агентами. В нашу голову приходя разные варианты будущего, в некоторых мы уверены больше чем в остальных. То же самое касается и того, какие действия увеличивают нашу уверенность в том, что конкретный вариант будущего реализуется. И для репрезентации этой неуверенности наиболее полезным инструментом является теорема Байеса.  И для краткости мы называем убеждения в которых мы не уверены (а это почти все наши убеждения об эмпирическом мире) - вероятностями.

Максимизация ожидаемой полезности напрямую зависит от оценки того, насколько вероятны разные исходы, которые мы стремимся претворить в жизнь. Даже если я буду делать ходы, которые сочту оптимизирующими мои шансы на выигрыш в матче против чемпиона мира, априорное ожидание моей победы настолько ниже априорного ожидания победы чемпиона, что можно и не садиться за стол. Инструментальная рациональность зависит от эпистемической.

29
Говоря о вероятности, подразумевается, что есть полное пространство элементарных исходов. И оценивается шанс выпадения данного исхода к полному пространству.
В каком пространстве исходов рассматривается приведенное утверждение?
И вот мы подошли к понятию "Bounded rationality": пространство приходящих в человеческую голову исходов. Есть рациональные техники, которые позволяют как увеличитьколичество приходящих в голову исходов - табуирование, так и снизить: Fallacies of Compression и Ухватить задачу.

Возьмем модельную задачу "Игра в шахматы". Допустим рациональный агент ничего не знает о шахматах. Каково его рациональное поведение в этом случае? Как ему помогает байесовская вероятность и в каком виде?
Давайте зададимся вопросом, что ему поможет больше байесовской вероятности? Или еще лучше: какие методы ему позволят максимально приблизить выигрыш? Замечаете байесовскую структуру моих вопросов?

Моделируя агента, ничего не знающего о шахматах, вы неспособны избавиться (важный рациональный навык) от вашего знания о шахматах. Вы знаете, что фигуры не нужно есть или засовывать в другие отверстия, что не нужно их расставлять по увеличению массы. И если агент будет обучаться игре, то ему лучше бы следить, чтобы алгоритм обучения учитывал предыдущую информацию (априорные; каждый следующий ход не должен восприниматься как первый) и то, какую вероятность класс расположения фигур, при котором выигрывают черные, назначает разным ходами (отношения правдоподобия).


Добавлено [time]07 Май 2016, 16:00[/time]:
Если простота максимизации полезности иллюзорна, то почему тогда в LessWrong много уделяются внимания расчету байесовской оценки, но мало уделено вниманию расчета полезности?
Не знаю соотношения. Поделитесь данными?

30
Байесовская оценка - это неочевидный, сложный алгоритм, которым Система 1 не владеет и поэтому ему следует уделять внимание Системы 2.
Как показала экспирементальная наука, Система 1 склонна к пренебрежению распределнием априорных вероятностей (base rate neglect) среди возможных гипотез и игнорированием вероятности, назначаемой свидетельству конкурирующими гипотезами (на встречал формального названия для этого искажения). Для корректировки этих искажений нужно следить, чтобы линия рассуждений на нарушала байесовский вывод, т.е. применять Систему 2.

Максимизация полезности - это очевидный, простой навык, которым в совершенстве владеет Система 1. Ему не стоит уделять внимание Системы 2.
Простота этого навыка иллюзорна. Чем обыденный действие - тем проще. Если вы хотите шоколадку из магазина, то вполне очевидно, какие действия будут наиболее эффективными (сходить самому, попросить соседа сгонять в магазин, позвонить в магизин и попросить доставку, например). Такие ситуации достаточно оптимизированы для обычного человека (вы ведь можете оказаться и владельцем магазина, не так ли?). Однако, чем дальше вы от часто повторяемых действий в сторону неизвестности, тем внимательней (с подозрением) надо относиться к тому, какие действия приходят вам в голову, когда вы ставите себе какую-то цель. Если мы примем в качестве репрезентации нашей уверенности тервер, то Юдковский написал довольно убедительную статью о том, почему при встрече с малознакомым явлением (бизнес в новой для вас области, отпуск "дикарем" в незнакомой местности) следует относиться с подозрением к возникающим идеям.

Страницы: 1 [2] 3 4 ... 14