Сообщения

151

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 08 Мая 2016, 11:31 »

Заботал теорию. Действительно, есть направление, когда в качестве правдоподобия используется число схожее с вероятностью и формула расчета, схожая с формулой Байеса.

В тоже время, это один из вариантов моделирования правдоподобия, не самый удачный.

Плюсы байесовского коэффициента правдоподобия:
- простой: коэффициент правдоподобия записывается одним числом, вклад в комплексную величину считается линейным
- легкий для обучения людей: формулы расчета схожи с расчетом вероятности
- есть примеры использования в computer science: наивный байесовский фильтр спама

Минусы байесовского коэффициента правдоподобия:
- считает исходные величины - независимыми между собой
- считает вклад элементарных величин - линейным
- считает случайные величины распределенными - равномерно
- не используется в современном computer science. Не используется в экспертных системах, в machine learning-е, в программах-ботах
- программы основанные на других коэффициентах правдоподобия показывают лучшие результаты, чем код, основанный на байесовском коэффициенте правдоподобия

Программные спам-фильтры, построенные на принципах наивного байесовского классификатора, делают «наивное» предположение о том, что события, соответствующие наличию того или иного слова в электронном письме или сообщении, являются независимыми по отношению друг к другу. Это упрощение в общем случае является неверным для естественных языков таких как английский, где вероятность обнаружения прилагательного повышается при наличии, к примеру, существительного.

Пример, показывающий неудачность байесовского коэффициента правдоподобия.

Пусть вероятность брака у первого рабочего p_1=0,9, у второго рабочего — p_2=0,5, а у третьего — p_3=0,2. Первый изготовил n_1 = 800 деталей, второй — n_2=600 деталей, а третий — n_3=900 деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Формула Байеса работает для решения данной задачи при условии, что:
- независимы между собой - брак в работе, складывание деталей в общую группу, выбор детали для тестирования
- вероятность брака равномерна
- детали смешиваются в кучу равномерно
- начальник цеха равномерно выбирает деталь для тестирования

Как только эти условия меняются на другие, перестает работать и формула Байеса.
Например, в задаче могут быть следующие уточнения:
- вероятность брака растёт к вечеру,
- детали выкладываются в линию - сначала первого, затем второго, и далее - третьего рабочего;
- начальник цеха выбирает деталь с нормальным распределением от середины

Задача не решается через байеса, но решается через:
- нейронные сети, имеющие нелинейные операторы
- fuzzy logic (нечеткие множества)
- частотную вероятность

152

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 08 Мая 2016, 00:21 »

какие закономерности, на ваш взгляд, должны стоять выше понятия вероятности, или хотя бы вровень с ней?

1+1=2; ((A=>B) and (B=> C)) => (A => C); вид случайного распределения(нормальное, пуасоново, равномерное и т.д.); матожидание.

Добавлено 08 Мая 2016, 00:34:

Потом Юдковский написал несколько статей и теперь я думаю о вероятностях, как о мере неуверенности агента. Но нам необязательно говорить об этом. Чем бы вероятности не являлись, мы все еще остаемся планирующими будущее агентами. В нашу голову приходя разные варианты будущего, в некоторых мы уверены больше чем в остальных. То же самое касается и того, какие действия увеличивают нашу уверенность в том, что конкретный вариант будущего реализуется. И для репрезентации этой неуверенности наиболее полезным инструментом является теорема Байеса.  И для краткости мы называем убеждения в которых мы не уверены (а это почти все наши убеждения об эмпирическом мире) - вероятностями.

Мера неуверенности != вероятность.

Мера неуверенности - в математике рассматривается нечеткой логикой и нечеткими множествами.

К мере неуверенности не применимы Байесовские законы, потому что мера неуверенности не является вероятностью.

ps
Мера полезности != вероятности; мера уверенности != вероятности; мера желательности != вероятности.
Все эти меры могут записываться в виде процентов, и из-за этого их можно спутать с вероятностью. Но они про другое, они ведут себя по другому, и к ним применимы другие законы.

Добавлено 08 Мая 2016, 00:42:

Тут ни к чему терминологический спор. Если вы загляните в любую научную статью, которая делает какие-либо выводы из наблюдений или экспериментов, то вы увидите там матстатистку, вы увидите там матожидание, дисперсию и среднеквадратичное отклонение.

Изначально утверждалось, что всякая кластеризация появляется как результат применения математической статистики.
Это не так.
Например, кластеризация чисел на целые, положительные, отрицательные, дробные, простые, иррациональные, Фибоначчи, Мерсенна делается на основе поведения чисел. На основе законов, которыми описывается данная группа чисел.

ps
Также неявно подразумевается, что все знания появляются в результате наблюдения за реальностью. Это не так.
Значительная часть знаний появляется в результате наблюдения за моделями. И исследования этих моделей.
Большая часть точных наук построена в результате исследования моделей.

153

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 07 Мая 2016, 17:48 »

Это называется категоризация. Data clustering. Это зубодробительная матстатистика.

В рамках данного треда, согласен что статистика используется. (Чтобы не вдаваться в терминологический спор)

Статистика используется для отделения случайного от неслучайного.
Статистика используется для выделения вида закономерностей между неслучайными аспектами величин.

Формула байесовской вероятности - это одна из неслучайных закономерностей между случайными величинами.

Соответственно остались неотвеченными вопросы, сходные с темой треда:
- почему в рамках lesswrong байесовская вероятность выделяется из всех остальных видов закономерностей?
- почему в рамках lesswrong статистика редуцируется до байесовской вероятности?

154

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 07 Мая 2016, 16:25 »

Не знаю соотношения. Поделитесь данными?

lesswrong.ru/forum:
Search байес* - 112
Search максимум* полезност* - 5

Добавлено 07 Мая 2016, 16:43:

И вот мы подошли к понятию "Bounded rationality": пространство приходящих в человеческую голову исходов.

Подмена пространств. Произошел переход от пространства исходов реальности к пространству исходов, моделируемых индивидуумом.
Вероятность исхода имеет смысл в первом пространстве, но не имеет смысла во втором.

Давайте зададимся вопросом, что ему поможет больше байесовской вероятности? Или еще лучше: какие методы ему позволят максимально приблизить выигрыш? Замечаете байесовскую структуру моих вопросов?

Вижу задачу максимизации полезности. Вижу структуру - максимизация выходов Zi при входных условиях Kj. Не вижу пространства независимых исходов и поэтому не вижу байеса.

Моделируя агента, ничего не знающего о шахматах, вы неспособны избавиться (важный рациональный навык) от вашего знания о шахматах.

С помощью Системы 2 есть алгоритмы, помогающие избавиться от своего знания. Общая идея - всякое решение раскладывается на элементарные характеристики. Далее конструируются другие решения из элементарных частей и разбирается почему они были отвергнуты.

И если агент будет обучаться игре, то ему лучше бы следить, чтобы алгоритм обучения учитывал предыдущую информацию (априорные) и то, какую вероятность класс расположения фигур, при котором выигрывают черные, назначает разным ходами (отношения правдоподобия).

Имхо, идет искажение задачи. Вместо оценки полезности вводится оценка вероятности. Верно утверждение "Ладья в 5 раз полезнее пешки", но неверно утверждение "Ладья в 5 раз чаще, чем пешка приводит к победе".

155

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 07 Мая 2016, 15:35 »

Откуда человек берёт знания о внешнем мире? Как человек делает умозаключения о том, каков он, внешний мир?
Знания о внешнем мире важны для успешного выполнения любой из перечисленных задач. Но откуда эти знания берутся, и почему мы доверяем тем знаниям, которые у нас есть?

Знания берутся из наблюдения. Из декомпозиции наблюдения на отдельные части. Сравнения частей и выделения сходств и различий. Фиксировании эталонов. Формирования классификаций. Введеления шкал. Соотнесения наблюдений со шкалами. Композиции частей в стабильные объекты, наделенными характеристиками. Выделении степеней свободы объекта. Выделении влияния одних объектов на другие. Построении моделей, объясняющих наблюдения. Формировании формального аппарата, помогающего сделать выводы на основе моделей. Сравнении модели с наблюдениями. Формулировании целей. Выделении путей, приводящих к целе.

Какого соотношение априорных шансов среди конкурирующих гипотез к апостерироным, с учетом отношений правдоподобия?

Говоря о вероятности, подразумевается, что есть полное пространство элементарных исходов. И оценивается шанс выпадения данного исхода к полному пространству.
В каком пространстве исходов рассматривается приведенное утверждение?

Как в общем-то уже стало ясно, единственный способ знания обретать -- это матстатистика.

Матстатистика, теория вероятности и соответственно, байесовская вероятность - применимы к независимым явлениям.
Бессмыслен вопрос "Какова вероятность того или иного хода оппонента в шахматах?". Ход оппонента зависит от хода пропонента, зависит от ментальных моделей оппонента и т.д.

Возьмем модельную задачу "Игра в шахматы". Допустим рациональный агент ничего не знает о шахматах. Каково его рациональное поведение в этом случае? Как ему помогает байесовская вероятность и в каком виде?

Вот запись наблюдений рационального агента:
"Белая лампочка. Попытка передвижения маленькой черной фигурки с g7 на g6. Fail"
"Белая лампочка. Попытка передвижения белой толстой фигурки с h1 на h3. Fail"
"Белая лампочка. Попытка передвижения белой маленькой фигурки с a2 на a3. Success"
"Черная лампочка. Попытка передвижения белой маленькой фигурки с a3 на a4. Fail"
"Черная лампочка. Оппонент передвинул маленькую черную фигурку с g7 на g6."
"Белая лампочка. Попытка передвижения белой маленькой фигурки с h2 на h5. Fail"
и т.д.


Добавлено 07 Мая 2016, 15:40:

Простота этого навыка иллюзорна. Чем обыденный действие - тем проще.

Если простота максимизации полезности иллюзорна, то почему тогда в LessWrong много уделяются внимания расчету байесовской оценки, но мало уделено вниманию расчета полезности?

156

Рациональность / Re: Почему байесовская вероятность важнее других проявлений рациональности?

« : 07 Мая 2016, 14:49 »

Нормой для определения действия, которое скорее всего, в сравнении с другими действиями, позволит достичь результата (дойти до пункта Х, сохранив сухость) стала байесовская система принятия решений, а именно максимизация ожидаемой полезности. Мы должны делать те действия, от которых ожидаем больше пользы для достижения желаемого результата.

Почувствовал настрой этого абзаца следующим образом.
Байесовская оценка - это неочевидный, сложный алгоритм, которым Система 1 не владеет и поэтому ему следует уделять внимание Системы 2.
Максимизация полезности - это очевидный, простой навык, которым в совершенстве владеет Система 1. Ему не стоит уделять внимание Системы 2.
Это так?

ps
Уточню что я понимаю под "важностью".
Важность - это распределение ресурсов Системы 2. Чем важнее аспект N, тем большая доля ресурсов Системы 2  выделяется на просчитывание аспекта N.

157

Рациональность / Re: ТРИЗ — Теория Решения Изобретательских Задач

« : 07 Мая 2016, 13:52 »

Про кинотеатр.

Вариант решения: Устроить конкурс шляпок. Шляпку при входе необходимо снять и поместить на витрину. Лучшие шляпки в конце сеанса награждаются.

Добавлено 07 Мая 2016, 14:04:

ТРИЗ - великолепнейшая система для решения технических задач

Имхо, ТРИЗ - хорошая система для построения сильных гипотез(эвристик) для решения задач.
Само решение задач делается градиентным спуском, A*-поиском, декомпозицией, алгоритмами логического вывода и т.д.

158

Рациональность / Почему байесовская вероятность важнее других проявлений рациональности?

« : 07 Мая 2016, 12:55 »

Ключевой вопрос рациональности "почему я знаю то, что я знаю? Почему я верю в то, во что я верю?"

Путь LessWrong пронизан идеей, что самое важное это байесовская вероятность. На чем основана эта вера/знание?

Ключевой вопрос управления: "Почему я знаю/верю, что предлагаемый вариант дает лучший результат?". Почему внимание к байесовской вероятности даёт лучший результат?

Лучший способ проверки идей - это решение модельных задач.
Рассмотрим модельные задачи: "Написать книгу", "Построить бизнес", "Сложить пасьянс", "Починить мотоцикл", "Справиться с паникой".
Где при решении этих задач появляется байесовская вероятность? Как она помогает?