Почему байесовская вероятность важнее других проявлений рациональности?

Автор Тема: Почему байесовская вероятность важнее других проявлений рациональности?  (Прочитано 30277 раз)

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Ключевой вопрос рациональности "почему я знаю то, что я знаю? Почему я верю в то, во что я верю?"

Путь LessWrong пронизан идеей, что самое важное это байесовская вероятность. На чем основана эта вера/знание?

Ключевой вопрос управления: "Почему я знаю/верю, что предлагаемый вариант дает лучший результат?". Почему внимание к байесовской вероятности даёт лучший результат?

Лучший способ проверки идей - это решение модельных задач.
Рассмотрим модельные задачи: "Написать книгу", "Построить бизнес", "Сложить пасьянс", "Починить мотоцикл", "Справиться с паникой".
Где при решении этих задач появляется байесовская вероятность? Как она помогает?

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Откуда человек берёт знания о внешнем мире? Как человек делает умозаключения о том, каков он, внешний мир?
Знания о внешнем мире важны для успешного выполнения любой из перечисленных задач. Но откуда эти знания берутся, и почему мы доверяем тем знаниям, которые у нас есть?

Как в общем-то уже стало ясно, единственный способ знания обретать -- это матстатистика. Ну или что-то типа матстатистики. Человеческие мозги заточены на решение различных задач познания, они действуют не так, как предписывает матстатистика, но очень похожим образом, матстатистика просто чуть точнее. Конечно тут ещё следует учитывать, что мозги были заточены работать не в современной реальности, а немного в другой, и поэтому не всегда заложенные в мозги методы работают успешно -- соответственно начинаются разговоры о когнитивных искажениях и пр. Но между методами матстатистики и работой человеческих мозгов можно найти множество параллелей: глядя на то, как работают мозги, придумывают новые статистические методы, глядя на статистические методы решения тех или иных задач, строят теории о том, как работают мозги.

Но матстатистика подвешена в воздухе, благодаря частотному определению вероятности. Байесовская же вероятность резко упрощает статистический аппарат. Ну, это знаете, как скажем изобретение отрицательных чисел резко упростило решение задач: сложные алгоритмы решения с ветвлениями типа "если a < b, то вычесть a из b, и делать потом то, сё и это; а если a > b, то вычесть b из a, и делать затем что-то иное". С отрицательными же числами всё гораздо проще: надо подставить в формулу, вычислить всё безусловно, получить ответ, который может быть положительным или отрицательным, и сказать, что если число положительное, то мы в плюсе, а если отрицательное, то попали на бабки. Отрицательные числа упростили решения задач, таким образом они упростили задачи, таким образом они дали возможность мыслить о более сложных задачах, охватывать умственным взором более сложные пробемы. Хотя, на первый взгляд, они совершенно не нужны, те же задачи можно решать и без них.

Так и байесовская вероятность. Чтобы понимать, что такое знание, надо знать как знание строится из отдельных свидетельств. Но чтобы понимать это, гораздо удобнее освоить байесовскую вероятность; усвоить, что "вероятность находится в голове"; одолеть теорему Байеса и посмотреть на несколько применений байесовской вероятности -- после этого в голове всегда будет, по-крайней мере качественное понимание того, как из опыта строится знание. А это понимание позвояет оценивать качество этого самого знания.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Сам я настолько пронизан байесовской эпистемологией, что она является метауровнем. Даже если что-либо окажется полезней, то фраза "метод Х более полезен, чам байесовская рациональность" слишком уж подозрительна похожа на "метод Х назначает большую вероятность наблюдениям У, чем байесовская вероятность". Так что даже если и появится метод более действенный, процесс выбора будет напоминать сильней процесс байесовского вывода, чем каких-либо еще выводов.
Ключевой вопрос рациональности "почему я знаю то, что я знаю? Почему я верю в то, во что я верю?"
Это, разумеется, light версия. Чтобы, читатель, услышав ее, подумал: "действительно, почему же?", вместо "а это, блин, что значит?", если бы Юдковский (в статьях или в МРМ, устами Гарри) формулировал фундаментальный вопрос рациональности в его истинной (вербальной, истинная форма - теорема Байеса) форме: "Какого соотношение априорных шансов среди конкурирующих гипотез к апостерироным, с учетом отношений правдоподобия?"

Путь LessWrong пронизан идеей, что самое важное это байесовская вероятность. На чем основана эта вера/знание?тих задач появляется байесовская вероятность? Как она помогает?
Насколько я знаю, не было эпической коммуникации, в ходе которой Святой Лапласс передал Человечеству Байесовскую Мудрость. Каким-то образом теорема Байеса проникла в когнитивную науку.
Цитировать
Принятие решений в неопределенности: Правила и предубеждения
С момента привлечения Эдвардсом и eгo коллегами идей Байеса в психологическое исследование, психологам впервые предложили целостную и четко сформулированную модель оптимального поведения в условиях неопределенности, с которой можно было сравнить принятие решений человеком. Соответствие принятия решений нормативным моделям стало одной из главных парадигм исследования в области суждения в условиях неопределенности.
И на этом мои познания исторической части заканчиваются.

Так уж получилось, что относительно одних утверждений мы чувствуем большую уверенность, чем относительно других. Просыпаясь утром, я еще на знаю будет ли дождь и не могу уверенно выбрать какой из вариантов скорее всего произойдет. Но, увидев тучи, мои ожидания меняются: уверенность в том, что будет дождь увеличится, а уверенность в том, что будет сухо - снизится (в идеале, разумеется, в реальности убеждения не всегда так легко меняются).

Нормой для определения действия, которое скорее всего, в сравнении с другими действиями, позволит достичь результата (дойти до пункта Х, сохранив сухость) стала байесовская система принятия решений, а именно максимизация ожидаемой полезности. Мы должны делать те действия, от которых ожидаем больше пользы для достижения желаемого результата.
Однако, необходимым условием так же является определение того, какие же из возможных результатов самые вероятные. И, какие действия являются самыми полезными (какие из разных результатов назначают наибольшую вероятность каким действиям (свидетельствам)).

Ключевой вопрос управления: "Почему я знаю/верю, что предлагаемый вариант дает лучший результат?". Почему внимание к байесовской вероятности даёт лучший результат?
Ознакомившись с некоторой литературой по рациональности, я начал задаваться вопросом: "почему наиболее вменяемые решения и правдоподобно звучащие варианты имеют байесовскую структуру, а ошибки часто оказываются результатом пренебрежения распределнием априорных вероятностей среди возможных гипотез и игнорированием вероятности, назначаемой свидетельству конкурирующими гипотезами?".

Есть [PDF]Интуитивное объяснение теоремы Байеса на русском, есть A Technical Explanation of Technical Explanation на английском. Но нет компактного сравнения разных систем репрезентации эмпирических убеждений (вроде "у большинства людей два зрячих глаза" (есть ведь и одноглазые, правда, их мы ожидаем встретить с меньшей уверенностью), а не "две молекулы водорода и молекула кислорода, при затрате энергии N образут молекулу воды H2O"). Я не встречал сравнения силлогизмов Аристотеля с байесовской эпистемологией. Загляните в
Decision Making and Rationality in the Modern World (Fundamentals in Cognition) 1st Edition
и в
A Critical Introduction to Formal Epistemology (Bloomsbury Critical Introductions to Contemporary Epistemology)
. Я пока не владею материалом, чтобы хотябы на десятке страниц изложить кратко почему же стоит использовать теорема Байеса для репрезентации частных убеждений в сравнении с силлогистикой, логикой первого порядка, кванторами.
Та же можно посмотреть: Highly Advanced Epistemology 101 for Beginners

Если вы хотите написать бестселлер, то ваше ожидание того,что ваша книга будет раскуплена может быть равно ожиданию запыления на полках. Ваше ожидание разных состояний реальности (раскуплена, пылиться) измениться в зависимости от того, о чем и как будет эта книга (см. байесовское свидетельство).

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля

Нормой для определения действия, которое скорее всего, в сравнении с другими действиями, позволит достичь результата (дойти до пункта Х, сохранив сухость) стала байесовская система принятия решений, а именно максимизация ожидаемой полезности. Мы должны делать те действия, от которых ожидаем больше пользы для достижения желаемого результата.


Почувствовал настрой этого абзаца следующим образом.
Байесовская оценка - это неочевидный, сложный алгоритм, которым Система 1 не владеет и поэтому ему следует уделять внимание Системы 2.
Максимизация полезности - это очевидный, простой навык, которым в совершенстве владеет Система 1. Ему не стоит уделять внимание Системы 2.
Это так?

ps
Уточню что я понимаю под "важностью".
Важность - это распределение ресурсов Системы 2. Чем важнее аспект N, тем большая доля ресурсов Системы 2  выделяется на просчитывание аспекта N.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Байесовская оценка - это неочевидный, сложный алгоритм, которым Система 1 не владеет и поэтому ему следует уделять внимание Системы 2.
Как показала экспирементальная наука, Система 1 склонна к пренебрежению распределнием априорных вероятностей (base rate neglect) среди возможных гипотез и игнорированием вероятности, назначаемой свидетельству конкурирующими гипотезами (на встречал формального названия для этого искажения). Для корректировки этих искажений нужно следить, чтобы линия рассуждений на нарушала байесовский вывод, т.е. применять Систему 2.

Максимизация полезности - это очевидный, простой навык, которым в совершенстве владеет Система 1. Ему не стоит уделять внимание Системы 2.
Простота этого навыка иллюзорна. Чем обыденный действие - тем проще. Если вы хотите шоколадку из магазина, то вполне очевидно, какие действия будут наиболее эффективными (сходить самому, попросить соседа сгонять в магазин, позвонить в магизин и попросить доставку, например). Такие ситуации достаточно оптимизированы для обычного человека (вы ведь можете оказаться и владельцем магазина, не так ли?). Однако, чем дальше вы от часто повторяемых действий в сторону неизвестности, тем внимательней (с подозрением) надо относиться к тому, какие действия приходят вам в голову, когда вы ставите себе какую-то цель. Если мы примем в качестве репрезентации нашей уверенности тервер, то Юдковский написал довольно убедительную статью о том, почему при встрече с малознакомым явлением (бизнес в новой для вас области, отпуск "дикарем" в незнакомой местности) следует относиться с подозрением к возникающим идеям.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Откуда человек берёт знания о внешнем мире? Как человек делает умозаключения о том, каков он, внешний мир?
Знания о внешнем мире важны для успешного выполнения любой из перечисленных задач. Но откуда эти знания берутся, и почему мы доверяем тем знаниям, которые у нас есть?

Знания берутся из наблюдения. Из декомпозиции наблюдения на отдельные части. Сравнения частей и выделения сходств и различий. Фиксировании эталонов. Формирования классификаций. Введеления шкал. Соотнесения наблюдений со шкалами. Композиции частей в стабильные объекты, наделенными характеристиками. Выделении степеней свободы объекта. Выделении влияния одних объектов на другие. Построении моделей, объясняющих наблюдения. Формировании формального аппарата, помогающего сделать выводы на основе моделей. Сравнении модели с наблюдениями. Формулировании целей. Выделении путей, приводящих к целе.

Цитировать
Какого соотношение априорных шансов среди конкурирующих гипотез к апостерироным, с учетом отношений правдоподобия?

Говоря о вероятности, подразумевается, что есть полное пространство элементарных исходов. И оценивается шанс выпадения данного исхода к полному пространству.
В каком пространстве исходов рассматривается приведенное утверждение?

Цитировать
Как в общем-то уже стало ясно, единственный способ знания обретать -- это матстатистика.

Матстатистика, теория вероятности и соответственно, байесовская вероятность - применимы к независимым явлениям.
Бессмыслен вопрос "Какова вероятность того или иного хода оппонента в шахматах?". Ход оппонента зависит от хода пропонента, зависит от ментальных моделей оппонента и т.д.

Возьмем модельную задачу "Игра в шахматы". Допустим рациональный агент ничего не знает о шахматах. Каково его рациональное поведение в этом случае? Как ему помогает байесовская вероятность и в каком виде?

Вот запись наблюдений рационального агента:
"Белая лампочка. Попытка передвижения маленькой черной фигурки с g7 на g6. Fail"
"Белая лампочка. Попытка передвижения белой толстой фигурки с h1 на h3. Fail"
"Белая лампочка. Попытка передвижения белой маленькой фигурки с a2 на a3. Success"
"Черная лампочка. Попытка передвижения белой маленькой фигурки с a3 на a4. Fail"
"Черная лампочка. Оппонент передвинул маленькую черную фигурку с g7 на g6."
"Белая лампочка. Попытка передвижения белой маленькой фигурки с h2 на h5. Fail"
и т.д.


Добавлено 07 Мая 2016, 15:40:
Простота этого навыка иллюзорна. Чем обыденный действие - тем проще.

Если простота максимизации полезности иллюзорна, то почему тогда в LessWrong много уделяются внимания расчету байесовской оценки, но мало уделено вниманию расчета полезности?

« Последнее редактирование: 07 Мая 2016, 15:51 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Говоря о вероятности, подразумевается, что есть полное пространство элементарных исходов. И оценивается шанс выпадения данного исхода к полному пространству.
В каком пространстве исходов рассматривается приведенное утверждение?
И вот мы подошли к понятию "Bounded rationality": пространство приходящих в человеческую голову исходов. Есть рациональные техники, которые позволяют как увеличитьколичество приходящих в голову исходов - табуирование, так и снизить: Fallacies of Compression и Ухватить задачу.

Возьмем модельную задачу "Игра в шахматы". Допустим рациональный агент ничего не знает о шахматах. Каково его рациональное поведение в этом случае? Как ему помогает байесовская вероятность и в каком виде?
Давайте зададимся вопросом, что ему поможет больше байесовской вероятности? Или еще лучше: какие методы ему позволят максимально приблизить выигрыш? Замечаете байесовскую структуру моих вопросов?

Моделируя агента, ничего не знающего о шахматах, вы неспособны избавиться (важный рациональный навык) от вашего знания о шахматах. Вы знаете, что фигуры не нужно есть или засовывать в другие отверстия, что не нужно их расставлять по увеличению массы. И если агент будет обучаться игре, то ему лучше бы следить, чтобы алгоритм обучения учитывал предыдущую информацию (априорные; каждый следующий ход не должен восприниматься как первый) и то, какую вероятность класс расположения фигур, при котором выигрывают черные, назначает разным ходами (отношения правдоподобия).


Добавлено [time]07 Май 2016, 16:00[/time]:
Если простота максимизации полезности иллюзорна, то почему тогда в LessWrong много уделяются внимания расчету байесовской оценки, но мало уделено вниманию расчета полезности?
Не знаю соотношения. Поделитесь данными?

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Не знаю соотношения. Поделитесь данными?

lesswrong.ru/forum:
Search байес* - 112
Search максимум* полезност* - 5

Добавлено 07 Мая 2016, 16:43:
Цитировать
И вот мы подошли к понятию "Bounded rationality": пространство приходящих в человеческую голову исходов.

Подмена пространств. Произошел переход от пространства исходов реальности к пространству исходов, моделируемых индивидуумом.
Вероятность исхода имеет смысл в первом пространстве, но не имеет смысла во втором.

Давайте зададимся вопросом, что ему поможет больше байесовской вероятности? Или еще лучше: какие методы ему позволят максимально приблизить выигрыш? Замечаете байесовскую структуру моих вопросов?

Вижу задачу максимизации полезности. Вижу структуру - максимизация выходов Zi при входных условиях Kj. Не вижу пространства независимых исходов и поэтому не вижу байеса.

Цитировать
Моделируя агента, ничего не знающего о шахматах, вы неспособны избавиться (важный рациональный навык) от вашего знания о шахматах.

С помощью Системы 2 есть алгоритмы, помогающие избавиться от своего знания. Общая идея - всякое решение раскладывается на элементарные характеристики. Далее конструируются другие решения из элементарных частей и разбирается почему они были отвергнуты.

Цитировать
И если агент будет обучаться игре, то ему лучше бы следить, чтобы алгоритм обучения учитывал предыдущую информацию (априорные) и то, какую вероятность класс расположения фигур, при котором выигрывают черные, назначает разным ходами (отношения правдоподобия).
Имхо, идет искажение задачи. Вместо оценки полезности вводится оценка вероятности. Верно утверждение "Ладья в 5 раз полезнее пешки", но неверно утверждение "Ладья в 5 раз чаще, чем пешка приводит к победе".
« Последнее редактирование: 07 Мая 2016, 16:45 от LswAgnostic »

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Знания берутся из наблюдения. Из декомпозиции наблюдения на отдельные части.
Это звучит просто, потому что наши мозги это делают просто (точнее нам кажется, что они делают это просто, потому что бОльшая часть этой работы скрыта от нас), но если вы попробуете написать алгоритм, который выполнит такую декомпозицию, то вы утонете в матстатистике.

Сравнения частей и выделения сходств и различий. Фиксировании эталонов. Формирования классификаций.
Это называется категоризация. Data clustering. Это зубодробительная матстатистика. Ну или, в качестве варианта, нейронные сети, делающие то же самое, но ещё менее понятным образом.

Композиции частей в стабильные объекты, наделенными характеристиками. Выделении степеней свободы объекта. Выделении влияния одних объектов на другие. Построении моделей, объясняющих наблюдения. Формировании формального аппарата, помогающего сделать выводы на основе моделей. Сравнении модели с наблюдениями. Формулировании целей. Выделении путей, приводящих к целе.
Вы говорите много умных слов, за каждым из которых я вижу "статистика, статистика, статистика"... Или вы знаете как можно сделать хоть что-то из этого не привлекая матстатистики?

Матстатистика, теория вероятности и соответственно, байесовская вероятность - применимы к независимым явлениям.
Применимы к независимым, да. И что?

Бессмыслен вопрос "Какова вероятность того или иного хода оппонента в шахматах?". Ход оппонента зависит от хода пропонента, зависит от ментальных моделей оппонента и т.д.

Возьмем модельную задачу "Игра в шахматы". Допустим рациональный агент ничего не знает о шахматах. Каково его рациональное поведение в этом случае? Как ему помогает байесовская вероятность и в каком виде?

Вот запись наблюдений рационального агента:
"Белая лампочка. Попытка передвижения маленькой черной фигурки с g7 на g6. Fail"
"Белая лампочка. Попытка передвижения белой толстой фигурки с h1 на h3. Fail"
"Белая лампочка. Попытка передвижения белой маленькой фигурки с a2 на a3. Success"
"Черная лампочка. Попытка передвижения белой маленькой фигурки с a3 на a4. Fail"
"Черная лампочка. Оппонент передвинул маленькую черную фигурку с g7 на g6."
"Белая лампочка. Попытка передвижения белой маленькой фигурки с h2 на h5. Fail"
и т.д.
Ну а вы как предполагаете проводить подобное исследование шахмат? У вас есть идеи, как это сделать не привлекая матстатистики? Расскажите нам о вашем видении этого, а то мне, лично, неясно вообще что творится в вашей голове, и что именно надо объяснить вам, чтобы вы поняли.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Когда вы спросили, я подумал про http://lesswrong.com/ и там немало статей про это в контексте утилитаризма, а так же прямо про функцию полезности и ожидаемою полезность. Это неочевидная важная проблема, затмеваемая очевидными важными проблемами.
Подмена пространств. Произошел переход от пространства исходов реальности к пространству исходов, моделируемых индивидуумом.
Вероятность исхода имеет смысл в первом пространстве, но не имеет смысла во втором.
У меня, к сожалению нет доступа (насколько я знаю) к пространству исходов реальности (чем бы это пространство ни было). Как индивидууму, мне приходя в голову разные исходы. Одни исходы я ожидаю уверенней, другие менее уверенней.

Во второй половине двадцатого века появляется идея рассматривать теорему Байеса и другие важные (вроде правила конъюнкции) моменты теории вероятностей, как нормативную модель принятия решений и правдонахождения для рациональных агентов. Было проведено множество исследований, в ходе которых люди решали выдуманные задачи и ошибки объяснялись расхождениями с нормативной рациональностью, а успехи - следованием ей.

Джейнс, ввел термин "заблуждение проецирования разума" и описал в книге "Probability Theory: The Logic of Science" множество примеров того, к чему приводят взгляд на вероятности, как на "что-то там вовне", вместо "вероятность - мера уверенности агента" (агентом может быть даже робот).

Потом Юдковский написал несколько статей и теперь я думаю о вероятностях, как о мере неуверенности агента. Но нам необязательно говорить об этом. Чем бы вероятности не являлись, мы все еще остаемся планирующими будущее агентами. В нашу голову приходя разные варианты будущего, в некоторых мы уверены больше чем в остальных. То же самое касается и того, какие действия увеличивают нашу уверенность в том, что конкретный вариант будущего реализуется. И для репрезентации этой неуверенности наиболее полезным инструментом является теорема Байеса.  И для краткости мы называем убеждения в которых мы не уверены (а это почти все наши убеждения об эмпирическом мире) - вероятностями.

Максимизация ожидаемой полезности напрямую зависит от оценки того, насколько вероятны разные исходы, которые мы стремимся претворить в жизнь. Даже если я буду делать ходы, которые сочту оптимизирующими мои шансы на выигрыш в матче против чемпиона мира, априорное ожидание моей победы настолько ниже априорного ожидания победы чемпиона, что можно и не садиться за стол. Инструментальная рациональность зависит от эпистемической.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Это называется категоризация. Data clustering. Это зубодробительная матстатистика.

В рамках данного треда, согласен что статистика используется. (Чтобы не вдаваться в терминологический спор)

Статистика используется для отделения случайного от неслучайного.
Статистика используется для выделения вида закономерностей между неслучайными аспектами величин.

Формула байесовской вероятности - это одна из неслучайных закономерностей между случайными величинами.

Соответственно остались неотвеченными вопросы, сходные с темой треда:
- почему в рамках lesswrong байесовская вероятность выделяется из всех остальных видов закономерностей?
- почему в рамках lesswrong статистика редуцируется до байесовской вероятности?

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Цитировать
В конце концов, хорошо известно что вы не можете использовать байесовские методы на множестве проблем из-за того, что байесовские вычисления сложны для подсчетов. Так почему бы не позволить цвести многим цветам? Почему бы не иметь больше одного инструмента в вашем наборе?

Это фундаментальное различие в сознании. Статистики старой школы думают в терминах инструментов и трюков, применяемых для определенных проблем. Байесианцы, по крайней мере этот байесианец, хотя я не думаю, что говорю только за себя — мы думаем в терминах законов.

Поиск законов это не то же самое что поиск особенно чистых и красивых инструментов. Второй закон термодинамики это не одно и то же, что и чистый и красивый холодильник.

Цикл Карно это идеальный двигатель — на самом деле идеальный. Нет двигателя, который бы питался от двух накопителей тепла и был бы эффективней чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, которые функционируют между одинаковыми накопителями тепла, имеют одинаковую эффективность.

Но, конечно, вы не можете использовать двигатель Карно для питания реальной машины. Двигатель машины имеет такое же сходство с двигателем Карно, что и шины автомобиля с идеальными катящимися цилиндрами.

Тогда ясно, что двигатель Карно бесполезный инструмент для постройки настоящей машины. Второй закон термодинамики, очевидно, неприменим здесь. Чересчур сложно сделать двигатель который будет отвечать таким условиям, в реальности. Просто игнорируйте термодинамику — используйте все что работает.

Это определенный род путаницы, который, как я думаю, управляет теми, кто все еще цепляется за старые методы.

Нет, вы не можете всегда делать точные байесовские вычисления для проблемы. Иногда вам надо искать аппроксимацию; на самом деле, часто. Это не значит что теорию вероятности нужно прекратить применять, так же как ваша неспособность вычислить аэродинамику самолета из атомных взаимодействий не означает что самолет не сделан из атомов. Какую бы аппроксимацию вы не использовали, она будет работать если является аппроксимацией идеального байесовского вычисления — и не будет работать в любом другом случае.

Доказательства когерентности и уникальности байесианства отметают оба пути. Так же как любой расчет, который подчиняется аксиомам когерентности Кокса (или любой из его переформулировок или обобщений) должен отображаться в вероятностях, так что точно так же любой не байесовский расчет должен провалить какой-либо из тестов на когерентность. Что, в свою очередь, приводит к наказаниями таким как голландское бронирование (прием комбинаций ставок, которые приводят к точным убыткам или отказу от комбинаций, которые дают точные выгоды).

Вы можете быть не способны вычислить оптимальный ответ. Но любая аппроксимация которую вы используете, с ее достоинствами и недостатками, должна быть объяснима с позиции байесовской теории вероятности. Вы можете не знать объяснения: но это не значит что его не существует.
...
Бесполезно быть простым на поверхностном уровне. Вы должны погрузиться глубже, чтобы найти стабильность.

Мыслите законами, а не инструментами. Необходимость вычислять аппроксимации к закону не меняет закон. Самолеты по-прежнему состоят из атомов, они не станут исключением только из-за аэродинамических вычислений. Аппроксимация существует на карте, не на территории. Вы можете знать второй закон термодинамики и все еще пробовать себя как инженера, строя несовершенный двигатель машины. Второй закон не перестает быть применим; ваше знание этого закона и цикла Карно помогает вам приблизиться к наибольшей эффективности, которую вы только можете достигнуть.

Мы не очаровываемся байесовскими методами только потому что они красивы. Красота всего лишь побочный эффект. Теоремы Байеса изящны, когерентны, оптимальны и доказуемо однозначны, потому что они относятся к законам.
Прекрасная вероятность

Добавлено 07 Мая 2016, 18:20:
Так же рекомендую ознакомится с мысленным экспериментом - фокусировкой неуверенности.
« Последнее редактирование: 07 Мая 2016, 18:20 от Muyyd »

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
В рамках данного треда, согласен что статистика используется. (Чтобы не вдаваться в терминологический спор)
Тут ни к чему терминологический спор. Если вы загляните в любую научную статью, которая делает какие-либо выводы из наблюдений или экспериментов, то вы увидите там матстатистку, вы увидите там матожидание, дисперсию и среднеквадратичное отклонение. В обязательном порядке, потому что из наблюдений невозможно сделать вывод не прибегая к матстатистике. Точнее не так. Люди могут делать выводы из наблюдений не прибегая к матстатистике, но люди склонны в этой деятельности совершать систематические ошибки. И единственный способ их избежать -- это проделывать всё строго и формально, а это значит -- заниматься матстатистикой.
Формула байесовской вероятности - это одна из неслучайных закономерностей между случайными величинами.
Мне ужасно не нравится эта ваша фраза, но и спорить с ней невозможно, потому что я не понимаю, что именно вы хотели донести этой фразой. А не нравится она мне потому, что свозь неё просвечивает непонимание вами:
1. разницы между формулой Байеса и байесовской вероятностью: вторая основана на первой, но это разные вещи, их следует отличать друг от друга. Формула Байеса работает и для частотной вероятности. И в частотной матстатистике формула Байеса -- это действительно один из многих костылей, из которых построена матстатистика -- почти так как вы и говорите, но с одним нюансом: не байесовская вероятность является одним из многих костылей частотной матстатистики, а теорема байеса является таким костылём.
2. закономерность -- это слово относящееся к чему-то из реального мира, байесовская же вероятность -- это сущность находящаяся в голове. И если мы говорим про байесовскую вероятность, то для неё формула байеса -- это не закономерность, а правило. То есть это инструмент. Типа молотка. Только молоток создан для работы с гвоздями, а теорема байеса для работы с вероятностями. Теорема Байеса в байесианстве порождает понятие вероятностей, и таким образом она порождает байесианство в целом.
Соответственно остались неотвеченными вопросы, сходные с темой треда:
- почему в рамках lesswrong байесовская вероятность выделяется из всех остальных видов закономерностей?
Предыдущий мой пассаж ответил на этот вопрос? Если нет, то попробуйте ответить на следующий вопрос:
какие закономерности, на ваш взгляд, должны стоять выше понятия вероятности, или хотя бы вровень с ней?
- почему в рамках lesswrong статистика редуцируется до байесовской вероятности?
Если совсем вкратце, то матстатистика -- это набор слабосвязанных друг с другом костылей, которые не могут быть связаны друг с другом в цельную систему потому, что матстатистика, опираясь на частотное опредление вероятности, отрицает таким образом субъективную природу вероятности. Познание, как процесс, базируется на матстатистике, на вероятности, на сомнении. На выдвижении гипотез и проверке их. Познание -- субъективный процесс, но поскольку матстатистика отрицает субъективность вероятности, она вынуждена постоянно создавать эту субъективность заново. Байесовая же вероятность, которая по определению субъективна, отлично приспособлена для отражения субъективных знаний, и из неё выводятся методы матстатистики как логичные следствия.
Но это если вкратце. Если подробно, то вам следует либо почитать Юдковского, либо понять, фразу "вероятность находится в голове", после чего взять учебник по матстатистике и почитать его, глядя на все его построения двойным взглядом: с точки зрения частотного определения и с точки зрения байесовского. Ещё можно посмотреть на теорию кодирования информации, теорию сжатия информации с точки зрения байесовской вероятности -- на них тоже очень хорошо видно разницу.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
какие закономерности, на ваш взгляд, должны стоять выше понятия вероятности, или хотя бы вровень с ней?

1+1=2; ((A=>B) and (B=> C)) => (A => C); вид случайного распределения(нормальное, пуасоново, равномерное и т.д.); матожидание.

Добавлено 08 Мая 2016, 00:34:
Потом Юдковский написал несколько статей и теперь я думаю о вероятностях, как о мере неуверенности агента. Но нам необязательно говорить об этом. Чем бы вероятности не являлись, мы все еще остаемся планирующими будущее агентами. В нашу голову приходя разные варианты будущего, в некоторых мы уверены больше чем в остальных. То же самое касается и того, какие действия увеличивают нашу уверенность в том, что конкретный вариант будущего реализуется. И для репрезентации этой неуверенности наиболее полезным инструментом является теорема Байеса.  И для краткости мы называем убеждения в которых мы не уверены (а это почти все наши убеждения об эмпирическом мире) - вероятностями.

Мера неуверенности != вероятность.

Мера неуверенности - в математике рассматривается нечеткой логикой и нечеткими множествами.

К мере неуверенности не применимы Байесовские законы, потому что мера неуверенности не является вероятностью.

ps
Мера полезности != вероятности; мера уверенности != вероятности; мера желательности != вероятности.
Все эти меры могут записываться в виде процентов, и из-за этого их можно спутать с вероятностью. Но они про другое, они ведут себя по другому, и к ним применимы другие законы.

Добавлено 08 Мая 2016, 00:42:
Тут ни к чему терминологический спор. Если вы загляните в любую научную статью, которая делает какие-либо выводы из наблюдений или экспериментов, то вы увидите там матстатистку, вы увидите там матожидание, дисперсию и среднеквадратичное отклонение.

Изначально утверждалось, что всякая кластеризация появляется как результат применения математической статистики.
Это не так.
Например, кластеризация чисел на целые, положительные, отрицательные, дробные, простые, иррациональные, Фибоначчи, Мерсенна делается на основе поведения чисел. На основе законов, которыми описывается данная группа чисел.

ps
Также неявно подразумевается, что все знания появляются в результате наблюдения за реальностью. Это не так.
Значительная часть знаний появляется в результате наблюдения за моделями. И исследования этих моделей.
Большая часть точных наук построена в результате исследования моделей.
« Последнее редактирование: 08 Мая 2016, 00:42 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Моя модель обучения и убеждения, разумеется, байесовская - в физическом смысле. И, если бы я хотел вас убедить в том, что, не только это возможно, но что
1. люди действительно моделируют неуверенность\уверенность с помощью вероятностей и теоремы Байеса;
2. что это один из (с учетом того, что я мало знаком с этой областью) мейнстримных способов моделирования убеждений (убеждение не как идеал, вроде "демократия - хорошо", а как знание_о_мире "в моем холодильнике возможно есть молоко")
В соответствии с принципом близости к задаче мне следовало бы, как это делается в литературе, разобрать несколько примеров, где мы могли бы посмотреть, какие модели неполного знания удобней и согласованней (должен признаться, я могу лишь приводить примеры и анализировать их с помощью теоремы Байеса, а не сравнивать разные способы моделирования неуверенности). Однако мне очень не хочется этим заниматься.

Вместо этого, я могу указать на литературу для чтения.

Юдковский:
Убеждения должны окупаться Убеждения, как ожидания. Убеждение - не то, что люди говорят, а то, что они ожидают. Убеждения не являющиеся ожиданиями принимают разные формы: Вера в убеждения, Провозглашения и крики ободрения, Убеждение как одеяние.
Интуитивное объяснение теоремы Байеса
A Technical Explanation of Technical Explanation Большая статья про особенности рациональности и байесовской эпистемологии: вероятностная фальсифицируемость, ожидание проснуться с тентаклем вместо руки, религия Байесианства и правило святого Лапласа.
Закономерная неуверенность. Статья о том, как при столкновении со случайными событиями люди склонны принимать решения по "случайному" алгоритму, вместо того, чтобы действовать по упорядоченному.
Рациональность: введение. Статья  Роба Бенсинджера из Rationality: From AI to Zombies.
Лотереи: бессмысленная трата надежды. Статья об эффекте уверенности и оценке шанса на примере лотереи. "Но шанс то есть?" - так люди говорят.
But There's Still A Chance, Right? Статья об эффекте уверенности и оценке шанса с другими примерами и новыми выводами.
Софизм серого. Статья про то, что убеждения не делятся исключительно на "точно произойдет" (1), может быть да\может быть нет (.5), точно нет (0). В скобках, разумеется, вероятности.
Absolute Authority. Про чудовщных размеров разрыв между людьми, привыкшими к уверенности и наукой, утверждения которой часто носят вероятностный характер, как и большая часть человеческого знания.
Как убедить меня в том, что 2+2=3 Описывается причинная цепочка, которая приводит людей к убеждению 2+2=4 и как такая же цепочка событий может убедить рационалиста в том, что 2+2=3.
Infinite Certainty В рамках байесовской эпистемологии, в соответствии с законами вероятности принято назначать логическим истинам вероятность 1. В рамках фреймворка "вероятность - мера уверенности" с вероятностями 1 возникают некоторые сложности. Эта статья описывает некоторые из них.
0 And 1 Are Not Probabilities . Знаменитое  доказательство Кокса (и разные его расширения и переделки) показывает, что все способы репрезентации неуверенности, подчиняющиеся разумным правилам будут изоморфны друг другу. И если перевести вероятности путем десятичного логарифма в децибелы, то будет видно, что 1 и 0 превращаются в бесконечности, что, в свою очередь требует свидетельство бесконечной силы.
Entropy, and Short Codes Энтропия Шеннона и вероятностная формализация бритвы Оккама - Сообщение минимальной длины
Mutual Information, and Density in Thingspace. Продолжение предыдущей статьи.
Conditional Independence, and Naive Bayes Эту статью я не осилил.
Прекрасная вероятность Про разные подходы к вероятностям и законам.
The Second Law of Thermodynamics, and Engines of Cognition Вероятностное доказательство необходимости взаимодействия с реальностью для получения точных убеждений о ней.
Perpetual Motion Beliefs Продолжение предыдущей статьи.
Decoherence is Simple Вероятностная интерпретация сложности гипотезы на примере "decoherence (a.k.a. many-worlds) version of quantum mechanics".
Decoherence is Falsifiable and Testable Вероятностная интерпретация фальсифицируемости (опровергаемости) и верифицируемости (способности делать новые предсказания), а так же формализации бритвы Оккама - "Индукция Соломонова" и "Сообщение минимальной Длинны".



Decision Making and Rationality in the Modern World (Fundamentals in Cognition) 1st Edition
Книга Становича про рациональность.
Во второй главе рассматривается рациональность действий (инструментальная рациональность - максимизация ожидаемой полезности; какое действие позволит максимально приблизить цель) и поведенческие паттерны, того, как люди отклоняются от норм инструментальной рациональности.
В третьей главе описывается рациональность убеждений (как придерживаться убеждений, которые соответствуют доступным свидетельствам - эпистемическая рациональность). И поведенческие паттерны, того, как люди отклоняются от норм эпистемической рациональности.
Обе рациональности - вероятностные, разумеется.

A Critical Introduction to Formal Epistemology (Bloomsbury Critical Introductions to Contemporary Epistemology) Применение формальной системы (тервер - Байес) для моделирования убеждений и разные трудности связанные с этим. Лодка, в которой плывет человек медленно погружается под воду. Он не верит в то, что тонет. Рациональны ли его убеждения?

Bayesian Epistemology 1st Edition Bayes is all the rage in philosophy. Metaphysicians discuss the nature of probability, philosophers of religion recast the problem of evil and the argument from design in probabilistic terms, ethicists appeal to decision- and game-theoretic arguments. We ride this wave and examine what probabilistic models have to offer for certain topics in epistemology and for epistemological questions in philosophyof science. Our approach is an engineering approach rather than a foundational approach. Just as engineers do not bother with the foundations of geometrywhen constructing a bridge, we are consumers of probabilitytheoryand the theoryof Bayesian Networks and construct models to resolve philosophical questions.


Probability Theory: The Logic of Science 1st Edition
Впечатлившая Юдковского своей дотошностью книга про репрезентацию убеждений с помощью тервера от автора Mind projection fallacy. И статьи Юдковского на эту тему: Вероятность находится в голове, Probability is Subjectively Objective, Frequentist Statistics are Frequently Subjective.

Книги Канемана, разумеется, без них куда.

И финальная статья: Ожидая короткие понятийные расстояния

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
1+1=2; ((A=>B) and (B=> C)) => (A => C); вид случайного распределения(нормальное, пуасоново, равномерное и т.д.); матожидание.
1+1=2 -- это девиз рационалистов Древнего Египта, транзитивность -- рационалистов Древней Греции. Распределения -- это для рационалистов XIX, может первой половины XX века.

Мера неуверенности != вероятность.

Мера неуверенности - в математике рассматривается нечеткой логикой и нечеткими множествами.
Нечёткая логика -- это одна из многих попыток уложить реальные рассуждения в формальную систему. Байесианство -- это другая такая попытка. И этими двумя попытками всё не ограничивается. Вы можете почитать об этом у Judea Pearl в "Probabilistic Reasoning in Intelligent Systems", он там даёт некий метавзгляд на эти теории.

К мере неуверенности не применимы Байесовские законы, потому что мера неуверенности не является вероятностью.
А вот тут вы просто рассуждаете не зная. Вам давали ссылки, где разбиралась мера неуверенности и законы, которые позволяют эту меру неуверенности пересчитывать численно.

Например, кластеризация чисел на целые, положительные, отрицательные, дробные, простые, иррациональные, Фибоначчи, Мерсенна делается на основе поведения чисел. На основе законов, которыми описывается данная группа чисел.
Это математика. Это не реальность, а искусственный мир, который существует только в голове у человека и который живёт по своим законам.

Также неявно подразумевается, что все знания появляются в результате наблюдения за реальностью. Это не так.
Значительная часть знаний появляется в результате наблюдения за моделями. И исследования этих моделей.
Большая часть точных наук построена в результате исследования моделей.
В некотором смысле, исследования моделей не создают новых знаний. Те же математики, рассуждая о некой аксиоматической системе, считают что аксиомы задают множество истинных утверждений. Что оно уже есть, уже задано. То же самое и с любой моделью: она определяет все выводы, даже если мы до них ещё не доковырялись.
Такой взгляд далеко не всегда удачный и удобный, но вы попробуйте посмотреть с этой точки зрения, и попробуйте увидеть мир с этой точки зрения. Мне кажется, это поможет вам отделить мух от котлет. Во всяком случае, это позволит вам окинуть взором ограничения, которые накладывает умозрительный метод познания, метод нацеленный на исследования моделей. Это позволит вам увидеть, как этот метод вынужден взаимодействовать с другими методами, и может ли он при этом обойтись без статистики.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Заботал теорию. Действительно, есть направление, когда в качестве правдоподобия используется число схожее с вероятностью и формула расчета, схожая с формулой Байеса.

В тоже время, это один из вариантов моделирования правдоподобия, не самый удачный.

Плюсы байесовского коэффициента правдоподобия:
- простой: коэффициент правдоподобия записывается одним числом, вклад в комплексную величину считается линейным
- легкий для обучения людей: формулы расчета схожи с расчетом вероятности
- есть примеры использования в computer science: наивный байесовский фильтр спама

Минусы байесовского коэффициента правдоподобия:
- считает исходные величины - независимыми между собой
- считает вклад элементарных величин - линейным
- считает случайные величины распределенными - равномерно
- не используется в современном computer science. Не используется в экспертных системах, в machine learning-е, в программах-ботах
- программы основанные на других коэффициентах правдоподобия показывают лучшие результаты, чем код, основанный на байесовском коэффициенте правдоподобия

Цитировать
Программные спам-фильтры, построенные на принципах наивного байесовского классификатора, делают «наивное» предположение о том, что события, соответствующие наличию того или иного слова в электронном письме или сообщении, являются независимыми по отношению друг к другу. Это упрощение в общем случае является неверным для естественных языков таких как английский, где вероятность обнаружения прилагательного повышается при наличии, к примеру, существительного.

Пример, показывающий неудачность байесовского коэффициента правдоподобия.
Цитировать
Пусть вероятность брака у первого рабочего p_1=0,9, у второго рабочего — p_2=0,5, а у третьего — p_3=0,2. Первый изготовил n_1 = 800 деталей, второй — n_2=600 деталей, а третий — n_3=900 деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Формула Байеса работает для решения данной задачи при условии, что:
- независимы между собой - брак в работе, складывание деталей в общую группу, выбор детали для тестирования
- вероятность брака равномерна
- детали смешиваются в кучу равномерно
- начальник цеха равномерно выбирает деталь для тестирования

Как только эти условия меняются на другие, перестает работать и формула Байеса.
Например, в задаче могут быть следующие уточнения:
- вероятность брака растёт к вечеру,
- детали выкладываются в линию - сначала первого, затем второго, и далее - третьего рабочего;
- начальник цеха выбирает деталь с нормальным распределением от середины

Задача не решается через байеса, но решается через:
- нейронные сети, имеющие нелинейные операторы
- fuzzy logic (нечеткие множества)
- частотную вероятность





« Последнее редактирование: 08 Мая 2016, 11:48 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Похоже мы рассматриваем разные задачи. Или разные области применения. Или еще что-то. Я тут уже за рамками своей компетентности. Можно открыть амазон или genlib со словом bayes и посмотреть литературу, где используется байесовский вывод (много литературы). В The Oxford Handbook of Thinking and Reasoning лишь одна глава посвящена байесовскому выводу (Bayesian inference)
Цитировать
Key Words: Bayesian inference, rational models, inductive inference, learning

Conclusions and Future Directions

The Bayesian toolkit offers several contributions to understanding human thinking and reasoning. It provides a unifying mathematical language for framing cognition as the solution to inductive problems and for building principled quantitative models of thought with a minimum of free parameters and ad hoc assumptions. Deeper, it offers a framework for understanding why the mind works the way it does, in terms of rational inference adapted to the structure of real-world environments, and what the mind knows about the world—abstract schemas and intuitive theories revealed only indirectly through how they constrain generalizations. The new tools we obtain by adopting this perspective allow us to integrate symbolic representations with statistical learning, identify human inductive biases and understand their origins, and connect cognitive psychology with other scientific disciplines.
Most important, the Bayesian approach lets us move beyond classic “either-or” dichotomies that have long shaped and limited debates in cognitive science: “empiricism versus nativism,” “domain-general versus domain-specific,” “logic (rules, symbols) versus probability (statistics, numbers).” Instead we can ask harder questions of reverse engineering, with answers potentially rich enough to help us build more human-like artificial intelligence. The future directions for Bayesian models involve grappling with some of the central questions of cognitive science. How can domain-general mechanisms of learning and representation build domain-specific systems of knowledge? How can structured symbolic knowledge be acquired by statistical learning? The answers that are emerging from current research suggest new ways to think about the development of a cognitive system. Powerful abstractions can be learned surprisingly quickly, together with or prior to learning the more concrete knowledge they constrain. Structured symbolic representations need not be rigid, static, hardwired, or brittle. Embedded in a probabilistic framework, they can grow dynamically and robustly in response to the sparse, noisy data of experience.
Так же там есть глава "causal learning"
Цитировать
Key Words: causal learning, rationality, associative models, causal models, causal Bayes nets, Bayesian causal models, temporal contiguity, causal invariance, intervention, empirical knowledge

Еще есть глава "rational argument"

Цитировать
Abstract
Argumentation is an integral part of how we negotiate life in a complex world. In many contexts it matters, furthermore, that arguments be rational, not that they are simply convincing. Rational debate is subject to both procedural norms and to epistemic norms that allow the evaluation of argument content. This chapter outlines normative  rameworks for argumentation (dialectical, logical, and Bayesian); it then summarizes psychological research on argumentation, drawn from cognitive psychology, as well as a number of applied domains.
Key Words: argumentation, logic, probability, evidence, reasoning, inference, belief change

Theoretical Frameworks
...
An individual’s degree of belief in the claim is represented by a probability. Bayes’ theorem, which follows from the fundamental axioms of probability theory, then provides a normative standard for belief revision; it thus provides a formal tool for evaluating how convinced that individuals should be about the claim in light of that particular piece of evidence. There are three probabilistic quantities involved in Bayes’ theorem that determine what degree of conviction should be associated with a claim once a piece of evidence has been received: prior degree of belief in the claim, how likely the evidence would be if the claim were true, and how likely it would be if the claim were false...

И, в целом, теорема Байеса там упоминается регулярно.
Надеюсь, вам стало понятней, почему байесовская вероятность занимает центральное место в lw рациональности? Это разумеется, не показывает, что байесовская рациональность самая рациональная рациональность. С другой стороны, если появится другая модель рациональности, основанная на, например, fuzzy logic, я бы, наверное, с интересом исследовал бы ее.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля

Софизм серого. Статья про то, что убеждения не делятся исключительно на "точно произойдет" (1), может быть да\может быть нет (.5), точно нет (0). В скобках, разумеется, вероятности.
Infinite Certainty В рамках байесовской эпистемологии, в соответствии с законами вероятности принято назначать логическим истинам вероятность 1. В рамках фреймворка "вероятность - мера уверенности" с вероятностями 1 возникают некоторые сложности. Эта статья описывает некоторые из них.


Согласен, что у утверждений есть коэффициент правдоподобия.

Закономерная неуверенность. Статья о том, как при столкновении со случайными событиями люди склонны принимать решения по "случайному" алгоритму, вместо того, чтобы действовать по упорядоченному.
Лотереи: бессмысленная трата надежды. Статья об эффекте уверенности и оценке шанса на примере лотереи. "Но шанс то есть?" - так люди говорят.
Absolute Authority. Про чудовщных размеров разрыв между людьми, привыкшими к уверенности и наукой, утверждения которой часто носят вероятностный характер, как и большая часть человеческого знания.


Согласен, что байесовский коэффициент правдоподобия может показывать лучшие результаты, чем Система 1 людей.
Не согласен, что на сегодняшний момент байесовский коэффициент является лучшей моделью правдоподобия.

0 And 1 Are Not Probabilities . Знаменитое  доказательство Кокса (и разные его расширения и переделки) показывает, что все способы репрезентации неуверенности, подчиняющиеся разумным правилам будут изоморфны друг другу. И если перевести вероятности путем десятичного логарифма в децибелы, то будет видно, что 1 и 0 превращаются в бесконечности, что, в свою очередь требует свидетельство бесконечной силы.

Теорема Кокса говорит о чуть другом. Она говорит о том, что если выбрать удобный для расчетов коэффициент правдоподобия, то для его расчета будут использоваться формулы, схожие с формулой Байеса.
Но "удобный для расчетов" != "дающий лучшие результаты".

Современные представления говорят о том, что лучшие результаты показывают ансамбли. Набор независимых противоречивых между собой моделей. В тоже время Кокс при исследованиях и доказательстве исходил из того, что правдоподобие обязано быть непротиворечивым.

https://en.wikipedia.org/wiki/Ensemble_learning

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Мне кажется, что кто-то увяз в деталях и не видит за деревьями леса.

Вы систематически демонстрируете неспособность уложить в единую систему разные системы знаний. Это НЕ свидетельство глупости -- это лишь свидительство того, что вы проглотили за последнее время слишком большой объём информации, слишком много разных новых систем. И если так, то я бы рекомендовал плюнуть на всё и заняться применением всей этой теории на практике. Если вы реально обладаете теми знаниями, ссылки на которые вы приводите, то вы сможете неплохо зарабатывать денег. А года через два-три, максимум пять, те вопросы, которые вы ставите сейчас, для вас уже не будут вопросами.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Вы систематически демонстрируете неспособность уложить в единую систему разные системы знаний. [..] И если так, то я бы рекомендовал плюнуть на всё и заняться применением всей этой теории на практике.

Неожиданный переход )

Вы систематически демонстрируете неспособность уложить в единую систему разные системы знаний.

Ты это так говоришь, как будто противоречивость в знаниях - это что-то плохое. Почему ты знаешь, что плохо иметь противоречия в знаниях?


А года через два-три, максимум пять, те вопросы, которые вы ставите сейчас, для вас уже не будут вопросами.

Что изменится?

ps
Предлагаю перейти на ты. Удобно?
« Последнее редактирование: 09 Мая 2016, 00:36 от LswAgnostic »

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Неожиданный переход )
Простите. Это ad hominem, но очень сложно что-то объяснять человеку не думая при этом о том, что творится в его голове. А если думать о том, что творится в голове у человека, очень сложно не начать говорить об этом.
Ты это так говоришь, как будто противоречивость в знаниях - это что-то плохое. Почему ты знаешь, что плохо иметь противоречия в знаниях?
Противоречия в мировоззрении -- это что-то плохое, да. Они мешают видеть противоречия, вылезающие из противоречивого набора аксиом. Именно поэтому всю дорогу человечество занимается подчастую вещами, которые выглядят полным идиотизмом. Типа критянина, который заявил, что все критяне лжецы. Или брадобрея, который должен брить тех и только тех, кто не бреется сам. Или создают теорию относительности или квантовую механику, потому что иначе никак не удаётся разрешить наблюдаемые противоречия.

Но проблема даже не в противоречиях самих по себе, а в том, что есть два типа противоречий:
1. неибежные противоречия на стыках разных теорий, которые по разному описывают реальность
2. противоречия внутри теории, которые фальсифицируют теорию и отправляют её в утиль.

Первые надо отличать от вторых. Потому что, противоречие первого типа неустранимо и не так страшно, оно требует определённой аккуратности в движениях, но не более того. Противоречие же второго типа требует пересмотра теории. И если мы не отличаем вторые от первых, то мы либо проходим мимо критических противоречий, либо начинаем доказывать, что байесианство построено неверно, потому что противоречиво.

Первые противоречия со временем категоризируются, выделяются классы систематических "ошибок", эти ошибки приписываются теориям -- то есть, голова видит противоречие в описаниях одного и того же явления разными теориями, классифицирует это противоречие, и говорит что-нибудь типа "ааа... это систематическая ошибка теории X, в данной ситуации верный ответ даёт теория Y", или "ммм... невозможно окончательно классифицировать противоречие: недостаточно данных... вот если бы я знал то-то и то-то, то я бы смог классифицировать противоречие и выбрать правильную теорию для данного случая."
Что изменится?
Произойдёт выход на следующий уровень. Это испытывал каждый, даже испытывал многократно, но не каждый осознавал опыт. Память человеческая не столь убога как компьютерная, и знания хранясь там постоянно меняются, они наполняются глубинным смыслом, там проставляются связи этих знаний с другими, вырабатываются дополнительные знания, и умения этими знаниями пользоваться, существующие умения уходят на уровень навыков и применяются уже неосознанно, то есть не забивая сознание этими процессами, оставляя больше простора для рефлексии, осознания того что творится в голове. Происходит своего рода кристаллизация, и оттуда становится возможным (и даже неизбежным) движение на более высокий уровень.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Противоречие же второго типа требует пересмотра теории.

Почему вы знаете, что противоречивость в теории требует её пересмотра?

ps
Цитировать
A paraconsistent logic is a logical system that attempts to deal with contradictions in a discriminating way. Alternatively, paraconsistent logic is the subfield of logic that is concerned with studying and developing paraconsistent (or "inconsistency-tolerant") systems of logic.
Цитировать
Applications

Paraconsistent logic has been applied as a means of managing inconsistency in numerous domains, including:[16]
- Semantics. Paraconsistent logic has been proposed as means of providing a simple and intuitive formal account of truth that does not fall prey to paradoxes such as the Liar. However, such systems must also avoid Curry's paradox, which is much more difficult as it does not essentially involve negation.
- Set theory and the foundations of mathematics (see paraconsistent mathematics). Some believe[who?] that paraconsistent logic has significant ramifications with respect to the significance of Russell's paradox and Gödel's incompleteness theorems[dubious – discuss].
- Epistemology and belief revision. Paraconsistent logic has been proposed as a means of reasoning with and revising inconsistent theories and belief systems.
- Knowledge management and artificial intelligence. Some computer scientists have utilized paraconsistent logic as a means of coping gracefully with inconsistent information.[17]
- Deontic logic and metaethics. Paraconsistent logic has been proposed as a means of dealing with ethical and other normative conflicts.
- Software engineering. Paraconsistent logic has been proposed as a means for dealing with the pervasive inconsistencies among the documentation, use cases, and code of large software systems.[8][9]
- Electronics design routinely uses a four valued logic, with "hi-impedance (z)" and "don't care (x)" playing similar roles to "don't know" and "both true and false" respectively, in addition to True and False. This logic was developed independently of Philosophical logics.


https://en.wikipedia.org/wiki/Paraconsistent_logic



Добавлено 09 Мая 2016, 02:15:
В некотором смысле, исследования моделей не создают новых знаний. Те же математики, рассуждая о некой аксиоматической системе, считают что аксиомы задают множество истинных утверждений. Что оно уже есть, уже задано. То же самое и с любой моделью: она определяет все выводы, даже если мы до них ещё не доковырялись.

Согласен с точки зрения классической математики и не согласен с точки зрения конструктивной математики (интуиционистской логики).

Имхо, конструктивная математика точнее отражает реальность, чем классическая математика.

Конструктивная математика
Интуционизм
Интуционистское исчисление

Добавлено 09 Мая 2016, 02:44:
Произойдёт выход на следующий уровень. Это испытывал каждый, даже испытывал многократно, но не каждый осознавал опыт.

Почему вы знаете, что так происходит всегда? Почему вы верите, что это произойдет в данном случае? Нет ли в этом "ошибки выжившего"?

Имхо, опасно исходить из презумпции, что в Системе 1 желаемый результат достигается сам собой.

Я исхожу из того, что дискуссия с вами помогает мне в интеграции знаний и переводе их в навык. Спасибо вам за конструктивный диалог!


ps
Личная история от того, кто "не выжил":

Цитировать
За это время Форд многое узнал о программировании и базах данных, потратил уйму времени на изучение информатики. И всё это для того, чтобы делать одни и те же вещи, а потом забывать об этом, и делать их снова. Это словно фильм День сурка о фильме День сурка. Он продолжал читать свои письма и понимал, что все двадцать лет говорил о: [..]

Иногда он говорил другим людям, как нужно себя вести, иногда они говорили ему. Само содержание этих споров не сильно изменилось.
https://habrahabr.ru/company/pechkin/blog/282223/
« Последнее редактирование: 09 Мая 2016, 02:54 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Почему вы знаете, что противоречивость в теории требует её пересмотра?
Хоть вопрос и не мне адресован, но он навел меня на мысли, и я ими поделюсь.

Трудно сказать, что за вопрос вы задавали, так как вы в байесовкую эпистемологию, похоже, не слишком погружены. Но вот что (т.е. прочитав вопрос, я подумал: "вижу байесовскую структуру в этом вопросе"; я не настолько крутой байесовский рационалист, чтобы на ходу произвоть то, что вы увидите дальше) я услышал:
  Опишите цепочку событий-свидетельств, в ходе наблюдения за ходом которых, увеличилось ваше ожидание того, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше.

Это скорее то, что мог бы один супер умный байесовский максимизатор функции ожидаемой полезности спросить другого (или скорее моделируемый мной в теченкии некоторого времени супер умный байесовский максимизатор функции ожидаемой полезности; я всего лишь человек). На лессвронг.ком людей описывают, как "Just as evolving organisms are adaptation-executors and not fitness-maximizers, so minds are behavior-executors and not utility-maximizers."

Добавлено 09 Мая 2016, 08:25:
  Опишите цепочку событий-свидетельств, в ходе наблюдения за ходом которых, увеличилось ваше ожидание того, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше.
На что можно было бы ответить:
Я ожидаю, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше, потому что это является следствием привилегированной гипотезы о непротиворечивости территории, т.е. я стремлюсь менять свою карту в сторону большего соответствия территории, в первую очередь, во-вторую - привилегирировать менее противоречивые теории. Exploration and Exploitation, знаешь ли.
« Последнее редактирование: 09 Мая 2016, 08:25 от Muyyd »

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
мог бы один супер умный байесовский максимизатор функции ожидаемой полезности спросить другого

Согласен с такой переформулировкой. Спасибо за перевод из одного понятийного базиса в другой.

Я ожидаю, что действия, предсказанные более противоречивыми теориями будут скорее приводить к появлению вариантов реальности, располагающихся ниже в иерархии предпочтений, а действия, предсказанные менее противоречивыми теориями - к располагающимся выше, потому что это является следствием привилегированной гипотезы о непротиворечивости территории, т.е. я стремлюсь менять свою карту в сторону большего соответствия территории, в первую очередь, во-вторую - привилегирировать менее противоречивые теории. Exploration and Exploitation, знаешь ли.

Из теоремы Геделя о неполноте следует, что всякая карта будет: или противоречивой, или неполной, но не то и другое - одновременно.

Какой выбор рационального агента дает большую максимальную полезность? Почему?:
- поддерживание и использование неполной и непротиворечивой карты
- поддерживание и использование полной и противоречивой карты

Производительность Системы 2: 1-5 последовательных выводов в секунду.
Производительность Системы 1: 1e6-1e12 параллельных сопоставлений в секунду.
Систему 1 можно натренировать на выделение противоречий.
Система 1 не способна переформулировать модели для устранения противоречий.
Система 2 способна переформулировать модели для устранения противоречий.

Переформулирование модели с целью устранения противоречия является затратной операцией:
- 1e3-1e4 выводов на переформулирование. 1-3 часа загрузки Системы 2 (1-3 часа жизни)
- 1e4-1e6 предъявлений Системой 2 Системе 1 для перекалибровки Системы 1 и приобретение нового навыка. (1-300 часов жизни)

Какой выбор дает большую максимальную полезность на длительном периоде? В каких условиях выгоднее одно, в каких - другое?:
- Устранение противоречий в своей модели раз за разом
- Однократное освоение навыка "оперирование противоречивыми моделями" + Оперирование противоречивыми моделями раз за разом
« Последнее редактирование: 09 Мая 2016, 12:03 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Я не понимаю теорему Геделя на формальном уровне. Ровно как и спецификацию кода Bayesian superintelligence, модифицирующего свой код в соответствии с его ожиданиями того, как эти модификации оптимизируют его возможность максимизировать ожидаемую полезность. Вполне возможно, что Bayesian superintelligence придется решать эту проблему, но мне тут предпочтительней молчать, чтобы не выглядеть идиотом еще больше, чем сейчас.

Однако, если речь идет про мапирование (увеличение соответствия между моделью реальности в мозге отдельного человека и реальностью)  в исполнении людей, то тут мне приходят в голову другие варианты.

А именно, из байесовской интерпретации второго закона термодинамики следует фундаментальная неполнота модели реальности (карты) для любого человека. Если я спрошу: "Сколько кошачьих волосков разбросано по моей квартире", то у вас наверняка будут некоторые предположения (относительно которых у вас будет разные уровни уверенности\неуверенности), но вероятность угадать точное число больше, чем вероятность саморазложения воды в стакане на лед и электричество, но вполне понятно, что угадать будет трудно.

Также, ограничения вычислительных способностей человеческого мозга (не знаю, можно ли в данном случае говорить "с необходимостью", но очень хочется) является сильным свидетельством в пользу ожидания найти множество противоречий в карте любого мозга.

Модели реальности в любом человеческом мозге содержат и противоречия и неполны.

Советую вам ознакомиться с статьей «Dual-Process Theories of Deductive Reasoning: Facts and Fallacies» или посмотреть видео Частые заблуждения про две системы мышления. Вы делаете специфические утверждения о работе двух систем, и у меня чувство (хоть я и не знаком с этой теорией достаточно чтобы указать конкретно) что с вашими рассуждениями что-то не так.

Что касается проблемы по приоритезации задач с точки зрения применения к ним Системы 1 или Системы 2, то у меня есть мнение, но ничего нового сказать не могу.

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Почему вы знаете, что противоречивость в теории требует её пересмотра?
Потому что формальная логика -- это очень полезно. Это очень удобно. Формальная логика даёт критерии верности и неверности. Выбирая между разными стратегиями поведения я могу проверить каждую из них на непротиворечивость и отместь те, которые не прошли проверку. Это реально удобно. Ради этого логику и придумали. И ради возможности применять логику все знания причёсывают до состояния, когда они станут логически непротиворечивыми. Пускай даже и не всегда, а лишь в рамках какой-то области применимости.
https://en.wikipedia.org/wiki/Paraconsistent_logic
Я некоторое время сильно радовался такой штуке как троичная логика. И не только логика: троичная уравновешенная система счисления, троичные логические элементы для построения троичного компьютера... Я до сих пор полагаю, что IT совершили ошибку, выбрав в качестве базы двоичную систему счисления, надо было брать троичную, и строить троичные компьютеры. Двоичные было проще придумать, и при малом масштабе выгоды от троичности были невелики, если вообще были. Но когда речь пошла об увеличении разрядности операндов/адресов памяти до 16 бит, 32, 64, 128... троичность дала бы заметную экономию в количестве транзисторов.
Но, фишка в том, что со временем я начал серьёзно подозревать, что от расширения множества {true, false} конечным набором других значений, ничего принципиально не меняется. То есть, количество транзисторов может и станет чуть меньше, а вот с точки зрения программиста всё останется как было.
Согласен с точки зрения классической математики и не согласен с точки зрения конструктивной математики (интуиционистской логики).
Я не просил соглашаться. Я предлагал лишь смотреть иногда на ситуацию через эту призму. Она иногда вскрывает неожиданные свойства ситуации.

Почему вы знаете, что так происходит всегда? Почему вы верите, что это произойдет в данном случае? Нет ли в этом "ошибки выжившего"?
Потому что у меня есть некое более глубокое понимание того, что именно происходит. Оно мутное понимание, я не могу его вербализовать полностью, но это понимание говорит, что человек не может освоить инструмент не пользуясь этим инструментом. Это понимание описывает мне, что именно происходит в процессе использования инструмента, особенно сложного инструмента.

Имхо, опасно исходить из презумпции, что в Системе 1 желаемый результат достигается сам собой.
А я не говорю, что он будет достигнут сам собой. Вам придётся работать.

Если я играю в шахматы, не читая учебников, не слушая лекций, разборов партий, не решая задачек. Просто играю в шахматы. Значит ли это что мой уровень игры в шахматы растёт сам по себе? Я ведь не работаю над ним.

Личная история от того, кто "не выжил":
https://habrahabr.ru/company/pechkin/blog/282223/
Любопытная история. Я иногда занимаюсь "рыбалкой": роюсь по жёсткому диску, и иногда нахожу очень внезапные вещи. Но у меня не было столь постоянных интересов как у героя той истории, поэтому моя жизнь была гораздо разнообразнее. И поэтому проблемы "топтаться на одном месте" у меня не случалось. Хотя... В отношении музыки творится именно это. Я сейчас пытаюсь настроить пианино дома, так же как я пытался делать это десять лет тому назад. Но, я всё же отмечу, с некоторыми приниципиальными изменениями: сегодня я заказал в китае специализированный ключ для кручения колков, вместо всяких неспециализированных ключей, которые я использовал тогда, сегодня в дополнении к слуху, у меня есть программа-тюнер пианино, а к этой программе пара прочитанных статеек о том, чем реальный строй пианино отличается от теоретического, в котором каждая следующая нота имеет частоту в корень двенадцатой степени из двух выше, чем предыдущая. Я знаю свои идеи-фикс. И эти идеи развиваются вместе со мной, даже если я их не пытаюсь воплотить в реальность.

Но, как бы там ни было, вы зря пытаетесь обобщить мой совет на эту историю. Это немного другой случай. Мой совет был дан под ситуацию (реальную или существующую только в моём воображении), которая характеризуется большим объёмом знаний свалившимся в голову сравнительно недавно -- за последние месяцы/годы. Герой же той истории... Знаете, у советских психологов было понятие "зона ближайшего развития" -- я не помню кто из них рассуждал об этом (может Выготский?), но суть в том, что для того, чтобы развитие шло надо в эту зону хотя бы иногда соваться. А эта история сложила у меня впечатление, что Форд совался за развитием в зону вчерашнего развития -- не в зону ближайшего развития, даже не в зону сегодняшнего, а в зону вчерашнего развития. Он искал развития там, где оно когда-то было. В качестве примера, пускай и искусственного, это как если бы человек, изучив таблицу умножения, научившись решать задачи при помощи умножения/деления, может быть даже справляясь с уравнениями, стал бы искать дальнейшего развития в математике заучивая таблицу умножения дальше -- таблицу умножения до 20, до 30, до 100... Двигаясь таким путём он быть может стал бы чудо-вычислителем, который в уме считает быстрее калькулятора, но математиком он бы не стал.

Кстати, с тем примером в шахматах, я подозреваю, что "просто играть в шахматы" для меня уже не зона ближайшего развития, и если я хочу развития, мне придётся читать книжки, смотреть обзоры партий на ютубе, искать живых оппонентов с которыми можно не только играть, но и обсуждать игры, и пр...

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Советую вам ознакомиться с статьей «Dual-Process Theories of Deductive Reasoning: Facts and Fallacies» или посмотреть видео Частые заблуждения про две системы мышления. Вы делаете специфические утверждения о работе двух систем, и у меня чувство (хоть я и не знаком с этой теорией достаточно чтобы указать конкретно) что с вашими рассуждениями что-то не так.

Спасибо, что поделились своим ощущением и подкрепили его ссылкой.  Помогает мне видеть слепые пятна в своих рассуждениях.

Виды представления знания, упорядоченные по предсказательной силе на единицу вычислительной мощности, требуемой для их использования (лучше - ниже).
- Наблюдения
- Категории и их характеристики
- Модели

В статье «Dual-Process Theories of Deductive Reasoning: Facts and Fallacies» представлено знание об особенностях работы мозга. Знание представлено в виде "категории и их характеристики".

Знание о работе мозга может быть представлено другим способом в виде моделей.

Система 1 - это черный ящик, хардварно реализующий вычисления алгоритмов.
Каждая операция алгоритма представлена в виде хардварного узла. Узлы работают параллельно.
Каждый узел подобен алгоритмической операции "если, то". Узел делает сопоставление с образцом, выбирает соответствующий ответ и передает его на следующий уровень.
Ограниченны способности по вычислению алгоритмов с циклами и рекурсиями (N-итераций цикла/рекурсии увеличивает в N раз количество требуемых узлов).
Программирование Системы 1 подобно программированию ПЛИС, FBD и т.д.

Система 2 - это черный ящик, софтварно реализующий вычисления алгоритмов.
Операция вычисляются последовательно. Есть 5-10 ячеек оперативной памяти.
В качестве операций используются подпрограммы из Системы 1.
Программирование Системы 2 подобно программированию на простых универсальных языках типа Алгол/C.

Данные модели объясняют:
- почему Система 1 не способна перемножить два двухзначных числа и способна распознавать лица
- почему Система 2 не способна перемножить 2 пятизначных числа в уме и способна это сделать при использовании внешней памяти (листка бумаги для записи)

Добавлено 09 Мая 2016, 14:27:
Если я играю в шахматы, не читая учебников, не слушая лекций, разборов партий, не решая задачек. Просто играю в шахматы. Значит ли это что мой уровень игры в шахматы растёт сам по себе? Я ведь не работаю над ним.

В каких-то случаях будет расти, в каких-то - не будет.
Рациональнее исходить из допущения, что не будет расти.

Рациональнее подходить к своему развитию рационально. )
1. Выделить свою зону ближнего развития (как вы ранее упомянули).
2. Построить предположение: реализации каких алгоритмов не хватает вашей Системе 1.
3. Оценить какие из алгоритмов уместнее получить следующими.
4. Переформулить алгоритм в вид доступный для выполнения Системой 1.
5. С помощью Системы 2 целенаправленно натаскать Систему 1 на выполнение недостающего алгоритма.
6. Проверить с помощью реальности предположения из п.2.
7. Начать с начала

Кстати, с тем примером в шахматах, я подозреваю, что "просто играть в шахматы" для меня уже не зона ближайшего развития, и если я хочу развития, мне придётся читать книжки, смотреть обзоры партий на ютубе, искать живых оппонентов с которыми можно не только играть, но и обсуждать игры, и пр...

Обращаю внимание на противоречие в ваших высказываниях.
Ранее высказывался тезис(привожу в свернутой форме) "Что об этом говорить, иди - делай", сейчас высказывается тезис "Для развития буду обсуждать".
Как устраняется это противоречие?
« Последнее редактирование: 09 Мая 2016, 14:47 от LswAgnostic »

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Обращаю внимание на противоречие в ваших высказываниях.
Ранее высказывался тезис(в свернутой форме) "Что об этом говорить, иди - делай", сейчас высказывается тезис "Для развития буду обсуждать".
Как устраняется это противоречие?
Это работало. Я фактически с нуля научился играть. Полгода назад я играл с программой на первом (нижнем) уровне сложности и выигрывал менее чем в 50% случаев. Два месяца назад я перешёл на четвёртый уровень сложности, и выигрывал там примерно в 50% случаев. И до сих пор я выигрываю на четвёртом уровне сложности примерно в 50% случаев. Что наводит на подозрения, что метод уже не работает. Я не пытался оценить прогресс применяя статистику и рисуя графики, но из того, что я наблюдаю -- нет никакого прогресса уже два месяца. Может быть и есть какой-то скрытый прогресс, который проявится позже, но поскольку я не вижу какие-такие скрытые процессы могут протекать, я подозреваю, что я достиг потолка текущего метода обучения.
Собственно даже уже не подозреваю, а совершенно определённо уверен. Я буквально вчера прочитал рассказ о том, как отец с дочкой наперегонки учились играть в шахматы, и этот рассказ превратил мои подозрения о том, что метод исчерпал себя, в уверенность. Увлекательный рассказ о разных стилях научения -- дочка училась легко и непринуждённо, чуть ли не имплицитно, папашка же кряхтел и грыз гранит теории. Дочка выигрывала, напевая песенки, а отец проигрывал несмотря на полное погружение в процесс игры и максимальное напряжение всех своих интеллектуальных способностей. Но -- честь и хвала папашке, -- он, потратив три года, научился обыгрывать свою дочку. Потому что он несмотря ни на что лез в зону ближайшего развития и развивался, а дочурка его этого не делала, просто играла в шахматы.
У папашки был создан новый "этаж" смыслов -- стратегия, дочка же продолжила мыслить на предыдущем этаже, на котором она была несомненно лучше, чем её папа, но без более высоких надстроек ей без шансов.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Увлекательный рассказ о разных стилях научения -- дочка училась легко и непринуждённо, чуть ли не имплицитно, папашка же кряхтел и грыз гранит теории.

Важно учитывать различия в возможностях трансформации Системы 1 у ребенка и у взрослого.
В возрасте ребенка Система 1 способна достраивать сразу несколько уровней нейронной сети.
В возрасте взрослого Система 1 способна достраивать только по одному уровню за раз.

Допустим, для понимания иностранного языка необходимо 6 уровней НС: распознавание звуков, распознавание фонем, распознавание слов, распознавание понятий, распознавание грамматики, распознавание структуры предложений.

При предьявлении ребенку предложений на иностранном языке и получении положительного подкрепления, Система 1 ребенка способна с нуля самостоятельно выстроить 6 уровней НС.
Система 1 взрослого на такое не способна.
Для обучения взрослого необходимо с помощью Системы 2 разбить задачу на подзадачи, одна подзадача на один уровень. Предъявить их последовательно Системе 1, положительно подкрепляя и формируя НС: уровень за уровнем.

И до сих пор я выигрываю на четвёртом уровне сложности примерно в 50% случаев. Что наводит на подозрения, что метод уже не работает.

В вашем случае может сработать отработка конкретных навыков с временным понижением уровня оппонента.
Фокусировка на отработке конкретных навыков "Атака", "Наращивание сил в точке", "Выигрыш преимущества", "Быстрый размен", "Выделение угроз", "Защита от угроз". Понижение уровня помогает удерживать фокусировку, не отвлекаясь на другие моменты игры.
При отработке атакующих навыков игра ведется максимально активно. С фокусировкой на том, чтобы каждый ход увеличивал угрозу для оппонента.
При отработке защитных навыков игра ведется пассивно. С фокусировкой на усиление каждым ходом своей обороны и без реализации своих угроз.

Добавлено 09 Мая 2016, 16:20:
мне тут предпочтительней молчать, чтобы не выглядеть идиотом еще больше, чем сейчас.

Почему "молчание" предпочтительнее, чем "выглядеть идиотом"?

Почему с точки зрения рационального агента стратегия "отсутствие формирования гипотез о неизведанном" дает большую максимизацию пользы, чем стратегия "формирование самостоятельных гипотез, часть из которых окажется позже ошибочной"?
Как формулируется в данном случае "польза"? Каким способом измеряется?

Добавлено 09 Мая 2016, 16:29:
Я тут уже за рамками своей компетентности.

Имхо, это очень хорошее состояние. Оно помогает перейти от навыка "тиражирования готовых знаний" к развитию навыка "создание нового знания". При рациональности важно уметь самостоятельно размышлять. Самостоятельно наблюдать, определять понятия, моделировать, тестировать модели и применять их на практике.  Часть подходов, например, Табуирование, направлено на развитие этих навыков.
« Последнее редактирование: 09 Мая 2016, 16:29 от LswAgnostic »

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
В вашем случае может сработать отработка конкретных навыков с временным понижением уровня оппонента.
Фокусировка на отработке конкретных навыков "Атака", "Наращивание сил в точке", "Выигрыш преимущества", "Быстрый размен", "Выделение угроз", "Защита от угроз". Понижение уровня помогает удерживать фокусировку, не отвлекаясь на другие моменты игры.
Чтобы отрабатывать конкретные навыки, надо сначала научиться дифференцировать различные задачи, надо категоризировать задачи, их надо научиться видеть, чтобы о них можно было думать. А для этого, я полагаю, лучшим стилем действий будет наблюдение за чужими рассуждениями.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
чтобы о них можно было думать.

Если затабуизировать слова "думать", "размышлять" и производные, то как тогда эта цель будет формулироваться?

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Если затабуизировать слова "думать", "размышлять" и производные, то как тогда эта цель будет формулироваться?
Эмм... Не знаю. Я не уверен, что здесь возможно затабуировать эти слова.
На другом примере: если я говорю, что для того, чтобы учиться читать, я сначала должен научиться различать буквы, отличать "а" от "б". Можно ли затабуировать слово "читать" и производные от него и сказать то же самое?
Я очень смутно поедставляю, какие вообще специальные навыки могут быть нужны для "атаки" или для "быстрого размена". Я не уверен, что я понимаю, что имеется в виду под словами "выигрыш преимущества". То есть, не то чтоб мне вообще непонятно было бы, о чём именно вы говорили, какой-то смысл я вижу в этом, но, говоря образно, картинка расфокусирована. Вот её надо сфокусировать, навести на резкость.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
На другом примере: если я говорю, что для того, чтобы учиться читать, я сначала должен научиться различать буквы, отличать "а" от "б". Можно ли затабуировать слово "читать" и производные от него и сказать то же самое?

Сформулировать так, как будто это задача для компьютера (для абстрактного вычислительного устройства).
Читать - декодировать последовательность символов-букв в граф высокоуровневых понятийных образов.
Читать - декодировать последовательность символов-букв в последовательность слов.
Декодировать - распознать

Я очень смутно поедставляю, какие вообще специальные навыки могут быть нужны для "атаки" или для "быстрого размена". Я не уверен, что я понимаю, что имеется в виду под словами "выигрыш преимущества". То есть, не то чтоб мне вообще непонятно было бы, о чём именно вы говорили, какой-то смысл я вижу в этом, но, говоря образно, картинка расфокусирована. Вот её надо сфокусировать, навести на резкость.

Начинать удобнее с материального выигрыша, затем переходить к выигрышу позиционному.
Материальный выигрыш - выигрыш пешки, выигрыш фигуры.

Атака - наращивание сил в определенной точке. (Упрощая)Если наших бьет больше, то по итогам размена за нами останется материальный выигрыш.
Быстрый размен - нападение защищенной фигурой на равносильную.

ps
Для эффективного обучения рекомендуется следующий алгоритм.

1. Самостоятельные попытки
2. Формулирование причин-препятствий, мешающих достичь результат
3. Обращение к внешнему опыту, с фокусировкой на поиске способов устранения препятствий, и тестированием корректного выделения причин-препятствий.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
очему "молчание" предпочтительнее, чем "выглядеть идиотом"?
Почему с точки зрения рационального агента стратегия "отсутствие формирования гипотез о неизведанном" дает большую максимизацию пользы, чем стратегия "формирование самостоятельных гипотез, часть из которых окажется позже ошибочной"?
Как формулируется в данном случае "польза"? Каким способом измеряется?
Когда я писал это, я не столько был рациональным агентом, сколько человеком :)
И тем не менее, равномерное распределение ожидания (максимальная энтропия, гипотеза невежества, ignorant) предпочтительней "глупой гипотезы" (stupid theory).

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
И тем не менее, равномерное распределение ожидания (максимальная энтропия, гипотеза невежества, ignorant) предпочтительней "глупой гипотезы" (stupid theory).

Данный расчет базируется на частичном допущении всемогущества. Допускается что мозг человек имеет бесконечные вычислительные ресурсы. Это не так. Вычислительные ресурса мозга - капля в море, по сравнению с вариантами реальности.

У каждого индивидуума каждую секунду происходит выбор:
- за какой частью реальности наблюдать
- какую часть реальности прогнозировать
- какую часть реальности менять

При отсутствии гипотезы все эти выборы делаются хаотически, не приводя к результату.

ps
Плохой план лучше отсутствия всякого плана.

Добавлено 11 Мая 2016, 10:23:
Когда я писал это, я не столько был рациональным агентом, сколько человеком :)
И тем не менее, равномерное распределение ожидания (максимальная энтропия, гипотеза невежества, ignorant) предпочтительней "глупой гипотезы" (stupid theory).

Какова твоя функция полезности в этом случае? Какие действия ее максимизируют?

Предположу, что функция полезности - это создание карты в своей голове, максимально приближенной к территории.
Выдвинутая и озвученная гипотеза помогает заполнять карту:
 - гипотезу X опровергли => карта дополнилась утверждением: на территории T нет X
 - гипотезу X поддержали => карта дополнилась утверждением: на территории T есть X

Выдвижение гипотезы помогает устранять слепые пятна.

ps
Карта - набор утверждений: чем территория является?, чем территория не является?.
Белое пятно = неизвестность = неопределенность - знание рациональное агента о том, что карта не совпадает с территорией
Слепое пятно - незнание рационального агента о том, что карта не совпадает с территорией
Вред - необратимое состояние
Вариация - возможный вариант территории/будущего
Лучший - максимально полезный
Лучшее действие в условиях неопределенности/незнания - выполнение действия, минимизирующего вред с учетом всех вариаций;  максимизация пользы в наиболее вероятных вариациях
Гипотеза - упорядочивание вариаций от наиболее вероятных к менее вероятным
« Последнее редактирование: 11 Мая 2016, 10:23 от LswAgnostic »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Согласен, что LessWrong полезен (в некоторой топологии описания реальности).

Меня мучают вопросы: Полезен ли LessWrong максимально? Что можно добавить для продвижения к максимуму?
Думаю, полезней вопрос ставить так: [наиболее полезная идея для достижения задачи Х от лессвронга] в сравнении с [наиболее полезной идеей для решения задачи Х из другой области] помогает решить задачу Х?

Цитировать
Sarah and Abraham laughed when theywere told that Sarah would bear a son, considering that she was 90 years old and he was 100 years old. Did they have good reason to laugh? It is curious that Abraham laughs, since it is God himself who is telling him and God has clearlyrevealed his identityto Abraham. Sarah is not so fortunate. God appears in the form of three strangers who paya visit to Abraham in the desert. One of these strangers reports to him that Sarah will bear a son. Sarah overhears the stranger, whose true identityis not revealed to her. It seems that she has good reason to laugh, since it would indeed be out of the ordinary that she and Abraham would still have a child considering their old age.
Очевидно, что априорные шансы гипотез ребенок и не-ребенок сильно в пользу второй гипотезы. Однако, так же очевидно, что Абрам наблюдал куда более сильное байесовское свидетельство, чем Сара. Так же очевидно, как должны Сара и Абрам сдвинуть свое апостериорное ожидание. Это, разумеется, пример из Bayesian Epistemology, так что он мог быть составлен с подразумеваемым готовым ответом.
Но, если серьезно, что полезней, чем байесовская эпистемология, для решения такого рода вопросов? И, как я вижу, подавляющее большинство вопросов повседневной жизни таковы.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Но, если серьезно, что полезней, чем байесовская эпистемология, для решения такого рода вопросов? И, как я вижу, подавляющее большинство вопросов повседневной жизни таковы.

Полезнее вопросы:
- как принять решение, которое максимизирует последствия на всех возможных вариантах развития будущего?
- какие действия максимизируют желаемые варианты развитие будущего? какие действия минимизируют нежелательные варианты развития будущего?

ps
Будущее - одно. Принятие решений на основе вероятностей оптимально для задач, которые возникают многократно.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Будущее - одно. Принятие решений на основе вероятностей оптимально для задач, которые возникают многократно.
Это если думать в вероятностях, как о частоте. А не как о методе сохранения логической непротиворечивости в условиях неполной информации.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
А не как о методе сохранения логической непротиворечивости в условиях неполной информации.

Почему важна логическая непротиворечивость в условиях неполноты информации?
Почему нельзя отметить "да, в данный момент данные противоречивы из-за неполноты информации" и жить(принимать решения) дальше, исходя из этого?
Почему важнее потратить ресурсы на устранение противоречий в карте, чем на сами задачи?

ps
имхо, не стоит использовать слово "вероятность" для ситуаций, не связанных с частотой. Такое употребление ухудшает коммуникацию между людьми из-за двусмысленности.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
имхо, не стоит использовать слово "вероятность" для ситуаций, не связанных с частотой. Такое употребление ухудшает коммуникацию между людьми из-за двусмысленности.
Не так то уж легко себя останавливать, если привык думать о вероятностях, как о субъектино-объективных штуках. Но, когда я помню про коммуникацию, стараюсь использовать слово "ожидание".

Почему важна логическая непротиворечивость в условиях неполноты информации?
Почему нельзя отметить "да, в данный момент данные противоречивы из-за неполноты информации" и жить(принимать решения) дальше, исходя из этого?
Почему важнее потратить ресурсы на устранение противоречий в карте, чем на сами задачи?
Потому что в таком случае люди склонны к созданию убеждений вроде:
Цитировать
Фридрих Шпее фон Лангенфельд, духовник присуждённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.
Или
Цитировать
«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности.» — Робин Дэйвс, «Rational Choice in an Uncertain World».

Даже больше, если не ограничивать себя правилами - получается чепуха. Посмотрите, как я перестану ограничивать себя правилами построения слов на русском языке:длорвыапдлро ывадлр оывч адлроывап ло рывап дол риаплодрр олдчсваидлр овилдор. Достижение целей, т.е. максимизация функции ожидаемой полезности - цель рациональности по лессвронгу, однако, байесовская эпистемология - средство которое редко подводит.


LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Потому что в таком случае люди склонны к созданию убеждений вроде: Или

Потерялся.

Как связано между собой "противоречивость карты" и "отсутствие свидетельств"?

ps
Афаик, "отсутствие свидетельств" часто появляется как следствие выстраивания непротиворечивой карты. Судья из примера сделал свою карту непротиворечивой, достроив ее убеждением "всякая, обвиняемая как ведьма, - виновна, вне зависимости от наблюдаемых фактов".

Если исходная информация неполная, то достроить её до непротиворечивой можно только убеждениями с неизвестной степенью достоверности.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Вам не кажется, что, если бы люди, практикующие байесовскую рациональность, выстраивали свои убеждения в соответствии с вашими о байесовской рациональности представлениями, они бы... Даже не знаю. Не смогли бы функционировать?
Это верный сигнал того, что вы не можете посмотреть на мир с моей точки зрения - она кажется вам абсурдной. Что-то вроде того, что "если Бога нет, то все дозволено",

Афаик, "отсутствие свидетельств" часто появляется как следствие выстраивания непротиворечивой карты. Судья из примера сделал свою карту непротиворечивой, достроив ее убеждением "всякая, обвиняемая как ведьма, - виновна, вне зависимости от наблюдаемых фактов".
Про это Юдковский придумал хорошо звучащий пример. Составленные разными людьми пять карт одного города будут с необходимостью содержать меньше противоречий, чем пять случайных карт. Но, нарисовав случайную карту, скопировав ее четыре раза, можно получить пять абсолютно непротиворечивых карт, но бесполезных.

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
Сравните два варианта внутренних диалога судьи:
1. Моя карта непротиворечива, на основе неё - данная женщина виновна, и единственный выход - ее смерть. Следуя моей непротиворечивой карте я принимаю решение отправить её на смерть.
2. Моя карта противоречива: часть неё утверждает - что женщина невиновна, другая - женщина виновна и выход - смерть, третья - женщина виновна, но недостаточно для смерти. Мой выбор остановиться на втором варианте и приговорить к смерте.

Какой из этих вариантов приводит к более взвешенным поступкам?

Kroid

  • Ветеран
  • ****
  • Сообщений: 779
  • +62/-7
    • Просмотр профиля
LswAgnostic, а вы уверены, что можно вот так просто сделать непротиворечивую карту?

Цитировать
Судья из примера сделал свою карту непротиворечивой, достроив ее убеждением "всякая, обвиняемая как ведьма, - виновна, вне зависимости от наблюдаемых фактов".
До первого исключения, когда обвинят в ведьмовстве его дочь. И когда ему взятку дадут. Оглянуться не успеет, как карта обрастет кучей ифов и противоречий.

И почему непротиворечивость карты у вас на первом месте стоит? Как насчет соответствия карты местности?

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Как насчет таких рассуждений: "Мой предшественник, упокой Бог его нелогичную душу, наивно полагал, что молчание будет сильным свидетельством как в пользу вины, так и в пользу невиновности, но я, зная о байесовском свидетельстве, понимаю, что такое противоречие следует устранить. Основываясь на наблюдениях, я узнаю, сколько из женщин, чья вина была доказана другими уликами, молчат. И определю, какой предсказательной силой по отношению в ожиданию найти другие улики обладает молчание, отрицание вины или признание."

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
LswAgnostic, а вы уверены, что можно вот так просто сделать непротиворечивую карту?

Да. Всякие N фактов непротиворечиво описываются полином N-ой степени (и более).


И почему непротиворечивость карты у вас на первом месте стоит? Как насчет соответствия карты местности?

Непротиворечивость стоит на первом месте у основоположников "байесовской вероятности". В частности, допущение о непротиворечивости появляется в теореме Кокса.

ps
Имхо, важны все 12 критериев. (И более, если получится еще придумать критериев).
Ясность, точность, конкретность, тщательность, релевантность(значимость), согласованность(последовательность), логичность, глубина(фундаментальность), полнота, значимость(небанальность), честность(непредвзятость), адекватность(применительно к цели).
Допуская, что в некоторые моменты времени часть из критериев может быть нарушена.

kuuff

  • Старожил
  • *****
  • Сообщений: 2 133
  • +220/-52
    • Просмотр профиля
Да. Всякие N фактов непротиворечиво описываются полином N-ой степени (и более).
Такое описание бестолково. Если для описания N фактов нам нужен полином N-ой степени, то такой полином, как карта, будет хуже, чем простое перечисление фактов.

Говорить о предсказательной силе этого полинома можно только если степень полинома меньше, чем количество описываемых фактов. А вот это уже возможно далеко не всегда. И, это невозможно даже в физике: ОТО с КМ так и не подружились окончательно. Попытки же запилить "полином N-ой степени" приводят к какому-то безумному количеству измерений пространства, и до сих пор висят в воздухе.

И судья, который принимает решение исходя из непротиворечивой карты, скорее всего плохой судья. Я бы не хотел к такому попасть. Потому что судебное решение в принципе принимается в противоречивой ситуации, когда надо учитывать последствия этого решения как для каждого участника процесса, так и для общества в целом. Это как минимум.
Теоретически, наверное, можно свести все эти факторы в единую теорию, которая опишет все возможные случаи, которые могут возникнуть в суде. Кстати, прецедентное право, столь популярное в США и Англии -- это и есть подобная попытка. Которая демонстрирует практическую невозможность создать подобную теорию.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Наткнулся  на интересное у Становича.
Цитировать
A similar admonition applies when we think about the relation between emotion and rationality. In folk psychology, emotion is seen as antithetical to rationality. The absence of emotion is seen as purifying thinking into purely rational form. This idea is not consistent with the definition of rationality adopted in this book. Instrumental rationality is behavior consistent with maximizing goal satisfaction, not a particular psychological process. It is perfectly possible for the emotions to facilitate instrumental rationality as well as to impede it. In fact, conceptions of emotions in cognitive science stress the adaptive regulatory powers ofthe emotions. For example, in their discussion ofthe rationality of emotions, Johnson-Laird and Oatley (1992) conceptualized emotions as interrupt signals supporting goal achievement. Their basic idea is that emotions serve to stop the combinatorial explosion of possibilities that would occur if an intelligent system tried to calculate the utility of all possible future outcomes. Emotions are thought to constrain the possibilities to amanageable number based on similar situations in the past.

anagor1

  • Постоялец
  • ***
  • Сообщений: 113
  • +46/-50
    • Просмотр профиля
Шикарная дискуссия! Низкий поклон участникам! Жаль, что она сошла на нет.
Получив когда-то хорошее (честное слово!) физическое образование, я уже 25 лет не занимаюсь наукой, так что полностью вникнуть во все тезисы и аргументы если и смог бы, то потратив огромный объем самого ценного своего ресурса - времени. Поэтому вынужден пользоваться при анализе полученной информации лишь Системой 1. А она подала в Систему 2 сигнал, что позиция LswAgnostic мне нравится больше. (Ближе? Понятнее? Нет, просто "нравится".) Почему?
Поскольку "образование - это то, что остается, когда всё забыл", я склонен полагать, что моя Система 1 до сих пор работает достаточно адекватно, посему Система 2 может, при желании, выработать некоторые формулировки гипотез, отвечающих на данный вопрос.
Попробую перечислить:
1. Целью дискуссии для отдельного участника может быть а) вербовка оппонента на свою сторону / убеждение его (и заодно себя) в своей правоте; б) осознание разницы мнений; в) иные цели (напр., троллинг). Пропагандистские цели я полагаю менее этичными. И мне показалось, что в высказываниях LswAgnostic доля желания перевербовать была меньше, а желания понять - больше, чем у оппонентов.
2. Просмотреть все многочисленные авторитетные свидетельства, на которые ссылались диспутанты, я, конечно, не мог. Но сложилось ощущение, что доля свидетельств извне предмета дискуссии, а также их разнообразие у LswAgnostic были выше.
В итоге родилась гипотеза, что одним из преимуществом байесианства с точки зрения его "продвижения в массы" является то, что для его приятия требуется куда меньший объем знаний, чем для приятия "других проявлений рациональности". Это можно интерпретировать как признак "истинности учения" (старик Оккам вертится в гробу), но и как признак заведомого опрощения в пропагандистских целях. Тогда, конечно, важно, каковы эти цели. (Владея МРМ, я могу выигрывать. Это понятная личная цель. Но зачем мне вербовать других? Это же снижает вероятность моего выигрыша!)
3. Дискуссия выглядит так, будто участники не вполне договорились о терминах, либо, что скорее всего, у них разная аксиоматика, выходящая за пределы "дискуссионной площадки", и для осознания этой разницы требуется некий метауровень взгляда на дискуссию. Философский, грубо говоря. И тут возникает перед глазами ник одного из участников. Не является ли данный спор в конечном счете дискуссией гностика и агностика?
Лирическое отступление. Глубокое изучение квантовой механики "взрывает мозг". Это не просто слом шаблона, это именно перестройка мировоззрения. На мне этот процесс сказался смешным образом: я принялся срывать один за другим семинары по диамату, которые вел вполне искренне убежденный в своей правоте аспирант филфака. В конце концов, когда ему надоела очередная дискуссия с болтливым неучем, он бросил ему обвинение в"экзистенциализме". Что, конечно же, привело к немедленному изучению неучем материалов по данной теме (включая просмотр пьес Камю в театре на Юго-Западе) и вылилось, в частности, в написание реферата к госу по философии на тему "Бытия и ничто" Сартра. Неудивительно, что интерпретация КМ у меня явно копенгагеновская.
Так вот. Мне кажется, что в глубине разногласий лежит разное представление о понятии "территория". Байесианство в том его изложении, которое проглядывает на этом форуме и в статьях Юдковски (написанных достаточно просто для понимания даже моим почти растерявшим навыки научного мышления мозгом) на удивление гностично. Для меня это - серьезный когнитивный диссонанс! Я никак не могу понять, как можно интерпретировать вероятность чисто субъективно, но при этом не просто допускать, а практически постулировать существование неизменной объективной реальности. Где-то здесь скрыт парадокс, которого я не понимаю. Откуда вы взяли, что территория объективно имеется и неизменна? И зачем нужно такое допущение? Есть же Гуссерль с его феноменологией. Почему не вынести вопрос о реальности "за скобки" (т.н. "феноменологическая редукция")? Что это изменит, кроме ощущения собственной правоты?
Так может быть, данное ощущение - главная опора и цель? Ибо резанула фраза:
Противоречия в мировоззрении -- это что-то плохое, да.
Мне почему-то здесь слышится: "Нет Бога кроме Байеса, и Юдковски - пророк его". К сожалению, это опасение лишь подтверждается столь любимой цитатой Юдковски: "То, что может быть разрушено правдой - должно быть разрушено". Где-то я это уже слышал. Не в ленинских ли статьях? Для сравнения, приведу свою любимую цитату: "Трагедия - это две несовместимые правды".
К сожалению, убежденность, что а) реальность существует; и б) я владею наиболее острым инструментом ее познания - неминуемо приводит к "...должно быть разрушено", а далее и к "до основанья - а затем..." Принципиальное непризнание возможности существования разных правд - не в смысле методов познания, а именно на уровне мировоззрения, на уровне общих жизненных целей и принципов - для меня неприемлемо.
Способны ли рационалисты развеять данное сомнение?

Ну и наконец, "контрольный вопрос": является ли гипотеза "Байеровская вероятность важнее других проявлений рациональности" фальсифицируемой?   ;)




Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Вместо того, чтобы позволять вам формировать рамки разговора (как следовало бы мне поступить, если бы я ставил целью переубедить вас, независимо от того, как искренне мои чувства: думаю ли я что прав, или просто хочу ваших денег), я сам их задам.
В чем важность байесовской процедуры?
Во-первых, рассмотрим эту процедуру в исполнении существа со стандартным человеческим мозгом (не пораженным недугами иррациональности ).
1. Определяются конкурирующие гипотезы.
2. Задаются априорные конкурирующих гипотез. Их можно задавать, спросив себя "как часто", "с какой частотой", можно представить их в виде множеств и сравнить размеры.
3. Оценивается сила свидетельства. В моем случае это происходит, как сравнение возможных миров, где я сравниваю ожидание наблюдать какое-то событие (свидетельство).
4. В зависимости от того, как показало себя свидетельство, следует изменить свое ожидание относительно гипотез - апостерироную вероятность.

Вы можете спросить - ну и что? В чем польза этой процедуры, да и процедура ли это вообще, ведь сравнивать множества можно и не называя их априорными, определять силу свидетельства тоже можно вне теоремы Байеса. Что-то есть притягательное в стройных и понятных алгоритмах. Не знаю.

Однако, я знаю о нескольких когнитивных искажениях (КИ). Неслучайно я буду подавать (предполагая, что и вы о них что-то знаете) их в порядке.
1. Ошибка подтверждения (confirmation bias). Пример 2-4-6. Как-то так получается, что выделив (обратив внимание) гипотезу, мозг начинает (если эта гипотеза не находится за пределами "правдоподобности") подбирать разные мысли, которые, почему-то, вместо того, чтобы опровергать ее - подтверждают. Изменяет ли вам ваша половинка? Задерживается и не отвечает на звонки!
Однако, у нас есть Процедура. Так уж теорема устроена, что в ней должно быть не менее ДВУХ конкурирующих гипотез. А это препятствие на пути ошибки подтверждения. Процедура принуждает вас рассмотреть конкурирующие гипотезы.
2. Игнорирование априорной вероятности (base rate neglect). Некоторые русские пьяницы, а некоторые кавказцы - драчуны. Дает ли определение априорных какое-то преимущество в оценке этих высказываний, в сравнении с приведенными слабыми силлогизмами?
Разумеется, ничего в самой теореме не принуждает сравнивать частоту или размеры множеств (или другие способы задания априорных). Всегда можно начать с 50\50. Но можно ли честно сказать, что часто встречаются ситуации, где НЕТ НИКАКОЙ ИНФОРМАЦИИ В ГОЛОВЕ ВООБЩЕ?.
3. Нечувствительность к тому, какую вероятность назначают свидетельству конкурирующие гипотезы (оно же silent evidence, P(E|!H), и,вроде бы Selection bias и ошибка выжившего). В контексте КИ, это искажение представлено исследованием (Doherty and Mynatt (1990)), где участников просили побыть докторами и определеить, какие данные нужны для диагностирования: процент людей с Болезнью, процент людей без Болезни, процент людей с БОлезнью у которых есть сыпь, процент людей без БОлезни у которых есть красная сыпь. 48% проигнорировали последний кусок данных.
В историческом контексте я встретил описание этого искажения у Талеба в "Черных Лебедях".
Цитировать
Более двух тысяч лет тому назад римский оратор, беллетрист,  мыслитель, стоик, политик-манипулятор и (почти всегда)   благородный джентльмен Марк Туллий Цицерон в трактате "О   природе богов" поведал такую историю. Греческому философу Диа-  гору, прозванному Безбожником, показали изображения людей, которые молились богам и спаслись при кораблекрушении.   Подразумевалось, что молитва спасает от гибели. Диагор спросил:  "А где же изображения тех, кто молился, но все-таки утонул?" 
Набожным утопленникам не так-то просто высказать свое  мнение со дна морского по той причине, что они мертвы. Как  следствие, поверхностный наблюдатель запросто может  поверить в чудеса.
У него же. Все ли новички, приходя в казино, могут рассчитвать на "удачу новичка", или же те, кому повезло, будут возвращаться, рассказывая об "удаче новичка"? В то время как те, кому не повезло - не играют и, разумеется, про "удачу новичка" молчат. Должен ли бизнесмен иметь качество Х, как это рассказывают нынешние миллионеры? Что скажут те, кто обладал Х и все равно прогорел?
4. Не знаю есть ли у этого официальное название, однако некоторые люди способны творить что-то вроде ментальной магии. Они (и я принадлежу к этим счастливчикам) могут, каким-то образом, извлекать себя из цепочки причин и следствий с помощью семьи волшебных заклятий: "я умываю руки", "делайте что хотите", "это не мое дело". Изнутри это ощущается так если бы после произнесения этих слов мои действия теряют силу (перестают быть байесовским свидетельством, т.е. становятся таким, для которого частное P(E|H)\P(E|!H)=1). С помощью этих слов я могу воздействовать даже на разумы других людей.


Итак.
В байесовском выводе, в байесосвкой вероятности, возможно, нет особой ценности. Ведь ценности располагаются в мозгах, воспринимающих эти объекты. Какую роль в жизни играет приведенный выше эмпирический кластер мыслительных паттернов? Как часто и какая нужда в том, чтобы на вопросы такого рода давались ответы, соответствующие нормативным процедурам? Полезней ли игнорировать априорные? Рассматривать альтернативные гипотезы? Прислушиваться к молчаливым свидетельствам?
Если есть альтернативные подходы решения этих проблем (желательно разработанные на уровне Канемана и Юдковского, да, наглость), если есть "другие проявления рациональности" я бы с интересом про них узнал (про Gerd Gigerenzer я уже знаю).
--------------------------------
Так же, я не встречал (не искал) чтобы кто-либо рассмотрел идею Юдковского о о байесовской структуре познания с точки зрения второго закона термодинамики. Звучит она убедительно и, естесственным образом, напрашивается мысль: если познание, в какой-то мере байесово, почему бы не усилить его, принудив Систему 2 следовать процедуре байесовсткого вывода?

Skywrath

  • Ветеран
  • ****
  • Сообщений: 723
  • +71/-9
    • Просмотр профиля
Цитата: Muyyd
Почему бы не усилить его, принудив Систему 2 следовать процедуре байесовсткого вывода?
Кстати говоря, имеется и альтернативная стратегия. Если сознание всё равно байесианское, то не будет ли эффективным использовать другие методы? Например, было бы неплохо иметь возможность получать истинное знание без наблюдения. Звучит абсурдно, но это достаточно важная проблема из области познания, для которой до сих пор нет хорошего ответа, имеющего неоспоримые основания. Байесианство в теории принятия решений можно сравнивать с механикой в физике. В том смысле, что невозможно отрицать их важность и даже ту истинность, которой они обладают, но они вряд ли являются последним словом в своих дисциплинах. Известно многое за пределами механицизма. Скорее всего, есть решения и за пределами байесианства.

desmod

  • Ветеран
  • ****
  • Сообщений: 341
  • +31/-251
    • Просмотр профиля
Не знаю есть ли у этого официальное название, однако некоторые люди способны творить что-то вроде ментальной магии.
Подобные методы не только давно известны, но и приобрели большую популярность. Можно ли их назвать "рациональными" - вот вопрос! :)

valergrad

  • Ветеран
  • ****
  • Сообщений: 487
  • +143/-21
    • Просмотр профиля
Подобные методы не только давно известны, но и приобрели большую популярность. Можно ли их назвать "рациональными" - вот вопрос! :)

Можно ли их назвать работающими - вот в чем гораздо более важный вопрос.


desmod

  • Ветеран
  • ****
  • Сообщений: 341
  • +31/-251
    • Просмотр профиля
Их поклонники полагают, что данные методы работают. Muyyd также считает, что его метод, позволяющий "воздействовать даже на разумы других людей" работает. Однако к Muyyd'у, насколько я понимаю, у вас вопросов нет, а к упомянутым поклонникам - есть. Поэтому мне интересно, в чем же, по-вашему, разница между этими методами.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Давайте четко разделять трансферинг и то, что я выделил. Признаюсь, про трансфериг ничего не знаю.

desmod

  • Ветеран
  • ****
  • Сообщений: 341
  • +31/-251
    • Просмотр профиля
Давайте четко разделять трансферинг и то, что я выделил. Признаюсь, про трансфериг ничего не знаю.
Данный метод, по мнению его основателя, позволяет, говоря вашим языком, при помощи определенных ментальных состояний повышать вероятность желаемых событий.

Но к вам у меня никаких вопросов нет. Если человек считает, что какой-то метод в его исполнении успешен, то почему бы его не использовать? У меня вопрос к valergrad'у - пытаюсь понять его логику претензий.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Говорить с человеком - воздействовать на его разум. Сказать самому себе "это не мое дело" - воздействовать на свой. И я выделил этот способ потому что он так интересно выражается с точки зрения изменения силы свидетельства-действия.