Элиезер и парадокс Ньюкома

[Kroid]

В своих статьях Элиезер пишет о парадоксе Ньюкома, противопоставляя рациональное решение традиционному. Я бы хотел поговорить об этом.

Описание в википедии:

Парадокс предполагает мысленный эксперимент, игру с двумя участниками — предсказателем (который может безошибочно предсказывать будущее) и собственно игроком.

Предсказатель ставит перед игроком две коробки — открытую и закрытую. В открытой коробке находится тысяча долларов, в закрытой — либо миллион долларов, либо ничего. Игрок может взять себе или только закрытую коробку, или обе коробки вместе. Содержимое коробки зависит от предсказателя:
Если он предскажет, что игрок выберет обе коробки, то закрытая коробка будет пустой
Если предсказывается, что игрок выберет закрытую коробку, то коробка будет содержать миллион долларов.
Какую коробку следует выбрать игроку, чтобы получить наибольшую сумму? Ему известны все условия игры, известно, что содержимое коробки зависит от предсказаний; единственное, что ему неизвестно, — это какое именно из двух предсказаний сделано.

Элиезер в двух разных статьях описывает немного отличающиеся способности предсказывать будущее:

Omega has been correct on each of 100 observed occasions so far - everyone who took both boxes has found box B empty and received only a thousand dollars; everyone who took only box B has found B containing a million dollars.
---
До сих пор Омега оказывался прав на каждом из ста наблюдаемых случаев: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион.

Omega has played this game many times before, and has been right 99 times out of 100.
---
Омега играл в эту игру много раз и предсказывает правильно 99 раз из 100.

Сам Элиезер предлагает всегда брать ящик Б, даже если предсказатель может ошибаться 1 раз из 100 (спишем эту ошибку на статистическую погрешность).


На той же странице википедии очень лаконично написаны 3 способа рассуждений:

С одной стороны, если считать, что предсказатель может ошибаться, то независимо от того, какое предсказание сделал предсказатель, выгоднее выбрать обе коробки. При этом можно руководствоваться следующими соображениями: если был предсказан первый вариант, то игрок получит либо тысячу долларов, либо ничего. Если же было сделано второе предсказание, то игрок фактически выбирает между 1000000$ и 1001000$. Поэтому выбирая всегда обе коробки игрок получит больше денег.

С другой стороны, если считать, что сделав выбор, игрок повлияет на предсказание (которое будет безошибочным), то таких результатов как 0$ и 1001000$ (расхождений в предсказании и выборе игрока) не может получиться в принципе. Поэтому игрок может получить либо тысячу (если он выберет обе коробки, то вторая будет пустой), либо миллион (если выберет только закрытую).

Наконец, если считать, что предсказатель уже безошибочно предсказал будущее, то игроку не о чем беспокоиться: выбор уже сделан за него и до него, он лишь механически исполняет неизбежное.

Всё это сводится к такому вопросу: может ли игрок повлиять на предсказание?
1. Если не может - само мироздание заставит взять ту коробку, которую предсказал Омега. Как такое возможно?
3. Если может - лучше выбрать Б.

Есть ли у нас свидетельства того, что выбор игрока влияет на предсказание? Как вообще будущее может влиять на прошлое?

Я озадачен. Что-то не так. Вспоминается история с нагретой тарелкой:

— Мне кажется, — наконец, заговорил Гарри, — что мы смотрим на это под неверным углом. Однажды я слышал историю, как ученики пришли на урок физики, и учительница показала им большую металлическую тарелку, стоявшую у огня. По её просьбе ученики потрогали тарелку и обнаружили, что ближайшая к огню сторона холоднее, чем дальняя. Учительница попросила их письменно ответить на вопрос, как такое возможно. Некоторые ученики написали «потому что металл проводит тепло», кто-то — «это произошло из-за воздушных потоков», и никто не сказал «по-моему, это совершенно невозможно». А на самом деле учительница просто повернула тарелку, перед тем как ученики вошли в класс.

Предсказание на самом деле появляется уже после выбора. Например, коробка Б на самом деле с потайным дном и перемещающимся механизмом. Или Омега наблюдает из кустов за игроком и вручную абракадабрит деньги в коробки.

Вот почему надо всегда выбирать ящик Б. Ошибка не в традиционной системе принятия решений, а в неверной интерпретации получаемых данных.

А вы что думаете?

[Remlin]

Не вижу, где вы здесь усмотрели неверную интерпретацию данных.

Насколько понимаю, традиционная казуальная теория принятия решений не нравится Юдковскому тем, что она испытывает трудности при столкновении с подобными ситуациями, когда есть агент, способный предсказывать ваше поведение. В задаче Ньюкома согласно казуальной теории человек должен рассуждать так: "Если я возьму одну коробку, и предсказание было верным - я получу миллион. Если неверным - ничего. Если я возьму обе коробки, то в первом случае получу миллион и тысячу, во втором - тысячу. Следовательно, разумнее будет взять обе коробки." Учитывая, что степень точности прогнозов Омеги высока, можно понять, что получается парадоксальный вывод - человек, пользующийся теорией принятия решений (которая должна давать возможность делать лучшие решения), будет систематически получать не самый лучший результат, в отличие от тех, кто "нерационально" выбирает одну коробку. И именно поэтому Юдковский разрабатывает свою версию теории принятия решений, которая будет работать и в таких условиях.

И ничего тут не сводится к вопросу возможности повлиять на предсказание. Если вам трудно представить предсказателя - представьте психолога, который может с высокой степенью точности предсказать ваше поведение.

[logic]

И именно поэтому Юдковский разрабатывает свою версию теории принятия решений, которая будет работать и в таких условиях.

А почему бы не воспользоваться "вашим" методом? Если известна статистика по обоим вариантам, то выбираем, руководствуясь ею. Если встречаемся с такой ситуацией впервые, то выбираем, опираясь на "жизненный опыт". Кстати, какое значение апостериорной вероятности вы получите в этом случае?

[Remlin]

А почему бы не воспользоваться "вашим" методом? Если известна статистика по обоим вариантам, то выбираем, руководствуясь ею. Если встречаемся с такой ситуацией впервые, то выбираем, опираясь на "жизненный опыт". Кстати, какое значение апостериорной вероятности вы получите в этом случае?

Куда-то вас в сторону понесло. В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий. А здесь все значения уже известны - мы знаем, с какой вероятностью получим какой исход. Вот вам и апостериорное значение, которое вы просите.

А применение метода, который вы называете "моим", здесь зависит от поставленной цели. Если цель - максимизировать выигрыш, то для решения данной задачи я бы использовал функцию полезности, которую вычислял бы как вероятность исхода, умноженную на величину полезности исхода (для простоты полезность я измерял бы в количестве полученных денег):
Нам известно, что Омега верно предсказывает в 99% случаев и ошибается в 1%.
Следовательно, возможны следующие исходы:
мы выбираем две коробки, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 1001000 долларов.
мы выбираем одну коробку, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 0 долларов.
мы выбираем две коробки, и Омега сделал верный прогноз (99% вероятность) - получаем 1000 долларов.
мы выбираем одну коробку, и Омега сделал верный прогноз (99% вероятность) - получаем 1000000 долларов.
Значение ожидаемой полезности при выборе двух коробок получается 0.01*1001000+0.99*1000 = 11000
Значение ожидаемой полезности при выборе одной коробки - 0.01*0+0.99*1000000 = 990000

А как бы вы решили задачу?

[logic]

В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий. А здесь все значения уже известны - мы знаем, с какой вероятностью получим какой исход.

Это первый вариант, о котором я говорил, когда известна статистика из неких независимых источников, которым вы по какой-то причине доверяете. Но предположим, что вы встречаетесь с предсказателем впервые. Поверите ему на слово?

мы выбираем две коробки, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 1001000 долларов.

Условия в исходной задаче сформулированы не вполне четко. Я исхожу из версии, когда вариант "1001000 долларов" исключен. Возможны лишь два исхода: либо две коробки и 1000 долларов, либо одна коробка и 1000000 долларов.

А как бы вы решили задачу?

Я согласен, что выбор определяется исключительно нашим доверием к словам предсказателя. Даже если он уверяет, что ошибается всего один раз из ста.
А доверие – вещь субъективная (т.е. иррациональная). Но в крайнем случае всегда можно сделать выбор, просто подбросив монетку. Интересно, способен ли предсказатель предсказать результат случайного процесса?

[Remlin]

Это первый вариант, о котором я говорил, когда известна статистика из неких независимых источников, которым вы по какой-то причине доверяете. Но предположим, что вы встречаетесь с предсказателем впервые. Поверите ему на слово?

Это будет уже совершенно другая задача. Согласно моим расчетам, значение функции полезности для обоих вариантов действий сравняется, если достоверность прогноза Омеги мы будем оценивать как ~50%.

Условия в исходной задаче сформулированы не вполне четко. Я исхожу из версии, когда вариант "1001000 долларов" исключен. Возможны лишь два исхода: либо две коробки и 1000 долларов, либо одна коробка и 1000000 долларов.

Могу я спросить, почему вы исключаете такой вариант? По условиям задачи, в открытой коробке всегда лежит 1000 долларов. Что в закрытой - неизвестно. Омега ошибается в 1% случаев. Следовательно, если он сделал ошибку, сделав прогноз, что мы возьмем одну коробку и положил в закрытую коробку миллион, то когда мы возьмем две, то получим 1001000 долларов.

[logic]

В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий.

Допустим, вам срочно потребовался миллион. Тогда к прочим методам его получения (игра на Форексе, покупка лотерейного билета и упование на наследство от неизвестного родственника-миллионера ) вполне можно добавить и этот: вдруг появляется некий странный человек, косящий под инопланетянина, и предлагает пройти тест...

Согласно моим расчетам, значение функции полезности для обоих вариантов действий сравняется, если достоверность прогноза Омеги мы будем оценивать как ~50%.

Помните, я говорил о "бредовых методах", для которых апостериорная вероятность 50%? Так это он и есть.

Могу я спросить, почему вы исключаете такой вариант?

Так интереснее, да и логичнее (ошибка – забыть положить миллион).

[Remlin]

Допустим, вам срочно потребовался миллион. Тогда к прочим методам его получения (игра на Форексе, покупка лотерейного билета и упование на наследство от неизвестного родственника-миллионера ) вполне можно добавить и этот: вдруг появляется некий странный человек, косящий под инопланетянина, и предлагает пройти тест...

Вы опять уезжаете в сторону от задачи. Но если уж вам так хочется, можно оценить и вероятности успеха предложенных вами методов, причем достаточно просто - вероятности выиграть в лотерею, выиграть на Форексе(тоже своего рода лотерея) и получить наследство от родственников рассчитываются на раз. Рассчитываем и их через функцию полезности и сравниваем с тем что я писал выше.

Помните, я говорил о "бредовых методах", для которых апостериорная вероятность 50%? Так это он и есть.

Неа. Чушь городите, увидев "знакомое" число 50%. Там вы утверждали, что дескать мы способны получить оценку вероятности успеха метода, о котором нам ничего неизвестно, выше, чем метода, о котором нам известно больше, если для более точного учета свидетельств в процессе оценки метода мы начинаем с равновероятных гипотез. Где вы тут нашли "бредовый" метод действий, для которого будет 50% успеха и реальный, оценка которого выше? Я лишь сказал, что если наша оценка достоверности прогноза Омеги равна 50%, то фунция полезности выдаст равный результат для любого из двух вариантов действий.

Так интереснее, да и логичнее (ошибка – забыть положить миллион).

А вы в школе так же делали, когда вам задачу задавали - меняли условие и говорили "так интереснее"? Это конечно хороший пример действий демагога - под каким-либо соусом поменять условия задачи так, чтобы ее можно было подогнать под свое решение. Но, к сожалению, такое не катит, если ваша цель - решить задачу. А здесь именно надо решить данную задачу, а не придумывать свои. Ошибкой для Омеги будет неправильный прогноз, причем не имеет значения для какого именно действия - предсказал ли он взятие двух коробок, когда взяли одну, или наоборот.

[logic]

Вы опять уезжаете в сторону от задачи.

Я отвечаю на ваш вопрос. Данная задача вполне может рассматриваться как один из методов решения конкретной проблемы.

Но если уж вам так хочется, можно оценить и вероятности успеха предложенных вами методов, причем достаточно просто - вероятности выиграть в лотерею, выиграть на Форексе(тоже своего рода лотерея) и получить наследство от родственников рассчитываются на раз.

Все способы, за исключением "теста", недостаточно определены (например, вероятность выигрыша в лотерею зависит от условий проведения лотереи). Поэтому ограничимся только им. Мне интересно, как вы оцените вероятность этого метода, для которого имеются все необходимые данные.

Я лишь сказал, что если наша оценка достоверности прогноза Омеги равна 50%, то фунция полезности выдаст равный результат для любого из двух вариантов действий.

Выходит, что вероятность получения миллиона в этом случае равна 50%?

Ошибкой для Омеги будет неправильный прогноз

Правильно. Но вот конкретное значение этой ошибки зависит от конкретного способа, который использует Омега для реализации своего теста. В условиях задачи этот способ не оговорен.

С другой стороны, при заданных конкретных значениях это ничего, по сути, не меняет. Разница между тысячью и миллионом настолько велика, что имеет смысл "делать ставку" только на миллион. Тогда картина у нас получается следующая: при выборе двух коробок мы получаем миллион с вероятностью 1%, а при выборе одной коробки – с вероятностью 99%. Спрашивается, и о чем же здесь думать?

[Remlin]

Все способы, за исключением "теста", недостаточно определены (например, вероятность выигрыша в лотерею зависит от условий проведения лотереи). Мне интересно, как вы оцените вероятность этого метода, для которого имеются все необходимые данные.

Я все никак не пойму, что вам тут оценивать-то надо? Все уже дано в условии задачи. И здесь не один метод - здесь два варианта действий. Для обоих все приведено. Если ваша цель выиграть миллион, то если вы берете две коробки, вероятность выиграть миллион - 1%, если одну - 99%.

Выходит, что вероятность получения миллиона в этом случае равна 50%?

Мы можем получить миллион в двух случаях - либо если выберем две коробки и Омега ошибется, либо если выберем одну и Омега будет прав. Если прогнозы Омеги истинны в 50% случаев, то да, вероятность получить миллион будет для любого из двух вариантов действий равна 50%.

Правильно. Но вот конкретное значение этой ошибки зависит от конкретного способа, который использует Омега для реализации своего теста. В условиях задачи этот способ не оговорен.

Это как?

[logic]

Я все никак не пойму, что вам тут оценивать-то надо? Все уже дано в условии задачи. И здесь не один метод - здесь два варианта действий.

Нет, просто среди прочих методов имеется конкретный метод, предполагающий ситуацию выбора. Скажем, при игре на Форексе таких ситуаций будет множество, но мы же рассматриваем его не как множество методов, а как один. Суть вопроса в том, насколько высоко вы оцениваете вероятность получения миллиона в случае "теста". Выше, чем в прочих перечисленных методах, или же нет? Напоминаю, что странного человека вы видите впервые, и какая-либо статистка по его "тесту" вам неизвестна.

Если прогнозы Омеги истинны в 50% случаев, то да, вероятность получить миллион будет для любого из двух вариантов действий равна 50%.

Насколько я понимаю ваши рассуждения, то оценка прогноза Омеги – априорная вероятность, оценка выигрыша – апостериорная. В обоих случаях она получается равной 50%. И в чем же тогда я был не прав?

Это как?

Я уже приводил пример: ошибка – забыть положить миллион. Конкретный способ: деньги в пустой коробке появляются только после принятия решения по этой коробке, изначально же их там нет. Иными словами, при выборе двух коробок никаких действий, направленных на изменение ситуации, не производится вообще.

[Remlin]

Нет, просто среди прочих методов имеется конкретный метод, предполагающий ситуацию выбора. Скажем, при игре на Форексе таких ситуаций будет множество, но мы же рассматриваем его не как множество методов, а как один. Суть вопроса в том, насколько высоко вы оцениваете вероятность получения миллиона в случае "теста". Выше, чем в прочих перечисленных методах, или же нет? Напоминаю, что странного человека вы видите впервые, и какая-либо статистка по его "тесту" вам неизвестна.

Вы пытаетесь пропихнуть вымышленную ситуацию в реальный мир, что оставляет слишком много неясностей. Сформулируйте тогда уж все четко, что ли. Из каких вариантов делается выбор? Каковы у вас исходные условия задачи?

Насколько я понимаю ваши рассуждения, то оценка прогноза Омеги – априорная вероятность, оценка выигрыша – апостериорная. В обоих случаях она получается равной 50%. И в чем же тогда я был не прав?

Нет, вы неправильно понимаете. Сколько раз вам надо повторить, что здесь не надо вычислять вероятности - они уже даны в самом условии? В данной задаче вероятность выигрыша/проигрыша миллиона - это и есть вероятность успеха/ошибки предсказания Омеги. Для варианта, где вы выбираете обе коробки, вероятность выиграть миллион - это вероятность того, что Омега ошибся и положил миллион в закрытую коробку, предсказав, что вы возьмете одну. Для варианта, где вы берете одну коробку, вероятность выигрыша миллиона - это вероятность успешности прогноза Омеги. Для вашей интерпретации, выигрыш миллиона возможен только в случае взятия одной коробки - следовательно, равен вероятности успеха прогноза Омеги, что вы возьмете одну коробку. Так что на вопрос, где вы не правы, упоминая про мои вычисления вероятности, могу ответить так - в том, что рассуждаете о чем-то совершенно постороннем касательно данной задачи.

Я уже приводил пример: ошибка – забыть положить миллион. Конкретный способ: деньги в пустой коробке появляются только после принятия решения по этой коробке, изначально же их там нет. Иными словами, при выборе двух коробок никаких действий, направленных на изменение ситуации, не производится вообще.

Ну, вычисления в этом случае можно провести так же, просто значение функции полезности для варианта с двумя коробками будет ниже.

[logic]

Вы пытаетесь пропихнуть вымышленную ситуацию в реальный мир, что оставляет слишком много неясностей. Сформулируйте тогда уж все четко, что ли.

Вам необходимо срочно найти миллион. В это время появляется странный человек со своим "тестом". Согласно вашему подходу вы не можете отбросить его метод без предварительной оценки. Меня интересует конкретное значение апостериорной вероятности в данном случае.

Из каких вариантов делается выбор?

Прочие методы я уже перечислял (лотерея, Форекс, родственник-миллионер).

Нет, вы неправильно понимаете.

Чтобы не было путаницы, забудьте о моем варианте.

В данной задаче вероятность выигрыша/проигрыша миллиона - это и есть вероятность успеха/ошибки предсказания Омеги.

Вот поэтому оценка достоверности прогноза Омеги – априорная вероятность, которую задаете лично вы. Задавая ее значение в 50%, вы затем рассчитываете вероятность получения миллиона. Вы утверждаете, что получается 50%. Разве это не апостериорная вероятность?

Ну, вычисления в этом случае можно провести так же, просто значение функции полезности для варианта с двумя коробками будет ниже.

Я уже отмечал, что для априорной вероятности в 99%, заданной Юдковским, это не принципиально.

[Yuu]

Вот ещё одна статья на тему данной задачи: «Парадокс Ньюкома и Путь выигрывания».

[logic]

Пришло в голову, что "пари Паскаля" вполне вписывается в условия эксперимента Ньюкома. Изменения потребуются самые минимальные.

Назовем Омегу Богом, ящик "А" – "телом", а ящик "Б" – "душой". Игра заключается в выборе максимальной продолжительности жизни, причем выбирать разрешается либо оба ящика, либо только второй. В ящике "А" имеется "гарантированная" продолжительность средней человеческой жизни, в ящике "Б" – ничего или "жизнь вечная". Но обрести последнюю возможно, только "поверив" в нее, т.е. отказавшись от каких-либо гарантий в отношении "срока службы" тела. Иными словами, выбирая оба ящика, мы получаем только среднюю продолжительность человеческой жизни (ящик "Б" пуст), а выбирая только ящик "Б" – вечную жизнь.

На всякий случай дополнительно подчеркну, что возможны лишь два варианта: http://lesswrong.ru/forum/index.php/topic,349.msg6217.html#msg6217

Какой ящик в этом случае выбрал бы рационалист?

Предвосхищая очевидное возражение. В отличие от классического эксперимента Ньюкома мы не в состоянии непосредственно убедиться, что все, выбравшие второй вариант, действительно получают обещанное. Однако, даже задавая сколь угодно маленькую вероятность такого события, с учетом бесконечного значения приза мы все равно останемся в выигрыше.