Форум LessWrong.ru

Главное => Рациональность => Тема начата: Kroid от 09 Января 2014, 19:19

Название: Элиезер и парадокс Ньюкома
Отправлено: Kroid от 09 Января 2014, 19:19
В своих статьях Элиезер пишет о парадоксе Ньюкома, противопоставляя рациональное решение традиционному. Я бы хотел поговорить об этом.

Описание в википедии (http://ru.wikipedia.org/wiki/Парадокс_Ньюкома):
Цитировать
Парадокс предполагает мысленный эксперимент, игру с двумя участниками — предсказателем (который может безошибочно предсказывать будущее) и собственно игроком.

Предсказатель ставит перед игроком две коробки — открытую и закрытую. В открытой коробке находится тысяча долларов, в закрытой — либо миллион долларов, либо ничего. Игрок может взять себе или только закрытую коробку, или обе коробки вместе. Содержимое коробки зависит от предсказателя:
Если он предскажет, что игрок выберет обе коробки, то закрытая коробка будет пустой
Если предсказывается, что игрок выберет закрытую коробку, то коробка будет содержать миллион долларов.
Какую коробку следует выбрать игроку, чтобы получить наибольшую сумму? Ему известны все условия игры, известно, что содержимое коробки зависит от предсказаний; единственное, что ему неизвестно, — это какое именно из двух предсказаний сделано.

Элиезер в двух разных статьях описывает немного отличающиеся способности предсказывать будущее:
Цитата: Newcomb's Problem and Regret of Rationality http://lesswrong.com/lw/nc/newcombs_problem_and_regret_of_rationality/
Omega has been correct on each of 100 observed occasions so far - everyone who took both boxes has found box B empty and received only a thousand dollars; everyone who took only box B has found B containing a million dollars.
---
До сих пор Омега оказывался прав на каждом из ста наблюдаемых случаев: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион.
Цитата: Rationality is Systematized Winning http://lesswrong.com/lw/7i/rationality_is_systematized_winning/
Omega has played this game many times before, and has been right 99 times out of 100.
---
Омега играл в эту игру много раз и предсказывает правильно 99 раз из 100.

Сам Элиезер предлагает всегда брать ящик Б, даже если предсказатель может ошибаться 1 раз из 100 (спишем эту ошибку на статистическую погрешность).


На той же странице википедии (http://ru.wikipedia.org/wiki/Парадокс_Ньюкома#.D0.9E.D0.B1.D1.8A.D1.8F.D1.81.D0.BD.D0.B5.D0.BD.D0.B8.D0.B5) очень лаконично написаны 3 способа рассуждений:
Цитировать
С одной стороны, если считать, что предсказатель может ошибаться, то независимо от того, какое предсказание сделал предсказатель, выгоднее выбрать обе коробки. При этом можно руководствоваться следующими соображениями: если был предсказан первый вариант, то игрок получит либо тысячу долларов, либо ничего. Если же было сделано второе предсказание, то игрок фактически выбирает между 1000000$ и 1001000$. Поэтому выбирая всегда обе коробки игрок получит больше денег.

С другой стороны, если считать, что сделав выбор, игрок повлияет на предсказание (которое будет безошибочным), то таких результатов как 0$ и 1001000$ (расхождений в предсказании и выборе игрока) не может получиться в принципе. Поэтому игрок может получить либо тысячу (если он выберет обе коробки, то вторая будет пустой), либо миллион (если выберет только закрытую).

Наконец, если считать, что предсказатель уже безошибочно предсказал будущее, то игроку не о чем беспокоиться: выбор уже сделан за него и до него, он лишь механически исполняет неизбежное.

Всё это сводится к такому вопросу: может ли игрок повлиять на предсказание?
1. Если не может - само мироздание заставит взять ту коробку, которую предсказал Омега. Как такое возможно?
3. Если может - лучше выбрать Б.

Есть ли у нас свидетельства того, что выбор игрока влияет на предсказание? Как вообще будущее может влиять на прошлое?

Я озадачен. Что-то не так. Вспоминается история с нагретой тарелкой:
Цитировать
— Мне кажется, — наконец, заговорил Гарри, — что мы смотрим на это под неверным углом. Однажды я слышал историю, как ученики пришли на урок физики, и учительница показала им большую металлическую тарелку, стоявшую у огня. По её просьбе ученики потрогали тарелку и обнаружили, что ближайшая к огню сторона холоднее, чем дальняя. Учительница попросила их письменно ответить на вопрос, как такое возможно. Некоторые ученики написали «потому что металл проводит тепло», кто-то — «это произошло из-за воздушных потоков», и никто не сказал «по-моему, это совершенно невозможно». А на самом деле учительница просто повернула тарелку, перед тем как ученики вошли в класс.

Предсказание на самом деле появляется уже после выбора. Например, коробка Б на самом деле с потайным дном и перемещающимся механизмом. Или Омега наблюдает из кустов за игроком и вручную абракадабрит деньги в коробки.

Вот почему надо всегда выбирать ящик Б. Ошибка не в традиционной системе принятия решений, а в неверной интерпретации получаемых данных.

А вы что думаете?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 09 Января 2014, 20:24
Не вижу, где вы здесь усмотрели неверную интерпретацию данных.

Насколько понимаю, традиционная казуальная теория принятия решений не нравится Юдковскому тем, что она испытывает трудности при столкновении с подобными ситуациями, когда есть агент, способный предсказывать ваше поведение. В задаче Ньюкома согласно казуальной теории человек должен рассуждать так: "Если я возьму одну коробку, и предсказание было верным - я получу миллион. Если неверным - ничего. Если я возьму обе коробки, то в первом случае получу миллион и тысячу, во втором - тысячу. Следовательно, разумнее будет взять обе коробки." Учитывая, что степень точности прогнозов Омеги высока, можно понять, что получается парадоксальный вывод - человек, пользующийся теорией принятия решений (которая должна давать возможность делать лучшие решения), будет систематически получать не самый лучший результат, в отличие от тех, кто "нерационально" выбирает одну коробку. И именно поэтому Юдковский разрабатывает свою версию теории принятия решений, которая будет работать и в таких условиях.

И ничего тут не сводится к вопросу возможности повлиять на предсказание. Если вам трудно представить предсказателя - представьте психолога, который может с высокой степенью точности предсказать ваше поведение.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 12:57
И именно поэтому Юдковский разрабатывает свою версию теории принятия решений, которая будет работать и в таких условиях.

А почему бы не воспользоваться "вашим" методом? Если известна статистика по обоим вариантам, то выбираем, руководствуясь ею. Если встречаемся с такой ситуацией впервые, то выбираем, опираясь на "жизненный опыт". Кстати, какое значение апостериорной вероятности вы получите в этом случае? :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 10 Января 2014, 13:36
А почему бы не воспользоваться "вашим" методом? Если известна статистика по обоим вариантам, то выбираем, руководствуясь ею. Если встречаемся с такой ситуацией впервые, то выбираем, опираясь на "жизненный опыт". Кстати, какое значение апостериорной вероятности вы получите в этом случае? :)
Куда-то вас в сторону понесло. В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий. А здесь все значения уже известны - мы знаем, с какой вероятностью получим какой исход. Вот вам и апостериорное значение, которое вы просите. :)

А применение метода, который вы называете "моим", здесь зависит от поставленной цели. Если цель - максимизировать выигрыш, то для решения данной задачи я бы использовал функцию полезности, которую вычислял бы как вероятность исхода, умноженную на величину полезности исхода (для простоты полезность я измерял бы в количестве полученных денег):
Нам известно, что Омега верно предсказывает в 99% случаев и ошибается в 1%.
Следовательно, возможны следующие исходы:
мы выбираем две коробки, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 1001000 долларов.
мы выбираем одну коробку, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 0 долларов.
мы выбираем две коробки, и Омега сделал верный прогноз (99% вероятность) - получаем 1000 долларов.
мы выбираем одну коробку, и Омега сделал верный прогноз (99% вероятность) - получаем 1000000 долларов.
Значение ожидаемой полезности при выборе двух коробок получается 0.01*1001000+0.99*1000 = 11000
Значение ожидаемой полезности при выборе одной коробки - 0.01*0+0.99*1000000 = 990000

А как бы вы решили задачу?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 14:47
В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий. А здесь все значения уже известны - мы знаем, с какой вероятностью получим какой исход.

Это первый вариант, о котором я говорил, когда известна статистика из неких независимых источников, которым вы по какой-то причине доверяете. Но предположим, что вы встречаетесь с предсказателем впервые. Поверите ему на слово? :)

мы выбираем две коробки, и при этом Омега ошибся в прогнозе (1% вероятность) - мы получаем 1001000 долларов.

Условия в исходной задаче сформулированы не вполне четко. Я исхожу из версии, когда вариант "1001000 долларов" исключен. Возможны лишь два исхода: либо две коробки и 1000 долларов, либо одна коробка и 1000000 долларов.

А как бы вы решили задачу?

Я согласен, что выбор определяется исключительно нашим доверием к словам предсказателя. Даже если он уверяет, что ошибается всего один раз из ста. :)
А доверие – вещь субъективная (т.е. иррациональная). Но в крайнем случае всегда можно сделать выбор, просто подбросив монетку. Интересно, способен ли предсказатель предсказать результат случайного процесса? :D
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 10 Января 2014, 15:57
Это первый вариант, о котором я говорил, когда известна статистика из неких независимых источников, которым вы по какой-то причине доверяете. Но предположим, что вы встречаетесь с предсказателем впервые. Поверите ему на слово? :)
Это будет уже совершенно другая задача. Согласно моим расчетам, значение функции полезности для обоих вариантов действий сравняется, если достоверность прогноза Омеги мы будем оценивать как ~50%.
Условия в исходной задаче сформулированы не вполне четко. Я исхожу из версии, когда вариант "1001000 долларов" исключен. Возможны лишь два исхода: либо две коробки и 1000 долларов, либо одна коробка и 1000000 долларов.
Могу я спросить, почему вы исключаете такой вариант? По условиям задачи, в открытой коробке всегда лежит 1000 долларов. Что в закрытой - неизвестно. Омега ошибается в 1% случаев. Следовательно, если он сделал ошибку, сделав прогноз, что мы возьмем одну коробку и положил в закрытую коробку миллион, то когда мы возьмем две, то получим 1001000 долларов.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 17:44
В той теме, на которую вы косвенно ссылаетесь, я говорил о другом, а именно - об оценке вероятности успешности методов действий.

Допустим, вам срочно потребовался миллион. Тогда к прочим методам его получения (игра на Форексе, покупка лотерейного билета и упование на наследство от неизвестного родственника-миллионера :) ) вполне можно добавить и этот: вдруг появляется некий странный человек, косящий под инопланетянина, и предлагает пройти тест...

Согласно моим расчетам, значение функции полезности для обоих вариантов действий сравняется, если достоверность прогноза Омеги мы будем оценивать как ~50%.

Помните, я говорил о "бредовых методах", для которых апостериорная вероятность 50%? Так это он и есть. :)

Могу я спросить, почему вы исключаете такой вариант?

Так интереснее, да и логичнее (ошибка – забыть положить миллион).
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 10 Января 2014, 18:18
Допустим, вам срочно потребовался миллион. Тогда к прочим методам его получения (игра на Форексе, покупка лотерейного билета и упование на наследство от неизвестного родственника-миллионера :) ) вполне можно добавить и этот: вдруг появляется некий странный человек, косящий под инопланетянина, и предлагает пройти тест...
Вы опять уезжаете в сторону от задачи. Но если уж вам так хочется, можно оценить и вероятности успеха предложенных вами методов, причем достаточно просто - вероятности выиграть в лотерею, выиграть на Форексе(тоже своего рода лотерея) и получить наследство от родственников рассчитываются на раз. Рассчитываем и их через функцию полезности и сравниваем с тем что я писал выше.
Помните, я говорил о "бредовых методах", для которых апостериорная вероятность 50%? Так это он и есть. :)
Неа. Чушь городите, увидев "знакомое" число 50%. Там вы утверждали, что дескать мы способны получить оценку вероятности успеха метода, о котором нам ничего неизвестно, выше, чем метода, о котором нам известно больше, если для более точного учета свидетельств в процессе оценки метода мы начинаем с равновероятных гипотез. Где вы тут нашли "бредовый" метод действий, для которого будет 50% успеха и реальный, оценка которого выше? Я лишь сказал, что если наша оценка достоверности прогноза Омеги равна 50%, то фунция полезности выдаст равный результат для любого из двух вариантов действий.
Так интереснее, да и логичнее (ошибка – забыть положить миллион).
А вы в школе так же делали, когда вам задачу задавали - меняли условие и говорили "так интереснее"? Это конечно хороший пример действий демагога - под каким-либо соусом поменять условия задачи так, чтобы ее можно было подогнать под свое решение. Но, к сожалению, такое не катит, если ваша цель - решить задачу. А здесь именно надо решить данную задачу, а не придумывать свои. Ошибкой для Омеги будет неправильный прогноз, причем не имеет значения для какого именно действия - предсказал ли он взятие двух коробок, когда взяли одну, или наоборот.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 18:52
Вы опять уезжаете в сторону от задачи.

Я отвечаю на ваш вопрос. Данная задача вполне может рассматриваться как один из методов решения конкретной проблемы.

Но если уж вам так хочется, можно оценить и вероятности успеха предложенных вами методов, причем достаточно просто - вероятности выиграть в лотерею, выиграть на Форексе(тоже своего рода лотерея) и получить наследство от родственников рассчитываются на раз.

Все способы, за исключением "теста", недостаточно определены (например, вероятность выигрыша в лотерею зависит от условий проведения лотереи). Поэтому ограничимся только им. Мне интересно, как вы оцените вероятность этого метода, для которого имеются все необходимые данные.

Я лишь сказал, что если наша оценка достоверности прогноза Омеги равна 50%, то фунция полезности выдаст равный результат для любого из двух вариантов действий.

Выходит, что вероятность получения миллиона в этом случае равна 50%? :)

Ошибкой для Омеги будет неправильный прогноз

Правильно. Но вот конкретное значение этой ошибки зависит от конкретного способа, который использует Омега для реализации своего теста. В условиях задачи этот способ не оговорен.

С другой стороны, при заданных конкретных значениях это ничего, по сути, не меняет. Разница между тысячью и миллионом настолько велика, что имеет смысл "делать ставку" только на миллион. Тогда картина у нас получается следующая: при выборе двух коробок мы получаем миллион с вероятностью 1%, а при выборе одной коробки – с вероятностью 99%. Спрашивается, и о чем же здесь думать? :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 10 Января 2014, 19:27
Все способы, за исключением "теста", недостаточно определены (например, вероятность выигрыша в лотерею зависит от условий проведения лотереи). Мне интересно, как вы оцените вероятность этого метода, для которого имеются все необходимые данные.
Я все никак не пойму, что вам тут оценивать-то надо? Все уже дано в условии задачи. И здесь не один метод - здесь два варианта действий. Для обоих все приведено. Если ваша цель выиграть миллион, то если вы берете две коробки, вероятность выиграть миллион - 1%, если одну - 99%.
Выходит, что вероятность получения миллиона в этом случае равна 50%? :)
Мы можем получить миллион в двух случаях - либо если выберем две коробки и Омега ошибется, либо если выберем одну и Омега будет прав. Если прогнозы Омеги истинны в 50% случаев, то да, вероятность получить миллион будет для любого из двух вариантов действий равна 50%.
Правильно. Но вот конкретное значение этой ошибки зависит от конкретного способа, который использует Омега для реализации своего теста. В условиях задачи этот способ не оговорен.
Это как?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 19:52
Я все никак не пойму, что вам тут оценивать-то надо? Все уже дано в условии задачи. И здесь не один метод - здесь два варианта действий.

Нет, просто среди прочих методов имеется конкретный метод, предполагающий ситуацию выбора. Скажем, при игре на Форексе таких ситуаций будет множество, но мы же рассматриваем его не как множество методов, а как один. Суть вопроса в том, насколько высоко вы оцениваете вероятность получения миллиона в случае "теста". Выше, чем в прочих перечисленных методах, или же нет? Напоминаю, что странного человека вы видите впервые, и какая-либо статистка по его "тесту" вам неизвестна. :)

Если прогнозы Омеги истинны в 50% случаев, то да, вероятность получить миллион будет для любого из двух вариантов действий равна 50%.

Насколько я понимаю ваши рассуждения, то оценка прогноза Омеги – априорная вероятность, оценка выигрыша – апостериорная. В обоих случаях она получается равной 50%. И в чем же тогда я был не прав?

Это как?

Я уже приводил пример: ошибка – забыть положить миллион. Конкретный способ: деньги в пустой коробке появляются только после принятия решения по этой коробке, изначально же их там нет. Иными словами, при выборе двух коробок никаких действий, направленных на изменение ситуации, не производится вообще.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 10 Января 2014, 20:42
Нет, просто среди прочих методов имеется конкретный метод, предполагающий ситуацию выбора. Скажем, при игре на Форексе таких ситуаций будет множество, но мы же рассматриваем его не как множество методов, а как один. Суть вопроса в том, насколько высоко вы оцениваете вероятность получения миллиона в случае "теста". Выше, чем в прочих перечисленных методах, или же нет? Напоминаю, что странного человека вы видите впервые, и какая-либо статистка по его "тесту" вам неизвестна. :)
Вы пытаетесь пропихнуть вымышленную ситуацию в реальный мир, что оставляет слишком много неясностей. Сформулируйте тогда уж все четко, что ли. Из каких вариантов делается выбор? Каковы у вас исходные условия задачи?
Насколько я понимаю ваши рассуждения, то оценка прогноза Омеги – априорная вероятность, оценка выигрыша – апостериорная. В обоих случаях она получается равной 50%. И в чем же тогда я был не прав?
Нет, вы неправильно понимаете. Сколько раз вам надо повторить, что здесь не надо вычислять вероятности - они уже даны в самом условии? В данной задаче вероятность выигрыша/проигрыша миллиона - это и есть вероятность успеха/ошибки предсказания Омеги. Для варианта, где вы выбираете обе коробки, вероятность выиграть миллион - это вероятность того, что Омега ошибся и положил миллион в закрытую коробку, предсказав, что вы возьмете одну. Для варианта, где вы берете одну коробку, вероятность выигрыша миллиона - это вероятность успешности прогноза Омеги. Для вашей интерпретации, выигрыш миллиона возможен только в случае взятия одной коробки - следовательно, равен вероятности успеха прогноза Омеги, что вы возьмете одну коробку. Так что на вопрос, где вы не правы, упоминая про мои вычисления вероятности, могу ответить так - в том, что рассуждаете о чем-то совершенно постороннем касательно данной задачи.
Я уже приводил пример: ошибка – забыть положить миллион. Конкретный способ: деньги в пустой коробке появляются только после принятия решения по этой коробке, изначально же их там нет. Иными словами, при выборе двух коробок никаких действий, направленных на изменение ситуации, не производится вообще.
Ну, вычисления в этом случае можно провести так же, просто значение функции полезности для варианта с двумя коробками будет ниже.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 10 Января 2014, 22:21
Вы пытаетесь пропихнуть вымышленную ситуацию в реальный мир, что оставляет слишком много неясностей. Сформулируйте тогда уж все четко, что ли.

Вам необходимо срочно найти миллион. В это время появляется странный человек со своим "тестом". Согласно вашему подходу вы не можете отбросить его метод без предварительной оценки. Меня интересует конкретное значение апостериорной вероятности в данном случае.

Из каких вариантов делается выбор?

Прочие методы я уже перечислял (лотерея, Форекс, родственник-миллионер).

Нет, вы неправильно понимаете.

Чтобы не было путаницы, забудьте о моем варианте. :)

В данной задаче вероятность выигрыша/проигрыша миллиона - это и есть вероятность успеха/ошибки предсказания Омеги.

Вот поэтому оценка достоверности прогноза Омеги – априорная вероятность, которую задаете лично вы. Задавая ее значение в 50%, вы затем рассчитываете вероятность получения миллиона. Вы утверждаете, что получается 50%. Разве это не апостериорная вероятность?

Ну, вычисления в этом случае можно провести так же, просто значение функции полезности для варианта с двумя коробками будет ниже.

Я уже отмечал, что для априорной вероятности в 99%, заданной Юдковским, это не принципиально. :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Yuu от 20 Января 2014, 15:36
Вот ещё одна статья на тему данной задачи: «Парадокс Ньюкома и Путь выигрывания (http://lesswrong.ru/w/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D0%9D%D1%8C%D1%8E%D0%BA%D0%BE%D0%BC%D0%B0_%D0%B8_%D0%9F%D1%83%D1%82%D1%8C_%D0%B2%D1%8B%D0%B8%D0%B3%D1%80%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F)».
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 21 Января 2014, 14:00
Пришло в голову, что "пари Паскаля" вполне вписывается в условия эксперимента Ньюкома. Изменения потребуются самые минимальные.

Назовем Омегу Богом, ящик "А" – "телом", а ящик "Б" – "душой". Игра заключается в выборе максимальной продолжительности жизни, причем выбирать разрешается либо оба ящика, либо только второй. В ящике "А" имеется "гарантированная" продолжительность средней человеческой жизни, в ящике "Б" – ничего или "жизнь вечная". Но обрести последнюю возможно, только "поверив" в нее, т.е. отказавшись от каких-либо гарантий в отношении "срока службы" тела. Иными словами, выбирая оба ящика, мы получаем только среднюю продолжительность человеческой жизни (ящик "Б" пуст), а выбирая только ящик "Б" – вечную жизнь.

На всякий случай дополнительно подчеркну, что возможны лишь два варианта: http://lesswrong.ru/forum/index.php/topic,349.msg6217.html#msg6217

Какой ящик в этом случае выбрал бы рационалист? :)

Предвосхищая очевидное возражение. В отличие от классического эксперимента Ньюкома мы не в состоянии непосредственно убедиться, что все, выбравшие второй вариант, действительно получают обещанное. Однако, даже задавая сколь угодно маленькую вероятность такого события, с учетом бесконечного значения приза мы все равно останемся в выигрыше.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 21 Января 2014, 17:07
Вам необходимо срочно найти миллион. В это время появляется странный человек со своим "тестом". Согласно вашему подходу вы не можете отбросить его метод без предварительной оценки. Меня интересует конкретное значение апостериорной вероятности в данном случае.

Прочие методы я уже перечислял (лотерея, Форекс, родственник-миллионер).
Задача по-прежнему слишком неконкретна. В варианте с Омегой непонятно, то ли воспроизводятся все условия задачи Ньюкома, то ли нет. Форекс - вероятность зависит от стартовых условий, например, если нет стартового капитала для работы на нем, то вероятность заработать ~0 - поскольку зарабатывать нечем. Родственник-миллионер - зависит от наличия родственников и т.д. И опять же - значение апостериорной вероятности чего вас интересует?
Вот поэтому оценка достоверности прогноза Омеги – априорная вероятность, которую задаете лично вы. Задавая ее значение в 50%, вы затем рассчитываете вероятность получения миллиона. Вы утверждаете, что получается 50%. Разве это не апостериорная вероятность?
Хорошо, ее можно в таком разрезе назвать апостериорной вероятностью. Что дальше?
С другой стороны, при заданных конкретных значениях это ничего, по сути, не меняет. Разница между тысячью и миллионом настолько велика, что имеет смысл "делать ставку" только на миллион. Тогда картина у нас получается следующая: при выборе двух коробок мы получаем миллион с вероятностью 1%, а при выборе одной коробки – с вероятностью 99%. Спрашивается, и о чем же здесь думать? :)
Думать пример этой задачи предлагает о том, как формализовать данные рассуждения в новую теорию принятия решений, которая не будет фейлится на таких задачах и при этом успешно будет справляться с теми же, с которыми справляется нынешняя теория принятия решений.
Пришло в голову, что "пари Паскаля" вполне вписывается в условия эксперимента Ньюкома. Изменения потребуются самые минимальные.

Назовем Омегу Богом, ящик "А" – "телом", а ящик "Б" – "душой". Игра заключается в выборе максимальной продолжительности жизни, причем выбирать разрешается либо оба ящика, либо только второй. В ящике "А" имеется "гарантированная" продолжительность средней человеческой жизни, в ящике "Б" – ничего или "жизнь вечная". Но обрести последнюю возможно, только "поверив" в нее, т.е. отказавшись от каких-либо гарантий в отношении "срока службы" тела. Иными словами, выбирая оба ящика, мы получаем только среднюю продолжительность человеческой жизни (ящик "Б" пуст), а выбирая только ящик "Б" – вечную жизнь.
Несколько непонятна ваша реализация задачи - можно подробней?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Kroid от 21 Января 2014, 19:20
По поводу пари Паскаля:
Цитировать
Предвосхищая очевидное возражение. В отличие от классического эксперимента Ньюкома мы не в состоянии непосредственно убедиться, что все, выбравшие второй вариант, действительно получают обещанное. Однако, даже задавая сколь угодно маленькую вероятность такого события, с учетом бесконечного значения приза мы все равно останемся в выигрыше.
А что насчет самого понятия "вероятности"? В прошедшем времени вероятностей не существует. Вероятность - количественный термин, выражающий наши предположения о будущих событиях, при условии их повторяемости. Однако, мироздание уже сформировалось, у нас всего одна попытка, а прошлых и будущих результатов не было и не будет. У нас нет ни одного свидетельства, ни за, ни против. Как тут можно вычислять вероятность?

Далее, мы не знаем, каким способом будем существовать в раю (при условии, что он есть). Будем ли мы продолжать осознавать себя, или сольемся в единую сущность, или ... . Как тут можно вычислять ценность приза?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 21 Января 2014, 19:52
В варианте с Омегой непонятно, то ли воспроизводятся все условия задачи Ньюкома, то ли нет.

Я ведь оговорил, что достоверность прогноза Омеги неизвестна, поскольку вы видите этого человека в первый раз. :)

Форекс - вероятность зависит от стартовых условий, например, если нет стартового капитала для работы на нем, то вероятность заработать ~0 - поскольку зарабатывать нечем. Родственник-миллионер - зависит от наличия родственников и т.д.

Естественно, что коль скоро эти методы фигурируют в условии, то они доступны. У вас имеется какое-то количество денег, достаточное, чтобы купить лотерейный билет, открыть в банке счет (на минимальную необходимую сумму) для игры на Форексе, оплатить подключение компьютера к сети и т.п. Что же касается родственника-миллионера, то вероятность его наличия вам и требуется оценить. Ранее вы не обращали внимание на свою родословную, но теперь вспомнили, что она довольна большая и далеко не о всех родственниках у вас есть достоверная информация.
Требуется оценить вероятность добиться исходной цели – получить миллион – каждым из этих способов, чтобы выбрать из них наиболее "надежный".

Хорошо, ее можно в таком разрезе назвать апостериорной вероятностью. Что дальше?

Уточнение в связи с предыдущим обсуждением: http://lesswrong.ru/forum/index.php/topic,349.msg6221.html#msg6221

Несколько непонятна ваша реализация задачи - можно подробней?

Это попытка формализовать недостаточно четкие условия "пари Паскаля".
Некий представитель Омеги – "наместник Бога" – сообщает, что Омега гарантирует вечную жизнь при выборе ящика "Б", но не гарантирует существование (не говоря уже о его комфортности) на "этом свете". В полном соответствии с известным предостережением: "Сберегший душу свою потеряет ее; а потерявший душу свою ради Меня сбережет ее" (Мф. 10:39). (Душа здесь из-за особенностей перевода синонимична (греховной) жизни.)
Сам представитель уверяет, что Омега всегда сдерживает свои обещания, однако проверить сей факт по понятным причинам затруднительно.
Выбор двух ящиков предполагает, что стандартный жизненный срок, отмеренный ящиком "А", можно прожить в свое удовольствие. Во всяком случае, без тех дополнительных рисков и требований, осложняющих/исключающих существование, которые неизбежны при выборе ящика "Б".

У нас нет ни одного свидетельства, ни за, ни против. Как тут можно вычислять вероятность?

Используйте байесовскую вероятность, а не частотную: http://lesswrong.ru/forum/index.php/topic,306.msg5348.html#msg5348
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 21 Января 2014, 22:15
Я ведь оговорил, что достоверность прогноза Омеги неизвестна, поскольку вы видите этого человека в первый раз. :)

Естественно, что коль скоро эти методы фигурируют в условии, то они доступны. У вас имеется какое-то количество денег, достаточное, чтобы купить лотерейный билет, открыть в банке счет (на минимальную необходимую сумму) для игры на Форексе, оплатить подключение компьютера к сети и т.п. Что же касается родственника-миллионера, то вероятность его наличия вам и требуется оценить. Ранее вы не обращали внимание на свою родословную, но теперь вспомнили, что она довольна большая и далеко не о всех родственниках у вас есть достоверная информация.
Требуется оценить вероятность добиться исходной цели – получить миллион – каждым из этих способов, чтобы выбрать из них наиболее "надежный".
А за какой промежуток времени?
Это попытка формализовать недостаточно четкие условия "пари Паскаля".
Некий представитель Омеги – "наместник Бога" – сообщает, что Омега гарантирует вечную жизнь при выборе ящика "Б", но не гарантирует существование (не говоря уже о его комфортности) на "этом свете". В полном соответствии с известным предостережением: "Сберегший душу свою потеряет ее; а потерявший душу свою ради Меня сбережет ее" (Мф. 10:39). (Душа здесь из-за особенностей перевода синонимична (греховной) жизни.)
Сам представитель уверяет, что Омега всегда сдерживает свои обещания, однако проверить сей факт по понятным причинам затруднительно.
Пари Паскаля, как его не формулируй, держится на нескольких предположениях - как минимум, что Бог существует и что он вознаграждает за веру в него. И в любой формулировке все упирается в истинность данных предположений. И я несколько не вижу смысла в попытке подгонки его под задачу Ньюкома - она была придумана как пример ситуации, где несостоятельна причинная теория принятия решений вследствие участия другого агента, который может предсказать ваши действия, в то время как Пари Паскаля - попытка подвести базу под веру в Бога. Почему вы решили их "скрестить" и чем они у вас похожи - мне непонятно.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 21 Января 2014, 22:31
А за какой промежуток времени?

"Вам необходимо срочно найти миллион": http://lesswrong.ru/forum/index.php/topic,349.msg6231.html#msg6231

Дни, максимум недели. Собственно, почему и способы его получения такие специфичные. :)

Пари Паскаля, как его не формулируй, держится на нескольких предположениях - как минимум, что Бог существует и что он вознаграждает за веру в него.

С тем же успехом можно сказать, что задача Ньюкома предполагает существование агента, способного предсказывать и вознаграждать "за доверие". Или вы ставите под сомнение способность Бога предсказать ваше решение? :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Волхв от 22 Января 2014, 14:17
С тем же успехом можно сказать, что задача Ньюкома предполагает существование агента, способного предсказывать и вознаграждать "за доверие". Или вы ставите под сомнение способность Бога предсказать ваше решение? :)
В задаче Ньюкома агент существует, предсказывает и вознаграждает.
В вашем варианте агент может существовать, может предсказывать и может вознаграждать. Т.е. у нас получается утроенное "если". И учетверенное, если обещанное вознаграждение в самом деле бесконечное.
К тому же...  человек, как мы знаем, не может правильно работать даже с "небольшими" большими числами, вообще не может работать с "большими большими числами", что уж там говорить о бесконечности...
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 22 Января 2014, 17:10
В вашем варианте агент может существовать, может предсказывать и может вознаграждать. Т.е. у нас получается утроенное "если".

Не понял, что вас смущает. В исходной задаче Ньюкома ничего не говорится о реальной способности агента предсказывать и вознаграждать, поскольку именно эту способность и требуется оценить. Личность самого агента мы также не в состоянии проверить. :)

человек, как мы знаем, (...) вообще не может работать с "большими большими числами"

По крайней мере, мы точно знаем, что он способен рассуждать о вечной жизни. :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Remlin от 22 Января 2014, 17:13
Не понял, что вас смущает. В исходной задаче Ньюкома ничего не говорится о реальной способности агента предсказывать и вознаграждать, поскольку именно эту способность и требуется оценить. Личность самого агента мы также не в состоянии проверить. :)
Опять вас куда-то понесло. Не требуется в задаче Ньюкома оценивать способность агента предсказывать и вознаграждать, она там задана в условии.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 22 Января 2014, 18:07
Не требуется в задаче Ньюкома оценивать способность агента предсказывать и вознаграждать, она там задана в условии.

Видимо, вы меня в очередной раз не поняли. Под оценкой способности агента предсказывать и вознаграждать я подразумевал оценку вероятности его возможной ошибки. Ведь от того, допускаем мы такую возможность или нет, зависит и наш выбор.

В ящике "А" имеется "гарантированная" продолжительность средней человеческой жизни

В принципе, вместо средней продолжительности может взять любое произвольное значение – сути это не изменит. Как отмечал сам Юдковский:

Цитировать
Я люблю жизнь без ограничений, без верхней границы: нет такого конечного значения N, что я предпочту шанс в 80% прожить N лет по сравнению с вероятностью в 0% прожить гуголплекс лет и 80-процентной вероятностью жить вечно.
http://lesswrong.ru/w/Парадокс_Ньюкома_и_Путь_выигрывания (http://lesswrong.ru/w/Парадокс_Ньюкома_и_Путь_выигрывания)

Иными словами, Юдковский на стороне Паскаля. :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Skywrath от 24 Января 2014, 07:34
Цитировать
Однако, мироздание уже сформировалось, у нас всего одна попытка, а прошлых и будущих результатов не было и не будет.
Нет. В спекулятивной теории, Бог мог бы поворачивать время обратно и ставить вас перед любым вашим решением и его последствиями - бесконечное число раз. Таким образом полный ансамбль вероятностей - объективно существовал бы, для теории со всемогущим Богом - он содержал бы бесконечное число равновероятных событий, что в пределе и дало бы нам ноль. Это ломает Пари Паскаля, так как вероятности для этой парадигмы не зависят от ваших решений. Будь теория чуть менее спекулятивной, ансамбль можно было бы корректировать, как угодно с позиций формальной теологии. Получается, что Пари - очень грязная задача. В чистом виде она не имеет отношения к Богу. У нас есть только "агент" и обещания не имеющие под собой никаких гарантий. Подразумевается, что эти "агентам" нужно всегда верить на слово. Но это даже с позициями здравого смысла и религиозной доктрины расходится. Не то, что логики и рационализма. Как только мы меняем "агента" на Бога - нам нужно добавить религиозные аксиомы, и почти все логические переходы потеряют смысл, если эта система будет честно проанализирована. Грубо говоря, когда пари Паскаля является базой для веры в Бога, то это только потому, что человек работающий в этой парадигме - обязан верить всем "агентам", которые обещают ему бесконечные и ничем не подтверждённые блага. Здесь интересно как раз искать почему выбор матожидания - является иррациональным, а не аргументировать Пари в пользу религии. Проблема Паскаля - оказывается более общей философской проблемой, а её приложение к конкретной веры - лишь частным случаем безоговорочного доверия к "бесконечным выигрышам" вообще.

Цитировать
Или вы ставите под сомнение способность Бога предсказать ваше решение?
Элементарный ход. Достаточно просто утверждать, что Бог не обладает знанием реализаций ваших решений, а имеет на руках только статистическую информацию о том с какой вероятностью они могут быть приняты. И утверждать, что какая-либо вероятность решений - действительно существует. Стандартная контр-аргументация от трансцендентых качеств не работает в данном случае, как только вы утверждаете, что-то типа "неужели Бог не сможет что-то предсказать" - вы будете попадать на возражение в стиле "неужели Бог не сможет принять решение за вас". То есть, как только у вас - предсказательная сила [и аналогичная ей фиктивная управляющая выбором] постулируется теорией, это уже не Пари с Богом, а Пари Бога самого с собой. Это меняет задачу до тривиальной: будете вы в раю или нет - решают за вас.

Цитировать
Иными словами, Юдковский на стороне Паскаля.
Юдковский на стороне Паскаля в случае, если Бог - есть. Это как раз рационально. Быть атеистом в мире с богом - это ведь безумие, верно? Если Бога - нет, то задачи не аналогичны. Пари не исходит из того, что Бог - существует. Это прямо следует из того, что оно является аргументом в пользу веры в Бога, а аргументы не опираются на доказываемое в них. Если я правильно понял, то в задаче, Омега - существует по условию задачи, и если бы его там не было - это была бы уже совсем другая история.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 24 Января 2014, 12:31
Таким образом полный ансамбль вероятностей - объективно существовал бы, для теории со всемогущим Богом

В данном случае речь идет вовсе не о всемогуществе Бога. Не стоит умножать сущности, только затемняющие проблему. Вы ведь не собираетесь всерьез обсуждать инопланетное происхождение Омеги? :)

Грубо говоря, когда пари Паскаля является базой для веры в Бога, то это только потому, что человек работающий в этой парадигме - обязан верить всем "агентам", которые обещают ему бесконечные и ничем не подтверждённые блага.

В какой парадигме "работает" человек, верящий в способность гарантировано предсказывать будущее? :)
Вы просто не хотите замечать, что "агент" из задачи Ньюкома – существо не менее иррациональное, чем Бог. Почему бы вам на этом основании не обвинить и самого Ньюкома в спекулятивном подходе?

Проблема Паскаля - оказывается более общей философской проблемой, а её приложение к конкретной веры - лишь частным случаем безоговорочного доверия к "бесконечным выигрышам" вообще.

Это уже ближе к сути. Но вот Юдковский, например, не видит в "бесконечных выигрышах" ничего странного. Да и как иначе может относиться к ним человек, не сомневающийся в победе над смертью? :)

Достаточно просто утверждать, что Бог не обладает знанием реализаций ваших решений, а имеет на руках только статистическую информацию о том с какой вероятностью они могут быть приняты.

Вы вольны утверждать, что угодно. Мы говорим о конкретном эксперименте, в котором требуется выбрать максимальную продолжительность жизни. Если вы верите его организатору, то выбираете коробку с "гарантированной" "вечной жизнью" подобно тому, как в эксперименте Ньюкома выбираете коробку с "гарантированным" "миллионом". Все.

Юдковский на стороне Паскаля в случае, если Бог - есть. Это как раз рационально.

Вообще-то Юдковский согласен даже на "80-процентную вероятность" бессмертия. :)
Но легко показать, что конкретное значение вероятности никак не влияет на безусловное преимущество варианта с "вечной жизнью" (коль скоро мы решим прибегнуть к формальному подсчету "функции полезности" для каждого из вариантов).

Если я правильно понял, то в задаче, Омега - существует по условию задачи.

Не надо путать организатора эксперимента с никогда не ошибающимся предсказателем, пусть даже он себя так аттестует. :)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Skywrath от 25 Января 2014, 07:05
Цитировать
Но вот Юдковский, например, не видит в "бесконечных выигрышах" ничего странного.
Я в них тоже не вижу проблемы. Но интуитивно ясно, что такая стратегия не работает. Представьте, что я сейчас назову себя "агентом", дам вам пистолет и гарантии вечной загробной жизни в случае самоубийства. Я даже могу гарантировать, что вы окажетесь в аду, если не примете моё предложение, что бы уравнять матрицу выигрыша в случае отказа. Вряд ли, ваше согласие со мной будет рациональным по сути, хотя рассуждения прямо говорят, что вы должны доверять "агентам". Поэтому, я считаю, что вероятность оценивается не верно и классическая теория здесь не адекватна. Например, почему  вероятность не может быть более бесконечно малой, чем бесконечно большой выигрыш?  :D

Цитировать
Мы говорим о конкретном эксперименте, в котором требуется выбрать максимальную продолжительность жизни.
Мы говорим о Пари Паскаля, которое не эквивалентно задаче о двух продолжительностях жизни. Например, Пари Паскаля основывается на одной единственной гарантии для одного единственного случая. Коробки же - гарантируются дважды. Я сейчас сделаю этот ход. Какова вероятность того, что вы уже бессмертны? Ноль. Правильно? Тогда получается, что ожидаемая продолжительность жизни - у вас бесконечная. И вы ничего не выигрываете в Пари Паскаля. "Агент" обещает вам конечный выигрыш в случае Ньюкома, но Бог не обещает вас убивать случае Паскаля. И я могу уравновесить "агента" и его спекулятивную матрицу выигрыша - собственной спекулятивной матрицей проигрыша. Действительно, какой бы эта вероятность не была малой, но вы уже можете быть бессмертны. Бог вам ничего не даст. Более того, если вы бессмертны, вы никогда не попадаете в загробную жизнь, но вынуждены терпеть бескончные убытки из-за веры на протяжении всей своей бесконечной жизни. Задача Ньюкома не использует бесконечные выигрыши и гарантирует результаты дважды, это отличает её от Пари Паскаля, которое в общем случае - базируется на бесконечном выигрыше всего одной альтернативы, при трёх свободных. Это разные задачи.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: logic от 25 Января 2014, 14:56
Представьте, что я сейчас назову себя "агентом", дам вам пистолет и гарантии вечной загробной жизни в случае самоубийства.

Сравните ваш вариант с вариантом Юдковского:
Цитировать
А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%?

Поскольку люди задумываются о подобных вещах, только когда их сильно "припечет", то представьте, что вы предлагаете свой вариант онкобольному...

Например, Пари Паскаля основывается на одной единственной гарантии для одного единственного случая.

Главное отличие задачи о максимальной продолжительности жизни от задачи Ньюкома связано со сроком ожидания выигрыша. В задаче Ньюкома достаточно поверить всего на пару минут, пока не обнаружится присутствие вожделенного миллиона. А вот в задаче о максимальной продолжительности жизни, чтобы получить выигрыш, потребуется прожить, как минимум, всю оставшуюся жизнь. И в течение всего этого времени необходимо верить обещаниям "агента". Таким образом, выбирая "вечную жизнь", мы автоматически приобретаем веру в агента-Бога, что в точности соответствует условиям Паскаля. :)

Добавлено 27 Января 2014, 18:22:
[задача Ньюкома] была придумана как пример ситуации, где несостоятельна причинная теория принятия решений

Как отмечает сам Юдковский:
Цитировать
преобладающее мнение в современной теории принятия решений гласит, что следует выбрать оба ящика, а Омега просто вознаграждает агентов с нерациональными установками
http://lesswrong.ru/w/Парадокс_Ньюкома_и_Путь_выигрывания (http://lesswrong.ru/w/Парадокс_Ньюкома_и_Путь_выигрывания)

В соответствии с "общепринятыми" представлениями о рациональности ящик "Б" – типичный "черный ящик", выдающий искомый миллион на основе сугубо иррационального критерия. Следовательно, подобный способ обогащения относится к числу иррациональных методов.

Все "адепты причинной теории" – убежденные рационалисты. Проблема же заключается в том, что из двух методов обогащения в данном эксперименте – рационального (выбрать оба ящика) и иррационального (выбрать только ящик "Б") – более "выгоден" именно иррациональный. После чего рационалист чешет затылок и недоуменно заявляет, что имеет место парадокс. :)

Однако Юдковский нашел выход из тупика. Он просто обратил внимание, что "рациональный выбор" вовсе не тождественен "рациональному методу". Поэтому в эксперименте Ньюкома для максимального обогащения "рационально" выбрать не рациональный метод, а как раз иррациональный. Кстати, я уже не раз отмечал подобную особенность:

"Парадокс же коана заключается в том, что для достижения своей цели рационалист использует "иррациональный" метод": http://lesswrong.ru/forum/index.php/topic,296.msg5118.html#msg5118

"да, в некоторых (исключительных) случаях рационалист может использовать заведомо иррациональный метод": http://lesswrong.ru/forum/index.php/topic,235.msg5997.html#msg5997

К сожалению, "рационалисты" этого форума упорно не хотят видеть разницу между методом и собственно выбором...
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Elspet от 18 Августа 2014, 21:35
Дабы не создавать новую тему.

http://theoryandpractice.ru/posts/9427-vasilisk-roko

Что скажите?

Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Quilfe от 18 Августа 2014, 22:17
Дилемма заключенного, не? Если Василиск будет создан, то лучше его создавать, но если никто не будет его создавать, это будет наилучшим вариантом.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Панда от 18 Августа 2014, 22:21
Тогда он самосоздастся и накажет всех
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Elspet от 18 Августа 2014, 22:38
Цитировать
Дилемма заключенного, не? Если Василиск будет создан, то лучше его создавать, но если никто не будет его создавать, это будет наилучшим вариантом.

Какое же отношение это имеет к Василиску Роко? Ну, у него тоже есть пара коробочек для вас. Может быть, вы прямо сейчас находитесь в симуляции, созданной Василиском. Тогда, возможно, мы получаем несколько модифицированную версию парадокса Ньюкома: Василиск Роко говорит вам, что если вы возьмете коробку Б, то подвергнетесь вечным мучениям. Если же вы возьмете обе коробки, то вынуждены будете посвятить свою жизнь созданию Василиска. Если Василиск на самом деле будет существовать (или, хуже того, он уже существует и является богом этой реальности), он увидит, что вы не выбрали вариант помощи в его создании и покарает вас.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 19 Августа 2014, 03:45
Какое же отношение это имеет к Василиску Роко? Ну, у него тоже есть пара коробочек для вас. Может быть, вы прямо сейчас находитесь в симуляции, созданной Василиском. Тогда, возможно, мы получаем несколько модифицированную версию парадокса Ньюкома: Василиск Роко говорит вам, что если вы возьмете коробку Б, то подвергнетесь вечным мучениям. Если же вы возьмете обе коробки, то вынуждены будете посвятить свою жизнь созданию Василиска. Если Василиск на самом деле будет существовать (или, хуже того, он уже существует и является богом этой реальности), он увидит, что вы не выбрали вариант помощи в его создании и покарает вас.
Не брать ни одной коробки и убить всех человеков, чтобы они не создали Василиска.
Тогда он самосоздастся и накажет всех
"Вам на голову летит термоядерная бомба. Какую коробочку вы предпочтёте открыть в последние секунды перед смертью:  A или B?" Да никакую я не буду открывать. Пойду лучше выкурю последнюю сигарету, мечтательно глядя на звёзды и запивая чаем.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Octavius от 04 Октября 2015, 04:14
Однако, даже задавая сколь угодно маленькую вероятность такого события, с учетом бесконечного значения приза мы все равно останемся в выигрыше.

Притворяясь, что отвечаю вам, отвечаю Паскалю:
Нет, _мы_ не останемся в выигрыше. Если бы души существовали у некоторых, а не у всех (скажем, у одного на тысячу), можно было бы говорить, что вариант "б" _в среднем_ выигрышнее. Но, так как ответ на вопрос существования/несуществования души одинаков для любого человека, говорить о каком-то "в среднем" по меньшей мере глупо. Так же глупо, каквсю жизнь спускать деньги на лотерейные билеты.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Skywrath от 04 Октября 2015, 18:02
Не то, что бы вероятности можно было оценить, но формально, мы можем задавать и настолько малую вероятность, что вы уже не получаете выигрыша. В нестандартном анализе, который и позволяет перемножать подобные величины имеются, в случае умножения бесконечно малого числа на бесконечно большое число, все варианты ответов, включая точно нулевой.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: fil0sof от 05 Октября 2015, 10:58
Перечитал эту тему после её апа и всё сразу понял :D
Панда, теперь у меня, как и у вас, никаких сомнений)))
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Панда от 05 Октября 2015, 21:00
Я рада :) а по какому поводу?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: fil0sof от 05 Октября 2015, 22:46
По поводу логика конечно)))
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Mad_Cat от 01 Ноября 2015, 20:09
Что-то вокруг этого парадокса сильно много всего накрутили, больше, чем он того заслуживает. И у Юдковского по этому поводу какие-то глупости понаписаны.

Если какой-то стиль принятия решений приводит к успеху в определенной ситуации, из этого не следует, что этот стиль принятия решений рационален или даже просто хорош. Даже сломанные часы дважды в сутки показывают время правильно. Парадокс Ньюкома это всего одна ситуация (причем такая, с которой вы вряд ли когда-нибудь столкнетесь в жизни), в то время как всяких разных ситуаций тысячи. И надо рассматривать их в совокупности. Если определенный подход приносит кому-то миллион долларов в парадоксе Ньюкома, а в любых других ситуациях почти всегда приводит к проигрышу, то это проигрышный подход.

Дальше. Надо определиться, что вообще считать рациональным выбором. Мне кажется полезным начинать анализ проблемы с определений - по крайней мере, это позволяет разгрести бардак в голове. Рациональный выбор - это информированный выбор, т.е. основанный если не на полной, то хотя бы достаточной и достоверной информации. Если информации нет или она недостоверна, то сделанный в такой ситуации выбор к рациональности отношения не имеет.

После этого можно задаться вопросом - есть ли у игрока в парадоксе Ньюкома доступ к информации и какая это информация? Из общей формулировки парадокса это, вообще говоря, не понятно, а ведь это важно. Инопланетянин бросает перед игроком две коробки и исчезает ничего не говоря? Или предварительно сообщает правила игры? Как он выглядит и как обставлено его появление - похож ли он на обычного человека, или его внешность, условия появления и имеющиеся при нем артефакты указывают на принадлежность к чуждой высокоразвитой цивилизации? Демонстрирует ли он игроку свою способность к предсказанию наглядно? Есть ли у игрока возможность узнать статистическую сводку по результатам предыдущих игр?

Если заранее известно, что все игроки, выбравшие обе коробки, обнаружили, что коробка Б пуста, в противоположность всем игрокам, выбравшим только коробку Б, то выбор только коробки Б - очень даже рационален. Мы не знаем почему это срабатывает, ну и что? В данном случае это как раз необязательная информация. Наши знания о мире вообще не полны. Может, коробки снабжены беспроводной связью, аннигилятором или телепортером и всякими другими штуками. Главное, что мы знаем, что это работает.

Если же инопланетянин вообще ничего не объясняет или нет убедительных причин ему верить, то этот выбор находится за пределами применимости рациональности и возвращает нас к абзацу №2.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Skywrath от 02 Ноября 2015, 19:43
Цитата: Mad_Cat
Выбор, сделанный в такой ситуации выбор к рациональности отношения не имеет.
Какой смысл настолько сильно сужать область существования рациональности? Интуитивно очевидно, что даже в ситуации лишённой достаточной и достоверной информации существуют рациональные и нерациональные стили решений. Теорема Байеса, например, позволяет делать выводы на основании, строго говоря, недостаточной для этого информации. Конечно, вы можете определять рациональность, как хотите, но вы вряд ли сможете спрятаться от проблемы за определениями. Вам ведь потребуется отбрасывать рациональные методы, что бы не замечать проблему и это сделает парадигму бесполезной. Так, что все попытки разрешить проблему разговорами про пределы применимости рациональности фиктивны по существу дела. Вы ведь просто переводите стрелки. Вопрос остаётся, но заняться им придётся какие-нибудь "гипер-рационалистам".
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 03 Ноября 2015, 17:55
Дальше. Надо определиться, что вообще считать рациональным выбором. Мне кажется полезным начинать анализ проблемы с определений - по крайней мере, это позволяет разгрести бардак в голове. Рациональный выбор - это информированный выбор, т.е. основанный если не на полной, то хотя бы достаточной и достоверной информации. Если информации нет или она недостоверна, то сделанный в такой ситуации выбор к рациональности отношения не имеет.
Парадокс возникает в контексте теорий принятия решений в неопределённых условиях. Проблемы с принятием решений возникают как раз в контексте неопределённых условий, и недостоверной информации. Когда есть определённость и достоверность проблем как раз нет, с такими ситуациями ещё древние греки справлялись обычной логикой.
Требование "информированности выбора" -- это инструментальное требование. Цель рациональности -- эффективность принятия решений. Информированность может быть инструментом повышения эффективности, но когда вы инструментом подменяете цель, путая таким образом цель и средство, то вы вступаете на территорию заблуждений.

После этого можно задаться вопросом - есть ли у игрока в парадоксе Ньюкома доступ к информации и какая это информация? Из общей формулировки парадокса это, вообще говоря, не понятно, а ведь это важно. Инопланетянин бросает перед игроком две коробки и исчезает ничего не говоря? Или предварительно сообщает правила игры? Как он выглядит и как обставлено его появление - похож ли он на обычного человека, или его внешность, условия появления и имеющиеся при нем артефакты указывают на принадлежность к чуждой высокоразвитой цивилизации? Демонстрирует ли он игроку свою способность к предсказанию наглядно? Есть ли у игрока возможность узнать статистическую сводку по результатам предыдущих игр?
На самом деле Предсказатель этот предсказывает потому, что в рамках Вселенной задачи, все принимающие решения мыслят в рамках какой-то определённой теории принятия решений, а Предсказатель каким-то образом знает, какую именно теорию принятия решений исповедует каждый игрок, и предсказывает его решения полностью моделируя процесс мышления игрока. Только быстрее.
Короче, не надо усложнять. Сейчас вы пытаетесь увернуться от задачи, придраться технически к ней или ещё каким-то образом не входить с ней в лобовое столкновение. Но если я не прав, и вам всё же по какой-то причине важно знать, то предположите какую угодно статистику, говорящую в пользу того, что предсказания Предсказателя работают.
Если заранее известно, что все игроки, выбравшие обе коробки, обнаружили, что коробка Б пуста, в противоположность всем игрокам, выбравшим только коробку Б, то выбор только коробки Б - очень даже рационален. Мы не знаем почему это срабатывает, ну и что? В данном случае это как раз необязательная информация. Наши знания о мире вообще не полны. Может, коробки снабжены беспроводной связью, аннигилятором или телепортером и всякими другими штуками. Главное, что мы знаем, что это работает.
Я припомню вам вашу же фразу: "Если какой-то стиль принятия решений приводит к успеху в определенной ситуации, из этого не следует, что этот стиль принятия решений рационален или даже просто хорош." Вы сейчас продемонстрировали рассуждение основанное на человеческой интуиции. Оно отлично работает в этом случае, но существует масса примеров, когда человеческая интуция работает неверно.
Проблема в том, чтобы иметь некий единый метод принятия решений, который будет работать во всех ситуациях. И парадокс Ньюкомба, на самом деле, это своего рода тест для теорий принятия решений в неопределённых условиях: уважающая себя теория принятия решений должна давать для этого парадокса ответ "взять коробку Б, не трогая А".
А чтобы не быть голословным, я могу указать на консеквенциализм, который рассуждает примерно как вы, путая цель и средство, только вместо требования информированности, он заявляет, что следует руководствоваться причинно-следственной связью, и делает наличие этой связи целью, забывая, что эта связь лишь средство. Консеквенциализм рассуждает так: в коробке Б либо лежит миллион долларов, либо не лежит. И мои действия не изменят этого факта. То есть, если там уже лежит миллион долларов, то он никуда не денется, если я возьму коробку А. Значит надо брать и А, и Б. Это частный случай более общего метода рассуждений. Этот метод рассуждений работает в очень многих ситуациях, но в этой -- нет.
Есть и другой пример. Правда уже неочевидный, но во-многом схожий. Стоите вы посреди пустыни в одних трусах. Вы знаете, что без помощи вы умрёте от голода и жажды. Внезапно вам невероятно повезло (такое везение бывает раз в  жизни): мимо вас проезжает автомобиль. Вы тормозите автомобиль, и уговариваете водителя подбросить вас до ближайшего населённого пункта. Водитель требует оплаты его трудов по вашему спасению. У вас с собой денег нет, вы обещаете ему заплатить, как только он подбросит вас до банка (в банке вы сможете подтвердить свою личность отпечатком пальца и снять денег со счёта). А вот тут самое интересное: должен ли водитель автомобиля вам верить? Даже если вы действительно готовы заплатить денег сейчас, то есть вы заплатили бы их прямо сейчас, если бы у вас была возможность, то это не значит, что вы заплатите потом: ведь когда вы будете в населённом пункте, вашей жизни уже ничто не будет угрожать, и вы не приобретёте ровным счётом ничего, платя этому мужику за какие-то его уже совершённые деяния. А это значит, с точки зрения консеквенциализма, что вам не следует платить. А это значит, что если мужик знает о том, что вы консеквенциалист, то он вас не будет спасать из пустыни, потому что вы не заплатите. Этот мужик, таким образом, сыграет роль Предсказателя: он знает, какую теорию принятия решений вы исповедуете.

Задачка Ньюкомба -- доведённая до абсурда ситуация с принятием решений в ситуации, когда окружающий мир может отражать меня, и таким образом может предсказывать мои решения. Мы постоянно находимся в таких условиях, но редко настолько. Окружающие люди, особенно наши знакомые, довольно неплохо могут предсказывать наше поведение в различных ситуациях. И они предсказывают. И они могут использовать эту свою способность не в нашу пользу, и даже во вред нам. В разных ситуациях это по разному надо учитывать, но в ситуациях, типа той что выше про пустыню, мы видим, что есть два человека, оба заинтересованы друг в друге (один может помочь выжить, другой может дать денег), но они не могут эту заинтересованность реализовать.

Кстати это очень любопытно обыгрывалось в ГПиМРМ в парселтанге, когда говорящий на парселтанге не мог наврать. Парселтанг позиционировался как решение проблемы невозможности договориться. С одной стороны. С другой стороны в случае с пустыней он бы не очень помог нам выбраться из пустыни. Скорее помешал бы, потому что у нас не было бы шансов скрыть тот факт, что мы консеквенциалисты и поэтому не будем платить. Наш консеквенциализм начал бы говорить на парселтанге за нас. И это наводит на мысль придумать такую теорию принятия решений, которая будет принимать нам удобные решения всегда. Которая сможет обмануть Предсказателя. ;)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Scondo от 03 Ноября 2015, 22:57
Скорее помешал бы, потому что у нас не было бы шансов скрыть тот факт, что мы консеквенциалисты и поэтому не будем платить. Наш консеквенциализм начал бы говорить на парселтанге за нас. И это наводит на мысль придумать такую теорию принятия решений, которая будет принимать нам удобные решения всегда. Которая сможет обмануть Предсказателя. ;)
Это значит что мы глупые консеквенциалисты. Нерациональные, раз наша теория приводит нас к смерти в пустыне, а мужика оставляет без денег.

Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 04 Ноября 2015, 01:38
Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.
Да. Собственно к этому Юдковский и подводит. Собственно Timeless Decision Theory (http://wiki.lesswrong.com/wiki/Timeless_decision_theory) и пытается решить эту проблему, заявляя, что если для того, чтобы выжить нам надо нарисовать стрелку причинно-следственной связи из будущего в прошлое, то надо просто взять и нарисовать её, даже если физика требует, чтобы любая причина была раньше любого своего следствия.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Muyyd от 04 Ноября 2015, 08:27
Да. Собственно к этому Юдковский и подводит. Собственно Timeless Decision Theory (http://wiki.lesswrong.com/wiki/Timeless_decision_theory) и пытается решить эту проблему, заявляя, что если для того, чтобы выжить нам надо нарисовать стрелку причинно-следственной связи из будущего в прошлое, то надо просто взять и нарисовать её, даже если физика требует, чтобы любая причина была раньше любого своего следствия.
Кстати, вот что пишет Юдковский в книге.
Цитировать
[Edit 2015: I’ve now written a book-length exposition of a decision theory that dominates causal decision theory, “Timeless Decision Theory.”5 The cryptographer Wei Dai has responded with another alternative to causal decision theory, updateless decision theory, that dominates both causal and timeless decision theory. As of 2015, the best up-to-date discussions of these theories are Daniel Hintze’s “Problem Class Dominance in Predictive Dilemmas”6 and Nate Soares and Benja Fallenstein’s “Toward Idealized Decision Theory.”7]
Если кратко, то есть что-то даже лучше, чем TDT - UDT.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: nadeys от 04 Ноября 2015, 10:44
Это значит что мы глупые консеквенциалисты. Нерациональные, раз наша теория приводит нас к смерти в пустыне, а мужика оставляет без денег.

Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.
Несоглашусь. Если субъект знает что все его будущие планы автоматически раскрываются контрагенту и всё равно планирует предательство, то этот субъект не консеквенционалист, а дурак.

Если вы живёте во вселенной в которой "водители умеют предсказывать предательские действия", то разумный консеквенционалист никогда не станет действовать согласно стратегии неблагодарного эгоизма. Консеквенционалист станет вести себя как неблагодарный эгоист тогда и только тогда, когда водители в этой вселенной не умеют предсказывать поведение неблагодарных эгоистов.

______________________________________________________________________

Добавлено [time]04 Ноябрь 2015, 10:59[/time]:
В нашей с вами вселенной водители не умеют предсказывать предательские действия, однако сама специфика человеческого опыта заставляют водителей всегда понимать что нет ни единой гарантии что голый мужик сможет потом заплатить.

Поэтому в нашей вселенной, за всю историю времени, не было заключено ни единой полноценной корыстной сделки на вывоз человека из пустыни. Все имеющиеся прецеденты вывоза человека из пустныни всегда опирались на альтруизм водителя и на слабую надежду ответной благодарности.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Scondo от 04 Ноября 2015, 12:47
Если вы живёте во вселенной в которой "водители умеют предсказывать предательские действия", то разумный консеквенционалист никогда не станет действовать согласно стратегии неблагодарного эгоизма. Консеквенционалист станет вести себя как неблагодарный эгоист тогда и только тогда, когда водители в этой вселенной не умеют предсказывать поведение неблагодарных эгоистов.
Здравствуй, родная дилемма бандита, давно не виделись. Для полного соответствия не хватает только чтобы у нас было две кредитные карточки: с деньгами и без и одну из них мы бы давали водителю.

Поскольку водители не умеют предсказывать ничьё поведение, то "разумным" является дать ему карточку без денег; одновременно со стороны водителя "разумным" является не везти нас никуда, поскольку получив карточку ему не важно повезёт он нас или нет.
Поэтому ситуация и считается парадоксальной: хотя каждый поступает вроде "разумно" в итоге оба остаются в проигрыше.

В многократном повторении (повторяющаяся дилемма заключённого) альтруизм получает подтверждение в виде "репутации" и "сотрудничество" становится доказуемо эффективным поведением (аналогично "одностороннему" парадоксу Ньюкома, где у нас есть N свидетельств правоты Предсказателя).
Эффективное решение однократного парадокса мне неизвестно, но он остаётся парадоксом: поступая "локально разумно" мы приходим к глобально неоптимальному решению.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Панда от 04 Ноября 2015, 13:17
одновременно со стороны водителя "разумным" является не везти нас никуда, поскольку получив карточку ему не важно повезёт он нас или нет.
Если не важно, везти или нет, то почему разумным будет не везти?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 04 Ноября 2015, 13:52
Поскольку водители не умеют предсказывать ничьё поведение, то "разумным" является дать ему карточку без денег
Фишка в том, что они умеют. Они не умеют предсказывать поведение окружающих со 100% достоверностью -- это да. Но при этом водители постоянно сталкиваются с просьбами подвезти, в том числе и под обещание заплатить на месте -- мол "дома деньги лежат, приедем когда, я сбегаю вынесу." И постоянная практика в этих вопросах приводит к тому, что водители могут предсказывать поведение пассажира лучше, чем не-водители.
Несоглашусь. Если субъект знает что все его будущие планы автоматически раскрываются контрагенту и всё равно планирует предательство, то этот субъект не консеквенционалист, а дурак.
Подумайте о том, как должен рассуждать консеквенциалист, когда его привезли к банку и ждут от него выполнения обещания. Вы увидите, что в пользу выполнить обещание у него будет в лучшем случае какая-то смутная и неопределённая капелька репутации консеквенциализма. А на другой чаше весов вполне реальная тысяча долларов. Почему вы вдруг решаете, что капелька репутации окажется весомее тысячи долларов? Мне это весьма неочевидно. Я допускаю, что это так, и я знаю, что в ряде реальных ситуаций это именно так. Но вот мне не кажется, что это может сработать в единичной ситуации спасения из пустыни. Да, если такое случается с нами раз в неделю, то конечно мы будем платить по счетам. Но если мы уверены в том, что это случилось первый и последний раз: почему мы должны платить тысячу долларов?
То же в парадоксе Ньюкомба: если консеквенциалист уже знает, что деньги разложены по коробкам так, как они разложены, и что никакие его действия уже не смогут изменить расклада, то почему он должен отказываться от коробки с тысячей долларов?
Консеквенциализм может сказать, что надо "платить по счетам" или "выполнять обещания" только тогда, когда есть серьёзная вероятность того, что отказ платить приведёт к негативным последствиям. Но в ситуации, когда таких последствий не вытекает, консеквенциализм говорит "не платить и не выполнять" -- на то он и консеквенциализм. И именно это приводит к тому, что консеквенциалист, столкнувшись с чисто эгоистичным спасателем, умрёт в этой пустыне. И не потому, что он не готов заплатить тысячу долларов за спасение, а потому, что он не будет готов платить эту тысячу долларов после того, как он будет спасён. Откуда собственно и претензии к консеквенциализму, как теории принятия решений, потому что такие нюансы поведения очевидно противоречивы.

Поэтому в нашей вселенной, за всю историю времени, не было заключено ни единой полноценной корыстной сделки на вывоз человека из пустыни. Все имеющиеся прецеденты вывоза человека из пустныни всегда опирались на альтруизм водителя и на слабую надежду ответной благодарности.
Конечно. И именно поэтому в данной задачке альтуизм водителя исключён как фактор. Чтобы он не мешал видеть основную проблему. Альтруизм -- это тоже способ принятия решений, и очень хочется включить его частью в теорию принятия решений.
На самом деле это всё варианты дилеммы заключённого, когда кооперация будет полезной для обоих участников, но если один кооперируется, а другой -- нет, то этот другой выигрывает больше. Тут надо понять, что все эти задачки, на самом деле модели реальных ситуаций, и надо понять, какие именно свойства реальных ситуаций моделируются. Что в парадоксе Ньюкомба, что со спасением из пустыни, моделируется тот факт, что наше поведение предсказуемо для окружающих. Не со 100% достоверности, как в случае Предсказателя, но тем не менее с какой-то достоверностью, которая как правило выше чем при случайном выборе.
Если мы попытаемся парадокс Ньюкомба реализовать в реальности, то мы можем разработать методику психологического тестирования, на основании которого мы будем пытаться предсказать поведение человека. Естественно при этом мы скроем методику, или запутаем её так, чтобы участники не могли бы предсказать, как их то или иное поведение в процессе тестирования повлияет на появление миллиона долларов в коробке. И вот, представьте себе теперь, что человек, пройдя тестирование, стоит перед коробками. Он знает что никакой мистики нет, доллары либо лежат, либо нет. Он знает, что играет в подобную игру в первый и последний раз. Должен ли он выбирать обе коробки или только одну?
В реальности и со спасением из пустыни будет примерно то же. Наш потенциальный спасатель будет, говоря с нами, пытаться угадать насколько мы склонны держать слово, насколько нами может двигать благодарность за спасение -- он будет высматривать в нас какие-то наши свойства, которые явятся причиной того, что мы заплатим ему за спасение, когда в общем-то это уже будет необязательным. И в данном случае не важно каким образом он будет предсказывать наше поведение -- может быть он достанет детектор лжи и начнёт задавать вопросы, а может он заставит нас спустить штаны и посмотрит нет ли у нас на заднице татуировки "I'm in love with consequentialism". Важно то, что он будет пытаться предсказывать наше поведение, и его предсказания будут точнее, чем подкидывание монетки.

Задачки доводятся до абсурда, до вероятности предсказания равной 100%, с единственной целью -- избавить задачку от всех вмешивающихся факторов, чтобы сразу было видно как теория принятия решений имеет дело с изучаемой проблемой. В данном случае с учётом того факта, что наше поведение с той или иной достоверностью предсказуемо для окружающих.

Выводить задачки из зоны абсурда тоже имеет смысл, но мне кажется только тогда, когда у нас уже есть какая-то методика принятия решений, которая в абсурдной ситуации даёт правильный ответ. Вот тогда уже надо взять и посмотреть, что эта методика будет давать правильные ответы в окрестности абсурда и во вполне реальной ситуации. Потому что ведь в каком-то случае может будет выгодно обмануть своего спасителя? Такой случай надо обязательно найти, надо нащупать границу между ним и случаем когда не выгодно, и убедиться что теория принятия решений хорошо эту границу видит. Это уже будет переход от качественных рассуждений к количественным.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Scondo от 04 Ноября 2015, 14:24
Выводить задачки из зоны абсурда тоже имеет смысл, но мне кажется только тогда, когда у нас уже есть какая-то методика принятия решений, которая в абсурдной ситуации даёт правильный ответ. Вот тогда уже надо взять и посмотреть, что эта методика будет давать правильные ответы в окрестности абсурда и во вполне реальной ситуации.
Традиционно считается наоборот: если теория работает в неабсурдных ситуациях - она уже работает достаточно хорошо, но мы проверяем наши теории на абсурдные ситуации чтобы убедится, что они не дадут сбой при выходе за границы "повседневной разумности".

Так байесовский механизм принятия решений будет хорош практически для всех ситуаций, кроме той, где у нас не хватает свидетельств (однократная дилемма бандита/парадокс Ньюкома). Это не значит, что мы должны отказаться от байесовского основания этики, но значит, что, возможно, существует лучшее решение.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 04 Ноября 2015, 15:14
Традиционно считается наоборот: если теория работает в неабсурдных ситуациях - она уже работает достаточно хорошо, но мы проверяем наши теории на абсурдные ситуации чтобы убедится, что они не дадут сбой при выходе за границы "повседневной разумности".
Ну, я не знаю, как там "традиционно" принято. Мой опыт показывает, что если "традиционно" действительно так принято, то от этих традиций следует отказаться. Когда мне приходится сочинять алгоритмы, я проверяю свои идеи в первую очередь на различных вырожденных случаях входных данных. На вырожденных проверять проще, как правило это делается влёгкую в уме, и в уме же можно отследить как, что и почему сделает алгоритм. В то время как более сложные случаи подчастую требуют уже запуска программы, реализующей алгоритм. Более сложные случаи требуют высокой степени детализации входных данных, иначе множество вопросов возникающих в процессе работы алгоритма остаётся без конкретных ответов, придётся рассматривать разные варианты возможных ответов, дерево вариантов ветвится, перестаёт помещаться в голове, мозги плавятся... И как обидно, если после всего этого выясняется, что неработоспособность алгоритма можно было показать проверив его на вырожденном и доведённом до абсурда случае.
Нужны простые и понятные примеры. В идеале проверяющие какие-то отдельные выбранные свойства алгоритма. Или которые легко проверить. И случаи доведённые до абсурда как правило оказываются в списке этих самых простых и понятных примеров.

Так байесовский механизм принятия решений будет хорош практически для всех ситуаций, кроме той, где у нас не хватает свидетельств (однократная дилемма бандита/парадокс Ньюкома). Это не значит, что мы должны отказаться от байесовского основания этики, но значит, что, возможно, существует лучшее решение.
Может быть. Но если теория принятия решений фейлится, значит надо искать что-то лучшее. Отказываться до того как что-то лучшее найдено, конечно же, будет преждевременным. Но как только найдено, так сразу.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: nadeys от 04 Ноября 2015, 19:34
Поэтому ситуация и считается парадоксальной: хотя каждый поступает вроде "разумно" в итоге оба остаются в проигрыше.
Эмм... невозможно быть в проигрыше, если ты изначально не имел никакого шанса получить корыстную оплату за спасение.

Вы думаете что на момент посадки пассажира, выбор водителя:
- потратить бензин и не получить ничего
- заработать деньги

Но это не так:
    В сферической в вакууме ситуации водитель априори полагает что встреченный мужик является консеквенционалистом, поэтому его поле выбора:
    - не тратить бензин и не получить ничего
    - потратить бензин и не получить ничего
    Т.е. у водителя нет шанса получить выигрыш и следовательно нет ни малейшего смысла рассматривать эту ситуацию как корыстный обмен.

    В несферической в вакууме ситуации водитель также априори полагает что встреченный мужик является консеквенционалистом, но также учитывает и фактор альтруизма, и следовательно поле выбора преображается:
    - не тратить бензин и не получить ничего
    - потратить бензин и не получить ничего кроме надежды на альтруистичное вознаграждение


Т.е. нет никакого парадокса, есть просто фактор наличия/отсутствия Альтруизма у встреченного мужика.

Добавлено [time]04 Ноябрь 2015, 19:53[/time]:
Эффективное решение однократного парадокса мне неизвестно, но он остаётся парадоксом: поступая "локально разумно" мы приходим к глобально неоптимальному решению.
Как-то это слишком просто.

Вырубая деревья мы тоже поступаем "локально разумно" и в конечном итоге мы тоже приходим к глобально неоптимальному решению. Однако это никого не волнует потому что противоречие краткосрочных и долгосрочных стратегий это в общем обычное дело.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Scondo от 05 Ноября 2015, 00:14
Эмм... невозможно быть в проигрыше, если ты изначально не имел никакого шанса получить корыстную оплату за спасение.
Нет-нет. Каждый человек остаётся в выигрыше (это я и назвал "локальной" оценкой), но вот двое в сумме - оказались в проигрыше (глобально)

Я специально модифицировал задачу так, чтобы получение денег было не связано с поездкой. Тогда у водителя вообще нет никакого мотива нас везти: взял карточку и был таков. И у нас нет резона давать ему карточку с деньгами(или там сообщать правильный пин): повезёт он нас или нет не зависит от того дали бы карточку с деньгами или без.
А в итоге сидим мы как два дурака посреди пустыни и без денег.

Мой опыт показывает, что если "традиционно" действительно так принято, то от этих традиций следует отказаться. Когда мне приходится сочинять алгоритмы, я проверяю свои идеи в первую очередь на различных вырожденных случаях входных данных.
Вы путаете алгоритмы и стратегии. Так для задачи двух армий алгоритмического решения нет и быть не может. В то же время мы можем выработать некоторые стратегии, которые обеспечат достаточное решение (например отправят этот комментарий на сервер).
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 05 Ноября 2015, 01:06
Вы путаете алгоритмы и стратегии. Так для задачи двух армий алгоритмического решения нет и быть не может. В то же время мы можем выработать некоторые стратегии, которые обеспечат достаточное решение (например отправят этот комментарий на сервер).
Я отмечу, сейчас нас понесло куда-то в сторону. Составление алгоритмов было приведено для примера. Я могу разобрать ещё один пример -- составление стратегий, -- и показать на нём важность исследования стратегий на вырожденных случаях. В случае двух армий я бы предложил а) нам катастрофически везёт и все посыльные достигают цели; б) нам феерически невезёт, и ни один посыльный не достигает цели. Кроме того, я могу найти пример откуда-нибудь со стороны, скажем, взять задачу экспериментальной проверки гипотезы, и показать важность первоначальной умозрительной проверки этой гипотезы на простых случаях, в том числе и вырожденных случаях, поддающихся умозрительному анализу. Или есть такая задача матанализа, которую изучают в школе -- исследование функции, так вот это исследование целиком и полностью крутится вокруг "вырожденных" случаев, вокруг тех иксов, которые при подстановке в функцию дают неопределённость. Но может мы опустим разбор всех этих случаев?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Komandos от 23 Декабря 2015, 14:52
В своих статьях Элиезер пишет о парадоксе Ньюкома, противопоставляя рациональное решение традиционному. Я бы хотел поговорить об этом.

Описание в википедии (http://ru.wikipedia.org/wiki/Парадокс_Ньюкома):
...
...
...
А вы что думаете?
Из парадокса следует, что: любая стратегия поведения, которую может предсказать ваш оппонент - перестает быть эффективной.
И раз существует некое существо, способное с вероятностью около 100% предсказать ваше поведение, то вы превращаетесь в объкт манипуляции.
Пример: Едут в одном вагоне четверо программистов и четверо пользователей. У пользователей четыре билета на четверых, а у программистов один. Приходит пора предъявлять билеты. Программисты запираются в туалете, приходит контролер. Стучится, из туалета высовывается рука и протягивает билет. Контролер уходит. Пользователи все видят и им завидно. Едут все те же пользователи и программисты обратно. Но на этот раз у пользователей один билет на четверых, а у программистов - ни одного. Приходит пора проверки билетов. Пользователи запираются в туалете. Приходит один из программистов и стучится в дверь. Ему высовывают билет. Он берет билет, программисты запираются в другом туалете. Приходит контролер...
Мораль: любая стратегия поведения, которую может предсказать ваш оппонент - перестает быть эффективной.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 24 Декабря 2015, 16:30
Из парадокса следует, что: любая стратегия поведения, которую может предсказать ваш оппонент - перестает быть эффективной.
И раз существует некое существо, способное с вероятностью около 100% предсказать ваше поведение, то вы превращаетесь в объкт манипуляции.
Так уж и перестаёт быть эффективной? Если бы Предсказатель не мог бы предсказать, то не было бы парадокса, и он бы не начал троллить людей предлагая им сыграть в игру, и не было бы возможности выиграть миллион. Хорошо это или плохо? ;)

Пример: Едут в одном вагоне четверо программистов и четверо пользователей. У пользователей четыре билета на четверых, а у программистов один. Приходит пора предъявлять билеты. Программисты запираются в туалете, приходит контролер. Стучится, из туалета высовывается рука и протягивает билет. Контролер уходит. Пользователи все видят и им завидно. Едут все те же пользователи и программисты обратно. Но на этот раз у пользователей один билет на четверых, а у программистов - ни одного. Приходит пора проверки билетов. Пользователи запираются в туалете. Приходит один из программистов и стучится в дверь. Ему высовывают билет. Он берет билет, программисты запираются в другом туалете. Приходит контролер...
Мораль: любая стратегия поведения, которую может предсказать ваш оппонент - перестает быть эффективной.
Вы однобоко смотрите на проблему. В случае беспринципной конкуренции -- да действительно, любая возможность предсказать моё поведение невыгодна мне. Но в случае кооперации всё с точностью до наоборот: чем лучше я предсказуем для окружающих, тем лучше: нам меньше приходится тратить времени и усилий на коммуникации, согласования, пересогласования, на установления порядка принятия решений и прочую лабуду. Если мы все мыслим одинаково и абсолютно предсказуемо друг для друга, то любой из нас может принять любое решение за всех, и в этом случае вообще не нужны никакие накладные расходы на поддержание иерархии, которая позволит выполнять управление нашим коллективом, и согласование наших действий.
А чтобы жить мёдом не казалась, я отмечу что в очень многих реальных ситуациях одновременно есть как элементы кооперации, так и элементы конкуренции, поэтому ни стопроцентная предсказуемость, ни стопроцентная непредсказуемость не являются чем-то хорошим во всех этих ситуациях.

И, между прочим, я вижу парадокс Ньюкомба как раз пример именно такой ситуации. С одной стороны кооперация: человек добровольно входит в игру, добровольно принимает правила игры, человек кооперируется с Предсказателем. С другой стороны конкуренция за лишнюю тысячу баксов. И если бы этот парадокс был бы не выдумкой, но фактом истории, то мы могли бы утверждать практически определённо, что в альтернативной вселенной где Предсказатель не мог бы предсказать поведение человека, не было бы такого факта истории, потому что скорее всего предсказуемость человека была одним из факторов сподвигнувших Предсказателя на организацию подобной игры.

Я могу привести и иной пример. Жёсткая позиция Великобритании по отношению к террористам: никаких переговоров. Эта позиция предохраняет Великобританию от террористов, которые захватывают самолёт и начинают предъявлять какие-либо требования: террористы заранее знают, что их требования никто не услышит. Поэтому они не захватывают самолёт с британскими подданными. Кстати это неплохо было показано в ГПиМРМ: Дамблдор отказывался платить выкуп за заложника, причём он отказывался только для того, чтобы быть предсказуемым, чтобы любой, кому придёт в голову афёра с захватом заложника и требованием выкупа, мог бы заранее предсказать, как отреагирует на это Дамблдор. Я не уверен, что в этом примере можно найти элементы кооперации, которые и объясняют выгоду от предсказуемости, но даже если и нельзя, то это значит, что даже в случае чистой конкуренции при нулевой кооперации иногда бывает полезным быть предсказуемым.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: YbiVan от 25 Декабря 2015, 02:40
kuuff, В парадоксе Ньюкома я не вижу никакой выгоды для Пророка, однако вижу выгоду для Игрока. Говорить о кооперации/конкуренции не зная целей Пророка бессмысленно.
Что касается второго примера это не чистая конкуренция. При чистой конкуренции переговоры между сторонами не имеют смысла, ибо любое соглашение дает преимущество одной из сторон. В жизни вообще крайне мало примеров чистой конкуренции. Зато практически любая игра 1 на 1 (команда на команду) где каждого интересует только победа, является отличным примером чистой конкуренции, и любая предсказуемость снижает шансы на победу.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Tachkin от 25 Декабря 2015, 08:05
Что касается второго примера это не чистая конкуренция
Террористические действия имеют долю кооперации? При захвате заложников присутствуют частичное пересечение целей террористов и правительства? О_о
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Scondo от 25 Декабря 2015, 08:38
При захвате заложников присутствуют частичное пересечение целей террористов и правительства? О_о
А что вас удивляет?
Да и террористы и правительство хотели бы иметь заложников на свободе. Только первые - при выполнении своих условий, а вторые - без. Заложники как самоцель нужны разве что политическим террористам, которые будут использовать убийство для собственно наведения страха, но это уже не сценарий "заложники" это сценарий "жертвы".
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 25 Декабря 2015, 10:09
kuuff, В парадоксе Ньюкома я не вижу никакой выгоды для Пророка, однако вижу выгоду для Игрока. Говорить о кооперации/конкуренции не зная целей Пророка бессмысленно.
Мы не видим выгоды для Пророка, но при этом следует отметить, что мы вообще не видим его целей. Мне кажется достаточно разумным предположение, что какие-то цели у Пророка всё же есть. И идя к этим неведомым целям, Пророк сотрудничает с людьми. Да, может быть он ими манипулирует, и им же от этого будет хуже потом. Но даже если так, на данном этапе мы наблюдаем кооперацию.

Что касается второго примера это не чистая конкуренция. При чистой конкуренции переговоры между сторонами не имеют смысла, ибо любое соглашение дает преимущество одной из сторон. В жизни вообще крайне мало примеров чистой конкуренции. Зато практически любая игра 1 на 1 (команда на команду) где каждого интересует только победа, является отличным примером чистой конкуренции, и любая предсказуемость снижает шансы на победу.
Да, я тоже так думаю. Но даже игра будет примером чистой конкуренции, только если мы эту игру рассматриваем в отрыве от реальности. Игра заточена на то, чтобы её рассматривали в отрыве от реальности, она создана как искусственная модель конкуренции, но она будет чистой конкуренцией если мы искусственно ограничим себя рамками этой искусственной модели.
Но если мы рассмотрим игру внутри более сложных взаимоотношений в социуме, как часть этих более сложных взаимоотношений, то мы увидим, что игроки любой игры взаимно признаЮт и соблюдают правила игры. То есть игра в футбол невозможна без исходного всеобщего соглашения относительно правил. Бокс был бы боями без правил, если бы боксёры не шли бы на кооперацию и не отказывались бы взаимно от ударов ниже пояса. Да даже бои без правил, я полагаю, не обходятся без каких-нибудь правил, типа "не убий". Представьте себе футбол без правил. Что бы творилось на поле?

Террористические действия имеют долю кооперации? При захвате заложников присутствуют частичное пересечение целей террористов и правительства? О_о
Да, конечно. Террористы пытаются вынудить правительство кооперировать и заплатить выкуп за заложников. А если правительство пошло на переговоры, то переговорщики пытаются вынудить террористов кооперировать.
Ну или если глянуть на захват заложников в ГПиМРМ, то кончилось это тем, что Дамблдор и Волдеморт пришли к негласному соглашению "заложников не брать", что для меня тоже выглядит как пример кооперации. Так же, как, допустим, конвенции о содержании военнопленных или неиспользовании каких-то видов вооружения -- это тоже кооперация, своего рода. Дамблдор открыто придерживается определённых правил, чтобы Волдеморт не брал заложников. Волдеморт понимает, что делает Дамблдор и добровольно не берёт заложников, как того хочет Дамблдор. Может быть ярлык "кооперация" на таких взаимоотношениях будет притянут за уши, но в этом есть что-то от кооперации.

На деле, быть может, это деление всех отношений на кооперацию и конкуренцию слишком узкий подход. А может и нет. Во всяком случае я его только здесь придумал и не вижу нужды отстаивать как универсальную модель для человеческих отношений. Моя цель сводится к тому, чтобы показать что сведение всех взаимоотношений между людьми к конкуренции -- это ещё более узкий подход.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Quilfe от 28 Декабря 2015, 03:25
Навеяно дискуссией про "вневременное принятие" решений в теме про эмиграцию, либерализм и уплату налогов.

Придумал еще более ясный пример, чем парадокс Ньюкома, в котором твои решения влияют на то, на что "причинно" они влиять не могут, по сути концентрированный случай "общества рационалистов".

Представьте, что вы только что были скопированы, и знаете, что в соседней комнате сидит точная ваша копия (или вы - точная копия, в общем, вы равнозначны (http://lesswrong.com/lw/qx/timeless_identity/)). Вы еще ни о чём не успели поговорить, и вы не думали о возможных стратегиях поведения в случае, если такое случится, до того, как это произошло.

Затем вам объясняют условия: вы (оба экземпляра) находитесь в тюрьме (полиция не поняла, что за ерунда - два идентичных человека с одним на двоих паспортом и имененм), и, чтобы выбраться, вам нужно отправить сообщение своему адвокату (который сможет объяснить, что за эксперимент произошел), заплатив 10 $ за звонок (с деньгами у вас небогато). Половина ваших денег лежит у другого вас, и он стоит ровно перед тем же выбором. Никак связаться с ним вы не можете, никакого входящего сообщения ни от него, ни от адвоката получить нельзя тоже; условия, в которых находится другой ваш экземпляр, идентичны. Но чтобы обе ваши копии освободили, достаточно сообщения от кого-то одного.

Потратите ли вы деньги на сообщение?

Независимо от того, какое решение вы примете, вы можете на 99,99% быть уверены, что ваша копия примет точно такое же решение. Это же ваша копия, которая почти не отличается от вас (она возникла буквально перед заключением), и вы не успели получить никакую разную информацию и опыт.

(На самом деле, вместо этой ситуации можно взять классическую дилемму заключенного для ваших дублей, но тогда придется убрать из вашей функции полезности заботу о другой своей копии.)

Вы можете думать: так, очевидно, надо, чтобы кто-то из нас написал адвокату, значит, стоит это сделать. Но другой я думает точно так же, значит, он напишет, и я могу не звонить; стоп, он подумает ровно это же, значит, надо написать... Вы не можете просто отнестись к этому другому как к внешней реальности и оценить вероятность того, как поступит он, чтобы принять решение, потому что эта цепочка мыслей будет буквально соответствовать его цепочке, и не получится ее аппроксимировать - ваша система мышления должна строго включать себя как подсистему, что просто невозможно. Но если думать о том, что ваше решение определяет решение другого, это будет работать, даже если звучит более дико, чем пре-оценка поведения другого. Тогда вы решите: так, мы либо оба напишем, либо оба нет, очевидно, первый вариант лучше, чем второй, хотя деньги и уйдут два раза, значит, мне нужно написать, и он решит так же. И тогда вы пишете адвокату: "Элиезер, извини, что отвлекаем, но, кажется, местным полицейским нужно объяснить, что такое копирование личности". (А потом находим номер "Кочерги" в телефонной книге и пишем: "Слава, положи в коробочку предсказание: каждая из наших копий отправит сообщение Элиезеру и это сообщение или близкое к нему по разу - 99 к 1. Как освободимся, постараемся прийти и продемонстрировать кое-что про Timeless decision theory, уверены, что это будет интересно".)

Процесс принятия решений в такой ситуации выглядит как поиск решения, а не следование чему-то уже найденному, как возможность произвольно выбрать подходящий вариант. Но при этом причинность вполне реальна, просто она проходит через прошлое: мозг уже содержит в себе алгоритм, как он будет решать такую ситуацию. Выглядит ли это парадоксальным? Да. Противоречиво ли это на самом деле? Нет. Верно ли ощущение возможности выбрать произвольно? Можно ответить по-разному, но, я думаю, да; наличие вашей копии не перемещает вас в другую вселенную, где вместо принятия решений вы начинаете следовать детерминизму, и вам кажется, что вы принимаете решение, вместо настоящего решения; на самом деле, вы всегда жили в такой вселенной. Мне не кажется полезным думать о детерминированности изнутри в данном ключе (тогда вы можете вообще ничего не делать, потому что всё равно всё детерминировано; мне трудно объяснить правильное, как мне кажется, восприятие соотношения "свободы воли" и "предопределенности", но я как-то его чувствую), скорее о том, что вы действительно выбираете, и ваш выбор действительно определяет выбор, который делает ваша копия.

У меня все еще есть чувство парадоксальности, когда я думаю об этом, но, я полагаю, это можно преодолеть.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Kroid от 28 Декабря 2015, 15:20
Цитировать
Представьте, что вы только что были скопированы, и знаете, что в соседней комнате сидит точная ваша копия (или вы - точная копия, в общем, вы равнозначны). Вы еще ни о чём не успели поговорить, и вы не думали о возможных стратегиях поведения в случае, если такое случится, до того, как это произошло.
Тогда всё совсем просто. Я придумываю эксперимент, который абсолютно точно даст разные ответы для меня и моей копии. Например, если я знаю наше местонахождение (и оно различается), то решаю, что тот кто севернее, звонит адвокату.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: fil0sof от 28 Декабря 2015, 15:25
Kroid, ты похоже всё-таки не понимаешь разницы между человеком, который мыслит точно так же как ты, и человеком, с которым у тебя существует мгновенная ментальная связь. Мыслить одинаковыми паттернами и одновременно думать одни и те же мысли — разные вещи. В этом затык в диалоге с kuuff'ом про выборы и миграцию, в этом же ошибка здесь. Подумай над этим)
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Kroid от 28 Декабря 2015, 15:34
Как насчет близнецов Уизли? Они думают одинаковыми паттернами или же одновременно думают одни и те же мысли?
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: fil0sof от 28 Декабря 2015, 15:55
Они — что-то среднее, ближе даже ко второму. Но они на то и магические близнецы из фанфика по ГП :D

В данном конкретном примере разница проста. Если ты подумал о каком-то эксперименте, который должен дать разные ответы для тебя и копии, то твоя копия тоже подумает о таком эксперименте. Но вот не факт, что ты выберешь "кто севернее, тот и платит", а он при этом не выберет "кто южнее, тот и платит". Потому что хоть вы и мыслите концептуально одинаково, это не значит, что вы всегда будете думать строго об одном и том же. Из множества таких экспериментов с разными ответами вы можете выбрать разные эксперименты.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Skywrath от 28 Декабря 2015, 19:54
Цитата: Quilfe
Вы не можете просто отнестись к этому другому как к внешней реальности и оценить вероятность того, как поступит он, чтобы принять решение, потому что эта цепочка мыслей будет буквально соответствовать его цепочке.
Нельзя ли это обойти формальным трюком? Например, решить кинуть монетку. Если решка, то шлю письмо адвокату, иначе я не буду тратить свои деньги. Копия решает так же, мы получаем по 50% на вариант с письмом. Можно бросить кубик, так как 50% всё-таки слишком мало и получить более удачные приближения. В обычной дилемме такой фокус не сработает, но если вы утверждаете симметричность мышления, то её можно разрушить достаточно примитивным, искусственным приёмом.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: Kroid от 29 Декабря 2015, 00:26
Я еще некоторое время подумал над этим вопросом и вот к чему пришел. Дело не в том, что двойники будут мыслить одинаковые мысли одновременно. Если у нас схожие паттерны мышления (по определению), то мы оба первым делом подумаем, что за счет этого свойства можно предсказывать поведение друг друга и кооперироваться, даже не имея возможностей напрямую посовещаться (ведь мы оба в детстве читали определенные книги, смотрели фильмы, решали головоломки и тд; это как Гарри, который заранее придумал кусать себя за щеку чтобы сказать "мне стерли память").

Проблема одна - какое средство передачи и получения данных выбрать, как его интерпретировать? Очевидно, что каждый из нас заглянет в прошлое и возьмет наиболее значимое событие. Далее по текущей обстановке определим, какую роль возьмет на себя каждый из нас. В зависимости от условий это может занять большее или меньшее время. Возможно, это сработает не с первой попытки. Но мы синхронизируемся намного быстрей, чем просто два случайных человека, ведь мы знаем, как мы думаем.

С другой стороны, если бы я провел детство по-другому (например, играл бы сутками в футбол во дворе), я бы не смог воспользоваться этой ситуацией. А тот же Гарри, уверен, синхронизоровался бы сам с собой на порядок быстрее, чем я.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: littlenovice01 от 26 Января 2016, 21:22
По поводу парадокса Ньюкома и Путей выигрывания (извините, что через месяц почти, когда тема завeршена)
Очень понравился комментарий kuuff'a #40
Но в #42-ом он сослался на Timeless Decision Theory (http://wiki.lesswrong.com/wiki/Timeless_decision_theory)
Цитировать
Да. Собственно к этому Юдковский и подводит. Собственно Timeless Decision Theory и пытается решить эту проблему, заявляя, что если для того, чтобы выжить нам надо нарисовать стрелку причинно-следственной связи из будущего в прошлое, то надо просто взять и нарисовать её, даже если физика требует, чтобы любая причина была раньше любого своего следствия.
Я считаю, что суждение не может менять истинность или ложность из-за от Вашего плачевного положения, а потому мне представляется необходимым всё-таки найти правильную модель.
По-моему, тема такая: Вы не можете изменить тот выбор, кoторый был сделан, но Вы не имеете о нём информации, а т.к. он основывается на просчитывании функции вашего поведения, то в своей модели (где у Вас есть выбор) Вы не только можете, а и будете влиять на результат; а в более общей системе Омеги ваше поведение - лишь заранее просчитанная функция с 1%-ой вероятностью ошибки, а в ещё более общей системе - без вероятности ошибки. Т.е. всё в согласии с законами физики: Омега заранее просчитал и оттолкнулся от этого, потом игрок просто "проигрывает" функцию (так же, как можно заранее просчитать результат действия программы, а потом её запустить). Т.е. действия игрока детерминированы и обсуловлены причинно-следственными связями от предыдущих событий. Восприятие ситуации как парадокса, по-моему, возникает из-за того, что её, во-первых, вырывают из последовательности событий, во-вторых, рассматривают только с точки зрения игрока, тогда как для проверки соответствия физическим законам нужно смотреть с т.з. системы, принимающей решения.
Плюс пара комментов по статье Юдковского (http://lesswrong.ru/w/Парадокс_Ньюкома_и_Путь_выигрывания):
Цитировать
И я должен сказать, что это всеобщий принцип рациональности (конечно, в том смысле, как я определяю это понятие) — то, что вы никогда в конце концов не обнаружите себя завидующим чужому выбору самому по себе.
В статье из контекста понятно, но для общего случая надо переформулировать, т.к., например, ретроспективно можно
Цитировать
Возможно, слишком легко говорить, что вы «следуете» стратегии «брать оба ящика» в проблеме Ньюкома и что это «разумный» выбор, пока деньги не будут действительно перед вами. Возможно, вы просто нечувствительны к абстрактным проблемам такого рода. А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%? Что, если к Земле мчится астероид, и ящик А содержит систему защиты, действующую 10% времени, а в ящике Б может быть орудие, которое защищало бы Землю постоянно?

Будь это так, вы бы заметили, что вас просто соблазняет сделать необоснованный выбор?

Что, если ставка, которую может принести ящик Б, — это что-то такое, что вы не можете оставить? Что-то безгранично более важное для вас, нежели следовать тому, что выглядит разумным? Если вам совершенно нужно выиграть — действительно выиграть, а не просто определить себя как победителя?
Oн пытается бороться с неверным мышлениям, накаляя эмоции (т.е. усиливая иррациональность). Это неверно.
Название: Re: Элиезер и парадокс Ньюкома
Отправлено: kuuff от 26 Января 2016, 22:19
По-моему, тема такая: Вы не можете изменить тот выбор, кoторый был сделан, но Вы не имеете о нём информации, а т.к. он основывается на просчитывании функции вашего поведения, то в своей модели (где у Вас есть выбор) Вы не только можете, а и будете влиять на результат; а в более общей системе Омеги ваше поведение - лишь заранее просчитанная функция с 1%-ой вероятностью ошибки, а в ещё более общей системе - без вероятности ошибки. Т.е. всё в согласии с законами физики: Омега заранее просчитал и оттолкнулся от этого, потом игрок просто "проигрывает" функцию (так же, как можно заранее просчитать результат действия программы, а потом её запустить). Т.е. действия игрока детерминированы и обсуловлены причинно-следственными связями от предыдущих событий. Восприятие ситуации как парадокса, по-моему, возникает из-за того, что её, во-первых, вырывают из последовательности событий, во-вторых, рассматривают только с точки зрения игрока, тогда как для проверки соответствия физическим законам нужно смотреть с т.з. системы, принимающей решения.
Угу. Тут две разные системы причинно-следственных связей. Первая -- чисто физическая, которая крутит шестерёнки Вселенной. А вторая -- это система причинно-следственных связей теории принятия решений. Мы не обязаны создавать такую ТПР, которая будет полагаться именно на физические причинно-следственные связи, хуже того мы не можем создать такую ТПР, потому что на момент принятия решений мы, как правило, не имеем всей необходимой информации, для того чтобы нарисовать все релевантные физические причинно-следственные связи. Поэтому мы придумываем такие правила рисования причинно-следственных связей, которые максимизируют эффективность наших решений, а не такие, которые создадут наиболее точную физическую модель. Созданием точной физической модели пуская занимаются физики-теоретики.

Oн пытается бороться с неверным мышлениям, накаляя эмоции (т.е. усиливая иррациональность). Это неверно.
Тяжело в учении, легко в бою. :)
Надо в режиме тренировки поставить себя в ситуацию, когда иррациональный выбор станет казаться правильным, для того, чтобы именно в этой ситуации научиться принимать рациональное решение.
Это, знаете, как с бросанием курить. Когда я не хочу курить, я могу рационально рассуждать о курении, и произносить умные вещи о том, что надо отказаться от курения и просто не курить. Но когда я хочу курить, мне гораздо-гораздо сложнее мыслить рационально. Мне очень долго это не удавалось вообще.