Элиезер и парадокс Ньюкома

Автор Тема: Элиезер и парадокс Ньюкома  (Прочитано 61160 раз)

Панда

  • Гость
Re: Элиезер и парадокс Ньюкома
« Ответ #30 : 18 Августа 2014, 22:21 »
  • (+)0
  • (−)0
  • Тогда он самосоздастся и накажет всех

    Elspet

    • Старожил
    • *****
    • Сообщений: 750
    • +2/-1
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #31 : 18 Августа 2014, 22:38 »
  • (+)0
  • (−)0
  • Цитировать
    Дилемма заключенного, не? Если Василиск будет создан, то лучше его создавать, но если никто не будет его создавать, это будет наилучшим вариантом.

    Какое же отношение это имеет к Василиску Роко? Ну, у него тоже есть пара коробочек для вас. Может быть, вы прямо сейчас находитесь в симуляции, созданной Василиском. Тогда, возможно, мы получаем несколько модифицированную версию парадокса Ньюкома: Василиск Роко говорит вам, что если вы возьмете коробку Б, то подвергнетесь вечным мучениям. Если же вы возьмете обе коробки, то вынуждены будете посвятить свою жизнь созданию Василиска. Если Василиск на самом деле будет существовать (или, хуже того, он уже существует и является богом этой реальности), он увидит, что вы не выбрали вариант помощи в его создании и покарает вас.

    kuuff

    • Старожил
    • *****
    • Сообщений: 2 133
    • +220/-52
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #32 : 19 Августа 2014, 03:45 »
  • (+)0
  • (−)0
  • Какое же отношение это имеет к Василиску Роко? Ну, у него тоже есть пара коробочек для вас. Может быть, вы прямо сейчас находитесь в симуляции, созданной Василиском. Тогда, возможно, мы получаем несколько модифицированную версию парадокса Ньюкома: Василиск Роко говорит вам, что если вы возьмете коробку Б, то подвергнетесь вечным мучениям. Если же вы возьмете обе коробки, то вынуждены будете посвятить свою жизнь созданию Василиска. Если Василиск на самом деле будет существовать (или, хуже того, он уже существует и является богом этой реальности), он увидит, что вы не выбрали вариант помощи в его создании и покарает вас.
    Не брать ни одной коробки и убить всех человеков, чтобы они не создали Василиска.
    Тогда он самосоздастся и накажет всех
    "Вам на голову летит термоядерная бомба. Какую коробочку вы предпочтёте открыть в последние секунды перед смертью:  A или B?" Да никакую я не буду открывать. Пойду лучше выкурю последнюю сигарету, мечтательно глядя на звёзды и запивая чаем.

    Octavius

    • Новичок
    • *
    • Сообщений: 15
    • +2/-0
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #33 : 04 Октября 2015, 04:14 »
  • (+)0
  • (−)0
  • Однако, даже задавая сколь угодно маленькую вероятность такого события, с учетом бесконечного значения приза мы все равно останемся в выигрыше.

    Притворяясь, что отвечаю вам, отвечаю Паскалю:
    Нет, _мы_ не останемся в выигрыше. Если бы души существовали у некоторых, а не у всех (скажем, у одного на тысячу), можно было бы говорить, что вариант "б" _в среднем_ выигрышнее. Но, так как ответ на вопрос существования/несуществования души одинаков для любого человека, говорить о каком-то "в среднем" по меньшей мере глупо. Так же глупо, каквсю жизнь спускать деньги на лотерейные билеты.

    Skywrath

    • Ветеран
    • ****
    • Сообщений: 723
    • +71/-9
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #34 : 04 Октября 2015, 18:02 »
  • (+)0
  • (−)0
  • Не то, что бы вероятности можно было оценить, но формально, мы можем задавать и настолько малую вероятность, что вы уже не получаете выигрыша. В нестандартном анализе, который и позволяет перемножать подобные величины имеются, в случае умножения бесконечно малого числа на бесконечно большое число, все варианты ответов, включая точно нулевой.

    fil0sof

    • Главный модератор
    • Ветеран
    • *****
    • Сообщений: 970
    • +55/-3
      • Просмотр профиля
      • VK profile
    Re: Элиезер и парадокс Ньюкома
    « Ответ #35 : 05 Октября 2015, 10:58 »
  • (+)0
  • (−)0
  • Перечитал эту тему после её апа и всё сразу понял :D
    Панда, теперь у меня, как и у вас, никаких сомнений)))

    Панда

    • Гость
    Re: Элиезер и парадокс Ньюкома
    « Ответ #36 : 05 Октября 2015, 21:00 »
  • (+)0
  • (−)0
  • Я рада :) а по какому поводу?

    fil0sof

    • Главный модератор
    • Ветеран
    • *****
    • Сообщений: 970
    • +55/-3
      • Просмотр профиля
      • VK profile
    Re: Элиезер и парадокс Ньюкома
    « Ответ #37 : 05 Октября 2015, 22:46 »
  • (+)0
  • (−)0
  • По поводу логика конечно)))

    Mad_Cat

    • Новичок
    • *
    • Сообщений: 2
    • +0/-0
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #38 : 01 Ноября 2015, 20:09 »
  • (+)0
  • (−)0
  • Что-то вокруг этого парадокса сильно много всего накрутили, больше, чем он того заслуживает. И у Юдковского по этому поводу какие-то глупости понаписаны.

    Если какой-то стиль принятия решений приводит к успеху в определенной ситуации, из этого не следует, что этот стиль принятия решений рационален или даже просто хорош. Даже сломанные часы дважды в сутки показывают время правильно. Парадокс Ньюкома это всего одна ситуация (причем такая, с которой вы вряд ли когда-нибудь столкнетесь в жизни), в то время как всяких разных ситуаций тысячи. И надо рассматривать их в совокупности. Если определенный подход приносит кому-то миллион долларов в парадоксе Ньюкома, а в любых других ситуациях почти всегда приводит к проигрышу, то это проигрышный подход.

    Дальше. Надо определиться, что вообще считать рациональным выбором. Мне кажется полезным начинать анализ проблемы с определений - по крайней мере, это позволяет разгрести бардак в голове. Рациональный выбор - это информированный выбор, т.е. основанный если не на полной, то хотя бы достаточной и достоверной информации. Если информации нет или она недостоверна, то сделанный в такой ситуации выбор к рациональности отношения не имеет.

    После этого можно задаться вопросом - есть ли у игрока в парадоксе Ньюкома доступ к информации и какая это информация? Из общей формулировки парадокса это, вообще говоря, не понятно, а ведь это важно. Инопланетянин бросает перед игроком две коробки и исчезает ничего не говоря? Или предварительно сообщает правила игры? Как он выглядит и как обставлено его появление - похож ли он на обычного человека, или его внешность, условия появления и имеющиеся при нем артефакты указывают на принадлежность к чуждой высокоразвитой цивилизации? Демонстрирует ли он игроку свою способность к предсказанию наглядно? Есть ли у игрока возможность узнать статистическую сводку по результатам предыдущих игр?

    Если заранее известно, что все игроки, выбравшие обе коробки, обнаружили, что коробка Б пуста, в противоположность всем игрокам, выбравшим только коробку Б, то выбор только коробки Б - очень даже рационален. Мы не знаем почему это срабатывает, ну и что? В данном случае это как раз необязательная информация. Наши знания о мире вообще не полны. Может, коробки снабжены беспроводной связью, аннигилятором или телепортером и всякими другими штуками. Главное, что мы знаем, что это работает.

    Если же инопланетянин вообще ничего не объясняет или нет убедительных причин ему верить, то этот выбор находится за пределами применимости рациональности и возвращает нас к абзацу №2.

    Skywrath

    • Ветеран
    • ****
    • Сообщений: 723
    • +71/-9
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #39 : 02 Ноября 2015, 19:43 »
  • (+)0
  • (−)0
  • Цитата: Mad_Cat
    Выбор, сделанный в такой ситуации выбор к рациональности отношения не имеет.
    Какой смысл настолько сильно сужать область существования рациональности? Интуитивно очевидно, что даже в ситуации лишённой достаточной и достоверной информации существуют рациональные и нерациональные стили решений. Теорема Байеса, например, позволяет делать выводы на основании, строго говоря, недостаточной для этого информации. Конечно, вы можете определять рациональность, как хотите, но вы вряд ли сможете спрятаться от проблемы за определениями. Вам ведь потребуется отбрасывать рациональные методы, что бы не замечать проблему и это сделает парадигму бесполезной. Так, что все попытки разрешить проблему разговорами про пределы применимости рациональности фиктивны по существу дела. Вы ведь просто переводите стрелки. Вопрос остаётся, но заняться им придётся какие-нибудь "гипер-рационалистам".

    kuuff

    • Старожил
    • *****
    • Сообщений: 2 133
    • +220/-52
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #40 : 03 Ноября 2015, 17:55 »
  • (+)0
  • (−)0
  • Дальше. Надо определиться, что вообще считать рациональным выбором. Мне кажется полезным начинать анализ проблемы с определений - по крайней мере, это позволяет разгрести бардак в голове. Рациональный выбор - это информированный выбор, т.е. основанный если не на полной, то хотя бы достаточной и достоверной информации. Если информации нет или она недостоверна, то сделанный в такой ситуации выбор к рациональности отношения не имеет.
    Парадокс возникает в контексте теорий принятия решений в неопределённых условиях. Проблемы с принятием решений возникают как раз в контексте неопределённых условий, и недостоверной информации. Когда есть определённость и достоверность проблем как раз нет, с такими ситуациями ещё древние греки справлялись обычной логикой.
    Требование "информированности выбора" -- это инструментальное требование. Цель рациональности -- эффективность принятия решений. Информированность может быть инструментом повышения эффективности, но когда вы инструментом подменяете цель, путая таким образом цель и средство, то вы вступаете на территорию заблуждений.

    После этого можно задаться вопросом - есть ли у игрока в парадоксе Ньюкома доступ к информации и какая это информация? Из общей формулировки парадокса это, вообще говоря, не понятно, а ведь это важно. Инопланетянин бросает перед игроком две коробки и исчезает ничего не говоря? Или предварительно сообщает правила игры? Как он выглядит и как обставлено его появление - похож ли он на обычного человека, или его внешность, условия появления и имеющиеся при нем артефакты указывают на принадлежность к чуждой высокоразвитой цивилизации? Демонстрирует ли он игроку свою способность к предсказанию наглядно? Есть ли у игрока возможность узнать статистическую сводку по результатам предыдущих игр?
    На самом деле Предсказатель этот предсказывает потому, что в рамках Вселенной задачи, все принимающие решения мыслят в рамках какой-то определённой теории принятия решений, а Предсказатель каким-то образом знает, какую именно теорию принятия решений исповедует каждый игрок, и предсказывает его решения полностью моделируя процесс мышления игрока. Только быстрее.
    Короче, не надо усложнять. Сейчас вы пытаетесь увернуться от задачи, придраться технически к ней или ещё каким-то образом не входить с ней в лобовое столкновение. Но если я не прав, и вам всё же по какой-то причине важно знать, то предположите какую угодно статистику, говорящую в пользу того, что предсказания Предсказателя работают.
    Если заранее известно, что все игроки, выбравшие обе коробки, обнаружили, что коробка Б пуста, в противоположность всем игрокам, выбравшим только коробку Б, то выбор только коробки Б - очень даже рационален. Мы не знаем почему это срабатывает, ну и что? В данном случае это как раз необязательная информация. Наши знания о мире вообще не полны. Может, коробки снабжены беспроводной связью, аннигилятором или телепортером и всякими другими штуками. Главное, что мы знаем, что это работает.
    Я припомню вам вашу же фразу: "Если какой-то стиль принятия решений приводит к успеху в определенной ситуации, из этого не следует, что этот стиль принятия решений рационален или даже просто хорош." Вы сейчас продемонстрировали рассуждение основанное на человеческой интуиции. Оно отлично работает в этом случае, но существует масса примеров, когда человеческая интуция работает неверно.
    Проблема в том, чтобы иметь некий единый метод принятия решений, который будет работать во всех ситуациях. И парадокс Ньюкомба, на самом деле, это своего рода тест для теорий принятия решений в неопределённых условиях: уважающая себя теория принятия решений должна давать для этого парадокса ответ "взять коробку Б, не трогая А".
    А чтобы не быть голословным, я могу указать на консеквенциализм, который рассуждает примерно как вы, путая цель и средство, только вместо требования информированности, он заявляет, что следует руководствоваться причинно-следственной связью, и делает наличие этой связи целью, забывая, что эта связь лишь средство. Консеквенциализм рассуждает так: в коробке Б либо лежит миллион долларов, либо не лежит. И мои действия не изменят этого факта. То есть, если там уже лежит миллион долларов, то он никуда не денется, если я возьму коробку А. Значит надо брать и А, и Б. Это частный случай более общего метода рассуждений. Этот метод рассуждений работает в очень многих ситуациях, но в этой -- нет.
    Есть и другой пример. Правда уже неочевидный, но во-многом схожий. Стоите вы посреди пустыни в одних трусах. Вы знаете, что без помощи вы умрёте от голода и жажды. Внезапно вам невероятно повезло (такое везение бывает раз в  жизни): мимо вас проезжает автомобиль. Вы тормозите автомобиль, и уговариваете водителя подбросить вас до ближайшего населённого пункта. Водитель требует оплаты его трудов по вашему спасению. У вас с собой денег нет, вы обещаете ему заплатить, как только он подбросит вас до банка (в банке вы сможете подтвердить свою личность отпечатком пальца и снять денег со счёта). А вот тут самое интересное: должен ли водитель автомобиля вам верить? Даже если вы действительно готовы заплатить денег сейчас, то есть вы заплатили бы их прямо сейчас, если бы у вас была возможность, то это не значит, что вы заплатите потом: ведь когда вы будете в населённом пункте, вашей жизни уже ничто не будет угрожать, и вы не приобретёте ровным счётом ничего, платя этому мужику за какие-то его уже совершённые деяния. А это значит, с точки зрения консеквенциализма, что вам не следует платить. А это значит, что если мужик знает о том, что вы консеквенциалист, то он вас не будет спасать из пустыни, потому что вы не заплатите. Этот мужик, таким образом, сыграет роль Предсказателя: он знает, какую теорию принятия решений вы исповедуете.

    Задачка Ньюкомба -- доведённая до абсурда ситуация с принятием решений в ситуации, когда окружающий мир может отражать меня, и таким образом может предсказывать мои решения. Мы постоянно находимся в таких условиях, но редко настолько. Окружающие люди, особенно наши знакомые, довольно неплохо могут предсказывать наше поведение в различных ситуациях. И они предсказывают. И они могут использовать эту свою способность не в нашу пользу, и даже во вред нам. В разных ситуациях это по разному надо учитывать, но в ситуациях, типа той что выше про пустыню, мы видим, что есть два человека, оба заинтересованы друг в друге (один может помочь выжить, другой может дать денег), но они не могут эту заинтересованность реализовать.

    Кстати это очень любопытно обыгрывалось в ГПиМРМ в парселтанге, когда говорящий на парселтанге не мог наврать. Парселтанг позиционировался как решение проблемы невозможности договориться. С одной стороны. С другой стороны в случае с пустыней он бы не очень помог нам выбраться из пустыни. Скорее помешал бы, потому что у нас не было бы шансов скрыть тот факт, что мы консеквенциалисты и поэтому не будем платить. Наш консеквенциализм начал бы говорить на парселтанге за нас. И это наводит на мысль придумать такую теорию принятия решений, которая будет принимать нам удобные решения всегда. Которая сможет обмануть Предсказателя. ;)

    Scondo

    • Ветеран
    • ****
    • Сообщений: 321
    • +35/-4
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #41 : 03 Ноября 2015, 22:57 »
  • (+)0
  • (−)0
  • Скорее помешал бы, потому что у нас не было бы шансов скрыть тот факт, что мы консеквенциалисты и поэтому не будем платить. Наш консеквенциализм начал бы говорить на парселтанге за нас. И это наводит на мысль придумать такую теорию принятия решений, которая будет принимать нам удобные решения всегда. Которая сможет обмануть Предсказателя. ;)
    Это значит что мы глупые консеквенциалисты. Нерациональные, раз наша теория приводит нас к смерти в пустыне, а мужика оставляет без денег.

    Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.

    kuuff

    • Старожил
    • *****
    • Сообщений: 2 133
    • +220/-52
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #42 : 04 Ноября 2015, 01:38 »
  • (+)0
  • (−)0
  • Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.
    Да. Собственно к этому Юдковский и подводит. Собственно Timeless Decision Theory и пытается решить эту проблему, заявляя, что если для того, чтобы выжить нам надо нарисовать стрелку причинно-следственной связи из будущего в прошлое, то надо просто взять и нарисовать её, даже если физика требует, чтобы любая причина была раньше любого своего следствия.

    Muyyd

    • Ветеран
    • ****
    • Сообщений: 756
    • +45/-1
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #43 : 04 Ноября 2015, 08:27 »
  • (+)0
  • (−)0
  • Да. Собственно к этому Юдковский и подводит. Собственно Timeless Decision Theory и пытается решить эту проблему, заявляя, что если для того, чтобы выжить нам надо нарисовать стрелку причинно-следственной связи из будущего в прошлое, то надо просто взять и нарисовать её, даже если физика требует, чтобы любая причина была раньше любого своего следствия.
    Кстати, вот что пишет Юдковский в книге.
    Цитировать
    [Edit 2015: I’ve now written a book-length exposition of a decision theory that dominates causal decision theory, “Timeless Decision Theory.”5 The cryptographer Wei Dai has responded with another alternative to causal decision theory, updateless decision theory, that dominates both causal and timeless decision theory. As of 2015, the best up-to-date discussions of these theories are Daniel Hintze’s “Problem Class Dominance in Predictive Dilemmas”6 and Nate Soares and Benja Fallenstein’s “Toward Idealized Decision Theory.”7]
    Если кратко, то есть что-то даже лучше, чем TDT - UDT.

    nadeys

    • Старожил
    • *****
    • Сообщений: 1 028
    • +48/-52
      • Просмотр профиля
    Re: Элиезер и парадокс Ньюкома
    « Ответ #44 : 04 Ноября 2015, 10:44 »
  • (+)0
  • (−)0
  • Это значит что мы глупые консеквенциалисты. Нерациональные, раз наша теория приводит нас к смерти в пустыне, а мужика оставляет без денег.

    Это значит что наша теория должна убеждать нас дать мужику денег даже когда мы уже не будем стоять посреди пустыни. Иначе там, посреди пустыни мы умрём.
    Несоглашусь. Если субъект знает что все его будущие планы автоматически раскрываются контрагенту и всё равно планирует предательство, то этот субъект не консеквенционалист, а дурак.

    Если вы живёте во вселенной в которой "водители умеют предсказывать предательские действия", то разумный консеквенционалист никогда не станет действовать согласно стратегии неблагодарного эгоизма. Консеквенционалист станет вести себя как неблагодарный эгоист тогда и только тогда, когда водители в этой вселенной не умеют предсказывать поведение неблагодарных эгоистов.

    ______________________________________________________________________

    Добавлено [time]04 Ноябрь 2015, 10:59[/time]:
    В нашей с вами вселенной водители не умеют предсказывать предательские действия, однако сама специфика человеческого опыта заставляют водителей всегда понимать что нет ни единой гарантии что голый мужик сможет потом заплатить.

    Поэтому в нашей вселенной, за всю историю времени, не было заключено ни единой полноценной корыстной сделки на вывоз человека из пустыни. Все имеющиеся прецеденты вывоза человека из пустныни всегда опирались на альтруизм водителя и на слабую надежду ответной благодарности.
    « Последнее редактирование: 04 Ноября 2015, 11:11 от nadeys »