Просто доброта

Автор: 
Элиезер Юдковский

Теория ценности

Автор: 
Элиезер Юдковский

Где заканчивается рекурсия обоснований

Элиезер Юдковский

Почему я считаю, что Солнце завтра взойдёт?

Потому что в предыдущие дни я тысячи раз видел, как солнце восходит.

Да, но почему я убеждён, что будущее будет похоже на прошлое?

Даже если перейти от поверхностных наблюдений о встающем Солнце, к видимо универсальным и не допускающим исключений законам гравитации и ядерной физики, всё равно без ответа остаётся следующий вопрос: «Почему я считаю, что всё это будет выполняться завтра?»

Я мог бы апеллировать к Бритве Оккама, принципу использования наиболее простой теории, удовлетворяющей фактам… но почему следует доверять бритве Оккама? Потому что следование ей приводило к успеху в прошлом? Но разве из этого следует, что Бритва Оккама сработает и завтра?

И было сказано:

Наука также зависит от необоснованных допущений. Таким образом, наука фундаментально основана на вере, поэтому не смейте критиковать меня за веру в [глупое-убеждение-№238721].

Я по этому поводу уже писал:

Крайне показательно, что утверждения вида: «Наука основана на вере, вот вам!» - обычно произносятся людьми, считающими веру чем-то хорошим. Тогда почему они говорят: «Наука тоже основана на вере!», столь победоносно высокомерным тоном, а не как будто делают комплимент?

Требование иммунитета к критике редко является хорошим знаком.

Но у нас остаётся вполне законный философский вопрос: если каждое убеждение должно быть обосновано, и эти обоснования также должны быть обоснованы, то как же разрешается эта бесконечная рекурсия?

И, если где-то в конце можно допустить что-то без обоснования, то почему нельзя просто допустить всё что угодно без обоснования?

Иногда примерно таким же образом критикуют байесианство — ведь байесианство требует наличие априорных вероятностей. Складывается впечатление, будто критикующие думают, что проблема индукции — это проблема исключительно байесианства, и её можно избежать, используя классическую статистику.

Впрочем, сперва я покажу, что байесовские правила изменения убеждений действительно не решают проблему индукции сами по себе.

Представьте, что вы достаёте из урны красные и белые мячики. Вот вы достали 9 штук, и 6 из них оказались белыми, а 3 красными. Какова вероятность того, что следующий мячик окажется красным?

Это зависит от ваших исходных убеждений относительно урны. Если вы считаете, что её создатель пользовался генератором случайных чисел со значениями от нуля до единицы и использовал результат как фиксированную вероятность того, что конкретный мячик будет красным, то ответ 4/11 (по правилу Лапласа). Если вы считаете, что урна изначально содержала 10 красных и 10 белых мячей, то ответ 7/11.

Таким образом, при правильно (или, скорее, неправильно) подобранных исходных допущениях нам бы казалось, что шанс того, что Солнце взойдёт завтра, с каждым следующим днем уменьшается… Например, если вы абсолютно априори уверены, что где-то существует огромная бочка, и из неё каждый день достают клочки бумаги, надпись на которых и определяет, взойдёт солнце или же нет (при условии, что в бочке содержится лишь ограниченное количество клочков бумаги с надписью «Да», а выбираются они без возвращения).

В пространстве всех возможных разумов существуют разумы, с анти-Оккамовскими и анти-Лапласовскими исходными допущениями. Они верят, что чем проще теория, тем менее она правдоподобна и что чем чаще нечто происходит, тем меньше вероятность того, что это повторится.

И если вы спросите у этих странных существ, почему они продолжают использовать допущения, которые, похоже, никогда не работают в реальной жизни… то они ответят: «Потому что это никогда не срабатывало раньше!»

Наверное, из этого можно извлечь урок: «Не рождайся с дурацкими исходными допущениями». Для многочисленных реальных проблем этот принцип невероятно полезен, однако сомневаюсь, что он удовлетворит философов.

Вот как я пытаюсь решить эту проблему самостоятельно. Я подхожу к таким вопросам как «Следует ли мне доверять своему мозгу?» или «Следует ли мне доверять бритве Оккама?», как будто они ничем не отличаются от других вопросов.

Следует ли мне доверять Бритве Оккама? Насколько хорошо (какая-либо конкретная формулировка) Бритвы Оккама работает на практике? Какие обоснования из области теории вероятностей я могу найти для неё? Когда я смотрю на вселенную, похоже ли, что это та вселенная, в которой хорошо работает Бритва Оккама?

Следует ли мне доверять своему мозгу? Очевидно, нет –– он не всегда работает правильно. Тем не менее, человеческий мозг кажется куда более могущественным, чем самые сложные компьютерные программы, которым я мог бы доверять в противном случае. Насколько хорошо мой мозг работает на практике, с какими задачами он успешно справляется?

Если рассмотреть мой мозг с точки зрения причин и следствий — каким образом он появился с точки зрения естественного отбора, — то, с одной стороны, я вижу множество причин в нём сомневаться, ведь мой мозг был оптимизирован для работы в условиях древней саванны, а не для занятий математикой. Однако, с другой стороны, понятно, почему, грубо говоря, мозг в принципе способен работать. Естественный отбор быстро бы избавился от мозгов, которые совершенно неспособны рассуждать. Мозг, придерживающийся анти-Оккамовских или анти-Лапласианских исходных допущений был бы слишком вреден для носителя.

Мои рассуждения — это не объявление о том, что я внезапно прекращаю задавать вопросы и искать обоснования. Когда исследование некоторого вопроса для меня упирается в бритву Оккама, мой мозг или ещё что-нибудь неоспоримое, я продолжаю исследовать тему. Но для этого я неизбежно использую мой нынешний мозг и известные мне способы рассуждать. А чем ещё я могу воспользоваться?

Ведь неважно, какое решение я приму, потому что приму его именно я. Даже если бы я решил доверять чему-то внешнему, какой-либо компьютерной программе, довериться ей всё равно было бы именно моим решением.

Очень важно уметь отказываться от убеждений, у которых нет никаких обоснований. Иногда я говорю, что фундаментальный вопрос рациональности это: «Почему ты веришь в то, во что ты веришь?» Я совершенно не хотел бы, чтобы какие-то мои слова можно было бы истолковать как то, что я допускаю, что возможно хотя бы одно утверждение, не нуждающееся в обосновании.

Что само по себе является не самой здоровой мотивацией. Не всегда можно избежать риска. А если кто-то раздражает вас своей глупостью, нельзя придумать противоположность этой глупости и получить что-то разумное.

И всё же я подчеркну разницу между следующими высказываниями:

Вот допущение, которое я не могу обосновать. Это допущение следует просто принять за истину без какого-либо дальнейшего изучения.

И:

Вот я продолжаю изучать это допущение, используя всю мощь моего нынешнего разума — а не, скажем, генератора случайных чисел или волшебного шара. При этом я осознаю, что мой нынешний разум основывается на этом самом допущении.

И всё же, разве не было бы здорово, если бы мы могли исследовать, насколько можно доверять собственному мозгу, не пользуясь собственным разумом? Не было бы лучше, если бы мы могли решать, как следует думать, не опираясь на свой текущий уровень рациональности?

Хм-м. Если поставить вопрос таким образом, начинает создаваться впечатление, что возможно и нет.

Э. Т. Джейнс повторял, что всегда следует использовать всю доступную вам информацию. Он был теоретиком байесианства, и ему приходилось распутывать парадоксы, созданные другими людьми, которые в своих вычислениях на разных этапах пользовались разной информацией. Принцип «Всегда прикладывай максимум усилий» кажется не менее достойным чем «Никогда не делай ничего напоминающего логический круг». В конце концов, альтернатива к тому чтобы стараться как можно сильнее –– делать меньше, чем можно было бы.

Но всё же… разве не было бы здорово, если бы существовал способ обосновать Бритву Оккама или то, что будущее будет похожим на прошлое, без допущения, что способы рассуждения успешно работавшие в прошлом лучше тех, что стабильно приводят к провалу?

Разве не было бы здорово, если бы существовала некая цепочка обоснований, которая не упирается в непроверяемые допущения и не вынуждена проверять саму себя на основании своих же правил? Которая начавшись с нуля могла бы убедить идеального студента философии абсолютной пустоты?

Ну, это определённо было бы любопытным, но я не ожидаю увидеть ничего подобного в ближайшее время. В машине нет идеально чистого призрака. Нет такого аргумента, что смог бы убедить камень.

Так что даже если кому-то удастся решить проблему Первопричины и по-настоящему обосновать то, что вселенная устроена просто — не основываясь при этом на простоте вселенной, — я всё равно буду ожидать, что это объяснение поймёт лишь наделённый разумом слушатель, а, например, камень — не поймёт. Слушатели, изначально не способные применить modus ponens, остаются не у дел.

Так что же в итоге происходит, когда кто-то спрашивает меня: «Почему я верю в то, во что я верю?»

В настоящее время я начинаю ходить по следующему циклу объяснений: «Я предсказываю будущее, полагая, что оно будет напоминать прошлое на наиболее простом и стабильном уровне организации материи, что я способен обнаружить, потому что ранее следование этому правило обычно давало хорошие результаты. И используя простое допущение о простоте вселенной, я могу понять, почему оно даёт хорошие результаты. И я даже могу понять, каким образом мой мозг мог эволюционировать так, чтобы наблюдать вселенную с определённой степенью точности, при условии, что мои наблюдения верны».

Однако… разве это рассуждение не оправдывает порочный логический круг?

Ведь я только что оправдал доверие к собственному разуму с помощью собственного разума, а не чего-то ещё.

Вообще, мы обычно отметаем логические круги именно из-за таких рассуждений. Мы хотим получать непротиворечивую причинно-следственную историю того, как наш мозг приходит к некоему знанию, историю, почему мы считаем надёжным процесс, с помощью которого получаем убеждения. Именно эта потребность стоит за фундаментальным вопросом рациональности: «Почему вы верите в то, во что вы верите?»

Теперь представьте, что вы написали на листке бумаги: «1) Все, что написано на этом листке бумаги истинно, 2) Масса атома гелия равна 20 граммам». Если бы такой трюк действительно работал, то вы могли бы узнать истинную массу атома гелия, просто приняв на веру логический круг, который его породил. И это позволило бы строить истинную карту вселенной, не выходя из комнаты с задёрнутыми занавесками. Что нарушало бы второй закон термодинамики, создавая информацию из ниоткуда. Поэтому кажется неправдоподобным, что таким образом в вашем разуме могут появиться истинные убеждения.

Даже если вы по какой-то причине поверили бумаге, не видно никаких причин, почему она может соответствовать реальности. Если бы выяснилось, что масса гелия действительно 20 грамм, и именно так написано на бумаге, это было бы просто чудесным совпадением.

В общем случае, нам кажется, что вера в набор утверждений, который обосновывает сам себя, не поможет нам создать карту, соответствующую территории. Мы приходим к этому заключению, размышляя о нашем разуме в контексте причин и следствий. И используем для этого размышления собственный разум.

Но что насчёт выработавшегося у нас большего доверия к более простым убеждениям и убеждения в том, что алгоритмы работавшие в прошлом с большей вероятностью будут работать и в будущем? Даже после размышлений в контексте причин и следствий, кажется, что они всё равно помогают нам строить карту, соответствующую территории.

А как насчёт доверия к непротиворечивости в подобных размышлениях? Представим огромное число разумов, случайно сгенерированных и пришедших в состояние непротиворечивых размышлений. Разве подавляющее большинство не будет ошибаться? Однако, наш разум появился не случайным путём. Он эволюционировал при помощи естественного отбора.

Если данный аргумент кажется вам подозрительным, то забудьте на секунду о проблеме философского обоснования и задайте себе вопрос: «Действительно ли это истина на самом деле?»

(Для чего вы, конечно же, воспользуетесь собственным разумом.)

Это то же самое, что утверждать «Я верю, что Библия – это слово Божие, потому что так утверждается в Библии»?

Могут ли верующие пользоваться аргументом, что слепую веру вложил в них Бог, и поэтому она надёжная опора для рассуждений?

Когда религиозные люди наконец-то отказываются от Библии, это происходит не потому, что они магическим образом прыгают в некое нерелигиозное состояние абсолютной пустоты, в нём заново переосмысливают свои религиозные убеждения в этом нерелигиозном состоянии разума, а затем перескакивают в новое состояние, в котором они уже не имеют религиозных убеждений.

Люди перестают быть религиозными, потому что сомнение проникает даже в религиозный разум. Они замечают, что их молитвы (и что хуже, молитвы, казалось бы, куда более достойных людей) остаются без ответа. Они замечают, что Бог, который говорит с ними в их сердце и даёт вроде бы утешительные ответы о вселенной, не способен сказать им сотый знак после запятой числа пи (что убедило бы гораздо сильнее, будь у Бога такая цель). Они изучают историю о том, как Бог создавал мир и осуждал на вечные муки неверующих, и она кажется бессмыслицей, даже если исходить из их собственных религиозных предпосылок.

Религиозность не делает вас менее человеком. Ваш мозг обладает всё теми же возможностями человеческого мозга. Опасность религиозности в том, что она может помешать вам применять эти способности по отношению к своей религии — помешает полноценной саморефлексии. Люди избавляются от своих ошибок не за счёт того, что переводят себя в состояние идеального философа абсолютной пустоты и переосмысливают свой опыт с чистого листа. Люди избавляются от своих ошибок, подвергая свои убеждения сомнению, используя силу своего текущего разума.

Вот в чём важное различие между размышлением о своём разуме при помощи своего разума (у вас всё равно нет других инструментов) и наличием допущений, которые вы не можете подвергнуть сомнению.

«Я верю, что Библия — это слово Божие, потому что так написано в Библии». Однако, если бы Библия была бы невероятно надёжным источником информации касательно всех прочих вопросов, если бы вместо утверждений, что у кузнечиков четыре ноги, а вселенная была создана за шесть дней, в ней содержалась бы периодическая таблица элементов за века до появления химии, если бы Библия действительно служила нам верой и правдой как источник истины, тогда, вообще-то, нам стоило бы всерьёз рассмотреть дополнительное утверждение, что Библию создал Бог.

Возможно, мы бы не доверяли этому утверждению полностью, потому что даже в этом случае Библию могли создать пришельцы или Тёмные лорды Матрицы, но по крайней мере к нему стоило бы отнестись серьёзно.

Аналогично, если бы всё остальное, что говорили священники, оказывалось бы правдой, то мы серьёзнее отнеслись бы к утверждению, что веру вложил в нас Бог и она — систематически надёжный источник знания. Особенно, если бы люди были способны постичь сотый знак после запятой числа пи при помощи одной лишь веры.

Поэтому логический круг, содержащийся в утверждении «Я верю, что Библия слово Божие, потому что так написано в Библии», не так важен по сравнению с тем, что оно призывает к отказу от познания собственного ума с помощью его же самого. Ведь с помощью такого познания вы поймёте, что всё, ставящее под сомнение достоверность Библии, также ставит под сомнение и её заверения в собственной достоверности.

Такое же рассуждение применимо и к рациональности. Если будущее перестанет быть похожим на прошлое –– даже на простейших и наиболее стабильных уровнях организации материи… впрочем, в таком случае, я, скорее всего, умру, так для функционирования моего мозга необходима упорядоченная вселенная, в которой по-прежнему работают законы химии. Но, если я почему-то выживу, то я должен буду поставить под сомнение принцип, согласно которому будущее должно напоминать прошлое.

Но раз пока этого не случилось, какова альтернатива утверждению: «Я полагаю, что будущее будет напоминать прошлое на наиболее стабильном уровне организации материи, какой только я смогу обнаружить, так как данное убеждение успешно оправдывалось в прошлом и давало лучшие результаты, чем любое другое»?

Подойдёт ли утверждение: «Вера в то, что будущее не будет напоминать прошлое, всегда меня подводила, и именно поэтому я и буду так считать»?

Помните, что быть рационалистом – это не значит выигрывать споры у идеальных философов абсолютной пустоты. Быть рационалистом – это просто выигрывать. И для этого мы хотим приблизиться настолько близко к истине насколько это возможно. И таким образом я принимаю следующий принцип: сомневаться в том, что утверждает мозг и что подсказывает интуиция, сомневаться в своих принципах рациональности, используя всю нынешнюю силу моего ума, и прикладывая все доступные усилия на каждом шагу.

И если один из ваших нынешних принципов окажется несовершенным –– согласно вашей же собственной проверке, ведь вы не можете выйти за рамки себя –– то измените его! А затем снова взгляните на себя и мир вокруг, используя ваши новые усовершенствованные принципы.

Смысл не в том, чтобы быть рефлексивно последовательным. Смысл в том, чтобы выигрывать. Однако если мы наблюдаем за собой и играем на победу, мы становимся более рефлексивно последовательными. Без этого не получится «играть, чтобы выигрывать» и одновременно «следить за собой».

Всё без исключения требует обоснования. Иногда — и неизбежно, насколько я могу судить — эти обоснования будут замыкаться в самосогласованную рефлексию. И я считаю, существуют признаки, позволяющие при помощи здравого смысла отличить её от порочного логического круга. Но всякий, кто всерьёз рассматривает порочные круги, наверняка весьма далёк от рациональности. И, конечно же, подобные люди будут настаивать, что их порочный круг — это «самосогласованная рефлексия», даже если она состоит всего лишь из единственного клочка бумаги с надписью «Верь мне». Что ж, не всегда возможно улучшить методы рационального мышления ещё и так, чтобы люди настолько одержимые саморазрушением не использовали их, чтобы раз за разом стрелять себе в ногу.

Никогда не сдерживайтесь, критикуя свои способы критики. И не считайте неизбежность циклических обоснований лицензией на иммунитет к критике.

Всегда боритесь в полную силу — не важно, приводит ли это к замкнутому циклу или нет. Делайте всё, что можете. И всегда играйте на победу.

Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
264
Оцените перевод: 
Средняя оценка: 4.8 (13 votes)

Раскладывание камней в правильные кучи

Элиезер Юдковский

Давным-давно жили странные существа (может быть они были биологическими, или может быть они были синтетическими, а может это был просто сон), и они увлекались укладыванием камней в правильные кучи.

Они не могли сказать, почему некоторые кучи правильны, а некоторые неправильны. Но все они соглашались, что наиболее важная вещь в мире — это создание правильных куч и раскидывание неправильных.

Причина, по которой этих Камнераскладывающих Людей так заботило раскладывание камней, была давно утеряна в истории — может быть фишеровское убегание, начавшееся миллион лет назад по какому-то совершенно случайному стечению обстоятельств? Или может быть это результат разумного творения, которое было заброшено?

Но, как бы там не было, раскладывание камней так много значило для них, что Камнераскладывающие философы в унисон говорили, что раскладывание камней по кучам было смыслом их жизней, что единственная оправданная причина кушать — это раскладывание камней; единственная причина размножаться — это раскладывание камней, единственная оправданная причина участвовать в экономической жизни их мира — это эффективное раскладывание камней.

Все Камнераскладывающие Люди соглашались с этим, но они не всегда соглашались с тем, какие кучи правильные, а какие нет.

На заре Камнераскладывающей цивилизации, кучи, создаваемые людьми, были по преимуществу маленькими, из 23 или 29 камней, и никто не знал, были бы более большие кучи правильными или нет. Три тысячелетия назад Великий Лидер Бико сделал кучу из 91 камня и объявил её правильной, и легионы его восторгающихся последователей создали множество других подобных куч. Но через несколько столетий, когда сила Биконианцев увяла, среди умнейших и наиболее просвещённых стало укрепляться чувство, что кучи из 91 камня неправильные. В конечном итоге, они пришли к пониманию того, что было сделано, и они раскидали все кучи из 91 камня. Не без некоторого сожаления, поскольку некоторые из этих куч были великими произведениями искусства, но неправильными. Они даже разбросали исходную кучу Бико, сделанную из 91 драгоценного камня, каждый своего типа и цвета.

И с тех пор ни одна цивилизация не сомневалась серьёзно в том, что куча из 91 камня неправильна.

Сегодня, в эти более умудрённые времена, размер куч, которые Камнераскладыватели осмеливаются создавать, вырос гораздо больше — и все согласны с тем, что это было бы великолепно и превосходно, если бы они могли убедиться в том, что кучи были действительно правильными. Иногда государства не соглашались о том, какие кучи правильные, и тогда случались войны: Камнераскладыватели никогда не забудут Великую Войну 1957 между И’ха-нтхей и И’не’ха-итлей из-за куч из 1957 камней. Та война, в которой впервые на Камнераслкдывающей планете было применено ядерное оружие, в конечном итоге закончилась, когда философ Эт’гра’лен’лей из И’не’ха-итлейев, расположил кучу из 103 камней рядом с кучей из 19 камней. Это аргумент оказался настолько убедительным, что даже И’не’ха-итлеи неохотно согласились, что лучше прекратить создавать кучи из 1957 камней, по-крайней мере в настоящее время.

После Великой Войны 1957 страны неохотно шли на открытое одобрение или осуждение куч большого размера, поскольку это легко могло привести к войне. В действительности некоторые Камнераскладыватели-философы — кто, видимо, получал удовольствие, шокируя других своим цинизмом — полностью отрицали существование какого-либо прогресса в раскладывании камней; они намекали, что мнения о камнях были просто случайным броуновским движением сквозь время, без какой-либо согласованности, иллюзия прогресса создавалась благодаря осуждению всех достижений прошлого, не похожих на сегодняшие, как неправильных. Философы указывали на несогласие о кучах большого размера, как на доказательство того, что нет ничего, что делало бы кучу размера 91 действительно неправильной — просто было модным создавать такие кучи в определённый период времени, а затем в другой период было модным разрушать их. Они отказывались принимать «Но…13!» как аргумент, заявляя что «13!» не убедительный аргумент, но лишь ещё одно соглашение. Кучевые Релятивисты утверждали, что их философия может помочь предотвратить будущие катастрофы типа Великой Войны 1957, но большинство рассматривало её как философию отчаяния.

В настоящее время вопрос, что делает кучу правильной или неправильной, стал важным по ещё одной причине: Камнераскладыватели в ближайшем будущем могли создать самосовершенствующийся ИИ. Кучевые Релятивисты выступили против проекта, они сказали, что ИИ, не принадлежа к виду Камнераскладыватель Разумный, могут создать свою собственную культуру, которая будет нести совершенно иные идеи о том, какие кучи правильные или неправильные. «Они могут решить, что кучи из 8 камней правильные», — сказали Кучевые Релятивисты, — «и поскольку они не будут ультимативно более или менее правыми, чем мы, всё же наша цивилизация говорит, что мы не должны создавать таких куч. Не в наших интересах создавать ИИ, если только мы не встроим бомбу в каждый компьютер, чтобы даже если ИИ подумает, что куча из 8 камней правильная, то мы могли бы заставить их строить кучи из 7 камней. Либо БАБАХ!»

Но для большинства Камнераскладывателей это было абсурдом. Определённо, любой достаточно мощный ИИ — особенно «суперинтеллект» о котором рассуждали некоторые транскамнераскладыватели — сможет увидеть в мгновение ока, какие кучи правильные, а какие нет! Мысль о том, что нечто с мозгом размером с планету, будет думать, что куча из 8 камней правильна — это просто слишком абсурдно, чтобы об этом даже разговаривать.

В действительности, совершенно бесполезно ограничивать суперинтеллект в том, какие кучи он будет строить. Предположим, что Великий Лидер Бико мог бы в его примитивный век построить самосовершенствующийся ИИ и встроил бы в него максимизатор ожидаемой полезности, чья функция полезности говорила бы ему создавать так много куч размера 91, сколько возможно. Несомненно, когда этот ИИ достаточно сильно бы себя улучшил и стал бы достаточно умным, то он бы увидел в мгновение ока, что его функция полезности была неправильной, и, имея возможность менять свой исходный код, он переписал бы свою функцию полезности, чтобы она ценила бы более осмысленные размеры куч, типа 101 или 103.

И конечно же не кучи размера 8. Это было бы просто глупо. Любой ум, который настолько глуп, слишком туп, чтобы быть угрозой.

Убеждённые таким здравым смыслом, Камнераскладыватели дали зелёный свет их проекту, по собиранию из множества разнообразных алгоритмов случайных программ, в надежде, что таким образом возникнет разум. Вся история цивилизации показывала, что более богатые, умные, более просвещённые цивилизации были склонны соглашаться о кучах, о которых спорили их предки. Конечно же, ещё оставались кучи бóльших размеров и они спорили о них, но по мере того как развивались технологии, цивилизации приходили к согласию о кучах большего размера и создавали их.

На самом деле, интеллект сам по себе всегда коррелировал с созданием правильных куч — ближайшие родственники по эволюции к Камнераскладывателям — Камнераспанзе — создавали кучи размером в 2 или 3 камня, и иногда глупые кучи, типа 9. А другие, ещё менее интеллектуальные животные, например, рыбы, вообще не делали куч.

Умнее мозги, следовательно, умнее кучи. С чего бы это вдруг эта закономерность перестанет работать?

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
268
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Настоящая дилемма заключенного

Элиезер Юдковский

Однажды я понял, что обычно дилемму заключенного представляют неправильно.

В основе дилеммы заключенного лежит вот такая симметричная платежная матрица:

1:С 1:П
2:С (3,3) (5,0)
2:П (0,5) (2,2)

Есть два игрока: Игрок 1 и Игрок 2. Каждый из них может выбрать С или П. Итоговый результат для Игрока 1 и Игрока 2 — соответственно, первое и второе число пары чисел в скобках. По причинам, которые станут понятны ниже, C означает «сотрудничать», П — «предать».

Заметим, что для участника этой игры (пусть он считает себя первым) предпочитаемые исходы выстраиваются в следующем порядке: (П, С) >> (C, С) >> (П, П) >> (С, П).

Видим, что П предпочтительнее, чем С: если второй игрок выбирает С, то первому выгоднее (П, С), чем (С, С). Если второй выбирает П, то первому выгоднее (П, П), чем (С, П). Таким образом, ты мудро выбираешь П, а так как платежная матрица симметрична, второй игрок аналогично выберет П.

Если бы вы оба были не так мудры! Каждому из вас выгоднее (С, С), чем (П, П). Поэтому вы оба предпочитаете обоюдное сотрудничество обоюдному предательству.

В теории принятия решений дилемма заключенного — одна из основ, и о ней написано огромное количество томов. Но я осмелюсь утверждать, что в традиционном представлении дилеммы заключенного есть серьезное упущение — по крайней мере, для людей.

Классическое представление дилеммы заключенного таково: ты преступник, пойманный властями вместе с сообщником. Независимо друг от друга, без возможности общаться между собой и без возможности изменить решение впоследствии, каждый из вас должен решить, давать показания против сообщника (П) или молчать (С).

В настоящий момент каждому из вас грозит год тюрьмы. Дача показаний против сообщника уменьшает твой срок на год и прибавляет другому два года.

В другом варианте, ты и незнакомец, не зная ничего друг о друге и не имея возможности узнать в будущем, единожды должны сыграть С или П, получив выигрыш в соответствии с приведенной выше платежной матрицей.

И, конечно, в классическом варианте предполагается, что ты полностью эгоистичен, т.е. не заботишься о сообщнике или об игроке в другой комнате.

И именно последнее условие, с моей точки зрения, приводит к неправильному восприятию дилеммы заключённого.

Невозможно устранить эффект знания задним числом, инструктируя присяжных вести себя так, будто они не знают, к чему привели рассматриваемые события. Аналогично, без больших усилий, подкрепленных соответствующими знаниями, психически здоровый человек не может притворяться по-настоящему эгоистичным.

У нас есть врожденные чувства честности, чести, сопереживания, симпатии и даже альтруизма. Это результат того, что наши предки длительное время приспосабливались к игре в повторяющуюся дилемму заключенного. Мы не можем полностью и честно предпочесть исход (П, С) исходу (С, С), хотя можем полностью предпочесть исход (С, С) исходу (П, П) и исход (П, П) исходу (С, П). Мысль о сообщнике, проводящем три года в тюрьме, не может совсем не трогать нас.

В закрытой комнате, где под наблюдением специалистов по экономической психологии мы играем в простую игру, мы не можем совсем не симпатизировать незнакомцу, который может сотрудничать. Мы не можем быть полностью счастливы при мысли о том, что незнакомец выбрал сотрудничать, а мы — предавать, и благодаря этому мы получим пять долларов, а он не получит ничего.

Мы инстинктивно держимся за исход (С, С) и ищем способы увериться, что этот выбор разделяет и вторая сторона. Наша невольная мысль — «как бы убедиться, что сотрудничество взаимно», а не «как бы обмануть второго, чтобы он сыграл С, в то время как я сыграю П и получу максимальный выигрыш».

Для тех, кому важны альтруизм, честь и справедливость, дилемма заключенного не содержит по-настоящему критической платежной матрицы, безотносительно финансовых исходов для игроков. (С, С) предпочтительнее, чем (П, С), и ключевой вопрос — думает ли второй игрок так же.

И людям, которые только что познакомились с теорией игр, нельзя объяснить, что они должны притворяться полностью эгоистичными. Это ничуть не легче, чем объяснить людям, познакомившимся с идеей антропоморфизма, что они должны притворяться максимизаторами скрепок.

Для настоящей дилеммы заключённого ситуация должна быть примерно такой:

Игрок 1: Человек, дружественный искусственный интеллект или другой человекоподобный разум.
Игрок 2: Недружественнный искусственный интеллект, либо инопланетянин, который озабочен лишь раскладыванием камней в правильные кучи.

Представим, что четыре миллиарда людей — не всё человечество, но значительная его часть — страдает прогрессирующим смертельным заболеванием, которое может вылечить только Вещество.

Однако Вещество возможно производить, только взаимодействуя с максимизатором скрепок из параллельного мира — с помощью Вещества еще можно делать скрепки. Максимизатора скрепок волнует количество скрепок только в его мире, а не в нашем, так что мы не можем влиять на него, предлагая изготавливать или уничтожать скрепки здесь. Мы никогда раньше не имели дело с максимизатором скрепок и никогда больше не встретим его впредь.

У человечества и максимизатора скрепок есть только один шанс добыть себе немного Вещества, потому что щель между мирами скоро захлопнется. Однако, процесс добычи вещества приводит к потере его части.

Платежная матрица выглядит так:

1:С 1:П
2:С (спасти 2 миллиарда человеческих жизней, сделать 2 скрепки) (3 миллиарда жизней, 0 скрепок)
2:П (0 жизней, 3 скрепки) (1 миллиард жизней, 1 скрепка)

Я составил матрицу так, чтобы вызвать чувство негодования при мысли о том, что максимизатор скрепок хочет обменять миллиарды человеческих жизней на пару скрепок. Очевидно же, что максимизатор скрепок обязан отдать все Вещество нам. Но он делает не то, что обязан, а просто максимизирует количество своих скрепок.

В этом случае мы на самом деле предпочитаем исход (П, С) исходу (С, С), оставляя за скобками средства, которыми достигается цель. Мы намного охотнее предпочтем жить во вселенной, где три миллиарда людей спаслись и не было произведено ни одной скрепки, чем пожертвуем миллиардом жизней в обмен на изготовление двух скрепок. Кажется, что в этом случае сотрудничать просто неправильно. Предавать даже не кажется нечестным – ведь так велика жертва для нас и так мал выигрыш максимизатора скрепок! Уточним особо, что максимизатор скрепок не чувствует боль или удовольствие — он просто действует так, чтобы в его мире стало больше скрепок. Он не испытает радость, приобретя скрепки, не испытает боль, потеряв скрепки, и не оскорбится, если мы предадим его.

Что же ты сделаешь? Будешь ли сотрудничать, если искренне, целиком и полностью желаешь того огромного выигрыша, который можешь получить, и нисколько не озабочен ничтожной в сравнении с этим потерей второго игрока? Если предать кажется правильным, даже если второй игрок сотрудничает?

Именно так выглядит платёжная матрица для настоящей дилеммы заключённого. Настоящая дилемма заключённого — это ситуация, когда исход (П, С) кажется правильнее, чем (С, С).

Но вся остальная логика — что будет, если оба игрока так думают, и поэтому оба предадут — ничуть не меняется. Ведь максимизатор скрепок настолько же мало обеспокоен людскими смертями, болью или нашим ощущением предательства, как нас мало волнуют скрепки. Но обоим нам выгоднее (С, С), чем (П, П).

Если ты когда-нибудь гордился тем, что в дилемме заключенного выбрал сотрудничать, или однажды оспаривал вывод классической теории игр о том, что «рациональнее» предать — что ты скажешь об этой настоящей дилемме заключенного?

PS На самом деле, я не считаю, что рациональные агенты всегда должны предавать в однократной дилемме заключённого, в которой другой игрок выберет сотрудничать, если ожидает того же от вас. Я думаю, что есть ситуации, где два агента могут рационально прийти к (С, С), а не к (П, П) и получить соответствующую выгоду.

Часть своих доводов я изложил при обсуждении задачи Ньюкома. Однако, мы не можем рассуждать о том, возможно ли в этой дилемме рациональное сотрудничество, пока не избавимся от интуитивного ощущения, что исход (С,С) хорош сам по себе. Если мы хотим понять математику, мы должны научиться видеть сквозь социальный ярлык «взаимного сотрудничества». Если вы чувствуете, что с точки зрения Игрока 1 (С,С) гораздо лучше, чем (П,П), но не чувствуете, что при этом (П,С) гораздо лучше, чем (С,С), то вы пока не понимаете всю сложность этой задачи.

Перевод: 
Фёдор Ефремов, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
275
Оцените перевод: 
Средняя оценка: 4.4 (5 votes)

Количественный гуманизм

Автор: 
Элиезер Юдковский

Пренебрежение масштабом

Элиезер Юдковский

Однажды трём группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы 2 000, 20 000 и 200 000 перелётных птиц не погибли, увязнув в нефти. В ответах были названы суммы 80, 78 и 88 долларов соответственно1. То, что можно принять за бесчувственность, называется пренебрежением масштабом: количество спасённых птиц – масштаб альтруистического действия – мало повлияло на готовность заплатить.

Похожие эксперименты показали, что за очистку всех загрязнённых озёр Онтарио жители Торонто заплатили бы немногим больше, чем за очистку определённого района Онтарио2. Аналогично, жители четырёх западных штатов США за защиту всех 57 заповедников дикой природы в этих штатах заплатили бы лишь на 28% больше, чем за заботу об одном из заповедников3.

Люди представляют «одинокую обессилевшую птицу с пропитанными чёрной нефтью перьями, которой не спастись» 4. Это представление, этот образ вызывает эмоциональное возбуждение, которое в основном и отвечает за готовность заплатить – и образ во всех трёх случаях один и тот же. Что до масштаба, то на него не обращают внимания – ни один человек не сможет представить 2 000 птиц сразу, не говоря уже про 200 000. Классический вывод состоит в том, что масштаб, растущий по экспоненте, вызывает всего лишь линейное увеличение готовности платить. Возможно, такое линейное увеличение соответствует увеличению времени скольжения взгляда по нулям в числах; это небольшое влияние добавляется к влиянию представления, но не умножает его. Эта гипотеза известна как «оценка по представлению».

Альтернативная гипотеза – «приобретение морального удовлетворения». Люди тратят достаточно денег, чтобы им стало теплее на душе от чувства выполненного долга. Уровень расходов, необходимый для приобретения теплоты на душе, зависит от личных качеств и финансового положения, но уж точно не от количества птиц.

Мы пренебрегаем масштабом, даже если на кону человеческие жизни. По мере увеличения предполагаемого риска хлорирования питьевой воды с 0,004 до 2,43 смертей в год на тысячу человек – в 600 раз – готовность заплатить возрастает с 3,78 до 15,23 долларов5. Барон и Грин не обнаружили эффекта от изменения числа спасённых жизней в 10 раз6.

В статье «Нечувствительность к ценности человеческой жизни: исследование психофизического ступора» собраны свидетельства того, что сила восприятия человеческих смертей подчиняется закону Вебера и прямо пропорциональна логарифму их количества. Другими словами, порог различия (количество смертей, которое необходимо добавить к имеющимся, чтобы возникло чувство различия) постоянно увеличивается по мере роста общего количества смертей. Так, здравоохранительная программа для беженцев из Руанды получила намного больше поддержки, когда гарантировалось спасение 4 500 людей в лагере из 11 тысяч беженцев, чем тех же 4 500 в лагере из 250 000. Чтобы потенциальное лекарство от болезни посчитали достойным финансирования, оно должно гарантировать спасение значительно большего числа жизней, если изначально утверждалось, что эта болезнь – причина смерти 290 000 людей в год, нежели 160 000 или 15 0007.

Мораль: если вы хотите быть эффективным альтруистом, вы должны задействовать ту часть мозга, что обрабатывает нудные чернильные нули, а не просто переживать о бедной исстрадавшейся пропитанной нефтью птице.

  • 1. Desvousges, W. Johnson, R. Dunford, R. Boyle, K. J. Hudson, S. and Wilson K. N. (1992). Measuring non-use damages using contingent valuation: experimental evaluation accuracy. Research Triangle Institute Monograph 92-1
  • 2. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld
  • 3. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland
  • 4. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235
  • 5. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73
  • 6. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125
  • 7. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300
Перевод: 
olya_babe, losjasha, kergma, Viktoriya
Номер в книге "Рациональность: от ИИ до зомби": 
281
Оцените перевод: 
Средняя оценка: 3.7 (23 votes)

Парадокс Аллэ

Элиезер Юдковский

Выберите между двумя следующими возможностями:

1А. 24 000 долларов, точно.

1Б. Шанс в 33/34 выиграть 27000 долларов и в 1/34 — не получить ничего.

Что интуитивно кажется лучшим выбором? И что вы выберете в реальной жизни?

А какой из двух выборов вы предпочтете теперь и какой выберете в реальной жизни?

2А. 34-процентный шанс выиграть 24 000 долларов и 66-процентный шанс не получить ничего.

2Б. 33-процентный шанс выиграть 27 000 долларов и 67-процентный шанс не получить ничего.

Парадокс Аллэ, названный по имени исследователя, на самом деле не является парадоксом — он был одним из первых конфликтов между теорией принятия решений и человеческим мышлением; он был показан экспериментально в 1953 году. Я слегка модифицировал его, чтобы его легче было понять математически, однако в сущности проблема осталась той же: большинство людей предпочтут вариант 1А, и большинство людей предпочтут вариант 2Б. На самом деле, в пределах задачи, большинство испытуемых выражают оба предпочтения одновременно.

Это проблема, поскольку второй вариант задачи эквивалентен одной трети шанса от первого. То есть, 2А это все равно что получить 1А с вероятностью в 34%, и 2Б эквивалентно 1Б с вероятностью 34%.

Среди аксиом, используемых для доказательства, что последовательный сторонник теории принятия решений может рассматриваться как тот, кто максимизирует ожидаемую полезность, есть аксиома независимости: если Х строго предпочитается Y, тогда вероятность Р от Х и (1 – Р) от Z должны строго предпочитаться вероятности P от Y и (1 - Р) от Z.

Все аксиомы являются следствием и основанием последовательной функции полезности. Так что должно быть возможно доказать, что экспериментальные испытуемые выше не имели последовательной функции полезности для своих выборов. И в самом деле, вы не можете одновременно выбирать:

U(24 000 $) ≻ 33/34 U(27 000 $) + 1/34 U(0 $)

0,34 U(24 000$) + 0,66 U(0 $) ≺ 0,33 U(27 000$) + 0,67 U(0 $)

Эти два уравнения алгербаически непоследовательны независимо от U, и поэтому парадокс Аллэ не имеет ничего общего с убывающей предельной полезностью денег.

Морис Аллэ первоначально защищал выявленные предпочтения испытуемых: он рассматривал эксперимент как разоблачение недостатка в обычной идее полезности, а не подвергал критике изъян в человеческой психологии. В конце концов, это был 1953 год, и до начала движения эвристики и искажений было еще два десятилетия. Аллэ думал, что эксперимент просто показывает, что аксиома независимости не может быть применена в чистом виде в реальной жизни.

(Как наивно, как глупо, как упрощённо в Байесовской теории принятия решений…)

Конечно, определенность в обладании 24 000 долларов должна что-то значить. Вы ощущаете разницу, верно? Твердую уверенность?

(Я начинаю думать об этом как о «наивном философском реализме» — предположении, что наши интуитивные ожидания прямо отражают истины о том, какие стратегии мудрее, как о непосредственно осознаваемом факте, что «1А превосходит 1Б». Интуитивные ожидания прямо отражают истины о человеческих когнитивных функциях и только косвенно отражают (после того как мы отразим когнитивные функции сами по себе) истины о рациональности.)

«То есть», — скажете вы, — «это настолько ужасно, что следует отказаться от изящества байесианства?» Хорошо, поскольку испытуемые не следовали чистой малой аксиоме независимости, представленной фон Нейманом и Моргенштерном. Но кто вообще сказал, что вещи должны быть ясными и чистыми?

Зачем беспокоится о изяществе, если оно заставляет нас брать риски, которых мы не хотим? Ожидаемая полезность говорит нам количественно оценить результат, умножить на его вероятность, сложить и т. д. Хорошо, но почему мы должны это делать? Почему бы не использовать более подходящие правила?

Всегда есть цена за уход с байесовского пути. Это то, о чем говорят теоремы согласованности и уникальности.

В данном случае, если агент предпочитает 1A > 1Б, и 2Б > 2A, он вводит противоречивую систему предпочтений — динамическую неслогласованность в системе планирования агента. Вы начинаете терять деньги.

Предположим, что в 12:00 я брошу кость со 100 гранями. Если кость покажет число больше, чем 34, то игра заканчивается. В любом другом случае в 12:05 я спрошу совета по выбору между двумя положениями, А и Б. Если положение А, то я заплачу вам 24 000 долларов. Если положение Б, то я бросаю кость с 34 гранями и плачу вам 27 000 долларов, но только если кость не показывает «34»: в этом случае я не плачу вам ничего.

Предположим, что вы выбрали 1А, а не 1Б, и 2Б, а не 2А, и вы должны заплатить один пенни за каждый выбор. Выбор начинается с состояния А. До 12:00 вы платите мне пенни, чтобы перейти в состояние Б. Кость показывает 12. После 12:00 и до 12:05 вы платите мне пенни за переход в состояние А.

Я принимаю ваши два цента с субъекта.

Если вы действуете в угоду своим интуитивным ожиданиям и отказываетесь от изящества как от бессмысленной одержимости, не удивляйтесь, когда ваши деньги уходят от вас…

(Я думаю, та же неспособность пропорционально девальвировать эмоциональное воздействие малых вероятностей несет ответственность за лотерею.)

Allais, M. (1953). Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école Américaine. Econometrica, 21, 503-46.

Kahneman, D. and Tversky, A. (1979.) Prospect Theory: An Analysis of Decision Under Risk. Econometrica, 47, 263-92.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
283
Оцените перевод: 
Средняя оценка: 3.6 (7 votes)

Чувство морали

Элиезер Юдковский

Предположим, что нечто — болезнь, монстр, война, или что-то ещё — убивает людей. И допустим, что у вас достаточно ресурсов для осуществления одного из двух вариантов:

  1. Гарантированно спасти 400 жизней;
  2. Спасти 500 жизней с вероятностью в 90%, но при этом процент вероятности того, что спасти людей не удастся, составит 10%.

Большинство людей выбирают первый вариант, что я считаю глупым, поскольку, если вы умножите 500 жизней на 90% вероятности, то получите 450 жизней, что превышает 400 жизней из первого варианта. (Для спасённых жизней предельная полезность не убывает, так что это уместное вычисление).

Вы можете возмущённо воскликнуть: «Что?! Как вы можете играть с человеческими жизнями? Как вы можете думать о цифрах, когда столько поставлено на карту? Что если выпадут те 10% и все умрут? Это слишком большая плата за вашу проклятую логику! Ваша рациональность оторвана от реальности!»

Ах, но вот одна интересная вещь. Если вы представите параметры таким образом:

  1. 100 человек гарантированно умрут.
  2. Шанс 90%, что никто не умрёт, но вероятность 10%, что погибнут 500 человек.

В таком случае большинство выберут второй вариант. Даже если это та же самая авантюра. Очевидно, что так же, как уверенность в спасении 400 жизней кажется гораздо более комфортной, чем ненадёжная выгода, также и конкретная потеря ощущается сильнее, чем неопределённая.

Вы можете играть на публику и в этом случае: «Как вы можете обречь 100 человек на верную смерть, когда есть такая хорошая возможность спасти их? Мы все должны рискнуть! Даже если бы шанс спасти всех составлял всего 75%, всё равно стоило бы попробовать, раз есть шанс! Пусть им воспользуются все или никто!»

Знаете что? Это не о ваших чувствах. Человеческая жизнь, со всеми её радостями и страданиями, складывающимися в течение десятилетий, стоит гораздо больше, чем чувство комфорта или дискомфорта вашего мозга от планирования. Вам кажется, что вычисление ожидаемой полезности слишком бесчувственно? Что же, это ощущение — лишь перо на чаше весов, когда на карту поставлена жизнь. Просто заткнитесь и умножайте. Гугол равен 10^100 — единица, за которой следуют сто нулей. Гуголплекс — ещё более непостижимое большое число, это 10^гугол, единица, за которой следует гугол нулей. Теперь выберите какое-нибудь банальное неудобство, типа икоты, и какое-нибудь явно нетривиальное несчастье, например, медленно отрывающаяся конечность при нападении садистскими акулами-мутантами. Если мы вынуждены сделать выбор между предотвращением икоты у гуголплекс людей или предотвращением нападения акулы-мутанта на одного человека, какой выбор мы должны сделать? Если вы присваиваете икоте какое-то негативное значение, то, под страхом теоретической несогласованности решений, должно быть некоторое количество икоты, которое в сумме составило бы конкуренцию негативному значению атаки акулы. Для любого конкретного конечного зла должно быть некоторое количество икоты, которое было бы ещё хуже.

Подобные моральные дилеммы не являются умозрительным кровавым спортом для развлечения философов-аналитиков на званых обедах. Это искажённые версии тех ситуаций, в которых мы на самом деле оказываемся каждый день. Стоит ли мне потратить 50 долларов на консольную игру или отдать их на благотворительность? Должен ли я организовывать сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или использовать эти же деньги для приобретения противомоскитных сеток и предотвратить смерть примерно 200 детей от малярии?

Тем не менее, многие отводят взгляд от обилия неприятных моральных компромиссов в реальности — многие даже гордятся тем, что отводят взгляд. Исследования показывают, что люди проводят различие между «священными ценностями», такими как человеческие жизни, и «не священными ценностями», такими как деньги. И когда вы пытаетесь обменять священную ценность на не священную, субъекты выражают большое негодование. (И порой они даже хотят покарать человека, который сделал такое предложение.)

У меня есть любимая история про то, как команда исследователей, которые оценивают эффективность разных проектов, подсчитала стоимость спасённой жизни и порекомендовала правительству реализовать этот проект, поскольку он был экономически эффективным. Правительственное агентство отклонило отчёт, потому что, по их словам, нельзя оценивать человеческую жизнь в долларах. После отклонения отчёта агентство решило не использовать такой способ оценки.

Обмен сакральной ценности на не сакральную кажется действительно ужасным. Просто умножать одно на другое было бы слишком хладнокровно – для этого надо быть очень рациональным… Но альтруизм — это не тёплое неопределённое чувство, которое вы испытываете, будучи альтруистом. Если вы делаете это ради духовной выгоды, это не что иное, как эгоизм. Но главное — это помочь другим, какими бы ни были средства. Так что заткнись и умножай!

И если вам кажется, что в этой максимизации есть жестокость, подобная обнажённому мечу Фемиды или горению Солнца, — если кажется, что посреди этой рациональности есть небольшое холодное пламя…

Ну, тогда есть способ, который может помочь почувствовать себя лучше. Но он не сработает.

Я скажу вот что: если вы отбросите своё сожаление по поводу духовного удовлетворения, которое могли бы получить — и будете искренне следовать Пути, не думая, что вас обманут, — если вы посвятите себя рациональности, не сдерживая себя, то увидите, что рациональность даст вам взамен.

Но это сработает, только если вы не будете говорить себе: «Мне было бы лучше, если бы я был менее рациональным». Разве вам грустно оттого, что у вас есть возможность реально помогать людям? Вы не можете полностью раскрыть свой потенциал, если считаете свой дар тяжёлой ношей.

Перевод: 
Юлия Литовченко, Саша Бережной
Номер в книге "Рациональность: от ИИ до зомби": 
285
Оцените перевод: 
Средняя оценка: 4.7 (10 votes)

Парадокс Ньюкома: сожалея о своей рациональности

Элиезер Юдковский

Ниже пойдет речь о, возможно, самой дискуссионной проблеме в истории теории принятия решений — парадоксе Ньюкома:

Сверхразумное существо с другой галактики (будем называть его Омега) прилетает на Землю и приступает к маленькой необычной игре. Омега выбирает человека, ставит перед ним два ящика и скрывается из виду.

Ящик А прозрачен, в нём лежит тысяча долларов.

Ящик Б закрыт и содержит либо миллион долларов, либо ничего.

Вы можете выбрать либо оба ящика, либо только второй.

Интрига же в том, что Омега положил миллион долларов в ящик Б тогда и только тогда, когда он предсказал, что вы возьмете только этот ящик.

До сих пор (на каждом из ста случаев, которые вы смогли пронаблюдать) Омега оказывался прав: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион. (Будем полагать, что ящик А исчезает в облаке дыма, если вы берете только ящик Б; нельзя взять ящик А уже потом.)

До того, как вы сделаете выбор, Омега уже улетел, чтобы приступить к следующей игре. Ящик Б либо уже пуст, либо уже содержит деньги.

Омега бросает два ящика прямо перед вами и исчезает.

Вы возьмете оба или только ящик Б?

Типичная дискуссия об этой задаче протекает примерно так:

Вася: «Конечно же, я возьму только ящик Б. Лучше выиграть миллион, чем тысячу».

Петя: «Омега уже скрылся. Ящик Б либо уже полон, либо уже пуст. Если он уже пуст, то я получу 1000 долларов, взяв оба ящика, и ничего, если возьму только один. Если ящик Б уже полон, то, если я возьму оба, мне достанется 1 001 000 долларов, а если возьму только Б, то 1 000 000 долларов. В любом случае взять оба ящика лучше, а оставить тысячу долларов хуже, так что я буду действовать рационально и возьму оба ящика».

Вася: «Если ты такой умный, то почему ты такой бедный?»

Петя: «Не моя вина, что Омега решил награждать только иррационально настроенных людей, но мой ход в этой игре уже ничего не изменит».

О парадоксе Ньюкома написаны горы литературы, особенно если считать дилемму заключенного ее частным случаем, каковым она, как правило, является. Например, «Парадоксы рациональности и кооперации» («Paradoxes of Rationality and Cooperation») — издание, в которое входит оригинальная статья Ньюкома.

Я сейчас не буду глубоко погружаться в литературу, но замечу, что преобладающее мнение в современной теории принятия решений гласит, что следует выбрать оба ящика, а Омега просто вознаграждает агентов с нерациональными установками. Эта доминирующая точка зрения берет свое начало из причинной теории принятия решений (в русскоязычных текстах также иногда встречается наименование «каузальная теория принятия решений» — прим. перев.)

Как вам известно, основная причина того, что я пишу в блог, — моя невероятно низкая скорость, если я пытаюсь писать в каком-либо другом формате. Так что я не собираюсь выкладывать здесь мой собственный разбор проблемы Ньюкома. Это была бы слишком долгая история, даже по моим стандартам.

Но даже адепты причинной теории согласны, что если у вас есть силы заранее настроить себя на то, чтобы взять один ящик, то нужно сделать это. Если вы можете «настроиться» до того, как Омега проверит вас, то этим самым вы непосредственно обусловливаете то, что ящик Б не будет пустым.

В моей области деятельности (в построении самоулучшающегося искусственного интеллекта, если кто забыл) это выражается так: если вы построите ИИ, берущий оба ящика в проблеме Ньюкома, то он изменит себя так, чтобы брать один ящик, если сможет заранее предположить, что может столкнуться с такой ситуацией. Агенты, имеющие свободный доступ к своему исходному коду, способны легко настраивать себя заранее.

Что, если вы ожидаете, что можете встретиться с этой задачей, но не знаете точную формулировку? Тогда вам необходимо изменить себя, сделав свои установки такими, какие в общем случае обеспечивают высокий выигрыш в подобных задачах.

Но в чем же заключаются установки, нацеленные на хорошее решение задач вроде этой? Можно ли описать их формально?

Да, но, пытаясь сделать это, я осознаю, что начинаю писать небольшую книгу. (И не самую важную книгу, которую пишу, так что я откладываю это. Моя низкая скорость письма — настоящая отрава моего существования.) В теории, над которой я работаю, больше, как мне кажется, положительных моментов, не считая даже того, что она лучше решает задачи вроде проблемы Ньюкома. Работа могла бы стать неплохой диссертацией, если бы я нашел кого-нибудь, кто принял бы у меня ее в таком качестве. Но стряхнуть пыль с этого проекта и снова взяться за него заняло бы слишком много времени и сил; я бы не смог оправдать такой расход времени, учитывая скорость, с которой я сейчас пишу книги.

Я говорю это потому, что общепринятая позиция гласит: «Словесные аргументы в пользу того, чтобы брать один ящик, отыскать легко, но трудно разработать хорошую теорию, которая этого требует». Нужна последовательная математическая теория принятия решений, указывающая на необходимость брать только один ящик и не порождающая парадоксов в других задачах. Я понимаю, как можно это сделать, и взялся за разработку таковой, но скорость, с которой я пишу крупные работы, так низка, что я не могу ее опубликовать. Верите ли вы или нет, но это так.

Несмотря на всё это, я бы хотел изложить некоторые собственные мотивы к решению этой проблемы, причины, побудившие меня отыскивать новую теорию, — потому что они разъясняют мое базовое отношение к вопросу рациональности (даже если я не смогу рассказать саму теорию, к созданию которой эти мотивы побуждают).

Во-первых, в основном, по существу и прежде всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня превратно, подумав, что я говорю о штампе «голливудской рациональности», который утверждает, что рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает в себя благо других, то их счастье — ваш выигрыш. Если она подразумевает сроки в миллионы лет, то выигрывать следует на протяжении геологических эр.

Но, так или иначе, речь о том, чтобы ВЫИГРЫВАТЬ. Не упустите мысли: ВЫИГРЫВАТЬ.

Сейчас некоторые сторонники причинной теории принятия решений заявляют, что брать оба ящика — значит, делать всё возможное, чтобы выиграть, и нельзя ничем им помочь, если их наказывает Предсказатель, благоволя же иррационалам. Скоро я скажу, что думаю об этой точке зрения, но для начала я хочу провести черту между теоретиками причинного принятия решений, которые убеждены, что брать оба ящика — по-настоящему делать все возможное для выигрыша, и теми, кто считает, что брать два ящика осмысленно или рационально, но этот разумный выбор приводит в случае этой игры к предсказуемому проигрышу. Вокруг нас чертова прорва народу думает, что рациональность ожидаемо проигрывает при решении разнообразных задач; это, к тому же, часть штампа «голливудской рациональности», в котором Кирк предсказуемо превосходит Спока.

Теперь давайте вернемся к призу, которым Омега награждает иррационалов. Я в состоянии вообразить сверхсущество, которое платит только людям, рожденным с определенным геном, не обращая внимания на их выбор. Я могу представить инопланетянина, награждающего игроков, в чьи мозги врезан конкретный алгоритм «Опишите по-английски возможные варианты и выберите последний в алфавитном порядке», но не отдающего приза тем, кто выбирает тот же вариант, но по другой причине. Однако Омега награждает тех, кто выбрал только ящик Б, вне зависимости от того, каким именно способом они пришли к этому решению, и именно поэтому я не куплюсь на то, что Омега благоволит иррационалам. Его не заботит, следуете ли вы или нет определенному образцу мышления; всё, что его интересует, — ваше предсказанное решение.

Можно выбрать любой алгоритм обоснования, какой нам нравится, и мы будем награждены или наказаны только в зависимости от выбора, произведенного алгоритмом, независимо от всего прочего: Омегу интересует только то, куда мы приходим, а не как попадаем туда.

Я говорю именно с той точки зрения, которая гласит, что Природа не заботится о нашем алгоритме. Это открывает возможность следовать Пути выигрывания и освобождает нас от какого-либо отдельного ритуала мышления (кроме наших убеждений, что это работает). На каждое хитрое правило найдется свой контрпример, кроме правила выигрывания.

Как сказал Миямото Мусаси (это стоит повторить)1:

Согласно воззрениям школы Ити, ты можешь победить с длинным клинком, но можешь выиграть бой и с коротким. Иначе говоря, дух школы Ити — дух победы, вне зависимости от вида
оружия и его длины.

(Другой пример: Мак-Ги утверждал, что мы обязаны ограничивать применение функций полезности, или же мы бесчисленное количество раз будем оказываться жертвой собственной непоследовательности. Но у функции полезности нет исключений. Я люблю жизнь без ограничений, без верхней границы: нет такого конечного значения N, что я предпочту шанс в 80,0001 % прожить N лет по сравнению с вероятностью в 0,0001 % прожить гуголплекс лет и восьмидесяти процентной вероятностью жить вечно. Это достаточное условие, чтобы можно было сказать, что моя функция полезности неограниченна. Так что мне просто надо сформулировать, как оптимизировать её для данных норм поведения. Вы не можете сказать мне «Для начала ты, прежде всего, должен приспособиться к определённому ритуалу мышления, а затем, если приспособишься, тебе нужно изменить свои нормы поведения, чтобы избежать непоследовательности». Откажитесь от схемы, ведущей к поражению; не меняйте определение выигрыша. Иное значило бы, что вы предпочитаете тысячу долларов миллиону, так что в свете проблемы Ньюкома ваша новая схема мышления не будет выглядеть плохо.)

«Но», — скажет сторонник причинной теории принятия решений, — «чтобы взять только один ящик, вам нужно сначала как-то поверить, что ваш выбор способен повлиять на то, пуст ящик Б или полон; это неразумно! Омега уже улетел! Это физически невозможно!»

Неразумно? Я рационалист; какое мне дело до того, быть ли неразумным? Я не собираюсь подчиняться определенной схеме мышления. Я буду брать только ящик Б не потому, что убежден, что мой выбор влияет на содержимое ящика, хотя даже Омега улетел. Я могу просто… взять только ящик Б.

Я собираюсь предложить альтернативный способ мышления, который рассчитает необходимость этого решения, но поля слишком узки для него; однако мне нет нужды предъявлять его вам. Дело не в том, чтобы обладать изящной теорией выигрывания, — дело в том, чтобы выигрывать; красота формулировок — побочный эффект.

Или посмотрим на это с другой стороны: вместо того, чтобы начинать с определения разумного решения, а затем задаваться вопросом, получит ли этот «разумный» агент много денег, взгляните лучше на агента, который получил много денег, затем разработайте теорию, в соответствии с которой агент будет оставаться с наибольшим количеством денег, и, уже отталкиваясь от этой теории, попробуйте вывести определение «разумности». «Разумность» может быть лишь ярлыком тех решений, которые соответствуют нашему текущему ритуалу мышления, — как ещё можно определить, является ли что-либо «разумным» или нет?

Джеймс Джойс, «Основы причинной теории решений»:

У Рэйчел был потрясающий ответ на вопрос, почему она не обогатилась (в этой игре — прим. перев.) «Я не выиграла много денег потому», — говорила она, — «что я не такой неудачник, который, как думают психологи, откажется от денег. Я просто не такая как ты, Ирен. Учитывая то, что я знаю, что не обладаю характером неудачника, и то, что психологи знают, что я такова, было бы разумным думать, что миллион не достанется мне. Тысяча долларов была наибольшей суммой, что я собиралась получить вне зависимости от того, что предприму. Поэтому единственная разумная вещь — взять их».

Ирен, возможно, захочет настоять на своем, спросив: «Но ведь ты не хочешь быть такой как я, Рэйчел? Ты не хочешь быть тем, кто проигрывает?» Существует некая склонность к тому, чтобы думать, что Рэйчел, преданная причинной теории принятия решений, должна ответить на этот вопрос отрицательно, и это кажется очевидно ошибочным (учитывая, что, будь она «неудачницей», как Ирен, она бы смогла получить больший приз). Это не тот случай. Рэйчел может и должна признать, что она хочет быть более похожей на Ирен. «Сейчас это было бы для меня лучше», — может допустить она, — «будь я неудачницей». И здесь Ирен восклицает: «Ага, ты признаешь это! В конце концов, не так уж умно было попытаться взять все деньги». К несчастью для Ирен, ее заключение вовсе не следует из того, что сказала Рэйчел. Та терпеливо разъяснит, что желать быть «неудачником» в задаче Ньюкома не противоречит тому, что необходимо брать тысячу долларов независимо от своего характера. Когда Рэйчел хочет быть такой же «неудачницей», как Ирен, она желает получить такие же возможности, а не одобрить ее выбор.

И я должен сказать, что это всеобщий принцип рациональности (конечно, в том смысле, как я определяю это понятие) — то, что вы никогда в конце концов не обнаружите себя завидующим чужому выбору самому по себе. Вы можете позавидовать чьим-нибудь генам, если бы Омега награждал за гены или именно они создавали бы установки, благополучные для выигрыша. Однако Рэйчел в вышеприведенной цитате завидует выбору Ирен и только выбору безотносительно от того, какой алгоритм та использовала, чтобы сделать его. Рэйчел стремится лишь к тому, чтобы настроить себя для принятия другого решения.

Невозможно заявлять, что вы более рациональны, чем кто-то другой, и в то же время завидовать тому, какой выбор сделал этот другой, если речь только о выборе. Просто сделайте то, чему завидуете.

Я всё пытаюсь сказать, что рациональность — это Путь выигрывания, но апологеты причинной теории принятия решений настаивают, что брать оба ящика и значит на самом деле выиграть, потому что невозможно поступить лучшим образом, оставив тысячу долларов… даже если те, кто берет один ящик, уходят с эксперимента с большей суммой. Остерегайтесь доводов такого рода каждый раз, когда вы замечаете за собой то, что определяете как «победителя» кого-то отличного от агента, с улыбкой взирающего с вершины гигантской пирамиды полезности.

Да, во многих мысленных экспериментах агенты имеют фору с самого начала, но если, скажем, нужно решить, прыгать ли со скалы, то нужно остерегаться того, чтобы определить агентов, воздерживающихся от прыжка, как заранее обладающих несправедливым преимуществом, — что, якобы, они подло отказались прыгать. В этом месте вы незаметно переопределяете понятие «выигрывать», называя им следование определенному ритуалу мышления. Следите за деньгами!

Другой способ взглянуть на проблему: столкнувшись с задачей Ньюкома, вы бы захотели приложить заметные усилия, чтобы понять разумное обоснование того, что брать только ящик Б рационально и осмысленно (ведь если аргумент такого рода существует, вам следует взять только ящик Б, и вы найдете его полным денег)? Потратите ли вы несколько дополнительных часов, обдумывая эту проблему, если уверены, что в конце концов убедите себя, что брать только ящик Б — рациональный выбор? В этом положении достаточно странно находиться. Обычно работа рациональности заключается в том, чтобы разъяснить, какой выбор является наилучшим, а не отыскать обоснование к убеждению, что какое-либо конкретное решение оптимально.

Возможно, слишком легко говорить, что вы «следуете» стратегии «брать оба ящика» в проблеме Ньюкома и что это «разумный» выбор, пока деньги не будут действительно перед вами. Возможно, вы просто нечувствительны к абстрактным проблемам такого рода. А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%? Что, если к Земле мчится астероид, и ящик А содержит систему защиты, действующую 10% времени, а в ящике Б может быть орудие, которое защищало бы Землю постоянно?

Будь это так, вы бы заметили, что вас просто соблазняет сделать необоснованный выбор?

Что, если ставка, которую может принести ящик Б, — это что-то такое, что вы не можете оставить? Что-то безгранично более важное для вас, нежели следовать тому, что выглядит разумным? Если вам совершенно нужно выиграть — действительно выиграть, а не просто определить себя как победителя?

Захотели бы вы всем своим нутром, чтобы «разумным» решением оказалось взять только ящик Б?

Если да, то, возможно, сейчас настало время обновить ваше определение разумности.

Предполагая себя рационалистом, вы не должны обнаруживать, что завидуете решениям-самим-по-себе, принятым предполагаемыми не-рационалистами: ваше решение может быть любым. Когда вы обнаружите себя в подобном положении, вам не следует упрекать другого в том, что он не смог подстроиться к вашему пониманию разумности. Вам нужно осознать, что вы шли по ложному пути.

То же самое верно, и если вы заметите, что продолжаете хранить веру в отдельный след «обоснованного» убеждения в противовес убеждению, которые выглядит по-настоящему истинным: либо вы недопонимаете «обоснованность», либо ваше представление об истинности второго убеждения ошибочно.

Невозможно одновременно определить «рациональность» и как Путь выигрывания, и как некую конкретную систему в рамках байесовской теории вероятностей и теории принятия решений. Но это тот самый аргумент, который я привожу в первую очередь, и мораль моего совета — верить в байесианство, в то, что законы, ведущие к выигрышу, имеют достаточный доказательный аппарат, чтобы быть точной наукой. Если же когда-нибудь окажется, что байесовские принципы терпят неудачу, систематически решая некую задачу плохо (по сравнению с решениями других теорий), то байесианство придётся оставить на свалке истории. «Рациональность» — просто ярлык, который я использую для своих представлений о Пути выигрывания — пути агента, улыбающегося с вершины гигантской пирамиды полезности. Сейчас этим ярлыком помечено байесовское искусство.

Я понимаю, что эта статья — еще не окончательный нокаут для причинной теории принятия решений (для этого нужна была бы целая книга или диссертация), но я надеюсь, что смог частично проиллюстрировать свое подсознательное отношение к понятию «рациональность».

Вы не должны обнаруживать себя отделяющим «выгрышный» выбор от «разумного» или «обоснованное» убеждение от «наиболее правдоподобного».

Я рассказал, почему я называю «рациональными» свои убеждения в зависимости от их точности и выигрышности, но не для того, чтобы указать на словесное обоснование или на конкретные стратегии, приводящие к определенному успеху; не для того, чтобы назвать этим словом то, что доказуемо логически, наглядно для других или выглядит «обоснованным».

Как сказал Миямото Мусаси2:

«Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

  • 1. Перевод взят с сайта lib.ru, к сожалению, переводчик там не указан. — Прим.редактора.
  • 2. Перевод также взят с сайта lib.ru. — Прим.редактора.
Перевод: 
Quilfe, alekseykarnachev, ogmennesket
Номер в книге "Рациональность: от ИИ до зомби": 
291
Оцените перевод: 
Средняя оценка: 4.8 (6 votes)

Двенадцать добродетелей рационалиста

Элиезер Юдковский

Перевод взят из блога Данилы Сентябова.

Иллюстрация Александры Сентябовой

Первая добродетель — любопытство. Жгучий зуд любопытства влечёт человека к истине вернее торжественных клятв и волевых решений.

Подобно пламени, что рождается из топлива и искры, любопытство возникает там, где незнание сходится с желанием познать. Взгляни на двух искателей. Один уверен, будто уже знает истину. Другой же, зная о своём невежестве, не спешит его устранить. Ни один из них не достигнет многого на Пути, ибо без цели и направления всякое умение бесполезно.

Любопытство стремится уничтожить само себя: нет любопытства, что не жаждет удовлетворения. Величие загадки в том, чтобы быть разгаданной и утратить загадочность. Остерегайся тех, кто признаёт собственное незнание со смирением: есть время признавать невежество и время избавляться от него.

Вторая добродетель — отречение. Сказано: «Что может быть разрушено истиной, не заслуживает спасения»1. Не избегай встречи с тем, что может уничтожить твои убеждения. Мысль, которую ты в ужасе гонишь из сознания, связывает тебя и заключает в рабство. Без страха бросай свои убеждения в огонь испытаний.

Очищай своё сердце от эмоций, растущих из ложных убеждений и пестуй в нём те, что основаны на истине. Если к лицу твоему подносят холодное железо, а ты веришь, что оно раскалено, Путь не приемлет твоего страха. Если к лицу твоему подносят раскалённое железо, а ты веришь, что оно холодно, Путь не приемлет твоего спокойствия.

Источником твоих эмоций должна быть истина, а не ложь. Повторяй снова и снова: «Если железо раскалено, я желаю верить, что оно раскалено. Если железо холодно, я желаю верить, что оно холодно». Легко привязаться к убеждениям, рождающим эмоции; остерегайся таких привязанностей, ибо они могут увести тебя от истины.

Третья добродетель — лёгкость. Доверься ветру фактических подтверждений. Позволь ему нести тебя как осенний лист, не выбирая направления. Опасайся идти против этого ветра. В безнадёжной борьбе ты всё равно будешь отступать пядь за пядью, на каждом шагу ощущая горечь поражения.

Сдавайся истине так быстро, как только сможешь. Заметив за собой малейшую попытку сопротивления, сдавайся. Сдавайся в тот самый миг, когда уловишь, с какой стороны ветер фактов дует против тебя. Верность убеждениям — порок, а не добродетель. Предавай свои убеждения при первой же встрече с более сильным противником.

Если факты для тебя — досадная помеха, ты будешь искать повода освободиться от них. Но итогом станет не свобода, а рабство на цепи у произвольных убеждений. Сверяясь с фактами, отвергай ошибочные убеждения, а не наоборот.

Нельзя составить карту города, сидя дома и накрывшись одеялом с головой. Надо обойти город с широко раскрытыми глазами и честно нанести на бумагу то, что видишь. Если ты, видя город нечётко, трактуешь неопределённость по собственной прихоти, смещая линии левее, правее, выше и ниже — чем ты лучше того, кто рисует город дома под одеялом?

Четвёртая добродетель — беспристрастность. Тот, кто желает верить, спрашивает себя: «Позволяют ли фактические подтверждения верить?». Тот, кто не желает, спрашивает: «Принуждают ли фактические подтверждения верить?». Остерегайся предпочтений, что будут усыплять твой скептицизм по отношению к приятным для тебя утверждениям и пробуждать его при столкновении с неприятными.

Взгляни на того, кто уделяет внимание лишь фактам, говорящим в пользу его взглядов. Чем больше его знания — тем дальше он уходит от истины. Другой избирателен в своей критике. С инквизиторским рвением расчленяя в поисках ошибок одни рассуждения, к другим он проявляет снисхождение. Чем больше он знает о логических ошибках и когнитивных искажениях — тем крепче броня, которой он прикрывает своё невежество.

Если некто начал рассуждение с того, что написал внизу страницы: «Таким образом, цвет неба — зелёный!», уже не важно, что он напишет выше: конечный вывод записан и он либо истинный, либо ложный. Ловкость в аргументации — не рациональность, а рационализация. Интеллект бесполезен для человечества, если используется лишь в борьбе с самим собой.

Рассматривая гипотезу за гипотезой, выслушай, что каждая из них может сказать в свою защиту. Но помни: ты не гипотеза, а судья. Не позволяй себе выступать в защиту какой‑либо стороны: тот, кто уже выбрал сторону, не нуждается в рассуждении. Если ты знаешь пункт назначения, ты уже на месте.

Пятая добродетель — спор. Желающий упасть должен сперва отвергнуть своих друзей, чтобы те не могли помочь ему. Сказав с мудрой улыбкой «я не буду спорить», глупец отвергает помощь и самоустраняется от общественных усилий.

В споре стремись к абсолютной искренности. Это будет полезно не только окружающим, но и тебе. Часть ума, что рождает лукавство, искажая твои слова, искажает и твои собственные мысли.

Не думай, что делаешь одолжение собеседнику, соглашаясь с ним. Если его аргументы сильнее твоих, это он сделал одолжение, поделившись ими. Прими его дар с благодарностью.

Не путай справедливость ко всем сторонам с поиском компромисса. Истина не раздаётся поровну между сторонами перед началом спора. Беспристрастно рассмотрев аргументы, стремись к истине, а не к равному учёту всех мнений.

Нельзя приблизиться к истине с помощью кулаков и оскорблений. Стремись провести эксперимент, чтобы сама реальность рассудила, кто прав.

Шестая добродетель — эмпиризм. Корни знания — в наблюдениях, а плоды его — точные предсказания. Где то дерево, что растёт без корней? Где то дерево, что питает нас без плодов?

Если дерево падает в безлюдном лесу, слышен ли звук его падения? Один скажет: «Да, слышен, ибо падение создаёт звуковые волны в воздухе». Другой возразит: «Нет, не слышен, ибо нет мозга, в аудиторной области которого возбудились бы нейроны». Хотя один говорит «да», а другой «нет», их спор лишён содержания, ведь ожидаемый ими опыт взаимодействия с лесом совпадает.

Не думай о том, каких убеждений придерживаться. Думай об экспериментальных результатах, которые ты ожидаешь увидеть. Никогда не теряй из виду реальный предмет спора: различия в ожидаемых наблюдениях. Не позволяй увести себя в сторону и перескочить на обсуждение личностей спорщиков или бравирование силой своей рациональности.

Сказано о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду»2. Не позволяй словам ослепить себя. Очисти свои мысли от слов и останутся лишь ожидаемые результаты наблюдений.

Седьмая добродетель — простота. Сказано: «Совершенство достигается не тогда, когда нечего добавить, а тогда, когда нечего отнять»3. Ищи простоты в убеждениях, проектах, планах и доказательствах.

Чем сложнее высказанное тобой убеждение, чем больше в нём деталей, тем больше вероятность ошибки, дискредитирующей всю конструкцию. Каждое отдельное утверждение утяжеляет твою ношу, и если эту ношу можно облегчить — сделай это! Нет такой соломины, которая не могла бы сломать тебе спину.

Самая надёжная шестерня в машине — та, которой там нет. Чем меньше паутина — тем она прочнее. Цепь из тысячи шагов приведёт тебя к верному выводу лишь тогда, когда каждый шаг безошибочен. Но если ошибка в самом начале — куда ты придёшь? Математикам известно, что целые горы праведных деяний не искупят единственного греха. Не ослабляй внимания ни на секунду.

Восьмая добродетель — скромность. Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью. Демонстрируя напускное смирение, он упивается собственной мнимой добродетелью.

Кто воистину скромен? Тот, кто неустанно готовит себя к самым катастрофическим ошибкам в собственных убеждениях и расчётах.

Мышление миллионов людей настолько слабо, что даже начинающий рационалист легко побеждает их в споре, преисполняясь гордыней и переоценивая собственные умения. Нет славы в том, чтобы быть выше других. Лучший физик Древней Греции не смог бы рассчитать траекторию падающего яблока. Вселенная не подбирает нам задачи по способностям и оценивает по абсолютной шкале. Предельные усилия лучших из нас могут быть недостаточны для удовлетворительной оценки.

Не успокаивай себя тем, что другие справляются хуже. Сравнивая себя с другими, ты не увидишь искажений, общих для всех людей. Быть человеком — значит совершить десять тысяч ошибок. Нет в мире того, кто был бы достаточно хорош. Совершенство недостижимо.

Девятая добродетель — перфекционизм. Чем больше ошибок ты исправишь в себе, тем больше заметишь новых. Чем тише станет твой ум, тем лучше ты будешь различать шумы и помехи.

Замечая ошибки своего ума, знай — это признаки того, что тебе следует искать выход на следующий уровень. Примиряясь со своими ошибками, вместо того, чтобы корректировать себя, ты не сможешь выйти на новый уровень и не увидишь другие, менее явные ошибки. В любом искусстве и ремесле тот, кто не ищет совершенства, остановится, не сделав и первых двух шагов.

Недостижимость совершенства не оправдывает того, кто отказался к нему стремиться. Поставь для себя самую высокую планку, которую только можешь вообразить и без устали думай, как поднять её ещё выше. Не довольствуйся почти правильным ответом. Всегда ищи абсолютно правильный, точный ответ.

Десятая добродетель — точность. Пусть некто скажет: искомое число лежит в пределах от 1 до 100. Другой скажет: число лежит между 40 и 50. Если искомое — 42, оба будут правы. Но второе предсказание полезнее и способно выдержать более строгую проверку.

Что верно для одного яблока, может быть неверно для другого. О конкретном яблоке можно сказать больше, чем обо всех яблоках мира. Узкое утверждение режет глубже, подобно кромке лезвия.

Составляя карту, стремись не к широте мышления, а к его узости. Помни, что Путь — точное искусство. Пусть твоё движение к истине будет не шагом, но танцем. Каждое движение этого танца должно быть выверено до миллиметра. Каждый новый факт должен изменить твои убеждения на строго определённую величину.

Какова эта величина? Чтобы определить её, изучи теорию вероятностей. Даже если ты не можешь сделать точный расчет, понимание лежащей в основе математики даст уверенность в том, что движения твоего танца точны и в них нет места для личных прихотей и капризов.

Одиннадцатая добродетель — эрудиция. Изучай науки и впитывай в себя их силу. Пусть эта сила станет твоей собственной! Каждая область знаний, поглощённая тобой, делает тебя больше. Если ты проглотишь достаточно наук, зазоры между ними сократятся и твои знания обретут цельность. Взрасти в себе ненасытность и станешь обширнее гор!

Важнее всего усвоить математику и науки, связанные с рациональностью: эволюционную психологию, психологию эвристик и когнитивных искажений, социальную психологию, теорию вероятностей, теорию принятия решений. Это необходимо, но недостаточно. Искусство должно иметь внешнюю цель, иначе оно вырождается в бесконечную рекурсию.

***

Превыше этих одиннадцати добродетелей та, что не имеет имени.

Сказано4:

Подняв меч, думай о том, как поразить им противника, чего бы это ни стоило. Атакуя и парируя, нанося удары и делая выпады, рази противника тем же движением.

Не отклоняйся от цели. Думая о том, как атаковать и парировать, как наносить удары и делать выпады, ты не поразишь противника. Прежде всего думай о том, как каждым своим движением пройти через защиту противника и рассечь его плоть.

Каждым движением своего ума стремись рассечь ошибочные суждения и достигнуть истины. Прежде всего думай о том, чтобы сделать свою карту точным отражением территории. Если истинный ответ не получен, что толку в том, что твои действия были корректны?

Как улучшить своё понимание рациональности? Постоянно повторяя «надо быть рациональнее», можно лишь укрепить ошибочное понимание. Кто‑то считает, что рационально верить словам Великого Учителя. Допустим, Великий Учитель сказал: «Цвет неба — зелёный!», однако, подняв глаза, ты видишь голубой. Если ты думаешь «пусть небо и выглядит голубым, но Путь рационалиста в том, чтобы верить словам Учителя», ты лишаешься возможности обнаружить свою ошибку.

Не спрашивай себя, пристало ли Идущему делать то или другое. Спрашивай, какого цвета небо — зелёного или голубого. Говорящий о Пути слишком много не уйдёт по нему далеко.

Можно попытаться дать имена высшим принципам: «карта, отражающая территорию», «опыт успехов и неудач» или «байесианская теория принятия решений». Но всякое описание может быть некорректным. Как осознать свою ошибку? Сравнивая свои описания с тем, чему нет имени и нет описания.

Годами практикуя техники рациональности, подчиняя свой ум строжайшей дисциплине и самоограничениям, можно надеяться однажды заметить проблеск истинного содержания. К тебе придёт понимание, что все техники суть одна техника. Ты будешь двигаться свободно и верно, не чувствуя ограничений, ставших частью твоей натуры. Сказано: «Познав силу природы, ты движешься в едином ритме со Вселенной. Твои выпады естественны и точны. Ты поражаешь противника, как дышишь. В этом Путь Пустоты»5.

Вот двенадцать добродетелей рационалиста:

любопытство, отречение, лёгкость, беспристрастность, спор, эмпиризм, простота, скромность, перфекционизм, точность, эрудиция и безымянная пустота.

Обсудить перевод можно в комментариях к оригинальной записи.

Перевод: 
Данила Сентябов
Оцените перевод: 
Средняя оценка: 3.4 (206 votes)