Умение отпускать

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Важно уметь сказать «Упс»

Элиезер Юдковский

Я только что дочитал книгу о крахе компании Enron — «Самые умные парни в этой комнате». (Также я объявляю её победителем в номинации «Самое неподходящее название для книги».)

В медленном разложении и внезапном коллапсе компании Enron присутствовала достаточно типичная деталь — главные игроки никогда не признавались себе в том, что совершили большую ошибку. Когда катастрофа #247 разрасталась настолько, что для ее исправления требовалось изменение политики всей компании, они говорили: «Жаль, что это не сработало. Идея была такой хорошей. Как замаскировать эту проблему при составлении финансового отчета?» Вместо того, чтобы сказать: «Теперь кажется очевидным, что с самого начала эта затея была ошибкой». Или: «Я действовал очень глупо». Переломный момент — момент смиренного осознания, что существует действительно фундаментальная проблема — так и не наступил. После банкротства компании Джефф Скиллинг, ее бывший исполнительный директор и на короткое время генеральный директор, отказался следовать совету своих адвокатов и сослаться на Пятую Поправку — давая показания Конгрессу, он заявил, что Enron была великой компанией.

Не каждое изменение — это улучшение, но каждое улучшение — это обязательно изменение. Если мы признаём лишь небольшие локальные ошибки, мы сможем лишь немного изменить своё поведение. На крупные изменения мотивирует признание крупных ошибок.

В детстве я рос на научной фантастике и на чисто научной литературе, и от Хайнлайна до Фейнмана я учился путям Традиционной Рациональности. «Теории должны быть смелыми и фальсифицируемыми». «Получив контр-свидетельство, ты должен быть готовым принести героическую жертву и отказаться от собственных идей». «Приводи точные аргументы». «Старайся никогда себя не обманывать». И тому подобные размытые утверждения.

Воспитание в духе Традиционной Рациональности приводит к появлению спорщиков, которые рано или поздно сдаются, получив контр-свидетельства — какой-то горы свидетельств становится достаточно, чтобы изменить своё мнение на противоположное. Это важный шаг, и именно он отличает науку от религии. Но Традиционная Рациональность придаёт гораздо меньше значения скорости — умению сдаться как можно быстрее, умению встраивать свидетельства в свою картину мира настолько эффективно, что потребуется лишь минимум контр-свидетельств, чтобы разрушить особо ценное убеждение.

Я был воспитан в духе Традиционной Рациональности и полагал, что вполне могу считать себя рационалистом. Я перешел на Искусство Байеса (Лапласа/Джейнса/Тверски/Канемана) после того, как… впрочем, это долгая история. В общем, я принял такое решение, когда понял, что размытых советов, даваемых Традиционной Рациональностью, было недостаточно для того, чтобы уберечь меня от крупной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся, чтобы посмотреть на тот путь, который привел меня к этому Ужасному Пониманию. И я увидел, что делал множество маленьких, еле заметных уступок, каждый раз неохотно отдавая очередную крошечную часть территории, пытаясь сделать как можно меньше выводов из каждой небольшой ошибки, признавая свою неправоту ровно настолько, чтобы она оставалась в пределах допустимого. И я осознал, что мог бы двигаться вперед гораздо быстрее, если бы просто воскликнул: «УПС!»

В этот миг я понял: «Мне нужно повысить уровень моей игры».

Признание крупной ошибки даёт огромное преимущество. Это больно. Однако это может изменить всю твою жизнь.

Важно находить свой переломный момент. Момент смиренного осознания, что существует действительно фундаментальная проблема, а не какое-то количество мелких ошибок, с которыми вы легко расправитесь.

Не стоит принимать красивую позу и гордиться тем, что ты умеешь признавать свои ошибки. Гораздо лучше делать всё правильно с первого раза. Но если ты допустил ошибку, лучше увидеть ее сразу. Даже с точки зрения физических ощущений боль от одной потери лучше, чем небольшие, но многочисленные мучения. Альтернатива — это вести войну с самим собой на протяжении многих лет. Альтернатива — это Enron.

С тех пор я неоднократно видел, как другие люди совершали серии своих маленьких уступок, каждый раз неохотно отдавая очередную крошечную часть территории. Замечая небольшие локальные ошибки, они никогда не признавались себе в крупных и каждый раз делали из них как можно меньше выводов. Вместо того, чтобы починить всё одним волевым усилием, они накладывали множество мелких заплаток, без которых обойтись было уже нельзя. Признаваясь в совершённой ошибке они никогда не говорили: «Я был дураком». Они прикладывали все усилия, чтобы уменьшить своё смущение. Они говорили: «В целом, я был прав», или «Это вполне могло сработать», или «Я по-прежнему уверен в том, что то-к-чему-я-так-привязан может принести нам пользу». Защищая свое чувство гордости, они делали все, чтобы эта ошибка повторилась еще раз, и гордость приходилось защищать снова.

Лучше проглотить горькую пилюлю одним кошмарным глотком.

Перевод: 
stas, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
121
Оцените качество перевода: 
Средняя оценка: 5 (3 votes)

Предложение спятить

Элиезер Юдковский

Когда я был очень молод — думаю, мне было тогда лет тринадцать, возможно, четырнадцать, — я думал, что нашел опровержение диагонального аргумента Кантора — известной теоремы, утверждающей, что действительных чисел больше, чем рациональных. О, какие мечты о славе и почёте роились в моей голове!

Моя идея заключалась в том, что, раз каждое целое число можно разложить на степени двойки, то можно отобразить целые числа на множество подмножеств целых чисел просто записывая числа в двоичной системе. Например, 13, оно же 1101, будет соответствовать подмножеству {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, наверное, мне стоит применить диагональный аргумент Кантора к моей умной конструкции, и, конечно, нашелся контрпример — двоичное число (… 1111), не соответствующее никакому конечному целому числу.

Я нашел этот контрпример и понял, что моя попытка опровержения была неверной, и мои мечты о почёте и славе рухнули.

Сначала я был несколько разочарован.

Я подумал: «Рано или поздно я доберусь до этой теоремы! Пусть моя первая попытка не удалась, но когда-нибудь я опровергну диагональный аргумент Кантора!» Я возмущался этой теоремой, ведь она упрямо оставалась верной, лишая меня славы и почёта. Поэтому я принялся искать другие опровержения.

А потом я кое-что осознал. Я осознал, что я ошибся, и понял, что теперь, когда я понимаю свою ошибку, оснований подозревать ложность диагонального аргумента Кантора у меня не больше, чем оснований подозревать ложность любой другой из основных теорем математики.

И ещё я очень хорошо понял, что передо мной была возможность стать фриком от математики и всю оставшуюся жизнь писать профессорам-математикам сердитые письма зелеными чернилами (когда-то я прочитал книгу о математических фриках).

Я не хотел для себя такого будущего, так что я немного посмеялся и оставил эти поиски. Я попрощался с диагональным аргументом Кантора, и перестал сомневаться в нём.

И сейчас я не помню, подумал ли я об этом тогда, или мне пришло это в голову позже… что ведь это ужасно несправедливое испытание для ребенка тринадцати лет. Получается, я должен был оказаться достаточно рациональным уже в этом возрасте или потерпеть неудачу навсегда.

Чем вы умнее, тем в более раннем возрасте вас впервые посетит идея, которая покажется вам действительно революционной. Мне повезло, что я понял свою ошибку сам, что мне не понадобился другой математик, который бы указал на неё, возможно, привив мне вместе с тем чувство вины. Мне повезло, что опровержение оказалось достаточно простым для меня. Наверное, я бы оправился и в противном случае. Потом, уже во взрослом возрасте, я оправлялся и от гораздо худшего. Но если бы я пошёл по неправильной дороге так рано, смог ли бы я потом выработать этот навык?

Интересно, скольким из тех людей, которые пишут сердитые письма зелеными чернилами, было тринадцать, когда они совершили эту первую и фатальную ошибку. Интересно, сколько из них во время этой первой ошибки подавали большие надежды.

Я допустил ошибку. Это всё. Я не был на самом деле прав в глубине души. Я не одержал моральную победу. Я не проявил амбициозности, скептицизма или какой-то ещё чудесной добродетели. Это не было разумной ошибкой. Я не был наполовину прав, не был хоть сколько-нибудь прав. Мне пришла в голову мысль, которая бы не появилась у меня, если бы я был мудрее – вот и всё, что можно об этом сказать.

Если бы я оказался неспособен признаться в этом сам себе, если бы я интерпретировал свою ошибку как проявление добродетели, если бы ради гордости я продолжал настаивать на том, что остаюсь хоть немного правым, тогда я бы не освободился. Я бы продолжил искать ошибку в диагональном аргументе. И, рано или поздно, я мог бы её найти.

Пока вы не признаёте, что были неправы, вы не можете жить своей жизнью. На вашу самооценку будет влиять старая ошибка.

Всякий раз, когда у вас возникает желание держаться мысли, которая, будь вы мудрее, никогда не пришла бы вам в голову, перед вами открывается возможность стать фриком — даже если вы никогда не начнёте писать сердитые письма зелеными чернилами. Если никто не озаботится спором с вами или если вы никогда не станете никому излагать свою идею, вы все равно можете оказаться фриком. Фрика определяет неумение отказаться от идеи.

Это не правда. И не содержит правды глубоко внутри. Это не полуправда и даже не подобие правды. Это всего лишь мысль, которую вам не стоило думать. Не у каждой реки есть золотое дно. Люди совершают ошибки, и не все их ошибки являются скрытыми достижениями. Люди совершают ошибки. Так случается. Скажите «упс» и живите дальше.

Перевод: 
kvazikrugliyparogenerator
Номер в книге "Рациональность: от ИИ до зомби": 
122
Оцените качество перевода: 
Средняя оценка: 5 (2 votes)

Хватит уже надеяться

Элиезер Юдковский

Кейси Серин, 24-летний веб-программист, не имеющий опыта в сфере недвижимости, должен банкам 2,2 миллионов долларов. Он подал заявления на ипотеку, чтобы купить одновременно 8 различных домов в разных штатах. Часть денег он потратил на проживание и на семинары по обучению вложения денег в недвижимость (он брал ипотеку на большую сумму, чем стоили его дома). Похоже, он ожидал роста рынка.

Но это ещё не самая грустная часть истории. Самая грустная часть заключается в том, что он до сих пор не сдался. Кейси Серин не принимает поражения. Он отказывается объявить о банкротстве или устроиться на работу, он всё ещё думает, что может преуспеть в сфере недвижимости. Он продолжал тратить деньги на семинары. Он попытался получить ипотеку на 9-й дом. Он не ошибался, он просто набирался опыта.

Вот что происходит, когда мы отказываемся терять надежду.

Это поведение может показаться очень глупым, но эта ситуация заставляет меня вспомнить двух экономистов, получивших Нобелевскую премию…

… а именно Роберта Мертона и Майрона Шоулза из инвестиционного фонда Long-Term Capital Management.

Первые три года фонд LTCM загребал огромные прибыли. А в 1998 лазейки, которыми пользовался фонд, стали исчезать. Другие люди научились делать то же самое, и стратегия фонда перестала работать.

Фонд LTCM отказался терять надежду. Привыкнув к 40% дивидендам каждый год, они брали больше и больше кредитов для совершения сделок, а прибыль получали всё меньше и меньше. Когда у фонда всё пошло наперекосяк, акционерный капитал был 4,72 млрд долларов, кредиты — 124,5 миллиарда, деривативы — 1,25 триллиона.

В каждой профессии есть свои пути быть умным. В каждой профессии есть свои навыки, которые нужно освоить, и правила, которым нужно следовать. Поэтому кто-нибудь может подумать, что изучение «рациональности» в целом не принесёт большого успеха в реальной жизни. И всё же мне кажется, что способность не быть глупым — это очень полезный навык во многих профессиях. Искусство не превращать маленькие ошибки в большие не слишком зависит от того, применяете вы его в области хедж-фондов или в любви. И один из ключевых принципов этого искусства: будьте готовы признать, что вы проиграли.

Перевод: 
Женя Софронов, naozerechad, geniym25, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
123
Оцените качество перевода: 
Средняя оценка: 4 (12 votes)

Как правильно сомневаться

Элиезер Юдковский

Однажды, когда я рассказывал о Пути, я упомянул, что практически все организованные системы верований существуют для того, чтобы убегать от сомнений. Один из слушателей заметил, что иезуитов в этом обвинить никак нельзя, поскольку они умышленно практиковали сомнение: вступающим в орден, по его утверждению, говорили сомневаться в христианстве, сомневаться в существовании Бога, сомневаться в своём призвании, сомневаться в том, что они смогут выдержать пожизненные обеты целомудрия и нищеты. Я спросил у него: «О, но ведь предполагалось, что они справятся с этими сомнениями, верно?» Слушатель ответил: «Нет, они сомневались во всём этом скорее всего потому, что эти сомнения могли усилиться».

Поиск в интернете не дал мне возможности подтвердить или опровергнуть эти утверждения. (Если кто-нибудь из читателей готов помочь мне в этом вопросе, я буду очень признателен.) Но описанный сценарий кажется мне очень интересным и стоящим обсуждения, независимо от того, действительно ли он имел место в отношении иезуитов. Если иезуиты практиковали умышленное сомнение, делало ли это их, хоть и отчасти, рационалистами?

Думаю, я должен признать, что в (гипотетическом) сценарии выше иезуитов действительно нельзя обвинять в «бегстве от сомнений». Однако, такое (гипотетическое) поведение всё равно кажется мне очень подозрительным. Сомнения не должны пугать настоящего рационалиста. Описанное выше поведение для меня выглядит как программа десенсибилизации по отношению к страху — так арахнофобам в тщательно подготовленных условиях показывают пауков.

Но тем не менее, они ведь поощряли сомнения вступающих в орден, верно? Важно ли, что они это делали не по самым лучшим причинам? Разве для рационалиста это не остаётся достойным деянием?

Любое любопытство ищет способы уничтожить себя. Не бывает любопытства, которое не хочет получить ответы. Но если человек получает ответ, если человек удовлетворяет своё любопытство, восхитительная тайна перестаёт быть тайной.

И точно также любое сомнение существует для того, чтобы уничтожить какое-то конкретное убеждение. Если сомнение не в состоянии разрушить свою цель, оно умирает — но это всё равно развязка. Конец, пусть и печальный. Сомнение, которое не разрушает ни себя, ни свою цель, с таким же успехом может не существовать вовсе. Сам процесс сомнений не может раскрутить маховик рациональности, для этого нужно их разрешение.

Каждое улучшение — это изменение, но не каждое изменение — улучшение. Каждый рационалист сомневается, но не все сомнения рациональны. Сомнения делают человека рационалистом не больше, чем белый медицинский халат делает человека врачом.

Рациональное сомнение появляется по какой-то конкретной причине — имеется какой-то конкретный повод, чтобы подозревать, что некоторое убеждение ложно. Такая причина в свою очередь подразумевает цепочку расследований, которая или уничтожит это убеждение, или уничтожит сомнение. Это верно даже для очень абстрактных сомнений, вроде: «Интересно, можно ли объяснить эти данные какой-то более простой гипотезой?» В этом случае расследование — это попытки придумать более простую гипотезу. Чем дольше поиски не приводят к успеху, тем кажется всё менее вероятным, что следующий шаг выкладок приведёт к успеху. В какой-то миг цена на поиск превышает ожидаемую прибыль, и поиск прекращается. И здесь уже нельзя утверждать о полезности сомнений. Сомнение, которое не приводит к расследованию, с таким же успехом может вовсе не существовать. Неразрешаемое сомнение не делает ничего. Оно не приводит ни к движению вперёд, ни к движению назад.

Если у вас действительно есть религиозная вера (а не просто убеждение, что вы верите), зачем вам говорить вступающим в ваш орден, чтобы они размышляли о сомнениях, которые умрут неразрешёнными? Представьте студентов-физиков, которым говорят, чтобы они изо всех сил сомневались, не была ли ошибкой революция двадцатого века. Мол, вдруг на самом деле верна ньютоновская механика. Если вы на самом деле не сомневаетесь, зачем вам это изображать?

Однако, мы все хотим, чтобы нас считали рациональными. И многие убеждены, что сомнение — это добродетель рационалиста. Но гораздо меньше людей понимают, что для сомнения нужны конкретные причины и неразрешённые сомнения ничего не стоят. Вместо этого люди думают, что сомнение — это скромное поведение, демонстрация подчинения, направленная на поддержание иерархии в племени (ранее я писал, что практически та же проблема существует со скромностью). Грандиозная публичная сцена сомнений поможет убедить себя в том, что ты рационалист, примерно также, как надевание медицинского халата.

Для избежания притворных сомнений помните:

  • Рациональное сомнение существует, чтобы уничтожить конкретное убеждение. Если оно не в состоянии уничтожить свою цель, оно умирает.
  • Рациональное сомнение появляется по каким-то конкретным причинам сомневаться в соответствующем убеждении.
  • Неразрешённое сомнение ни к чему не ведёт.
  • Сомнение, которое не ведёт к исследованиям, с тем же успехом может не существовать вовсе.
  • Не стоит гордиться самим актом сомнения. Однако, когда ты закончил разрывать в клочки очень ценное для тебя убеждение, это вполне повод для гордости.
  • Хотя для того, чтобы взглянуть в лицо своим сомнениям, нужна смелость, помните, что идеальный разум сомнениями вообще не испугать.
Перевод: 
Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
124
Оцените качество перевода: 
Средняя оценка: 3.9 (17 votes)

Вы способны справиться с реальностью

Элиезер Юдковский

Правда не перестаёт быть правдой.
Признание не сделает её хуже.
Отказ узнавать правду не заставит её исчезнуть.
И именно с правдой вам придётся взаимодействовать.
Невозможно жить в неправде, ибо её не существует.
Люди способны вынести правду,
Ведь она и так их окружает повсюду.

- Юджин Джендлин

Перевод: 
stas, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
125
Оцените качество перевода: 
Средняя оценка: 5 (8 votes)

Размышление о любопытстве

Элиезер Юдковский

Первая добродетель — это любопытство.

Двенадцать добродетелей рациональности

Будучи рационалистами, мы обязаны подвергать критике себя и свои убеждения… не так ли?

Подумайте, какой эффект окажет на вас мысленная установка «Я обязан критиковать свои убеждения». Роджер Желязны однажды отметил разницу между «желанием быть автором» и «желанием писать». Как сказал Марк Твен: «Классика — это то, что каждый хотел бы уже прочесть и никто не хочет читать». Критика из чувства долга ведет к желанию иметь убеждения, уже прошедшие проверку, чтобы не считать свою веру слепой. Это не тоже самое, что хотеть проверить свои убеждения по-настоящему.

В ходе такой проверки вы рискуете стать жертвой мотивированной остановки. Вы анализируете возражение, приводите контраргумент, останавливаетесь. Повторяете с парой других возражений, ощущаете чувство выполненного долга, останавливаетесь. Так вы достигнете своей подсознательной цели: избавиться от когнитивного диссонанса «я — рационалист, не подвергнувший критике свои убеждения». Считайте это стремлением получить статус рационалиста — попыткой ощутить «теплое чувство» удовлетворения.

Теперь ваши оценки вероятностей будут достаточными для оправдания своих изначальных планов и убеждений, но недостаточными для возникновения сомнений со стороны других рационалистов или самого себя.

Истинное же любопытство будет тянуть вас к информации, кажущейся наиболее перспективной с точки зрения сдвига в оценке убеждений, либо к той, что наименее похожа на все известное вам до этого. Последующее распределение оценок вероятности, скорее всего, будет отличаться от изначального — должен будет произойти сдвиг в одну из сторон, и любое направление будет одинаково приемлемым, если ваше любопытство является искренним.

Сравните это с неосознанным желанием оставаться на знакомой территории, чтобы закончить свою проверку как можно быстрее, отметить свои убеждения и планы как «проверенные» и вернуться к своему привычному состоянию.

Что до моего взгляда на истинное любопытство и его силу — смотрите Сказ о науке и политике. Каждый персонаж служит иллюстрацией разных уроков. Последний из них, Феррис, является воплощением чистого и невинного любопытства, которое сопровождается легкостью и стремлением к поиску новых свидетельств.

Как писала Урсула К. Ле Гуин: «У невинности нет сил бороться со злом. Но у нее есть силы творить добро».1 Простое и невинное любопытство может обернуться простым тупиком на пути; поэтому обучение рациональности с сопутствующей этому изощренностью должно быть очень аккуратным, если мы хотим стать сильнее. Тем не менее, легкость и стремление к искренности в своих поисках можно сохранить.

Как сказано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже обладаете знанием, или же не хотите знать вовсе — сомнения будут бесцельными, а навыки не найдут своего применения. Любое любопытство стремится себя уничтожить — нет любопытства, которое не жаждет найти ответ.

Подобной альтернативы искреннему любопытству просто не существует. «Жгучее желание знать — гораздо сильнее, чем торжественная клятва искать только правду». Но нельзя обрести любопытство простым усилием воли — как нельзя усилием воли заставить свою ногу чувствовать тепло, когда она чувствует холод. Иногда все, что у нас есть — это торжественные клятвы.

Так что же делать с «долгом»? Для начала можно попытаться разжечь свой интерес во время «обязательных» проверок — следить за проявлениями искреннего интереса или даже искреннего невежества и желания его устранить. Попутно можно уделять особое внимание неприятным и болезненным размышлениям, которых вы стараетесь избежать — это вовсе не какое-нибудь «негативное мышление».

Также можно вспомнить о Законе сохранения ожидаемого свидетельства. Для каждого нового вопроса, для каждой новой крупицы свидетельства математическое ожидание апостериорной вероятности должно быть равна априорной вероятности. Когда вы задаёте вопрос, вы должны в равной степени ожидать, что ваше убеждение изменится как в одном направлении, так и в другом. Не каждое новое свидетельство должно разворачивать ваше убеждение на 180 градусов — сдвигать вероятность его истинности с 70% до 30% — но если изначальная вероятность равна 70%, вы должны быть готовы поменять ее как на 71%, так и на 69%. Вы не сможете заранее предугадать направление этого сдвига (в среднем), потому что по законам теории вероятности, если вы знаете, куда вы направляетесь — вы уже находитесь там. Если вы готовы к честной проверке, готовы к тому, что каждое новое свидетельство действительно может сдвинуть ваше убеждение как вверх, так и вниз — вы сможете сохранять свой интерес и оставаться по-настоящему любопытными.

Если рассматриваемый вами аргумент новым не является, почему на нем сосредоточено ваше внимание? К нему бы вас привело искреннее любопытство? Не атакуете ли вы неосознанно сильные стороны своего убеждения вместо слабых? Не повторяете ли вы одно и то же свидетельство?

Если вы сможете не повторять одни и те же аргументы в свою поддержку и понемногу снижать оценку своего убеждения с каждым новым поступающим свидетельством, возможно, со временем вы сможете от этого убеждения даже отказаться — понять, что ветер свидетельств дует против вас.

Есть еще одно средство для поддержания любопытства — я его называю Литанией Тарского, которая в действительности является мета-литанией, имеющей для каждого отдельного случая свою формулировку (подходящую именно для этого случая). Например, если я очень сильно хочу узнать, содержит ли закрытый ящик бриллиант, тогда вместо мечтаний обо всех последствиях такого развития событий я могу повторять такую Литанию Тарского:

Если в ящике есть бриллиант,
Я хочу верить, что в ящике есть бриллиант.
Если в ящике бриллианта нет,
Я хочу верить, что в ящике бриллианта нет.
Я не буду цепляться за веру, которой не хочу.

И лишь после этого можно размышлять о возможности отсутствия бриллианта в ящике, и о вытекающих из этого преимуществах того, что вы будете верить в его отсутствие, и о соответствующих недостатках ситуации, при которой вы будете верить в его наличие. См. также Литанию Гендлина.

Обнаружив у себя хоть крохотную долю истинной неопределенности, берегите ее, как путник бережет свой костер. Если вы сможете разжечь эту неопределенность в пламя любопытства, оно подарит вам легкость и стремление к поиску истины, даст вашим сомнениям цель, а навыкам — их применение.

  • 1. Урсула К. Ле Гуин. На последнем берегу (1972).
Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
126
Оцените качество перевода: 
Средняя оценка: 3.8 (19 votes)

Законы рациональности беспристрастны

Элиезер Юдковский

Традиционная Рациональность пользуется языком социальных норм. Нарушение норм трактуется как жульничество — то есть, отказ от кооперации. Если ты хочешь меня в чём-то убедить, ты обязан предоставить определённое количество свидетельств. Если ты пытаешься от этого увильнуть, то всем ясно: ты жульничаешь. Теория должна делать смелые предсказания сама, а не просто воровать предсказания, сформулированные другими теориями. Теория должна давать возможность себя опровергнуть, а не избегать трусливо огня критики — это членский взнос клуба качественных теорий.

Правила Традиционной Рациональности выглядят очень похожими на обычаи, управляющие жизнью человеческих обществ, и поэтому их легко передавать из уст в уста. Люди замечают общественное мошенничество лучше, чем изоморфные ему нарушения абстрактных логических правил. Однако, если рассматривать рациональность как общественные обязательства, можно прийти к некоторым странным выводам.

Например, существуют верующие, защищающие свои убеждения фразой: «Ты сам не можешь обосновать свою веру в науку!». Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! У тебя есть точно такие же!»

В глазах байесианцев, мозг — аналитическое устройство. Оно собирает перепутанные свидетельства и превращает их в карту, которая изображает местность. Принципы рациональности — это законы в том же смысле, что и второй закон термодинамики: чтобы получить надёжные убеждения необходимо вычислимое количество свидетельств, также как и надёжное охлаждение содержимого холодильника требует вычислимого минимума свободной энергии.

Теоретически, законы физики инвариантны относительно обращения времени, поэтому, в принципе, существует ничтожно малая — настолько малая, что отличить её от нуля могут только математики — вероятность того, что холодильник спонтанно охладит сам себя, сгенерировав при этом электричество.

Представь, что ты ни разу не был в Нью-Йорке. Сможешь ли ты нарисовать его точную подробную карту, сидя в комнате с закрытыми жалюзи и не имея доступа в интернет? Теоретически да, но вероятность этого немногим больше ничтожно малой вероятности самозаморозки холодильника.

Прежде чем начать рисовать карту незнакомой местности, плесни немного воды в чашку при комнатной температуре. Подожди, пока она самостоятельно замёрзнет, и лишь после этого приступай к самому занятию. Таким образом можно убедиться, что приём «игнорируй бесконечно малые вероятности успеха» работает. Часто бывает сложно осознать, что твоя карта неверна (особенно, если ты никогда не бывал в Нью-Йорке), но всегда можно убедиться в том, что вода сама по себе не замерзает.

Если правила рациональности — это законы общества, то, кажется, что можно оправдать поведение Х, если указать, что остальные ведут себя также. Было бы несправедливо требовать свидетельства от тебя, если мы сами не можем их предоставить. И справедливое общество обязательно осознает, что все мы одинаково грешны и смягчившись, милосердно освободит всех от обязательства предоставлять свидетельства в пользу своих убеждений. Затем наступит свобода, равенство и братство, и будем мы жить долго и счастливо.

Если же правила рациональности — это математические законы, то все попытки что-то оправдать бессмысленны. Бесполезно зачитывать вслух 30 причин, согласно которым ты не можешь упасть с обрыва. Даже если все проголосуют за то, что нечестно требовать электричества для заморозки продуктов, это никак не повлияет на идущие внутри холодильника процессы. Даже если все согласятся с тем, что тебе не обязательно посещать Нью-Йорк, карта всё равно окажется неверной. Госпожа Природа не прислушивается к людским просьбам, и Госпожа Математика тоже.

Так что — вернёмся к Традиционной Рациональности, сформулированной как социальные нормы — не думай, что заявление «нет ничего страшного в моих необоснованных убеждениях о X, ведь у всех есть какие-то необоснованные убеждения» сойдет тебе с рук. Если обе заключившие контракт стороны нарушили свои обязательства, человек-судья может решить не применять санкции ни к кому. Но если два инженера соберут два механизма одинаково плохо, ни один механизм не заработает. Одна ошибка не может оправдать другую. Если я что-то делаю неправильно, тебе это никак не поможет и не освободит тебя от исполнения правил. Страдать мы будем оба.

Когда речь идёт о законах либеральной демократии, каждый имеет право на свои убеждения. Когда речь идёт о законах природы, никто не имеет права на абсолютную точность. Мы не арестовываем людей за то, что они верят в странные вещи (по крайней мере, в адекватных странах). Но никто не может аннулировать закон о том, что для получения точных убеждений необходимы свидетельства. Даже единогласное решение всей человеческой расы не имеет веса в суде Природы.

Физики не решают, какими должны быть законы природы, физики просто угадывают, каковы они на самом деле. Рационалисты не решают, какими должны быть законы рациональности, рационалисты просто угадывают, каковы они на самом деле. Нельзя рационализировать то, что не было рациональным с самого начала. Даже если кто-то ухитрится убедить всех физиков мира в том, что законы гравитации на него не распространяются, то всё равно, шагнув со скалы, он упадёт.

Даже фраза «это решаем не мы» слишком антропоморфна. Нет никакой вышестоящей инстанции, способной делать исключения в законах. Существуют лишь причина и следствие.

Помни об этом, когда будешь просить разрешения нарушить закон всего лишь этот раз. Мы не можем выдать разрешения. Это просто не в нашей власти.

Перевод: 
BT, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
127
Оцените качество перевода: 
Средняя оценка: 4.5 (6 votes)

Оставь путь к отступлению

Элиезер Юдковский

Когда вы окружили врага,
Всегда оставляйте ему путь к отступлению.
Пусть он видит,
Что есть альтернатива смерти.
— Сунь-цзы, «Искусство войны»1

Всё, хватит на них давить. Наоборот, сбавим прессинг.
— Лоис Макмастер Буджолд, «Комарра»2

Вчера вечером я разговаривал с нерационалисткой, которая случайно зашла на встречу местных рационалистов. Она только что объявила, что (а) верит в существование души и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?». По растерянности, промелькнувшей на её лице, было понятно, что этот вопрос никогда не приходил ей в голову. Я не хочу сказать, что в этом есть что-то плохое — она показалась мне хорошим человеком, у которого нет ни малейшей подготовки в области рациональности — как и у большинства других представителей человечества. Мне действительно надо написать эту книгу.

Большая часть последующего разговора посвящалась вопросам, уже раскрытым на сайте Overcoming Bias3: если вам что-то очень любопытно, то скорее всего, вы сможете придумать хороший способ это проверить, старайтесь сперва приобретать точные убеждения, а затем позвольте эмоциям опираться на них, ну и так далее. Однако, этот разговор напомнил мне об одном соображении, которое я пока ещё тут не раскрыл:

— Постарайтесь как можно лучше себе представить, – предложил я ей, – как выглядел бы мир, где нет душ, и как бы вы поступали в таком мире. Не думайте обо всех причинах, почему это невозможно. Просто примите это как допущение и представьте последствия. Чтобы вы могли подумать: „Ладно, если душ нет, то я могу просто заключить контракт на крионирование“ или „Если Бога нет, я всё равно могу просто быть добродетельной“, а не просто ужасаться самой идее. Как я уже сказал раньше, вам стоит верить в правду, какой бы она ни была — это вопрос самоуважения. Однако, человеческая природа такова, что полезно сперва свыкнуться с убеждением и только потом оценивать свидетельства в его пользу.

Принцип в основе этой методики прост. Поступайте с собой так, как Сунь-цзы советует поступать с врагами – оставьте себе путь к отступлению. Если для вас непереносима сама мысль о потере работы, то эта перспектива может вас пугать гораздо сильнее, чем если вы точно подсчитали, на сколько хватит ваших сбережений, проверили вакансии на рынке труда в своей сфере занятости и тщательно распланировали, что будете делать в таком случае. Только в этом случае вы будете готовы честно оценить вероятность сохранения работы с учётом грядущих в следующем месяце сокращений. Будьте настоящим трусом и в деталях составьте план отступления. Мысленно представьте себе каждый шаг. Желательно, ещё до выхода на поле боя.

Для того, чтобы представить себе неприятное состояние дел всего лишь в качестве мысленного эксперимента, требуется меньше мужества, чем для того, чтобы оценить, какова на самом деле вероятность, что дела действительно состоят именно так. Но после первого сделать второе становится проще.

Помните, что байесианство любит точность: даже если пугающая вас перспектива действительно выглядит маловероятной, всё равно, чтобы получить количественную оценку вероятности, важно честно подсчитать все свидетельства за и против. Визуализация устрашающей идеи совершенно не означает признания, что глубоко внутри Вы считаете её возможной истиной. Вы можете представлять различные пугающие идеи просто из общих соображений о поддержании себя в хорошей ментальной форме. «Идея, о которой Вы не можете даже подумать, управляет вами больше, чем идеи, о которых вы громко говорите вслух». Такое случается, даже если эта невообразимая идея является ложной!

Методика оставления пути к отступлению для её правильного использования требует некоторый минимум честности по отношению к себе.

В первую очередь, вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают и к каким идеям Вы привязаны. Но это гораздо проще, чем честная оценка свидетельств по поводу идеи, которая вас пугает. Вам станет легче, если я скажу, что мне самому приходится пользоваться такой методикой? В конце концов, рационалист не отказывается от всех эмоций. Есть идеи, которые меня пугают, хотя я по-прежнему считаю их ложными. Есть идеи, к которым я привязан и знаю об этом, и всё равно считаю их истинными. Но тем не менее у меня есть план отступления: не потому, что я планирую отступать, а потому что изначальное наличие плана отступления помогает мне думать о проблеме, не привязываясь к ней.

Однако ещё большее испытание честности перед собой заключается в том, чтобы по-настоящему принять неприятное предположение в качестве предпосылки и продумать, как вы бы с ним справились. Когда мы сталкиваемся с неприятной идеей, наш первый импульс, естественно, подумать обо всех причинах, почему это может быть не так. Поэтому вы столкнётесь с некоторым количеством своего психологического сопротивления, если попытаетесь в точности представить, каким был бы мир и что бы вы в связи с этим делали, если бы самое-самое ценное убеждение было ложным или самое-самое пугающее убеждение было верным.

Подумайте обо всех людях, которые говорят, что без Бога была бы невозможной мораль. (И да, об этом зашла речь в том разговоре, так что я не выдумываю.) Если бы теисты могли представить свою настоящую реакцию на веру в то, что Бог не существует, они бы осознали, что, нет, они не отправились бы убивать младенцев. Они могли бы осознать, что атеисты реагируют на несуществование Бога примерно так же, как и они сами бы отреагировали, если бы в это поверили. Я говорю об этом, чтобы показать, что это весьма трудно: представить себе, как бы вы отреагировали, если бы поверили в противоположность какого-то из своих очень важных убеждений.

Кроме того, хоть это и довольно сложно осознать, но люди привыкают ко всему. Недавно парализованные люди через шесть месяцев не настолько этим опечалены, как они сами предполагали в начале, и тому подобное. Идея, что если бы ваше устрашающее убеждение оказалось истинным, то вы каким-то образом с ним бы свыклись, ничуть не более контринтуитивно. Паралитики привыкают, и вы бы привыкли.

Не забывайте также про литанию Гендлина и литанию Тарского. Правда не перестаёт быть правдой. Признание не сделает её хуже. Не бойтесь просто представить себе мир, которого боитесь. Если этот мир существует, то представив его мысленно, вы себе не навредите. А если он не существует, то от того, что вы его представите, тоже хуже не станет. И помните, когда визуализируете, что если ужасные явления в вашем воображении на самом деле истинны – чего может и не быть! – тогда вы наверняка хотели бы в них верить, и вам следует визуализировать и это тоже. Неверие вам не поможет.

Как много религиозных людей сохранили бы свою веру в Бога, если бы могли в точности представить себе гипотетический мир, в котором Бога нет, а они сами стали атеистами?

Оставлять путь к отступлению – мощная методика, но не простая. Честная визуализация требует меньше усилий, чем нужно, чтобы полностью признать, что Бог не существует, но всё равно требует усилий.

  • 1. Автор цитирует текст по изданию Sun Tzu, The Art of War (Cloud Hands, Inc., 2004). Однако, приведённые им строки не вполне соответствуют соответствующим строкам известного в России перевода Николая Конрада: «… если окружаешь войско противника, оставь открытой одну сторону; если он находится в безвыходном положении, не нажимай на него». Прим. перев.
  • 2. В переводе О.Г.Косовой. Прим. перев.
  • 3. Эта книга представляет из себя переработанные статьи, и изначально эти статьи публиковались на сайте overcomingbias.com — Прим.перев.
Перевод: 
Knivy, Alaric, AccelBoy, El_Aurens
Номер в книге "Рациональность: от ИИ до зомби": 
128
Оцените качество перевода: 
Средняя оценка: 4.8 (8 votes)

Кризис веры

Элиезер Юдковский

Если вы не готовы с одинаковой лёгкостью допустить оба варианта, это ещё не настоящий кризис веры.

Тор Шенкель

Многие в этом мире придерживаются убеждений, несостоятельность которых заметил бы даже десятилетний ребёнок, услышавший такое убеждение в первый раз. И речь идёт не о каких-то незначительных заблуждениях. Человек незашоренного ума играючи отказался бы от таких убеждений, если бы без колебаний применил к ним скептицизм десятилетнего ребёнка. Как выразился Premise Checker1: «Если бы идея бога не появилась до эпохи науки, только очень странный человек смог бы её придумать и всерьёз утверждать, что она всё объясняет».

Тем не менее, даже профессиональные учёные и выдающиеся специалисты в своих областях в наш день и век всё ещё недостаточно скептичны. Нобелевский лауреат Роберт Ауманн, автор теоремы Ауманна о согласии, является ортодоксальным иудеем. Я достаточно сильно уверен, что в тот или иной миг своей жизни Ауманн сомневался в своей вере. Однако, его сомнения не стали успешными. Мы меняем мнение реже, чем нам кажется.

Это должно пробрать вас до мозга костей. Ведь получается, что можно быть учёным с мировым именем, хорошо владеть теоремой Байеса и тем не менее не смочь отвергнуть убеждения, абсурдность которых бросается в глаза даже десятилетнему ребёнку с его незамутнённым взглядом. Получается, что давно закрепившееся в разуме убеждение способно создать себе неуязвимую защиту.

Что же делать с ошибкой, которая окопалась у вас в мозгу?

Ну, если вы поняли, что на самом деле имеете дело с ошибкой, значит вы с ней уже справились. Вопрос не в том, как отказаться от давно привычного ложного убеждения Х, а в том, как понять, что давно привычное убеждение Х ложно. Сложно быть честным с собой, когда сам не знаешь, что правильно. Поэтому вопрос на самом деле звучит так:

Как вызвать у самого себя настоящий кризис веры в некое убеждение и допустить возможность альтернативных вариантов?

Как пример серьёзного испытания, которое мы все можем представить, возьмём религию. (У читателей, чьи родители были атеистами, не было этого важного жизненного испытания, поэтому в качестве довольно слабой замены я предлагаю им подумать об их религиозных друзьях). Однако, если вы не можете поставить себя на место верующего и считаете их всех злобными мутантами, значит вы не в состоянии вообразить, с какими внутренними испытаниями они на самом деле сталкиваются. Вы не в состоянии задаться вопросом:

Какая стратегия может помочь религиозному человеку отказаться от своей религии?

Уверен, что некоторые, едва взглянув на этот вопрос, уже начали потрясать стандартным списком атеистических аргументов. «Они должны признать, что байесовских свидетельств в пользу существования Бога не существует». «Они должны понять, что для оправдания поведения Бога в Библии они прибегают к многочисленным моральным уловкам». «Им надо научиться использовать бритву Оккама». Ну и так далее.

Нет! Нет, нет, нет! Именно такое оттарабанивание давно привычных аргументов в точности соответствует тому стилю мышления, из-за которого люди не спешат отказываться от своих религий. Если вы остаётесь в рамках собственных заранее заготовленных мыслей, если ваш мозг выдаёт ответ столь быстро, что вы даже не успеваете посмотреть на вопрос так, как будто видите его впервые, вы никак не сможете придти к кризису веры.

Возможно, дело в том, что слишком мало людей прочли книгу «Гёдель, Эшер, Бах» в достаточно раннем возрасте, но я часто замечал, что очень многие люди — даже с техническим образованием — не в состоянии мыслить на таком высоком уровне абстракции. Во время приступов особо сильного пессимизма я даже начинаю думать, что у верблюда действительно два горба.

Судя по всему, некоторые люди не могут перейти с объектного уровня «Воспользуйся бритвой Оккама! Ты должен понять, что твой Бог — это ненужное убеждение!» на мета-уровень «Попробуй не дать своему мозгу привычно действовать по шаблону!» Ведь для верующего человека ответ «Пути Господни неисповедимы, и наивно считать, что мы сможем их понять» настолько же привычен и так же быстро приходит на ум, как вам и вашим друзьям рационалистам приходит на ум бритва Оккама. Поэтому если вы считаете, что правильная стратегия заключается в «Воспользуйся бритвой Оккама!», вы похожи на верующего, который говорит, что правильная стратегия — это уверовать.

«Но… но бритва Оккама же на самом деле лучше, чем вера! Мы же не о любимом вкусе мороженого спорим! Если обратиться к истории, сразу понятно, что рассуждения, согласованные с законом Оккама, гораздо продуктивнее тех, что основаны на вере…»

Всё это так. Однако не имеет отношения к делу. А дело в том, что, когда вы всё это произносите, вы повторяете стандартные доводы в пользу своих убеждений. Доводы, которые уже укоренились у вас в мозгу. Устроить себе кризис веры — значит допустить, что наши стандартные умозаключения неверны и наши стандартные доводы тоже. Допустим, стандартным доводом в пользу Х является «Бритва Оккама!», и вы хотите испытать кризис веры относительно X. Тогда задайтесь вопросом, действительно ли бритва Оккама говорит в пользу X, действительно ли вы правильно понимаете бритву Оккама, и — если хотите по-настоящему глубоких сомнений — действительно ли простота является исторически либо логически обоснованным рабочим критерием в подобных случаях, и т. д. Если вы советуете религиозному человеку усомниться, что «вера» — это хорошее объяснение для X, то вам стоит посоветовать то же самое себе, то есть, приложить такие же серьёзные усилия и усомниться, что «бритва Оккама» — это хорошее объяснение для X.

(Подумайте обо всех людях, которые не понимают таких формулировок бритвы Оккама, как минимальная длина описания или индукция Соломонова. Подумайте о тех, кто считает, что бритва Оккама исключает многомировую интерпретацию или гипотезу симуляции. Этим людям стоит поставить под сомнение свою формулировку бритвы Оккама и своё представление о том, что простота — это что-то хорошее. Готов поспорить, что какое бы Х вы ни защищали в споре восклицанием «Бритва Оккама!», это X не дотягивает по простоте формулировки до закона гравитации).

Если «Бритва Оккама!» — это ваш привычный ответ, ваш стандартный ответ, если это ответ, который дают все ваши друзья, то вам стоит помешать своему мозгу моментально достраивать этот шаблон. Иначе устроить себе настоящий кризис веры не получится.

Лучше задать себе такие правила для размышлений: «Представить, что сказал бы скептик. Потом представить, что ему сказали бы в ответ. А теперь представить, что он ещё мог бы сказать и на что уже было бы сложнее ответить».

Или: «Сосредоточиться на самой неприятной мысли».

И самое главное правило:

«Стараться изо всех сил. Вкладывать столько же отчаянных усилий, сколько требуется верующему человеку, чтобы отринуть свою религию».

Ведь если вы не слишком стараетесь, то — как знать — может быть, ваша голова забита какой-нибудь чепухой, ничуть не менее абсурдной, чем религия.

Если вы не предпринимаете судорожных отчаянных усилий, чтобы стать рациональным (а именно такие усилия нужны, чтобы избавиться от религии), как вы осмеливаетесь верить во что бы то ни было? Ведь даже сам Роберт Ауманн верит в Бога.

Кто-то (уже не помню кто) однажды заметил, что люди в принципе способны отказаться от своей веры лишь до определённого возраста. Потом у них уже есть готовые ответы на все возражения, и становится слишком поздно. Это способ существования, который необходимо преодолеть. Это испытание вашей силы как рационалиста, и оно очень суровое. Но если вы не сможете его пройти, вы останетесь слабее, чем десятилетний ребёнок.

Но повторюсь: если вы понимаете, что убеждение ошибочно, то вы его уже побороли. Если вы уже пришли к заключению, что ваша религия не верна, то речь больше не идёт об отчаянных, судорожных попытках преодолеть последствия религиозного воспитания. Отчаянные усилия, о которых мы здесь говорим, нужны, чтобы понять, стоит ли избавиться от оков некоего убеждения или же сохранить его. Трудно быть честным с самим собой, когда не знаешь, какая дорога верна. Когда рационализация не кажется грехом.

Ради каждого сомнения устраивать себе полноценный кризис веры не стоит. Однако, вам стоит задуматься о нём, если:

  • убеждение давно укоренилось в вашей голове;

  • вам известно множество аргументов и контраргументов, связанных с этим убеждением;

  • вы уже как-то невозвратно вложились (в виде времени, денег, публичных заявлений) в это убеждение;

  • убеждение имеет какие-то важные эмоциональные последствия (заметим, что само по себе это не значит, что убеждение неверно);

  • на убеждение завязана ваша идентичность.

Эти тревожные признаки не означают, что убеждение совершенно точно ложно. Они лишь сигнализируют о том, насколько рисковано ваше убеждение и насколько трудно вам будет с ним расстаться, если оно неверно. Такие признаки можно найти как для католичества Папы Римского, так и для убеждённости Ричарда Докинза в эволюционной биологии. Однако, это не означает, что подобные убеждения — лишь дело вкуса. Уравнивать между собой любые глубоко укоренившиеся убеждения только в силу того, что они глубоко укоренившиеся, при этом напрочь игнорируя подкрепляющие их свидетельства, — это удел непросвещённых. Цель не в том, чтобы сохранять лишь поверхностные убеждения, а в том, чтобы построить карту, которая наиболее точно соответствует территории.

Разумеется, я подчёркиваю всё это для того, чтобы вы могли признаться себе: «Да, у моего убеждения есть эти тревожные признаки» без необходимости сказать: «Моё убеждение ложно».

Однако, упомянутые признаки указывают на то, что вам потребуются экстраординарные усилия, чтобы эффективно поставить под сомнение своё убеждение. Эффективно — значит так, чтобы действительно отказаться от этого убеждения, если оно ложно. Если вы не в состоянии сомневаться эффективно, то вы слепы, ибо ваш мозг будет безоговорочно цепляться за убеждение. Если сетчатка глаза посылает один и тот же сигнал, независимо от попадающих на неё фотонов, мы называем этот глаз слепым.

Когда же стоит устраивать себе кризис веры?

Ещё раз подумайте о совете, который вы дали бы верующему: если вы чувствуете в себе какую-то лёгкую неуверенность, но продолжаете изыскивать веские доводы в пользу своего убеждения, то вам, скорее всего, стоит испытать себя кризисом веры. Если ваше убеждение подкреплено свидетельствами надёжными, как гравитация, вам не о чем беспокоиться. Однако задумайтесь обо всех верующих, которые отчаянно продолжают считать, что Бог надёжен, как гравитация. Так что попробуйте представить, что сказали бы скептически настроенные люди о ваших «надёжных, как гравитация» аргументах. Одна из причин, почему кризис веры может провалиться, состоит в том, что вы вообще никогда не пытались оспорить своё убеждение. Вы никогда не говорили себе: «Вот здесь мне стоит как следует посомневаться».

Если вы понимаете, что ситуация действительно сложная, вам нужно сделать следующий шаг и устроить себе кризис веры. Однако, не стоит это делать в спешке, в первую попавшуюся свободную минуту. Не рвитесь побыстрее расправится с этим делом, ради оправдания: «Я сомневался, как и должен был поступить рационалист». Это не сработало бы для верующего, это не сработает и для вас. В день накануне отдохните, чтобы ваш ум был в хорошей форме. Заранее выделите себе несколько часов, в которые вас никто не побеспокоит. Найдите какое-нибудь тихое место. И предпримите отчаянную попытку призвать настоящее сомнение, которое разрушит ложные — и только ложные — из ваших глубочайших убеждений.

Элементы методики кризиса веры разбросаны по целому ряду эссе:

  • Избегая по-настоящему слабых мест убеждения. Один из первых соблазнов кризиса веры — начать с самых веских доводов в пользу своего убеждения, чтобы ещё раз отрепетировать хорошие ответы. Путь сомнений нужно начинать с поиска уязвимостей, а не с рассмотрения наиболее обнадёживающих аргументов.

  • Размышление о любопытстве. Роджер Желязны однажды противопоставил «желание быть писателем» и «желание писать». Точно так же различаются «желание разобраться» и «желание разбираться». Недостаточно заявить: «Подвергать критике собственные убеждения — это мой долг». Необходимо настоящее любопытство. А любопытство рождается только из неуверенности. Не упускайте из виду закон сохранения ожидаемых свидетельств, это поможет вам совершенствоваться шаг за шагом. Переходя к каждому новому пункту, аргументу или свидетельству, вы не должны предвидеть, в какую сторону сдвинется ваше убеждение. Таким образом вы сможете сохранять подлинное любопытство о том, к чему вы в итоге придёте.

  • Непосредственный взгляд. Используйте методы Пирсига, чтобы избежать привычных шаблонных мыслей, которые приходят на ум в первую очередь.

  • Литания Джендлина и литания Тарского. Люди способны вынести правду, ибо они уже живут в ней. Если убеждение верно, то лучше верить, что оно верно. Если убеждение неверно, то лучше отказаться от него. Вы могли бы посоветовать религиозному человеку как можно тщательнее представить мир, где нет Бога, и честно признать, что если Бога нет, то лучше верить, что Бога нет. Если человек в глубине души не способен это принять, значит он не сможет пройти путём кризиса веры. Так что сделайте честную попытку представить альтернативу вашему убеждению. Представить так, чтобы даже самый придирчивый скептик не смог придраться. Думайте о тех усилиях, которые потребовались бы верующему, чтобы представить себе атеистическую картину мира, не искажая эту картину ради собственного комфорта.

  • Приложите экстраординарные усилия. Вспомните о понятии «иссёкенмей»2. Приложите все силы, чтобы быть рациональным. Такие силы, которые потребовались бы Роберту Ауманну и всем великим учёным прошлого, которые так и не преодолели свою религиозность.

  • Генетическая логическая ошибка. Иногда люди соглашаются, что некоторый источник недостоверен, однако продолжают считать: «Но ведь идеи там всё равно правильные!» Если многие из ваших идей почерпнуты из таких источников, вам стоит быть крайне осторожным. (Например, кто-нибудь может прийти к мнению, что Библия всё-таки написана людьми, однако продолжать цепляться за идею, что она служит источником незаменимой этической мудрости).

  • Важно уметь сказать «Упс». Ужасную горькую пилюлю и в самом деле лучше проглотить одним глотком.

  • Единомыслие — противоположность двоемыслия. Замечайте мысли, которые вы гоните прочь. Мысли, которые успевают лишь на мгновение появиться в уголке вашего сознания, прежде чем вы откажетесь об этом думать. Если вы осознаете, о чём вы не думаете, вы сможете об этом подумать.

  • Аффективные смертельные спирали и Сопротивление аффективным смертельным спиралям. Аффективные смертельные спирали — это главные генераторы ложных убеждений, и без встряски кризисом веры от них не избавишься. Поскольку аффективные смертельные спирали могут начинаться и вокруг поистине прекрасных вещей, вам не нужно признавать, что ваше убеждение — ложь, чтобы пытаться противостоять их гало-эффекту в каждый отдельно взятый миг. Даже что-то по-настоящему хорошее стоит хвалить только искренне. Не делайте политические споры однобокими.

  • Не спешите предлагать решения. Не предлагайте никаких решений до тех пор, пока не обсудили проблему настолько подробно, насколько это возможно. Пусть ваш разум позже поймёт, каким должен быть ответ. Потратьте хотя бы пять минут, прежде чем сдаться. Это правило подходит всегда, и особенно, когда вы становитесь адвокатом дьявола.

Следующие методики тоже довольно важны в вопросах кризиса веры:

В общем, и здесь, и на Overcoming Bias довольно много материала по этой теме. Кризис веры - это лишь поворотная точка и внезапная схватка на длинном пути иссёкэнмэй. На вечном пути бескомпромиссных попыток достигнуть уровня настолько великой рациональности, что все эти дурацкие глупые ошибки окажутся где-то далеко внизу. И в этой схватке вы сможете использовать на всю катушку все навыки, в которых вы так долго практиковались. Использовать против себя самого.

Успехов вам в вашей битве. Чудесного кризиса!

  • 1. Один из читателей Overcoming Bias во времена написания этого эссе. — Прим.перев.
  • 2. Японское слово, означающее совершить отчаянную попытку, подробнее раскрывается в эссе по ссылке. — Прим.перев.
Перевод: 
Aelryn, Alaric, Kelegorm
Номер в книге "Рациональность: от ИИ до зомби": 
129
Оцените качество перевода: 
Средняя оценка: 4.6 (5 votes)

Ритуал

Элиезер Юдковский

Комната, где Джеффриссай принимал своих гостей, не владевших искусством бейзутсукай, была оформлена в самом строгом классическом стиле и выглядела весьма официально. Сквозь серебряную решётку, острые края которой чётко давали понять, что эта ограда не должна открываться, струились свежий воздух и солнечные лучи. Стены и пол из очень толстого стекла искажали находящееся за ними до полной неразличимости. Поверхность стекла украшали едва заметные непонятные узоры, которые словно вышли из-под руки творчески одарённого ребёнка (впрочем, так и было).

В доме Джеффриссая были комнаты и в другом стиле. Но когда-то он обнаружил, что эта лучше всего соответствует представлениям чужаков о вкусах Байесианского Мастера, и решил их в этом не разубеждать. В конце концов, такие бесхитростные развлечения тоже часть маленьких радостей жизни.

Гостья села напротив него: колени на подушке, ступни сзади. Её привели сюда исключительно дела Заговора. Наряд выдавал это: облегающий комбинезон из розовой кожи, закрывающий всё, включая кисти рук — вплоть до головы и волос, скрытых капюшоном. Впрочем, лицо оставалось открытым.

Итак, Джеффриссай решил принять её в этой комнате.

Он сделал глубокий вдох, затем выдохнул.

— Уверена ли ты?

— О-о-о, — протянула она. — Неужели мои советы поменяют твою точку зрения лишь в том случае, когда я абсолютно уверена? Разве не достаточно того, что я специализируюсь в этой области, а ты нет?

Губы Джеффриссая скривила лёгкая улыбка.

— Кстати, откуда тебе известно столь многое о правилах? У тебя никогда не было подготовки даже планковских масштабов.

— Разве это не очевидно? — сухо ответила она. — Вы, бейзутсукай, просто обожаете объяснять причины своих поступков.

Джеффриссай внутренне поморщился от мысли, что кто-то может нахвататься рациональности, лишь наблюдая, как другие люди говорят о ней…

— И не надо так внутренне морщиться на меня, — продолжила гостья. — Я не стремлюсь сама стать рационалисткой. Я хочу лишь победить рационалиста в споре. Уверена, что ты даже ученикам говоришь, что это огромная разница.

Неужели она читает меня как открытую книгу? Джеффриссай посмотрел наружу сквозь серебряную решётку. Солнечный свет отражался от склона горы. Всегда, всегда, каждый день золотые лучи солнца пронзают облака и падают на это место. Неизменная вещь этот свет. Далёкое Солнце, представленное этим светом, через пять миллиардов лет сгорит, но сейчас, в эту секунду, оно ещё светит. И это не изменить. Зачем желать, чтобы что-то сохранялось неизменным вечно? Ведь это желание уже исполнено настолько надёжно, насколько только можно. Парадокс постоянства и непостоянства: прогресс или потери существуют только в позднейшей перспективе.

— Ты всегда давала мне хорошие советы, — произнёс Джеффриссай. — Так было всегда. Всё время, которое мы знаем друг друга.

Она склонила голову, признавая его слова. Это истина, и нет нужды объяснять подразумеваемое.

— Итак, — сказал Джеффриссай. — Не спора ради, но лишь потому что я хочу узнать ответ. Ты действительно уверена?

Он не понимал, как она могла догадаться.

— Я вполне уверена, — ответила она. — Мы достаточно долго собирали статистику, и из тысячи случаев, подобных твоему, в девятьсот восьмидесяти пяти…

От вида его лица она расхохоталась.

— Я шучу. Конечно же, я не уверена. Решение исключительно за тобой. В чём я точно уверена, так это в том, что ты должен пойти и сделать все, что вы там делаете, когда совершенно всерьёз раздумываете, стоит ли отказаться от какого-то фундаментального основания собственного существования. Не сомневаюсь, что для таких случаев у вас есть какой-нибудь ритуал, пусть вы и не рассказываете о нём посторонним.

Джеффриссай задумался. С этим было трудно спорить. Особенно когда эксперт в обсуждаемой области утверждает, что ты, возможно, не прав.

— Я сдаюсь, — сказал Джеффриссай. В его исполнении эти слова прозвучали словно приказ об окончании дискуссии: «Нет нужды спорить дальше. Ты победила».

— О, избавь меня! — ответила она. Она поднялась с подушки быстро, но плавно — ни единого лишнего движения. Она не выпячивала свой возраст, но и не скрывала его. Подхватив его протянутую кисть, она поднесла её к своим губам в формальном поцелуе. — Прощайте, учитель!

— «Прощайте»? — переспросил Джеффриссай. Это слово означало расставание более серьёзное, чем если бы она ограничилась простым «до свидания». — Вообще-то я планировал нанести вам визит, миледи. И я всегда рад видеть вас здесь.

Не ответив, она направилась к дверям. В дверном проёме она замерла и, не оборачиваясь, сказала:

— Ничто уже не будет прежним.

Её движения ничуть не казались стремительными, но удалилась она так быстро, что могло показаться, что она просто исчезла.

Джеффриссай вздохнул. Но, по крайней мере, с этого момента и до самого испытания он знал, что делать. Все его действия определялись предписаниями.

Покинув свою официальную приёмную, Джеффриссай направился к своей арене. Оттуда он разослал сообщения своим ученикам, что во время завтрашних занятий они должны импровизировать без него, а позже он устроит им проверку.

И после этого Джеффриссай не делал ничего существенного. Он прочёл ещё сотню страниц учебника, который взял взаймы. Учебник оказался не слишком хорошим, впрочем, книга, что он отдал взамен, тоже была посредственной. Он бродил из одной комнаты своего дома в другую. Заглянул в несколько кладовых проверить, не было ли что-нибудь оттуда украдено (пропала колода карт, но и только). Время от времени его мысли возвращались к завтрашнему испытанию, и он позволял им течь свободно. Он старался совсем не управлять своими мыслями, лишь гнал те, которые уже приходили ранее. Также он не допускал любых заключений и выводов, даже мысль о том, куда должны течь его мысли.

Солнце садилось. Очистив свой разум, Джеффриссай какое-то время любовался закатом. Не думать ни о чём без необходимости постоянной концентрации и без огромных усилий было примером превосходного мастерства. Годы назад при таком упражнении с него пот лился ручьём. Но тренировки уже давно принесли свои плоды.

Когда он проснулся на следующее утро, хаотические ночные видения были свежи в его памяти. Стараясь сохранить это ощущение хаоса и память о снах, он спустился по лестнице на один пролёт, потом ещё на один, и ещё на один, и наконец оказался в самой неприглядной комнате из всех.

Она была белой. Это слово лучше всего описывало её цветовое оформление.

На одной из стен висели дощечки с надписями. Следуя традиционным практикам, их когда-то кропотливо нанёс юный Джеффриссай. С каждым движением кисти, что выводила слова, идеи врезались в его сознание. «Что может быть разрушено правдой, должно быть разрушено». «Люди способны вынести правду, ведь она и так их окружает повсюду». «Любое любопытство стремится себя уничтожить». На одной маленькой дощечке была лишь красная горизонтальная черта. Что угодно можно заменить символом, хотя даже Барды-Заговорщики не осмелятся признать такую гибкость и могущество визуальных образов.

На стене под дощечками виднелись две колонки значков. В столбце со знаком плюс было две записи. Со знаком минус — пять. Семь раз он входил в эту комнату. Пять раз он решил не менять своё мнение. Дважды он покинул комнату в какой-то степени другим человеком. Никакие правила не предписывали какое-либо соотношение между первым и вторым — подобные правила сделали бы абсурдной всю идею. Однако если за долгое время под знаком плюс не появилось бы ни одной записи, пришлось бы признать, что нет никакого смысла держать эту комнату, раз ты не умеешь её использовать. Ну или знание истины даровано тебе от рождения и ты прав во всём.

Джеффриссай сел на пол, но не лицом к дощечкам, а спиной к ним. Он смотрел на пустую белую стену, дабы ничто не могло отвлечь его. Мысленно он повторил вступительную мета-мнемонику, а затем множество под-мнемоник, на которые та ссылалась: семь главных принципов и шестьдесят две специальные техники, что вероятнее всего понадобятся во время Ритуала Изменения Убеждений. К этому Джеффриссай добавил ещё одну мнемонику, напоминающую ему четырнадцать его собственных самых стыдных оплошностей.

Он не сделал глубокого вдоха. Лучше сохранять спокойное дыхание.

И тогда он задал себе вопрос.

Перевод: 
Kath May, Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
130
Оцените качество перевода: 
Средняя оценка: 5 (9 votes)