Вы здесь

Двоемыслие (выбирая быть искаженным)

Элиезер Юдковский

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
82
Оцените перевод: 
Средняя оценка: 4.5 (2 votes)
  • Короткая ссылка сюда: lesswrong.ru/200