Статья вышла в 2008 году в сборнике «Риски глобальной катастрофы» под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.

Введение

При всех прочих равных, мало кто из людей хотел бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать в нем своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти ужасное осознание этого процесса, то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования привели к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98-ми процентной уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99 % уверен, что критический порог больше 500 тераватт, и на 99 % уверен, что он меньше 80000 тераватт». «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.

Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не просто логически слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.

Исследования эвристики и когнитивных искажений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изменения условий опытов уже применялись, и результаты от этого не становились другими.

Доступность информации

Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R (rope), или что его третья буква R (park)? Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что люди используют методы мышления, называемые эвристикой, которые дают хорошие приблизительные ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых когнитивными искажениями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]

Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений больших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).

Аналогично, риск человеческого вымирания может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием.

Когнитивные искажения, связанные со знанием «задним числом»

Когнитивные искажения, связанные со знанием «задним числом», происходят, когда испытуемый, узнав окончательный итог событий, дает гораздо большую оценку предсказуемости именно этого итога, чем испытуемые, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».

Фишхофф и Бейт [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо большую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году космический челнок Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

Черные лебеди

Талеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Талеб назвал Черными Лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает 10 долларов с 98% вероятностью, но теряет 1000 долларов с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Талеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принеся около 80 миллионов долларов — и затем он потерял 300 миллионов долларов в одной катастрофе.

Другим примером является Long-Term Capital Management, инвестиционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по 100 миллионов долларов в день, день за днем. За один день в 1998 году он потерял более 500 миллионов долларов [Taleb, 2005]

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма. Но очевидно, что это событие, раз оно случилось, не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фишхофф [Fischhoff, 1982]:

«Когда мы пытаемся понять события прошлого, мы косвенным образом проверяем гипотезы и правила, применяемые нами, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находим никаких оснований для их изменений».

Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM занял 125 миллиардов долларов под 4,72 миллиарда долларов собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самолетах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими городами. Но мы не выучили урок: «черные лебеди» случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Талеб [Taleb, 2005] пишет:

«Трудно мотивировать людей к предотвращению «черных лебедей»… Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»… В исторических книгах не пишут о героических превентивных мерах».

Ошибочное включение лишнего элемента

Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их вероятности.

1. Линда — учитель в начальной школе
2. Линда работает в книжном магазине и занимается йогой
3. Линда — активистка феминистского движения
4. Линда — социальный работник в области психиатрии
5. Линда — член общества женщин, имеющих право голоса
6. Линда — кассир в банке
7. Линда — страховой агент
8. Линда — кассир в банке и активистка феминистского движения

89 % из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что P(A & B) ≤ P(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров. Может быть, ошибочное включение лишнего элемента связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенному выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «Линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтернативных гипотез, она пережила все экспериментальные попытки ее опровержения (см. обзор [Sides, 2002].) Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше. Представьте себе правильный 6-сторонний кубик с четырьмя зелеными сторонами и двумя красными. Кубик будет брошен 20 раз и последовательность выпадения зеленых (G) и красных (R) сторон будет записана. Испытуемый должен выбрать одну последовательность из трех предложенных, и он выиграет 25 $, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.

1. RGRRR
2. GRGRRR
3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65 % из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. Последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 содержит наибольшую пропорцию зеленых сторон. Однако, последовательность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зеленая грань кости перед ней.

В приведенной выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65 % студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты специально решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности. Ошибочное включение лишнего элемента подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором международном конгрессе по предвидению будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].

В исследовании Джонсона [Johnson, 1993], группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить 17,19, 13,90, и 7,44 долларов соответственно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универсальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил что правительство Соединенных Штатов (и до, и после урагана 2005 года в Новом орлеане), защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации [Schneier, 2005]. Сверхдетальные заверения также могут создать ложное ощущение безопасности: «Х не является риском существованию, и вы не должны заботиться о нем, потому что верны утверждения A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьет эту технологию и предотвратит ее распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамеренных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, четко определенные сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учетом излишне суженных или невероятно детализированных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. [Tversky и Kahneman, 1982]. То есть, людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 % каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 %, все-таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что множество отдельных событий произойдет одновременно нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть купить товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий ученый проекта умрет). Это может объяснить, почему только 44 % предприятий выживают в течение первых четырех лет. [Knaup, 2005.]

Адвокаты в своих речах предпочитают избегать выводов, основанных на истинности, по крайней мере, одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих вариантов приводит к одному и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. Однако с рациональной точки зрения первые случаи гораздо более вероятны, чем вторые. Вымирание человечества в следующем столетии может произойти в результате хотя бы одной из многих причин. Оно может случиться по причине любого глобального риска, обсужденного в статье Бострома «Угрозы существованию», или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов описания в духе «или то, или другое, или третье» неудобны, и пророчества, с помощью них сформулированные, звучат непоэтично.

Ошибочность рассуждений, вызванная эффектом подтверждения

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача «2-4-6» [Wason, 1960.] Испытуемые должны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как «2-4-6» или «10-12-14» на карточках, и экспериментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально испытуемым была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.

Хотя участники обычно выражали высокую уверенность в своих догадках, только 21 % из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20 %. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и то же: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.

Задача Уосона «2-4-6» является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:

«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтверждения… Кунда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Гилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство прийти к данному выводу».

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтверждают, это называется мотивированный скептицизм или когнитивное искажение несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками, – то есть которые знают больший набор типичных логических нестыковок, но применяют этот навык избирательно, – склонны изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.

Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное отношение к теме ношения огнестрельного оружия и изменение его у студентов, под воздействием прочтения политической литературы за и против контроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

1. Эффект предшествующего отношения. Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.
3. Систематическая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
4. Поляризация отношения. Предъявление испытуемым очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
5. Эффект силы мнения. Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
6. Эффект усложнения. Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.

Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают убеждения, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления. Эвристика и когнитивные искажения широко распространены в человеческих размышлениях. Знание о них позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться — это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши убеждения более истинными, мы должны изменить сами эти убеждения. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.

Наши убеждения гораздо менее гибкие, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] аккуратно опросили каждого из двадцати четырёх сотрудников, которые оказались в ситуации выбора из двух предложенных вакансий и попросили их оценить, с какой вероятностью они примут то или иное предложение. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счёте вариант, которому он приписал в начале более низкую вероятность, доведя таким образом точность до 96%. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом».

Норман Майер (Norman R. F. Maier): «Не предлагайте решения до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они сталкивались с особенно трудной проблемой. Это – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой политики де-факто, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один ученый не рискнет больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и когнитивных искажениях, и об ошибке неподтверждения в частности.

Якорение, настройка и наложение

Экспериментатор крутит у вас на глазах рулетку, и она указывает на некое число, в первом случае, на 65, а во втором — на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН. Тверский и Канеман [Tversky и Kahneman, 1974] продемонстрировали, что испытуемые, которых вначале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором — 45 процентов. Это происходило, несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интенсивность этого эффекта. Тверский и Канеман предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформативное число за точку отсчета, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядел убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы сперва попросили эксперта по веществу P предположить точное значение силы радиосигнала, который приведет к взрыву P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Тверского и Канемана 1974 года стало накапливаться все больше свидетельств широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939 [Strack and Mussweiler, 1997].

Допустим, вы идете по супермаркету и видите стойку с банками консервированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Согласно экспериментальным данным, заставляет [Wansink et. al., 1998].

Более общая форма этого феномена стала известна как эффект загрязнения, поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение [Chapman and Johnson, 2002]. Предпринимались попытки ослабить эффект загрязнения путем выплаты испытуемым вознаграждения за правильные ответы. Тверский и Канеман [Tversky и Kahneman, 1974] инструктировали испытуемых о необходимости избежать якорения начальным показателем [Quattrone et. al., 1981] или о необходимости уделять внимание проблемам реального мира [Wansink et. al., 1998]. Эти действия не уменьшили или уменьшили только в незначительной степени интенсивность эффектов якорения и наложения. Более того, испытуемые, спрошенные о том, были ли они подвергнуты действию эффекта загрязнения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. [Wilson et. al., 1996].

Действия, существенно увеличивающие эффект загрязнения – это действия, помещающие испытуемых в интеллектуально трудные условия, такие, как непрерывное прослушивание последовательности слов в процессе работы [Gilbert et. al., 1988] или требование от испытуемых быстрых ответов [Gilbert and Osborne, 1989]. Гилберт [Gilbert et. al., 1988] связывает это с тем, что дополнительная задача влияет на способность отстроиться от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируем: явно нерелевантная информация по-прежнему якорит суждения и искажает догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают величину некого параметра. Люди недооценивают величину параметра в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьезной. Люди отрицают, что были заякорены и недооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются или ослабляются незначительно при финансовом вознаграждении, явных инструкциях избежать наложения и в ситуациях из реальной жизни. А теперь вспомните, сколько историй из лент новостей об искусственном интеллекте ссылаются на фильмы о Терминаторе, как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают боргов из фильма «Звездный путь».

Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? В прошлом не было фильмов — все, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в расчет, что фантастика есть фантастика. Журналистские упоминания о «Терминаторе» обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортер как бы считает видения Камерона чем-то, что уже однажды имело место в прошлом и вполне может случиться вновь — фильм вспоминается как если бы он был иллюстрирующим случаем из истории человечества. Я называю эту смесь якорения и доступности для восприятия логической ошибкой генерализации на основании художественного вымысла.

Похожей концепцией является ошибка «хорошей истории», предложенная Бостромом [Bostrom, 2001]. Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все возможные «хорошие истории» уже представлены в литературе.

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика — это не логика. Вдохновленные писатели знают, что одной правды мало: нельзя заставить поверить в невероятное событие из вашего произведения путем цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; рассказчик историй должен быть конкретным, твердым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда — это тяжелая работа, и — не для рассказчиков историй. Мы должны избегать не только одурачивания фантастикой в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, но также того, чтобы фантастика наложилась на наше мышление и стала точкой отсчета для наших суждений. И мы должны осознавать, что мы не всегда осознаем это наложение. В дискуссиях о глобальных рисках отнюдь не необыкновенны категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают красивые неудачи, но это — откровенная капитуляция.

Рассуждения, обусловленные аффектом

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве эвристики и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Словича [Slovic, 2002] две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки этому решению) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98 % от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85 % от 150 жизней» имело большую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98 % чего-нибудь это очень хорошо, потому что это очень близко к верхней границе процентной шкалы.

Файнакэйн [Finucane, 2000] исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как, например, ядерная энергетика, со своими оценками возможных рисков, в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым четыре разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи между предоставленной информацией о рисках и о преимуществах. В каждом случае новая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ. Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Файнакэйн обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами — предположительно потому, что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ганзах [Ganzach, 2001] обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на основании эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие низкий доход и высокий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соответствии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как это и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность, и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственный интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соответственно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

Пренебрежение масштабом

(2000 / 20000 / 200000) перелетных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путем накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были опрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2000, 20000 или 200000 птиц. Ответ, названный Установленная Готовность Платить (УГП), был в среднем 80 $ за 2000 птиц, 78 $ за 20000 и 88 $ за 200000 птиц. [Desvousges, 1993]. Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озера Онтарио, чем чтобы очистить загрязенные озера только части штата [Kahneman, 1986], и что жители четырех западных штатов в США готовы заплатить только на 28 % больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. [McFadden и Leonard, 1995]. Наиболее широко распространенное объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Канеман [Kahneman, 1999] пишет:

«История о птицах из опытов Девужа (Desvousges), вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно — образ истощенной птицы с намоченными черной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации»

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения [Kahneman и Knetsch, 1992] и пожертвование монетки ради доброго дела [Harrison, 1992]. Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объем денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определенную сумму «на экологию», и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Карсон и Митчелл [Carson and Mitchell„ 1995] сообщают, что информации об увеличении риска, связанного с питьем хлорированной воды с 0,004 до 2,43 на 1000 смертей в год (то есть в 600 раз) увеличивает установленную готовность платить (УГП) платить с 3,78 до 15,23 долларов (то есть 4 раза). Бэйрон и Грин [Baron and Greene, 1996] обнаружили, что изменение числа спасенных жизней в 10 раз не оказывает никакого эффекта на этот индекс.

Фезерстонхоу [Fetherstonhaugh, 1997], в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера, это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения готовности платить, соответствующие экспоненциальным изменениям масштаба. Канеман [Kahneman, 1999] интерпретирует это как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ: первоначальный образ вызывает большую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Альберт Сент-Дьёрди (Albert Szent-Györgyi) говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстранённо о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов». Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг не способен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в тысячу раз более сильную, чем горе на похоронах. Увеличение возможного риска с десяти миллионов смертей до ста миллионов не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление еще одного нолика на бумаге у нас перед глазами, что имеет столь небольшой эффект, что обычно необходимо изменить количество жертв на несколько порядков, чтобы заметить разницу экспериментально.

Калибровка и сверхуверенность

Насколько люди уверены в своих ошибочных оценках? В первом разделе этой статьи, посвященном эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Словик [Slovic, 1982] также отмечает:

«Одним из пагубных аспектов моделей рассуждений (эвристик) является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом исследовании по поводу причин смерти, людей просили сделать ставки на то, что они правы в своем выборе более частой среди двух причин смерти. [Fischoff, Slovic, и Lichtenstein, 1977]. В эксперименте №1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть, процент правильных ответов был близок к значению, которое следовало из этих ставок. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99.1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10000:1. Для ответов, на которые ставили 1000000:1, точность составляла 90 %, то есть, соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более половины ставок была выше, чем 50:1. Почти четверть — выше, чем 100:1. 30% респондентов в эксперименте № 1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства».

Этот кажущийся удивительным результат вполне обычен в литературе, посвященной моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчет неизвестного числа, такого, как количество «Врачей и хирургов» в желтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, насчет которой вы уверены на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже нее. Эти две границы образуют ваш интервал 98 % уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа [Alpert и Raiffa, 1982] задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведенным выше. Оказалось, что для 426 из них подлинные значения лежали за пределами 98 % интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно откалиброваны, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42,6%. Другую группу из тридцати пяти испытуемых попросили оценить 99,9% верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 испытуемых были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвертая группа из 35 испытуемых должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

В следующем эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки, и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку испытуемые ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но все еще весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Хинс и Вэнмарк [Hynes и Vanmarke, 1976] опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристенсен-Залански и Бушихед [Christensen-Szalanski и Bushyhead, 1981] опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Говоря словами Алперта и Раиффы [Alpert и Raiffa, 1982]: «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»

Лихтенштейн [Lichtenstein, 1982] произвел обзор четырнадцати исследований на основании тридцати четырех экспериментов, выполненных двадцатью тремя исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из исследований следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где испытуемым позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Булер [Buehler, 1994] попросил студентов-психологов предсказать важный параметр: время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если все пойдет «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Бюхлер [Buehler, 1994] опросил студентов о времени, к которому студенты на 50% уверены, на 75 % уверены и на 99 % уверены, что они закончат свои академические проекты. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили ко времени, оценивавшемуся в 99 % уверенности. Булер [Buehler et. al., 2002] пишет «результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, все равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Ньюби-Кларк [Newby-Clark et. al., 2000] обнаружили, что опросы испытуемых об их предсказаниях, основанных на наиболее реалистичном предположении, и опросы испытуемых об их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что все пойдет так, как планировалось, без неожиданных задержек и непредвиденных катастроф, то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай. В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая — систематической ошибки неподтверждения. Знание об эффекте калибровки — это опасное знание, поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чем они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых убеждений. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем, если бы вы никогда не слышали о калибровке. По этой причине — часто, несмотря на значительное искушение — я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, для того, чтобы я мог сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своем мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе адекватной, точно подтвержденной модели. Во всех случаях, когда эксперт утверждает, даже на основании точных вычислений, что событие имеет вероятность 10−6, он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10−8 шанс выиграть, то продавцы билетов бы разорились.

Апатия прохожего

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Лэйтен и Дэрли [Latane и Darley, 1969] открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации — не только индивидуально, но и коллективно. 75 % испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое испытуемых, не знающих об условиях опыта, о дыме сообщают только в 38 % случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10 % случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85 % случаев и только в 31 % случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности и игнорирования из-за неопределенности ситуации. Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберется с проблемой вместо них, и это ослабляет личную напряженность каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего. Чалдини [Cialdini, 2001] рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи — таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределенности ситуации является более тонким эффектом. Чалдини [Cialdini, 2001] пишет: «Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределенности естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит другого, скорее всего, спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределенности ситуации может объяснить, в отличие от индивидуального эгоизма, почему испытуемые не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность, как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счет этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о ее риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасен. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли еще кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Роберт Пирсиг (Robert Pirsig) сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гэрроу [Garreau 2005], по-видимому, утверждает, что сценарий постепенного усиления искусственного интеллекта является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке загрязнения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о когнитивных искажениях, чем не знать их. В противном случае мы попадем прямо во вращающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в когнитивных искажениях. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.

Джерри Кливер сказал о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду». Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированные супервирусы; катастрофы на ускорителе — на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает катастрофу на ускорителе, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание «Кастл Браво» вызвало взрыв в 15 мегатонн, вместо 4-8 мегатонн, по причине не учтенной термоядерной реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате, по крайней мере, один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к книге «Суждение в условиях неопределенности».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать. Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физика сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция. Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствие превосходными. Таким образом, рекрутер имеет высокую оценку своих способностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько когнитивных искажений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, объемного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше.

Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку. (Качелмейер и Шихета [Kachelmeier and Shehata, 1992] предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп «испанка» в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 10**7 – таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значительно большие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением. Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, которые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать вымирание человечества с абсолютным спокойствием. «Вымирание человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не ужасны, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.

Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной литературы, посвященной психологии глобальных рисков. А она должна быть. В математическом представлении теории решений на основании теремы Байеса имеется концепция ценности информации — ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом — ценность вычислений, охватывающих некие данные, определяется на основе самих данных. [Good, 1952]; [Horvitz et. al., 1989].

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Cент-Дёрджи (Albert Szent-Györgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они простираются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.

Рекомендуемое чтение

1. «Суждение в условиях неопределенности: эвристика и систематические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Под редакцией Даниеля Канемана, Пола Словика и Амоса Тверски (еdited by Daniel Kahneman, Paul Slovic, and Amos Tversky). Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание дает обобщенное, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
2. «Решения, ценности и рамки». Choices, Values, and Frames. (2000.) Под редакцией Даниеля Канемана и Амоса Тверски (еdited by Daniel Kahneman and Amos Tversky). «Эвристика и систематические модели мышления». Heuristics and Biases. (2003.) Редактировано Томасом Джиловичем, Дейлом Гриффином и Даниелем Канеманом (Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman). Эти два сборника статей дают обзор современного состояния науки об эвристике и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
3. «Рациональный выбор в неопределенном мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment, Робин Доуз (by Robyn Dawes). Первая редакция 1988: Доуз и Кэган (by Dawes and Kagan), вторая редакция 2001: Доуз и Хэсти (by Dawes and Hastie). Эта книга предназначена, чтобы ввести в тему когнитивных искажений широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.

Библиография

1. Alpert, M. and Raiffa, H. 1982. A Progress Report on the Training of Probability Assessors. In Kahneman et. al. 1982: 294-305.
2. Ambrose, S.H. 1998. Late Pleistocene human population bottlenecks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution 34:623-651.
3. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125.
4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
5. Brenner, L. A., Koehler, D. J. and Rottenstreich, Y. 2002. Remarks on support theory: Recent advances and future directions. In Gilovich et. al. (2003): 489-509.
6. Buehler, R., Griffin, D. and Ross, M. 1994. Exploring the «planning fallacy»: Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67: 366-381.
7. Buehler, R., Griffin, D. and Ross, M. 1995. It’s about time: Optimistic predictions in work and love. Pp. 1-32 in European Review of Social Psychology, Volume 6, eds. W. Stroebe and M. Hewstone. Chichester: John Wiley & Sons.
8. Buehler, R., Griffin, D. and Ross, M. 2002. Inside the planning fallacy: The causes and consequences of optimistic time predictions. In Gilovich et. al. 2003: 250-270.
9. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.
10. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73.
11. Chapman, G.B. and Johnson, E.J. 2002. Incorporating the irrelevant: Anchors in judgments of belief and value. In Gilovich et. al. (2003).
12. Christensen-Szalanski, J.J.J. and Bushyhead, J.B. 1981. Physicians“ Use of Probabilistic Information in a Real Clinical Setting. Journal of Experimental Psychology: Human Perception and Performance, 7: 928-935.
13. Cialdini, R. B. 2001. Influence: Science and Practice. Boston, MA: Allyn and Bacon.
14. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.
15. Dawes, R.M. 1988. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich.
16. Desvousges, W.H., Johnson, F.R., Dunford, R.W., Boyle, K.J., Hudson, S.P. and Wilson, N. 1993. Measuring natural resource damages with contingent valuation: tests of validity and reliability. Pp. 91-159 in Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
17. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300.
18. Finucane, M.L., Alhakami, A., Slovic, P. and Johnson, S.M. 2000. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13(1): 1-17.
19. Fischhoff, B. 1982. For those condemned to study the past: Heuristics and biases in hindsight. In Kahneman et. al. 1982: 332–351.
20. Fischhoff, B., and Beyth, R. 1975. I knew it would happen: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 13: 1-16.
21. Fischhoff, B., Slovic, P. and Lichtenstein, S. 1977. Knowing with certainty: The appropriateness of exterme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3: 522-564.
22. Ganzach, Y. 2001. Judging risk and return of financial assets. Organizational Behavior and Human Decision Processes, 83: 353-370.
23. Garreau, J. 2005. Radical Evolution: The Promise and Peril of Enhancing Our Minds, Our Bodies – and What It Means to Be Human. New York: Doubleday.
24. Gilbert, D. T. and Osborne, R. E. 1989. Thinking backward: Some curable and incurable consequences of cognitive busyness. Journal of Personality and Social Psychology, 57: 940-949.
25. Gilbert, D. T., Pelham, B. W. and Krull, D. S. 1988. On cognitive busyness: When person perceivers meet persons perceived. Journal of Personality and Social Psychology, 54: 733-740.
26. Gilovich, T. 2000. Motivated skepticism and motivated credulity: Differential standards of evidence in the evaluation of desired and undesired propositions. Presented at the 12th Annual Convention of the American Psychological Society, Miami Beach, Florida.
27. Gilovich, T., Griffin, D. and Kahneman, D. eds. 2003. Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge, U.K.: Cambridge University Press.
28. Good, I. J. 1952. Rational decisions. Journal of the Royal Statistical Society, Series B.
29. Griffin, D. and Tversky, A. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology, 24: 411-435.
30. Harrison, G. W. 1992. Valuing public goods with the contingent valuation method: a critique of Kahneman and Knestch. Journal of Environmental Economics and Management, 23: 248–57.
31. Horvitz, E.J., Cooper, G.F. and Heckerman, D.E. 1989. Reflection and Action Under Scarce Resources: Theoretical Principles and Empirical Study. Pp. 1121-27 in Proceedings of the Eleventh International Joint Conference on Artificial Intelligence. Detroit, MI.
32. Hynes, M. E. and Vanmarke, E. K. 1976. Reliability of Embankment Performance Predictions. Proceedings of the ASCE Engineering Mechanics Division Specialty Conference. Waterloo, Ontario: Univ. of Waterloo Press.
33. Johnson, E., Hershey, J., Meszaros, J.,and Kunreuther, H. 1993. Framing, Probability Distortions and Insurance Decisions. Journal of Risk and Uncertainty, 7: 35-51.
34. Kachelmeier, S.J. and Shehata, M. 1992. Examining risk preferences under high monetary incentives: Experimental evidence from the People’s Republic of China. American Economic Review, 82: 1120-1141.
35. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld.
36. Kahneman, D. and Knetsch, J.L. 1992. Valuing public goods: the purchase of moral satisfaction. Journal of Environmental Economics and Management, 22: 57-70.
37. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235.
38. Kahneman, D., Slovic, P., and Tversky, A., eds. 1982. Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press.
39. Kahneman, D. and Tversky, A. 2000. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press.
40. Kamin, K. and Rachlinski, J. 1995. Ex Post ; Ex Ante: Determining Liability in Hindsight. Law and Human Behavior, 19(1): 89-104.
41. Kates, R. 1962. Hazard and choice perception in flood plain management. Research Paper No. 78. Chicago: University of Chicago, Department of Geography.
42. Knaup, A. 2005. Survival and longevity in the business employment dynamics data. Monthly Labor Review, May 2005.
43. Kunda, Z. 1990. The case for motivated reasoning. Psychological Bulletin, 108(3): 480-498.
44. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.
45. Latane, B. and Darley, J. 1969. Bystander «Apathy», American Scientist, 57: 244-268.
46. Lichtenstein, S., Fischhoff, B. and Phillips, L. D. 1982. Calibration of probabilities: The state of the art to 1980. In Kahneman et. al. 1982: 306–334.
47. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.
48. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
49. Newby-Clark, I. R., Ross, M., Buehler, R., Koehler, D. J. and Griffin, D. 2000. People focus on optimistic and disregard pessimistic scenarios while predicting their task completion times. Journal of Experimental Psychology: Applied, 6: 171-182
50. Quattrone, G.A., Lawrence, C.P., Finkel, S.E. and Andrus, D.C. 1981. Explorations in anchoring: The effects of prior range, anchor extremity, and suggestive hints. Manuscript, Stanford University.
51. Rasmussen, N. C. 1975. Reactor Safety Study: An Assessment of Accident Risks in U.S. Commercial Nuclear Power Plants. NUREG-75/014, WASH-1400 (U.S. Nuclear Regulatory Commission, Washington, D.C.)
52. Rogers, W. et al. 1986. Report of the Presidential Commission on the Space Shuttle Challenger Accident. Presidential Commission on the Space Shuttle Challenger Accident. Washington, DC.
53. Sanchiro, C. 2003. Finding Error. Mich. St. L. Rev. 1189.
54. Schneier, B. 2005. Security lessons of the response to hurricane Katrina. http://www.schneier.com/blog/archives/2005/09/security_lesson.html. Viewed on January 23, 2006.
55. Sides, A., Osherson, D., Bonini, N., and Viale, R. 2002. On the reality of the conjunction fallacy. Memory & Cognition, 30(2): 191-8.
56. Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.
57. Slovic, P., Fischoff, B. and Lichtenstein, S. 1982. Facts Versus Fears: Understanding Perceived Risk. In Kahneman et al. 1982: 463–492.
58. Strack, F. and Mussweiler, T. 1997. Explaining the enigmatic anchoring effect: Mechanisms of selective accessibility. Journal of Personality and Social Psychology, 73: 437-446.
59. Taber, C.S. and Lodge, M. 2000. Motivated skepticism in the evaluation of political beliefs. Presented at the 2000 meeting of the American Political Science Association.
60. Taleb, N. 2001. Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Pp. 81-85. New York: Textre.
61. Taleb, N. 2005. The Black Swan: Why Don’t We Learn that We Don’t Learn? New York: Random House.
62. Tversky, A. and Kahneman, D. 1973. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 4: 207-232.
63. Tversky, A. and Kahneman, D. 1974. Judgment under uncertainty: Heuristics and biases. Science, 185: 251-284.
64. Tversky, A. and Kahneman, D. 1982. Judgments of and by representativeness. In Kahneman et. al. (1982): 84-98.
65. Tversky, A. and Kahneman, D. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90: 293-315.
66. Wansink, B., Kent, R.J. and Hoch, S.J. 1998. An Anchoring and Adjustment Model of Purchase Quantity Decisions. Journal of Marketing Research, 35(February): 71-81.
67. Wason, P.C. 1960. On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12: 129-140.
68. Wilson, T.D., Houston, C., Etling, K.M. and Brekke, N. 1996. A new look at anchoring effects: Basic anchoring and its antecedents. Journal of Experimental Psychology: General. 4: 387-402.

Умные персонажи первого уровня

Тут ссылка на сцену из «Хоббит 2: Пустошь Смауга», которой не было в книге.

Сцена, показанная в кино, развивается следующим образом: тринадцать гномов и Бильбо Бэггинс, после полутора фильмов сражений и дороги, приходят туда, где Торин, лидер гномов, ожидает найти секретный вход в потерянное гномское королевство Эребор. Этот вход открывается только в определенный день года (день Дурина) и у них есть расшифрованная карта, говорящая «Встань у серого камня, когда стрекочет дрозд, и последний луч света осветит замочную скважину в День Дурина».

Потом солнце садится за гору, а они так и не находят замочную скважину. И тогда Торин…мне больно даже писать это…Торин с отвращением выбрасывает ключ и все гномы начинают спускаться с горы, оставляя Бильбо, наблюдающего за каменной стеной. И именно поэтому Бильбо единственный видит как свет поднимающейся Луны внезапно выявляет искомую замочную скважину.

Киношный Торин с отвращением выбрасывает ключ и уходит?

Я бы так не сделал.

Вы бы так не сделали.

Мы по крайней мере подождали хотя бы час, на случай, если еще какой-то луч солнца прорвется с той стороны горы, и даже тогда мы бы вернулись завтра, просто на всякий случай. И если бы и тогда не вышло, мы бы попытались еще через год. Мы бы не выбросили ключ. Мы бы не пошли сразу же обратно, как только что-то пошло не так.

Сценарист думал, что это будет Драматичный Момент — оставить Бильбо в одиночку смотреть на стену. Но ценой этого Драматичного Момента стал выход фильма со странными эксцентричными созданиями, которые думают не так как мы с вами; так что Драматичный Момент ощущается дурацким, по крайней мере для меня.

Мы могли бы сказать, что у этих странных существ недостает определенного типа понимания. Сценарист хочет, чтобы мы кричали на киношного Торина «Нет! Глупец! Не делай этого!», но похоже, что сценарист не понимает, что Торин тоже бы внутри кричал на себя, что Торин мог понять глупость творимого им на экране. У киношного Торина нет тихого голоса в голове, который кричал бы все это, какой есть у нас. Мы можем называть киношного Торина Голливудским Зомби, или г-зомби, если коротко.

Ладно, теперь давайте поговорим о концепции «умных персонажей».

Если вы посмотрите, то обнаружите, что в большей части художественной литературы «умный» означает персонажа, о котором сказано (но не показано), что он владеет несколькими языками, которого мы видим выигрывающим в шахматы у кого-то, кого нам представляют как гроссмейстера. Если это научно-фантастическая литература, то «гений» может изобретать различные гаджеты и говорить, используя техническую терминологию. В качестве стереотипного шаблона для «интеллекта» «гений» может быть показан как невежественный в вопросах дружбы или романтических отношений. Если это фильм или телевизионное шоу, тогда «умные» персонажи (чаще всего злодеи) говорят с британским акцентом.

Для ученого-когнитивиста, интеллект это род когнитивной работы, деятельность, проводимая мозгом — необязательно человеческим — аналогично тому, как двигатель машины создает крутящий момент и толкает машину вперед. Что это за когнитивная работа? Мы можем сказать «Моделирование, предсказание и управление реальностью.» Или мы могли бы сказать «Производство действий, которые приближают будущее к нужным исходам в порядке предпочтения.»

Голливудская концепция интеллекта не имеет ничего общего с когнитивной работой. Вместо этого она представляет собой социальный стереотип. То есть то, как «умные персонажи» одеваются, как они разговаривают и сколько их надо, чтобы поменять лампочку.

Я говорю все это чтобы как можно точнее обозначить голливудскую концепцию «интеллекта» и откинуть ее в сторону как заблуждение, когда мы зададимся вопросом, как мы могли описать более умного Торина.

Более умный Торин не изобрел бы потрясающий новый вид щитов из супердуба.

Более умный Торин не был бы очаровательно (или омерзительно) невежественен в романтике.

Более умному Торину не было бы необходимости использовать технически звучащие слова или декламировать точные числа с множеством значащих цифр.

Более умный Торин не спланировал бы втайне всю схватку, чтобы дать Смаугу ложное ощущение безопасности. Мы еще поговорим о том, как правильно создать такой вид рассудительности, который можно было бы назвать хитроумным, в главе про умных персонажей второго уровня. Но нет смысла пытаться писать про таких персонажей, если вы не овладели первым уровнем. А также интеллект первого уровня куда важнее.

Более умный Торин не нашел бы тут же замочную скважину при помощи удивительно острых способностей к восприятию. Можно сказать читателю, что у персонажа острое зрение, но это не вложит в персонажа искру внутренней жизни и оптимизации.

Более умный Торин даже не решил бы загадку, используя подсказки, явно раскиданные по предыдущим главам и которые читатель, в принципе, мог бы найти и распознать сам — хотя для персонажа этот подвиг продемонстрировал бы настоящую когнитивную работу (что тоже будет раскрыто в рассказе про второй уровень интеллекта).

Нет, шагом вперед к более умному Торину было бы просто чтобы Торин вел себя так, словно внутри него есть личность, которая знает, что лучше всего сделать, словно бы вы или я были бы на его месте, в противовес г-зомби, который выкидывает ключ, чтобы Бильбо был обеспечен Драматичным Моментом.

Шагом вперед, в простейшей и обыкновеннейшей манере, было бы иметь персонажа, который производил бы впечатление того, кто делает лучшее, что можно сделать в данной ситуации (для данного персонажа) — который оптимизирует свою собственную жизнь, а не того, кто ведет себя согласно сценарию. Нет, обязательно, супер-дупер-невероятно умный оптимизирует; великий урок Искусственного Интеллекта в том, что каждодневная рутинная оптимизация является наибольшей трудностью для интеллекта человеческого уровня. Не изобретать новый щит из супердуба и даже не решать загадку; тот тип «оптимизации», о котором мы говорим, проистекает из внутренней искры, которая пытается сделать свою жизнь лучше, а не послужить вашему сценарию. Это та искра, которой нет у киношного Торина; та искра, которая могла бы услышать внутри себя то же, что кричат со зрительских мест; та искра, что не выбросила бы ключ.

Интеллект через эмпатию и уважение

Если вы хотите, чтобы у ваших персонажей был интеллект первого уровня, вы должны использовать эмпатию (см. Гл. 27 ГПМРМ). Вы должны поддерживать работу своего мозга в режиме «песочницы», чтобы моделировать мозг персонажа, заставлять свой мозг быть похожим на его.

Другая вещь, которую вы можете, но не должны, делать — использовать распознавание шаблонов для заполнения пустот. Если вы видите изображение куста в раскраске, вам не нужно размышлять о фотонах и длинах света, чтобы понять, что куст нужно закрасить зеленым цветом, подобно другим виденным вами кустам или изображениям кустов. Вам также не нужно влезать в шкуру вампира для понимания того, что вампир должен шипеть при разговоре или иметь холодную кожу. Небо синее, кусты зеленые, вампиры шипят и пьют чью-либо кровь…

Такой вампир не будет обладать интеллектом первого уровня, и не будет особо оригинальным, если вы вводите его в действие только чтобы заполнить пустоту в сюжете. Если же вы хотите найти кажущееся наилучшим действие для поведения ваших персонажей, вам придется жить внутри их голов и давать им взаймы силу своего интеллекта, чтобы подарить им внутреннюю искру.

Я могу предложить вам две основные техники, чтобы вот так влезть персонажу в голову. Первая очевидная техника это мерить по себе: Носили бы вы старомодную одежду того времени, когда вы родились, если бы были вампиром? Остановитесь и подумайте об этом. Носили бы? Какие соображения вы бы принимали во внимание? Что бы вы сделали кажущегося наилучшим для оптимизации этих соображений и остатка вашей жизни, вместо носки старой одежды во славу сюжета, чтобы читатели легко могли распознать вас как вампира, вставленного, чтобы заполнить пустоту в сюжете?

Вторая и менее очевидная техника это метод уважения. Уважение следует за эмпатией и падает у любого персонажа, для которого у вас есть внутренняя необходимость его принизить. После одиннадцатого сентября некоторые политики заявляли, что террористы были «трусами». Какая очевидная ложь. Если вы представите себя на борту самолета летящим на самоубийственную миссию, желающим осознанно врезаться в здание, вы поймете, что для этого требуется определенный объем храбрости.

Не то, чтобы люди вообще не могли сопереживать злодеям. Джордж Лукас с удивлением обнаружил что множество тех, кто смотрел Звездые Войны, восхищаются Дартом Вейдером. Способность предсказывать действия противника является важным наследственным применением эмпатии. Но нить эмпатии рвется, когда у людей появляется внутренняя необходимость понизить чей-то статус.

Ладно, теперь рассмотрим фрагмент оригинального «Гарри Поттер и Философский Камень». Каноничная Гермиона обращается к каноничному Гарри перед тем, как он собирается двинуться дальше к опасности:

— Гарри, ты великий волшебник, знаешь.

— Но я не так хорош, как ты, — произнёс Гарри, когда Гермиона разжала объятия. Он чувствовал себя смущённым.

— Я? — удивилась Гермиона. — А что я — ум и книги, вот и всё! Но, оказывается, есть куда более важные вещи — например, дружба и храбрость. И, Гарри… будь осторожен!

Теперь, прежде чем вы подумаете, не больна ли была Роулинг, когда писала это, учтите слова самой Роулинг, что Гермиона была персонажем, которого она писала с себя, и Роулинг самой хватило «ума и книг» чтобы стать миллионершей. В таком ключе это самоосуждение, а не унижение гениев.

Но даже с этим такой отрывок вы не можете представить во время чтения МРМ, потому что МРМ не принижает книги и ум. Дружба и храбрость тоже имеют значение в МРМ; но МРМ не делает уступок сантиментам, что добродетель начитанности по своему статусу ниже добродетели храбрости.

Вы не можете описать по-настоящему гениального персонажа, если ощущаете необходимость принизить его, если у вас есть ощущение, что вы должны не дать ему быть слишком умным, потому что это бы нарушило мораль истории, что Храбрость Важнее Мудрости или что-то подобное. Такое принижение не столько затмевает их искру оптимизации, сколько нарушает вашу эмпатию с персонажем: вы с трудом можете испытывать эмпатию к кому-то, чей статус вы хотите понизить, потому что ваш заточенный под политику мозг не хочет рассказывать их настоящую историю.

Это не говорит о том, что персонажи не должны выучивать ценные жизненные уроки, но они должны учиться, ну, уважительно. Если вы сами помните, что значит выучить с трудом полученный урок, вы можете держать в сознании картину того, что значит сделать такую ошибку честно пытаясь сделать наилучшее, вместо того, чтобы сделать ошибку в процессе служения сюжету или для сохранения пониженного статуса персонажа.

И чтобы лучше показать связь, посредством которой уважение создает интеллект: если вы создаете персонажа, которого вы по-настоящему уважаете, вы постесняетесь моделировать его как глупого. Цинизм профессора Квиррелла (но, насколько я знаю, не его намерение убивать) основан на смеси цинизма двух моих друзей, Робина Хансона и Майкла Вассара. Я уважаю их в достаточной мере, чтобы даже когда они ошибаются, я в общем видел их как ошибающихся убедительно. Когда я ментально привязал профессора Квиррелла к моей модели Хансона и Вассара, мой мозг заставил профессора Квиррелла генерировать убедительный цинизм и вставлять как можно больше гранул истины в его слова, даже несмотря на то, что я сам не согласен с его выводами.

Это приводит меня ко второму кратчайшему пути создания персонажа с интеллектом первого уровня: просто нагло украдите чей-то образ, из реальной жизни или из литературы, чей интеллект вы по-настоящему уважаете.

Вы можете просто описать персонажа так, словно он Шерлок из сериала ББС или Майлс Форкосиган или любая другая личность чьим мышлением вы интуитивно восхищаетесь. Ваш собственный литературный голос возьмет верх и затмит все, и большая часть ваших читателей не заметит сходства, пока вы не скажете им… если вы симпатизируете Шерлоку или Форкосигану так, чтобы ощущать их внутренние жизни, если вы создаете их в их новой роли продолжая выписывать их жизнь изнутри. Если же вы просто используете шаблонные образы, чтобы заполнить их крылатыми фразами из телевидения, тогда да, люди заметят.

Или же, возвращаясь к более простому трюку, вы можете сделать проверку на интеллект путем представления себя в шкуре персонажа. Что бы вы сделали, если бы стали вампиром? А что бы вы сделали, если бы вас любили вампир и оборотень? Если ответ является чем-то, что вы никогда не видели раньше в историях, то возможно у вас в руках готовый сюжет…

Или возможно вы пишете историю со злодеем и у него есть база в вулкане. Какой бы она была? Ладно, есть и другие пути ответить на этот вопрос, но один из них этот: какую базу вы бы отстроили в вулкане, если бы вам было нужно такую сделать? Был бы у вас там батут? Представьте, что смотрите фильм, где на злодейской базе в жерле вулкана в тронном зале стоит батут, но не потому что это комедия, а потому что злодей просто делает те вещи, которые вы бы сделали на своей базе и никто не сказал бы вам «нет». Возможно злодейка носила бы удобные штаны, а слуг бы заставляла одеваться в черную кожу. Я бы посмотрел такой фильм, если бы он не был таким же, как фильмы, построенные на заполнении шаблонов.

Я заметил, что мне часто нравятся романы, написанные от первого лица; и я подозреваю, что когда авторы пишут истории и используют местоимение «я» для голоса персонажа, они более вероятно будут пытаться быть умными временами. (примеры: роман Jumper (но не фильм); фанфики Dreaming of Sunshine, The Lie I’ve Lived, и Who I Am.) Как-то легче писать «Торин выбросил ключ и ушел», чем «я выбросил ключ и ушел» Если вы представите себя настоящего буквально в шкуре Торина, тогда вместо того чтобы пытаться заполнить шаблон «что бы сделал тупой гном» вы возможно представили бы как думали бы на самом деле. Если вы представите настоящего себя внезапно перемещенным в тело Торина, тогда вы представите настоящую живую личность за его глазами.

Правда, для более продвинутых писателей повествование от третьего лица имеет преимущества над первым лицом. Особенно для персонажей с нетипичными мыслительными процессами (смотрите секцию про интеллект третьего уровня) где вы можете захотеть отступить назад к большему всемогуществу и описать их мыслительные процессы более подробно. Но повествование от первого лица и трюк подстановки себя на место персонажа являются отличной начальной точкой для ломки ментальной привычки к описанию Литературных Чужих.

Так или иначе, вы должны проживать жизнь за своих персонажей, чтобы она у них была; у них нет возможности где-то еще занять мозгов, кроме как у вас.

Обдуманные действия и умные ошибки

Одна из неизбежных сложностей при попытке поместить искру оптимизации внутри ваших персонажей это то, что никто из них не хочет, чтобы ваш сценарий осуществился.

Вы хотите эпической борьбы злодея и героя. Или возможно у вас нет отдельного антагониста и герой противостоит Природе, или самому себе, или ему нужно разрешить романтический вопрос. Вне зависимости от конкретной ситуации, если у протагониста не будет препятствий на пути к тому, чего он хочет, у вас история не получится.

Но протагонист не хочет ваших препятствий. Протагонист тоже смотрел романтические комедии и делает все, чтобы избежать ошибок коммуникации из этих комедий. Злодей хочет, чтобы герои умерли в первой главе, и посылает дополнительных солдат, чтобы быть уверенным, что это произойдет. Каждый персонаж с интеллектом первого уровня хочет взять ваш сюжет, основанный на конфликте, и выкинуть его в окно.

Это заставляет ваш мозг попотеть. Вы должны так умело создать ситуацию для каждого персонажа, чтобы, учитывая то, что им известно, результат работы их внутренней искры работал на ваш сюжет.

Описание умных злодеев означает, что вам придется немало подумать над тем, как, черт побери, герои выберутся живыми со злодейской базы, поскольку у вас нет возможности просто сделать вентиляционные проходы базы достаточно большими, чтобы по ним можно было проползти.

Скорее всего вам придется выкинуть вашу первую идею, отказаться от второй и обдумывать проблему в течение недели, прежде чем вы придете к такой идее, где никто из персонажей не будет выглядеть полностью глупым. Если вы находите лазейку в 63 главе, вы используете свою авторскую прерогативу на путешествия во времени, возвращаетесь и делаете нечто, что убирает эту лазейку еще в 17 главе.

Моей первой идеей для способа побега Гарри из Азкабана было то, что он прорежет себе путь частичной трансфигурацией и улетит на обычной метле. Но другие волшебники могли бы прорезать стены обычной магией, и, если бы из Азкабана было так легко бежать, кто-нибудь уже сделал бы это. Я понял, что у авроров тоже должны были бы быть собственные метлы. Что же касается очень быстрой метлы, которая бы обогнала метлы авроров, как это часто бывает в обычных захватывающих романах, — чушь, Амелия Боунс подумала бы об этом и убедилась бы, что у ее людей достаточно хорошие метлы, чтобы не дать убежать даже на «Молнии». Гарри нужно было придумать план побега, который бы содержал такой элемент, какой Амелия Боунс не могла ожидать и к какому не могла приготовиться, даже при условии, что она пытается быть умной.

Это требует немалой работы, а писатели — люди ленивые. Вот почему голливудский злодей оставляет героя в смертельной ловушке, смеется и выходит из комнаты.

Иногда у вас не будет иного выбора, кроме как заставить вашего персонажа сделать ошибку; вы даже можете желать, чтобы персонаж сделал эту ошибку, поскольку вы пытаетесь что-то построить на этом. Вот почему в заголовке написано «обдуманные действия», а не «оптимальные действия». Но да, скажу вам, тут надо быть крайне осторожным, поскольку, боюсь, здесь легко скатиться обратно к трясине Глупости, Индуцированной Сюжетом. Уважаемый персонаж не должен совершать глупых ошибок.

В идеале, если ваш протагонист делает что-то неправильное, то это должно быть что-то правдоподобное настолько, чтобы одурачить большинство читателей при первом прочтении, казаться обдуманным и хорошим действием, даже если двенадцать глав спустя сам персонаж оглядывается и проклинает все, потому что было множество путей сделать лучше. (Смотрите, например, половину того, что Гарри делает в МРМ, и ранние ревью, которые остались от тех глав, которые были изначально.) Если ваш сюжет не позволяет персонажу понять то, что, как вы знаете, должно быть правдой, то вы не можете заставить их «просто подумать об этом», прийти к другому пониманию, которое отлично объясняет наблюдения персонажа. (Но не выкручивайте ваш мир, чтобы солгать персонажу. Антагонисты могут лгать, реальность — нет. Если ваш мир лжет персонажу, то загадки истории становятся неразрешимы.)

Ваш персонаж может быть не в состоянии решить абсолютно все проблемы в отдельный момент времени и его действия могут быть не оптимальны, но они должны всегда быть обдуманны. Когда вы должны заставить умного персонажа сделать ошибку, эта ошибка должна быть результатом обдумывания почти правильной мысли и единственного небольшого неправильного когнитивного шага.

Часть смысла МРМ в том, чтобы провести читателя вместе с Гарри через процесс обучения Гарри на его ошибках. Это требует того, чтобы ошибки были. Но это не значит, что Гарри внезапно превращается в антирационалиста, когда этого требует сюжет. Это не значит, что история пытается аккуратно оправдать ошибки Гарри. Это не значит, что история заставляет Гарри эмоционально перевозбудиться в момент, когда сюжет требует ошибки, чтобы у автора было хорошее оправдание за глупость персонажа в этом моменте. Ошибки Гарри — это результат попыток Гарри быть рациональным, попыток сделать что-то правильно, попыток сделать обдуманное и оптимальное действие, которые кончились недостаточно хорошо.

Из МРМ, 78 глава:

«Позже, оглядываясь назад, Гарри задумается о том, что во всех прочитанных им фантастических романах люди всегда совершают большой, значимый выбор по большим, значимым причинам. Гэри Селдон создал Основание, чтобы на обломках Галактической Империи выстроить новую империю, а не потому, что ему хотелось выглядеть значительнее, руководя собственной исследовательской группой. Рейстлин Маджере отказался от своего брата потому, что хотел стать богом, а не потому, что плохо разбирался в человеческих отношениях и не хотел просить совета, как их улучшить. Фродо Бэггинс взял Кольцо потому, что был героем, желающим спасти Средиземье, а не потому, что было бы слишком неловко отказаться. Если бы кто-то когда-нибудь написал истинную историю мира — хотя никто и никогда не сможет и не захочет — наверняка 97% всех ключевых моментов Судьбы оказались бы слепленными из лжи, салфеток и незначительных мелких мыслей, которые человек мог бы легко переиначить.

Гарри Джеймс Поттер-Эванс-Веррес посмотрел на Гермиону Грейнджер, сидевшую на другом конце стола, и почувствовал, что ему не хочется беспокоить её, когда она, видимо, и так уже в плохом настроении.

Затем Гарри подумал, что наверняка будет более разумно сначала поговорить с Драко Малфоем, чтобы иметь возможность совершенно однозначно уверить Гермиону в том, что Драко на самом деле ничего против неё не замышляет.

Позже, после ужина, Гарри спустился в подземелья Слизерина и услышал от Винсента «Босс не хочет, чтобы его беспокоили»… У него мелькнула мысль, что, наверное, ему стоит узнать, не согласится ли Гермиона поговорить с ним прямо сейчас. Он подумал, что ему пора просто начать разгребать всю эту кучу, пока она не соберётся ещё больше. Гарри спросил себя, быть может, он просто медлит? Может, его разум просто нашёл удобную отговорку, чтобы оставить кое-что неинтересное-но-необходимое на потом?

Он правда об этом думал.

А потом Гарри Джеймс Поттер-Эванс-Веррес решил, что он просто поговорит с Драко Малфоем на следующее утро, после воскресного завтрака, а уже потом поговорит с Гермионой.

Люди постоянно так делают».

Подлинные моральные конфликты

«Тройной контакт», моя самая популярная работа, если не считать МРМ, никогда не задумывалась как серьезная вещь. Например там была такая вещь, как корабельный Форчан.

И меня удивило, когда профессиональные авторы в области научно-фантастической литературы, такие как Дэвид Брин и Питер Уотс, сделали обзоры на мое произведение и похвалили его. Я сидел и думал: «Что же я, черт побери, сделал правильно?»

Центральный моральный конфликт в «Тройном контакте» (ТК сокращенно) — открытый вопрос, сколько боли или страданий мы хотим видеть в утопии, мире, хорошем настолько, насколько это вообще достижимо. Я ранее уже рассматривал этот вопрос в серии эссе Fun Theory Sequence. Я нерешительно подобрался к ответу «Нормально иметь немного боли и страдания, просто они должны иметь больше смысла, чем в нынешнем состоянии дел»; но я хорошо понимал, что это может быть просто точкой зрения такого жителя 21 века, как Элиезер Юдковский, и что когда большая часть боли будет сведена к нулю, дети наших детей могут просто пожать плечами и уничтожить оставшуюся часть.

Есть традиция рационалистов, известная в узких кругах как steelmanning (прим. пер. — не нашел русского перевода. Вкратце steelmanning представляет собой нечто обратное уловке «чучело», strawman, и заключается в ответе на наиболее сильную форму аргумента, представленного оппонентом, даже если эта форма не была озвучена). Данная практика имеет свои подводные камни, и я разобрал некоторые из них в моем эссе Against Devil’s Advocacy. Но, в общем, вы можете думать о принципе атаковать сильнейшие аргументы противоположной стороны как об интеллектуальной версии отвращения от Мэрю Сью. Если вам противостоит обоснованно сильная оппозиция, то вам надо сделать так, чтобы она казалась сильной. Если вы заставите ее казаться слабой, чтобы ее легко можно было победить, то это низко: это показывает вашу собственную слабость.

Я знал, что мои собственные симпатии на стороне Веселых (прим. пер. — в оригинале Fun, как я понимаю, так автор называет человеческую сторону в «Тройном контакте»). Так что мой инстинкт автоматически предложил сделать Сверхсчастливых, сторону против боли в ТК, звучащую как можно убедительней. Я хотел, чтобы читатель ощутил силу позиции Сверхсчастливых и при этом симпатизировал персонажам-людям, когда они бы думали, правы ли. Я определенно не хотел ослаблять позицию Сверхсчастливых для показания того, насколько верна человеческая позиция. Тогда бы возникало нездоровое ощущение, как при чтении «Атлант расправил плечи», ощущение, что я нечестен по отношению к обоснованной позиции таких мыслителей, как Дэвид Пирс.

В одной из своих работ, к несчастью не могу вспомнить в какой, Орсон Скотт Кард отмечает, что пусть конфликт между Добром и Злом может быть основой хорошей истории, он и вполовину не так интересен, как конфликт между Добром и Добром.

Вопрос полного уничтожения боли против простого улучшения, Сверхсчастливые против Веселых, был центральным моральным конфликтом «Тройного контакта». Движущее слово — «конфликт». Я позже понял, что причиной, по которой я получил столько внимания в сторону истории с корабельным Форчаном, было то, что я случайно сделал верную вещь по литературным стандартам: я выбрал значительный конфликт в качестве центральной части истории, дилемму, в которой сам не был уверен, в которой я видел сильные аргументы с обеих сторон. Мои steelmanning-инстинкты заставили меня раздуть этот конфликт, заставить Сверхсчастливых казаться настолько убедительными, насколько возможно, то есть в литературном эквиваленте — сделать злодеев сильнее. (Ни один профессиональный редактор никогда не присылал историю обратно автору с пометкой «Этот злодей слишком силен и его нужно сделать слабее.»)

Подлинный моральный конфликт является в литературе витамином достаточно редким, чтобы «Тройной конфликт» получил серьезное внимание критиков, несмотря на наличие корабельного Форчана. Вы читали множество историей, в которых есть две стороны с различными моралями, но где нет такой вещи, как моральный конфликт. Почти всегда ясно, что автор думает о том, на какой стороне вы должны быть. «Властелин колец» не спрашивает, мог бы Саруман в итоге развить промышленность. «Атлант расправил плечи» не приглашает вас задуматься вместе с автором, является ли капитализм хорошей идеей или был ли путь Джона Галта единственно правильным; вместо этого каждый, кто идет возражать против капитализма, был изображен как слабый, презренный человек со склонностью к криминалу.

Неправильный путь для попытки создания баланса — писать «морально сомнительную» историю Зла против Зла, где обе стороны изображены как подверженные испорченности и коррупции. Это точно плохой ход с точки зрения литературы. Такие истории не создают симпатию-с-моральными-вопросами, потому что никто в этих историях не пытается оптимизировать этику, сделать что-то правильно. У вас не может быть персонажей, которые бьются над открытым вопросом, что лучше всего сделать, если никто в истории не рассматривает вопросы, которые выглядят хотя бы отдаленно убедительными. Ослабление сильного конфликта Добра с Добром до Серого против Серого, не говоря уже о Зле против Зла, — это литературный эквивалент того, как если бы вы отобрали у ваших персонажей пушки и крутые костюмы и отправили их в песочницу драться на лопатках. Нет ничего сложного в истории Зла против Зла, потому что в ней нет интеллектуальной запутанности, подверженной сомнению, и вопроса, требующего длинного обсуждения, потому что у каждой стороны есть сильные на первый взгляд аргументы.

(Заодно отмечу, раз уж коснулись этой темы: художественные истории о сломленных людях, которые ломаются еще сильнее, не приносят удовольствия при чтении с позиций чистого гедонизма. Если вы пытаетесь возразить, что ваша история должна быть классной и еретичной, потому что предлагает малую награду за чтение, не ожидайте одурачить кого-то, обладающего самосознанием настолько, чтобы двигаться на мета-еретичности.) (Прим. пер. — не уверен, что понял, о чем речь идет в этом абзаце, так что перевод может быть неверен.)

Также касательно темы о том, как не следует создавать моральную неопределенность: нет ничего нового в избитом откровении, что жизнь сложна. Да, люди, следующие только деонтологическим правилам, заканчивают тем, что их действия приводят к плохим последствиям. Люди, которые заявляют, что ложь может быть добродетельной, и так далее, и так далее. Действительно хорошие люди мира знают это, они уже начеку, так что персонажи с интеллектом первого уровня тоже будут осведомлены об этом.

Автор, который пытается опорочить каждый идеал таким шокирующим отношением, неизвестным любому из персонажей истории, но, разумеется, хорошо известным самому автору, терпит неудачу в попытке создания интеллекта первого уровня — все персонажи упускают очевидное только лишь потому, что только так автор может вставить их на нужное место в сюжете (которое весьма удобно расположено ниже автора). И наоборот, если вы сами не уверены, какие из недостатков приемлемы, и при этом все равно должны идти вперед, даже зная риски, то для идеалистичных персонажей с интеллектом первого уровня разумно быть столь же неуверенными, как и вы.

Естественный способ подлинно исследовать мораль посредством литературы — честно разыгрываемый конфликт Добра и Добра. Конфликт между высокими идеалами, которые история не пытается очернить, принизить или использовать для показа искушенного авторского цинизма — это все только ослабляет конфликт.

Истинный и незапятнанный идеал не обязательно тот, чьи защитники все чисты, или тот, политика которого не имеет недостатков. Истинный идеал — это цель, которая стоит оптимизации несмотря ни на что и все еще дает теплое яркое ощущение в этом сложном мире. Если вы не можете почувствовать его, это теплое яркое ощущение, и заявить о нем публично, то вы не сможете поместить его в свою историю, не сможете заставить читателей симпатизировать вашим идеалам. Смотрите внутрь себя в поисках морали, этики, эстетики, добродетелей, того, чем вы все еще дорожите в реальности. Вы создадите подлинный моральный конфликт, когда найдете два самых высоких идеала, противостоящих друг другу и равноценных настолько, что вы сами не будете уверены, на правильной ли вы стороне; или когда вы найдете моральный вопрос внутри высокого идеала, в ответе на который вы не уверены и вокруг которого можете построить историю.

Реалистичные злодеи и точки зрения

«Методы рационального мышления» иногда ошибочно принимают за историю с моралью вида Серое против Серого.

Это изумило меня в первый раз, когда я услышал такой отзыв, и я до сих пор на самом деле не могу принять то, что некто мог прочитать МРМ и так подумать. Дементоры — это чистое зло. Фениксы — чистое добро. Я не думаю, что проспойлерю что-то в МРМ, раскрыв свое мнение, что Амикус Кэрроу и профессор Макгонагалл стоят настолько далеко друг от друга в плане морали, насколько это вообще возможно для людей. Возможно, в истории нет чистого белого и черного цветов, но это не значит, что все серое — одного и того же оттенка.

Но когда мы смотрим на мир глазами Драко, мы видим его так, как видит он, со всеми моральными аргументами в пользу Пожирателей Смерти, сформулированными так, чтобы звучать убедительно для Драко Малфоя. Только злодеи в детских книжках формулировали бы свои слова так, чтобы заставить выглядеть героя убедительней, и это истинно независимо от того, насколько на самом деле справедлив герой.

Когда Люциус Малфой выступает на публике, он действует как строгий уважаемый политик, работающий на неблагодарную задачу защиты наивных людей от сильного и харизматичного лидера культа, наподобие Дамблдора… потому что это очевидная история, в которую мог бы автоматически вписаться настоящий Люциус, а не потому, что МРМ ставит его на один моральный уровень с Алисой Лонгботтом.

Но если в мире Люциуса он не выглядит злодеем, почему бы ему не любить своего сына? В модели мира Люциуса он никогда не получал Злодейского Письма, говорящего, что он на стороне плохих парней; поэтому Люциус считает, что у него есть мужество, честь и другие атрибуты Древнейшего Дома, и воспитывает сына соответственно.

Возможно, кто-то делает ошибочное суждение о морали Серого против Серого, если привык к героям наподобие толкиновских, сражающихся против орков и Саурона, или если не понимает, как мало значит, если персонаж считает свои действия оправданными — как мало это говорит читателю об их настоящей позиции на оси добра-зла. Адольф Гитлер был откровенным противником вивисекции животных, который на нескольких обедах показывал изображения насилия над животными в попытке убедить присутствующих не есть мясо. Предположительно, Гитлер тоже не получал Злодейское Письмо. Возможно, он даже не носил черные одежды. В этом и есть разница между книжным Волдемортом и реальным Адольфом Гитлером.

Разумеется, не только злодеи пытаются оправдать себя. Самооправдание дешево, и любой персонаж с толикой ума будет способен гнать его грузовиками. Большая часть искусства рациональности — обучение тому, как сделать самооправдания для себя как можно дороже и труднее. Любой персонаж, который не изображен мастером-рационалистом, не должен иметь сложностей в формировании истории, которая представляет его хорошим парнем, вне зависимости от того, что он делает на самом деле.

Конечно же, это требует от вас умения абстрагироваться от вашей собственной ментальной вселенной и представлять то, как вещи выглядели бы для кого-то еще — это тоже один из ключевых навыков рационалиста.

Экономист Брайан Каплан изобрел улучшенную версию steelmanning, которую назвал Идеологическим Тестом Тьюринга. В данном тесте вы должны выписать аргументы для противоположной стороны настолько реалистичные, чтобы приверженец той стороны не мог отличить ваши выкладки от того, что мог бы написать настоящий защитник той стороны. Идеологический Тест Тьюринга строже, чем steelmanning, поскольку слишком легко убедить себя, что вы придумали «сильнейший аргумент», и куда менее легко одурачить кого-то, кто в самом деле верит в противоположную позицию, относительно того, что вы в самом деле искренне изо всех сил пытались создать лучший аргумент. Это тест на понимание; испытание, чтобы убедиться в вашем настоящем понимании аргументов, в которые вы, по вашим словам, не верите.

Люди проваливают Идеологический Тест Тьюринга, потому что они привязаны к своей картине мира, потому что боятся позволить себе смотреть на мир с другой точки зрения, потому что они терпят неудачу в практике представления другой точки зрения, которая может быть обоснованной.

Гарри из МРМ пытался научить этому навыку Драко, у которого были обычные проблемы с овладением данным умением, в 23 главе (прим. пер. — упомянутый фрагмент на самом деле находится в 22 главе):

«Даже поняв эту мысль, Драко не смог придумать какую-нибудь «правдоподобную альтернативу», как это назвал Гарри, для идеи, что волшебники становится менее могущественными, поскольку мешают свою кровь с грязью. Это было слишком очевидной истиной.

После чего Гарри Поттер слегка раздражённо заметил, что не может поверить, что у Драко и впрямь так плохо получается воображать себя на чужом месте. Наверняка же существовали Пожиратели Смерти, которые изображали врагов чистоты крови, и у них, без сомнения, нашлись бы более правдоподобные аргументы против собственной стороны, чем то, что предлагает Драко. Если бы Драко изображал сторонника Дамблдора и высказал бы идею о домовых эльфах, он бы ни на секунду никого не одурачил».

Когда я описывал Пожирателей Смерти в МРМ, я пытался пройти Идеологический Тест Тьюринга для Пожирателей Смерти — когда я описывал точку зрения Драко Малфоя, я писал о Пожирателях Смерти так, как мог бы их видеть сам Драко. Цель была в том, чтобы настоящий Пожиратель Смерти, который бы прочитал точку зрения Драко, не сказал: «Ага! Это явно писал не настоящий Драко Малфой, а некто, кто хотел выставить Пожирателей Смерти в плохом свете». (Исключая, конечно, те мысли Драко Малфоя, которые внутренне были оптимизированы, чтобы выглядеть хорошо для его друзей и социального круга, а не для читателей-магглов, прошедших эпоху Просвещения.)

Профессор Квиррелл описывался так, чтобы настоящий профессор Квиррелл не смог бы взять произведение в руки и сказать: «Что? Я бы не сказал этого. Есть куда более убедительные аргументы в пользу нации с сильным лидером, например…»

Меня часто нервирует то, как много людей говорят, что они находят профессора Квиррелла слишком убедительным, в то время как его воззрения не являются вещами, в которых я уверен (мягко говоря), но, по крайней мере, это показывает, что я делаю свою работу правильно.

Говорят, что каждый видит себя героем в своей собственной истории. Но это даже не близко не лежит с тем, чтобы быть правдой; насколько я могу сказать, большая часть мира состоит из людей, которые явно верят, что они НПС, и интуитивно будут удивлены и не смогут поверить, если услышат любое предположение, что для них возможно участвовать в сюжете. Есть также люди, верящие, что они антигерои или даже открытые злодеи в их собственной истории. Но это исключения, особенно на литературном уровне; в первом приближении большинство активных персонажей в истории должны верить, что они герои.

Похожим образом каждый активный персонаж также должен жить с картиной мира, где он является центром, а не ваш протагонист. Когда вы описываете точку зрения Боба, каждый объект должен быть упомянут в той степени, насколько он релевантен по отношению к Бобу. Рон Уизли едва ли вообще существует в мире Гарри; но как только мы переключаемся на мир Гермионы, он снова появляется. Драко видит все вещи в той степени, в какой они относятся к нему; профессор Макгонагалл видит вещи в той степени, в какой они относятся к Хогвартсу. Дамблдор все еще постоянно размышляет о событиях с Гриндевальдом, которые произошли в первой половине его жизни. Чтобы пройти Тест Тьюринга для Дафны Гринграсс, я должен описать ее точку зрения так, чтобы некто, читая ее мысли, не мог сказать, что кто-то еще (например Гарри Поттер) является настоящим центром вселенной.

(По той же теме: каждый персонаж является [меметичное предупреждение: TVTropes] Единственным Здравомыслящим Персонажем [/конец предупреждения]. Вот частичный список персонажей МРМ, которые были изображены как единственные здравомыслящие персонажи: Гарри, Гермиона, профессор Макгонагалл, профессор Квиррелл, Драко, Невилл, Дафна Гринграсс, Сьюзан Боунс, Грозный Глаз Грюм, Амелия Боунс и Фоукс.)

То, во что мы правда верим, не ощущается нами как вера или убеждение, оно ощущается так, словно мир таков на самом деле. Действительно верить, что небо синее, не означает ощущать себя причастным к Синим, это означает ощущать себя так, словно небо на самом деле синее.

Процесс создания и становления персонажа — это не только создание его личности. Это экстраполяция вселенной, которая будет картиной мира персонажа — не то, во что он «верит», но окружающая вселенная, в которой, по его мнению, он живет.

Оригинальность

Оригинальность — это не легко, хотя и весьма просто: не делайте того, что уже делалось раньше.

К тому моменту, когда я начал МРМ, я прочитал множество фанфиков по Гарри Поттеру. Я видел всех моих персонажей, все краски в моей палитре, реализованные множеством путей… что, в свою очередь, делало их своего рода стандартом. Был темный Гарри, независимый Гарри, Гарри, который позволял себя затмить Гермионе или Джинни; был порочный Дамблдор и Дамблдор-глупец, Дамблдор, который хотел, чтобы Гарри шел по рельсам фэнтезийной истории, был Том Риддл, являвшийся обиженным сиротой, и Том Риддл, родившийся психопатом, и Том Риддл, в совершенстве владевший магией…

Не столько посредством волевого решения, сколько тем, что это казалось мне само собой разумеющимся, я знал, что мне нужно будет сделать нечто с этими персонажами, чего никто не делал раньше. Гарри, профессор Квиррелл, Дамблдор, Гермиона, Драко, Крэбб и Гойл — все они должны были быть не теми же персонажами в том же антураже, которых мои читатели могли бы видеть в других фанфиках. Если бы мои читатели уже видели таких персонажей, которые слишком похожи, изображение не было бы слишком захватывающим, и это бы означало, что я не смог передать новую информацию, мое сообщение не дошло. (Это философия оригинальности в формулировке шэнноновской информации.)

Я не могу описать творческий процесс, стоящий за созданием персонажей, подробно, поскольку по большей части он состоял из ожидания, пока мой мозг выдаст предложение, которое нельзя было бы отвергнуть по причине неоригинальности. Но я могу рассказать вам об осознанной части процесса, которая заключается в правиле отказа, законе продолжения: не делай того, что уже делалось. Каждый раз, когда мой мозг выдавал нечто, что не было достаточно новым, я продолжал искать, потому что в таком случае мой мозг не помечал поиск как законченный.

Не помню точно, что я думал, когда решал: «Как я поступлю с приспешниками Драко, Крэббом и Гойлом?» — но процесс протекал примерно так:

Глупые Крэбб и Гойл — это уже было, ты читал это десятки раз.

Ладно, перевернем все с ног на голову: Крэбб и Гойл — тайные интриганы. Нет, это требует того, чтобы глупым был Драко, что не вписывается в историю, которая к тому же и так имеет достаточно тайных интриганов.

Тогда пусть Крэбб и Гойл будут как мистер Вандемар и мистер Круп из Neverwhere Нила Геймана (грубый скандальный парень и умный парень, говорящий формальным языком; на TV tropes их бы назвали Эти Два Плохих Парня). Все еще нет. Я не помню такого в тех фанфиках, что читал, но это все еще клише и опять же не подходит истории в целом…

И наконец мой trope-диверсионный модуль выдал: «Крэбб и Гойл — это одиннадцатилетние мальчики, которые выросли, играя роль Этих Двух Плохих Парней, и они думают, что должны такими быть». Такого я никогда не видел в фанфиках по вселенной Гарри Поттера, да и вообще нигде, это подходило под общую историю и смотрелось потрясающе; поэтому поиск был остановлен.

Изначальный шаг в этом искусстве — обучении тому, как отвергать первую идею, которая всплывает в вашей голове — тот момент, когда вы сразу же думаете о глупых Крэббе и Гойле, или что ведьма должна разрываться между оборотнем и вампиром, или что если вы пишете фанфик по «Волшебнику в стране ОЗ», то сам волшебник должен быть непременно из Канзаса. Даже если ваша первая идея никогда не реализовывалась раньше, часто мудрее отвергнуть первую идею, всплывающую в голове (если конечно, эта первая идея на самом деле не представляет собой нечто совершенно потрясающее). Первая идея, приходящая в сознание, чаще всего — завершающий шаблон, очевидный ответ, ничем не удивительный. Иногда нет иной возможности быть эмоционально истинным в вашей истории, кроме как взять очевидный ответ, но чем чаще вы это делаете, тем ленивее становится ваш мозг. Близкий навык к Не Делай Того, Что Уже Раньше Делалось — это Не Делай Посредством Легкого Пути.

Я хотел бы, чтобы у меня был лучший совет о том, как быть креативным, а не просто оригинальным. Я могу направить вас к подцепочке «Свежий взгляд на вещи» на LessWrong.com, но это не даст вам всего, только способ стандартного написания книг. В каком-то смысле оригинальность не является сложной: если вы сделаете профессора Макгонагалл (бросок кубиков) суккубом, который сбежал из Плоского Мира Терри Пратчетта и который постоянно одержим обливанием водой вещей, то такого персонажа, вероятно, никто ранее не делал. Но это простой хаос: в этом нет смысла, по своей сути это не характерно для истории. Оригинальность проста, но, чтобы мыслить творчески, вам придется делать нечто одинаково новое и хорошее, а это уже труднее. Даже так одну часть процесса легко описать: это та часть, где вы продолжаете искать до тех пор, пока у вас не будет чего-то нового или чего-то, что ощущается один в один подходящим для истории (оно не должно быть потрясающим, особенно если это ваши первые приключения в роли писателя, но это должно ощущаться как нечто, что вы можете использовать).

Я завершу этот пост следующим кусочком совета, который предназначен специально для тех, кто пишет фанфики:

Если вы пишете фанфики по Наруто, то либо пропускайте арку про страну Волн полностью, либо сделайте нечто ПОИСТИНЕ ПОТРЯСАЮЩЕЕ с Забузой и Хаку и всей этой историей, потому что, если я прочитаю про ЕЩЕ ОДНУ битву с братьями-демонами, даже если в вашей версии Наруто убьет их ЯДЕРНЫМ ОРУЖИЕМ, я разочаруюсь в вас.

Если нечто уже показывалось читателю десятки раз до этого, нет смысла показывать это еще раз. В фанфикшене эта проблема стоит еще острее. Если событие канона происходило вследствие нужности для сюжета, но не было сделано по-настоящему потрясающе, то покажите только эту часть потрясающей. А еще лучше — просто заставьте нужного персонажа вспомнить все это спустя два параграфа, а не выписывайте для этого целую главу.

Рассмотрим путешествие Гарри по Косому Переулку, как это показано в МРМ. Мы не видим всего, что происходило между походом Гарри к его горам галлеонов и покупкой кошеля. Мы не видим, как он едет на вагонетке к хранилищу или выезжает оттуда. Ничто из этих событий не является новым в фэндоме Гарри Поттера, так что это просто не показывается. Это даже потом не вспоминается, оно просто попадает в промежуток между главами и исчезает.

Общий принцип писательства — вы должны избегать скучных частей настолько, насколько вообще можете себе это вообразить. Есть важный анекдот об авторе, который думал, что напишет все скучные части после того, как расправится с самыми захватывающими и интересными. Когда он закончил писать все захватывающие части, он просмотрел работу, подумал и послал ее редактору в таком виде.

Буквально все, что мы видим в МРМ, происходит не так, как в каноне и прочих фанфиках, потому что иначе не было бы информации для передачи. И происходящее еще и интересно, потому что иначе стоило ли вообще приниматься за эту работу?

Ваши читатели уже читали не только канон с Турниром Трех Волшебников, но еще и десятки фанфиков, где был этот Турнир. Если вы собираетесь создать напряженность в сюжете вокруг этого Турнира, то вам лучше изменить начальные условия, ставки и возможные исходы в такой мере, чтобы это не ощущалось той же сценой, которую читаешь в тридцать шестой раз. И это должно быть не просто отличающимся от ранее сделанного, но и интересно отличающимся.

В фэндоме Наруто есть буквально тысячи вариаций экзменов на чуунина. Лучший из всех Наруто-фанфиков, «Time Braid», описывает временную петлю наподобие Дня Сурка в день экзаменов на чуунина. И в конце этого фанфика начальные условия, ставки и возможные исходы настолько уходят от канона и фэндома, что финал истории не напоминает ничего, что я видел где-либо в Наруто-фанфикшене; и вселенная оставляет после себя такое впечатление, что подобного «исхода экзаменов на чуунина» вы не видели никогда ранее ни в одной из предыдущих историй.

Личности и арки персонажей, вызовы и ставки, конфронтации и сюжетные события, пэйринги и отношения; в фанфикшене вы не должны переделывать буквально все, но вы не можете оставить слишком многое тем же самым.

(Но ясно давайте читателю понять, если в вашей истории допускается изменение фоновых исторических фактов или законов магии. Не делайте так, чтобы изначально законы магии выглядели теми же, а потом, в кульминационной битве, один из законов оказывался другим и тем самым решал исход этой битвы. Потому что это отстой.)

Самосознание и понимание жанра

Ранее я отмечал, что один из путей не сделать ваших персонажей глупыми — попытка спросить себя, что бы вы сделали на их месте.

Что бы вы подумали в первую очередь, дорогой читатель, обнаружив себя загадочным образом перенесенным в магический мир? «Черт возьми, — подумали бы вы, — это, конечно, напоминает множество книг, которые я читал, где протагонист загадочным образом оказывается перенесенным в магический мир». Если вы читали TV Tropes, вам на ум могла бы прийти фраза ‘Portal Fantasy’ (прим. пер. — у нас этот жанр принято называть «попаданческое фэнтези»).

Методы Рационального Мышления, 6 глава:

— Ну, например, вы упомянули, что моих родителей предали. Кто их предал?

— Сириус Блэк, — ответила МакГонагалл. Она почти прошипела это имя. — Он в Азкабане. Тюрьме для волшебников.

— Какова вероятность, что Сириус Блэк сбежит из заключения, и мне придётся выследить его и победить в блестящей дуэли или, что даже лучше, назначить за его голову большое вознаграждение и спрятаться в Австралии, ожидая результатов?

МакГонагалл моргнула. Дважды.
— Почти никакой. Никто никогда не сбегал из Азкабана, и я сомневаюсь, что он станет первым.

— Ладно, — сказал Гарри, — звучит довольно убедительно, — он вздохнул, почесав затылок. — А если так: Тёмный Лорд не погиб той ночью на самом деле. Не окончательно. Его дух продолжает жить, нашёптывая людям кошмары, сбывающиеся в реальности, и ищет способ вернуться в мир живых, который он поклялся уничтожить, и теперь, согласно древнему пророчеству, он и я должны сойтись в смертельной дуэли. Победитель станет проигравшим, а побеждённый восторжествует…

На TV Tropes заметили, примерно на 30 главе МРМ, что каждый основной персонаж, похоже, рассматривает себя в отдельном жанре: «Гарри думает, что это РПГ или научная фантастика, Дамблдор думает, что они в эпическом фэнтези, а Гермиона — что в любовном романе. Кто-то ошибается касательно жанра, внутри которого он находится, но неясно, кто. А Драко думает, что он Лайт из «Тетради Смерти», но он определенно неправ».

Обожаю избитые сюжетные ходы. Они дают мне то, что можно разрушить.

Не в обычной литературной теории, но в литературной практике избитый шаблон о подлинно умных персонажах постоянно ассоциируется с шаблоном Понимания Жанра Касательно Опасных Ситуаций или по крайней мере Понимания Жанра. Потому что если вы обнаружите себя в чем-то, подозрительно похожем на фильм ужасов, вы никогда не будете отделяться от группы. Вы бы громко сказали: «Не отделяйся от группы, идиот!» — или «Именно так погибают люди в фильмах ужасов!» — если бы некто попытался так сделать. «Баффи — охотник на вампиров» — отличное изображение такого взаимодействия между персонажами с интеллектом первого уровня и пониманием жанра, жаль, что сериал закончился после третьего сезона.

Однако вы бы не хотели ассоциировать это понимание жанра с Ломкой Четвертой Стены (если, конечно, не пишете такой фанфик осознанно); вы не хотите описывать персонажа, который был бы слишком крут для вашей истории. Чего вы хотите, так это поместить своих персонажей в подходящие интересные и оригинальные ситуации, непохожие на те шаблоны, которые вы уже читали, чтобы умные персонажи не могли разрешить эти ситуации немедленно или даже предсказать успешно их развитие просто в силу того преимущества, что они читали те же книги, что и вы.

Таким образом есть Деконструкция, Перевернутый Сюжетный Ход, Отвлекающий Сюжетный Ход и другие формы разрушения штампов, неразрывно связанные с жанром умных персонажей.

Умные персонажи заметили бы, если бы автор играл с ними слишком явно.

Персонажи с интеллектом второго уровня

Как я отмечал ранее, Голливуд считает, что быть «гением» — это хорошо играть в шахматы или изобретать удивительные гаджеты. Это не просто до ужаса избитое клише, но и без исключения то, что TV Tropes зовет Сообщенная Способность. Вы можете сказать мне, что персонаж хорошо играет в шахматы, но не можете показать мне этого.

Для того, чтобы показать мне, что персонаж — шахматный гений, вам бы пришлось показать его умение играть в шахматы. Вам бы пришлось вставить изображение конкретной шахматной позиции, дать мне решить, что положение черных ужасно, а потом показать, как игрок черными делает блестящий ход, гениальность которого я могу понять. Такой метод требует, чтобы я, читатель, сам был отличным шахматистом — и даже тогда, возможно, это не сработало бы в литературе.

Так как вам на самом деле показать гениального персонажа?

Представьте дилемму, вставшую перед Орсоном Скоттом Кардом, когда он писал «Игру Эндера» (книгу, не фильм). Кард говорит нам, что Эндрю «Эндер» Виггин — гениальный полководец и превосходно командует космическими кораблями, но это всего лишь слова. Нам никто не сможет показать, как Эндер Виггин организовал корабли в объёмный 3D «строй», чтобы мы могли увидеть собственными глазами, что это намного более подходящий для атаки строй, чем мы могли предположить (особенно в книге, не то что в фильме!). Для того чтобы показать, что Эндер умён, Кард должен поставить его в ситуацию, ужасающую сложность которой мы как читатели сможем ощутить и увидеть, и затем показать манёвр, предпринятый Эндером, который уже будет чем-то, что мы можем понять и сами увидеть, насколько маневр хорош или умен.

Поэтому в начале книги Кард утверждает, что когда вся армия противника заморожена, побеждающий командир с четырьмя незамороженными солдатами открывает вражеские ворота, что знаменует его победу и после чего включается свет и игра закончена. Кард показывает вам, как это происходит, несколько раз, чтобы вы определили это у себя в голове как хорошо известный факт. Затем Кард ставит Эндера против двух армий одновременно, что, по сути, очень трудновыполнимая задача, и, вероятно, даже Эндер не сможет победить, таким образом создавая напряжение сюжета… после чего Эндер перестаёт играть честно, просто ломится вперёд с пятью солдатами и сразу же открывает вражеские ворота. Никому не нужно объяснять, как это работает. Развязка момента кульминации понятна сразу. Правила, по которым определяется победитель, уже известны вам, история показывает ознаменование победы несколько раз, чтобы этот факт находился в вашей памяти в критический момент, когда вам сообщат хорошую идею Эндера, и Кард будет хотеть, чтобы вы поняли её тут же, не останавливая повествование.

Если вы, будучи автором, уже написали несколько таких сцен сами, вы поймёте, что единственная причина, по которой это правило существует во вселенной Эндера, настоящая причина, по которой битвы в военных школах заканчиваются шлемами четырёх солдат, прижатыми к вражеским воротам, в том, что Кард хотел поставить Эндера в заведомо проигрышную ситуацию, решил, что Эндер будет сражаться с двумя армиями одновременно, спросил себя: «Ну и как теперь Эндер сможет победить?», изобрёл условия победы, спросил себя, какого чёрта командиры не будут просто ревностно охранять свои ворота, и решил описать это (в ранних частях истории) как церемониальный финальный ход.

Честно ли это? Нет, но ослабьте верёвку на шее Орсона Скота Карда! Он просто не может показать нам истинный тактический гений того Эндера, каким бы он был в реальности, потому что мы не тактические гении.

Для более органичного примера рассудительности задумайтесь о выкрике Эндера «Вражеские ворота — снизу!» В условиях нулевой гравитации Эндер говорит своим солдатам: вы должны рассматривать ваших врагов как находящихся под вами, чтобы вы могли сориентироваться ногами к ним. Это уменьшает возможную площадь поражения и означает, что вражеские лазеры (которые Кард ранее показал вам!) заморозят вам ноги (согласно правилам, которые вам уже знакомы!), а не ваши руки. Это не какая-то литературная уловка, которой Эндер выигрывает битву против двух армий; это естественная идея для сражения в условиях нулевой гравитации с лазерным оружием. В этом случае я ожидаю, что Орсон Скотт Кард провел день в размышлениях о битвах в невесомости — или же несколько секунд, это зависит от того, насколько был умен, — а потом к нему пришло то, что показалось хорошей идеей. И тогда, возможно, он отверг ее и придумал другую, продолжая до тех пор, пока не пришел к лучшей, которую и дал Эндеру.

«Вражеские ворота — снизу!» также является идеей, которую вы можете представить сами. Вы можете представить, как бы это работало. Вы можете представить невесомость и сориентировать себя так, чтобы враг был под вами, видел только небольшую площадь для поражения, а ваши ноги защищали ваше тело от заморозки. Вам не говорили, что это умно, вы сами можете взять идею и самостоятельно оценить это решение.

И после того как Эндер говорит: «Вражеские ворота — снизу!» — никто из его солдат не кричит :»Это блестяще!» И Эндер сам не думает, насколько это умно. Никто не должен говорить явных слов об интеллекте.

(В общем, говорить о том, что уже было показано, значит уменьшать значимость этого. Смотрите троп «И это ужасно». Мощный момент обычно смотрится наиболее впечатляюще, когда его никто не комментирует и вся сила проходит прямо в сознание читателя. Как кто-то описал эту ошибку начинающего писателя: «Персонаж кричит так, что читателю не приходится». Подумайте о книге, которая заставила вас плакать, если таковая была, и спросите себя, были ли в тот момент там персонажи, которые плакали сами.)

Это ярко видно при изображении обычного голливудского гения: даже лучший сценарист, если хочет изобразить персонажа, хорошо играющего в шахматы, нуждается в ком-то, кто будет стоять рядом с персонажем, восхищенно открыв рот.

Орсону Скотту Карду удалось добиться такого исхода истории, в котором идея Эндера и правда сработала и его солдаты выигрывали битвы. Это «обман» в том смысле, что делает Эндера более умным относительно той когнитивной работы, которую проделал Орсон Скотт Кард для изобретения идеи насчет «ориентации на низ». Как читатель вы, возможно, думали, что «вражеские ворота — снизу» — отличная идея, над которой хорошо поработал Эндер (потому что вам это показали), а не что это одно из двадцати возможных предложений для битв в невесомости, ни одно из которых никогда не тестировалась.

Но, по крайней мере, это не претендующая или очевидная идея, которую история показывает нам как отлично работающую. Не похоже, чтобы Эндер говорил: «Пытайтесь нажать курок два раза подряд!» — и при этом никто в истории никогда раньше не пробовал так делать. Не похоже, чтобы Эндер пробовал нечто нелепо замысловатое (то есть полагался бы на то, что произойдет больше, чем три события, без сверхразумного или пророческого руководства), что сработало бы только благодаря авторскому произволу, а-ля Тетрадь Смерти. И снова воздадим хвалу Орсону Скотту Карду: он ведь не может на самом деле построить такую школу и протестировать свои идеи. По крайней мере это правдоподобно: если бы на самом деле построили такую школу в невесомости и провели бы там детскую битву, то им было бы лучше думать, что вражеские ворота снизу.

Помните, что цель «Игры Эндера» — не доказать, что Кард умен, равно как Кард не пытался доказать, выписывая Эндера, что он сам был семилетним убийцей. Эндер существовал как тактический гений; литературный вызов, стоявший перед Кардом, — то, как он мог вставить этот факт в текст.

Фундаментальное требование в персонажах с интеллектом второго уровня — это Понимание Честной Игры, обобщение Честной Игры в Кто Сделал Это в детективных романах. Это такой тип детектива, где читатель в принципе может разгадать загадку сам, с той информацией, которую ему дает история, где читателя самого приглашают попробовать решить задачу. Это часть удовольствия в хорошей детективной истории — придумать собственную теорию насчет того, Кто Сделал Это, и увидеть в развязке, были ли вы правы.

В обобщенном Понимании Честной Игры — как я понимаю его — решение задач, стоящих перед персонажем, должно быть таким, чтобы читатель в принципе мог бы додуматься до него самостоятельно. Если же в истории буквально нет возможного пути сложить кусочки вместе самостоятельно, это должно значить, что нет смысла в «ответе» как решении когнитивной задачи, это значит, что «ответ» не показывает какой-либо когнитивной работы.

Посмотрите также на Первый Закон Сандерса: «Способность автора решить конфликт магией ПРЯМО ПРОПОРЦИОНАЛЬНА тому, как хорошо читатель понимает высказанную магию.» Как результат, если вы хотите Понимания Честной Игры, чтобы написать хорошую книгу, читатель должен иметь настоящее понимание в своем сознании, а не просто игру в «Поймал!», где вы мельком упоминаете ответ в 26 главе. Чтобы драматично показать интеллект второго уровня, все кусочки паззла должны наличествовать и быть активными в сознании читателя, а не просто упоминаться один раз в единственном предложении на всю книгу ранее, и появляться достаточно часто, чтобы по-настоящему быть в сознании читателя. Так, чтобы читатель говорил «Ну конечно!» в момент драматичной развязки, а не «Стоп, подождите, когда это было..?»

Когда вы будете в следующий раз перечитывать МРМ, заметьте, сколько раз вам напомнили, что Гарри носит кольцо с бриллиантом, являющимся трансфигурированным булыжником, до критического момента в 89 главе, где использование данного факта никак не замедлило темп истории.

Закон Винжа

Закон Винжа гласит: если вы точно знаете, что сделал бы умный агент, вы должны быть по меньшей мере так же умны. Если вы точно знаете, куда бы походил Deep Blue, вы и сами можете сделать такой же ход и играете по меньшей мере так же хорошо, как и он. В теории мозаичных (самособирающихся) агентов закон Винжа проявляется в виде правила, что самомодифицирующийся агент не может знать точные выборы, которые сделает будущий он, до того, как решится на самомодификацию (поскольку тогда каждая последующая версия должна была бы быть последовательно глупее).

Место, где математик Вернон Винж нашел это наблюдение, — литературная теория научной фантастики: Винж видел, что он не может написать реалистичных трансгуманистичных персонажей, поскольку ему пришлось бы быть умнее, чем эти люди сами по себе, чтобы понять, как бы они поступали. Люциус Малфой в МРМ перефразирует закон Винжа и его литературную интерпретацию, когда рассказывает Драко, что пьесы наподобие «Трагедии Лайта» никогда не являются реалистичными, поскольку если бы постановщик был так же умен, как Лайт, он бы попытался захватить мир сам, а не ставил бы пьесы.

Это не значит, что вы должны бросить попытки описать умного персонажа, потому что считаете, что сами не так умны. «Быть умным» — это то, в чем вы сами можете решить стараться сильнее, то, что вы можете практиковать, а не что-то, что имеет фиксированную величину; инсайт, который имеет имя «мышление роста», можете погуглить (прим. пер. — в оригинале growth mindset, который у нас как только не переводят. Например, книга Кэрол Двек с таким названием и на эту же тему у нас вышла как «Гибкое сознание»). Но вам понадобится задействовать значительные объемы настоящего вашего разума, чтобы описать персонажа со вторым уровнем интеллекта.

Мы можем рассмотреть методы, при помощи которых Орсон Скотт Кард создал Эндера Виггина, как обобщенные скрытые уловки, которые формируют персонажа, чьи действия имеют больше видимой когнитивной работы, чем вы сами вложили в него, в ограниченное нарушение закона Винжа.

Первый скрытый трюк — это реверс-инжиниринг проблемы вокруг ваших идей возможных решений. Perfect Lionheart однажды написал: «Маггл с зажигалкой может зажечь огонь любого сорта, в то время как волшебник заклинанием для прикуривания может только зажечь сигарету». Так что если вы как автор видите, что протагонисту понадобится поджечь что-то в 20 главе, просто сделайте так, чтобы он выучил заклинание для прикуривания в 5 главе.

Я думаю об этом как об обратном трюке Lionheart, и это особенно применимо к манчкиновским моментам — событиям, вовлекающим новые применения существующих сил. Но любой релевантный факт может быть тем, который вы создали в прошлом; например в 26 главе, когда фальшивая газетная история упоминает долг крови Уизли дому Поттеров, устанавливая определенное правило для создания долга крови. (Хотя я отмечаю, что ключевым моментом, когда этот смутный факт понадобился для решения задачи, была пауза между главами, где я изначально дал читателям пару дней на то, чтобы перечитать и в большей степени осознать ответ.)

С этим тесно связана вторая хитрость — давать персонажу только те проблемы, с которыми он может справиться. Орсон Скотт Кард не забросил Эндера Виггина в комнату битв голым и в одиночку, потому что тогда Эндер не смог бы выиграть, так что Кард не стал так делать. Возможно, Кард рассматривал несколько различных вызовов для Эндера, до финальной битвы против двух армий, и выбрал только тот, в котором, по его мнению, Эндер мог выиграть. Опять же, это путь создания персонажа, который относительно своей вселенной умнее, чем вы вложили в него своей когнитивной работы; автор решает один из многих возможных вызовов, а персонаж демонстрирует свою способность справиться с чем угодно.

Я достаточно тщеславен, чтобы сказать вам, что я, скорее всего, не использовал столько скрытых литературных трюков при создании МРМ, сколько вы подумали. Например, я не заставлял Дамблдора в 17 главе говорить, что мантия невидимости может спрятать от взгляда смерти, чтобы потом использовать это в Азкабане. Это было лишь отсылкой к канону; а потом, уже во время написания арки Азкабана, я понял, что случайно дал Гарри ресурс, который был ему нужен, чтобы спрятать Беллатрису Блэк даже после того, как патронус Дамблдора отследил патронуса Поттера, после чего Гарри пришлось отменить свои чары. Но я должен признать, что если бы не было этого способа для Гарри справиться с этой проблемой, то у Дамблдора не было бы возможности отследить патронуса Гарри.

Третий скрытый трюк — это когда вы как автор решаете, что звучащая умно идея работает, когда в реальной жизни узнать работоспособность идеи можно только путем ее тестирования. Идея может все еще казаться умной, вам все еще нужно играть по правилам Понимания Честной Игры, чтобы иметь решение, которое будет выглядеть настоящим… но в реальной жизни большинство идей, приходящих в голову, все же являются неправильными.

Вот почему Элиезер Юдковский не захватывает мир путем симуляции профессора Квиррелла у себя в мозгу, как всерьез предлагали мне некоторые люди. Не хочу показаться бесстыдным, но на деле это был бы для меня шаг назад. Модель, которую я использую для создания профессора Квиррелла, даже близко не стоит с тем, чтобы использовать все методы, которыми я владею. В реальном мире все сложнее, чем для персонажей в историях, умные озарения куда реже являются истинными и умные стратегии куда реже оказываются рабочими. В реальной жизни мне приходится пробовать буквально десять идей, чтобы найти единственную идею, которая работает, часто прилагая усилия годами, прежде чем сдаться или преуспеть. Да, я известен невероятными уловками типа «написать фанфик по Гарри Поттеру, достаточно хороший для того, чтобы привлечь медалистов математических олимпиад», но это не единственный трюк, который я когда-либо пробовал. Вы просто не слышали столько же о моих умных идеях, которые не сработали после множества лет, когда я пытался делать странные и не очень вещи, чтобы выполнить свою задачу.

В литературе вы как автор можете решить, что отличная идея сработает, и реализовать ее, приправив потом, болью и непредвиденными последствиями, чтобы читатель мог ощутить, что персонаж сам добился всего. Вы не можете избежать проклятия построения вашей истории на умных идеях, которые по меньшей мере вряд ли сработали бы в реальной жизни, не только потому, что вам нужно тестировать идеи для поиска рабочих, но и потому, что в реальной жизни мы можем говорить об отношении провалов и успехов 10:1. Мы видим провал Гарри в 22 главе, потому что я ощутил, что должен сделать ударение на том, что умные идеи не всегда срабатывают. Но более реалистичную историю, где было бы 2 рабочих на восемь неудачных идей Гарри до того, как он сделал первое открытие в 28 главе, было бы не особо весело читать или писать.

Но! То, что вы обязательно должны жульничать таким образом, совершенно не означает, что вы имеете право жульничать, чтобы это выглядело как жульничество. К счастью, благодаря обычному человеческому оптимизму и ошибке планирования вашего интуитивного чутья по поводу «насколько хорошая идея кажется работающей» уже хватит на то, чтобы все замыслы и умные идеи выглядели бы гораздо более успешными, чем они были бы в реальной жизни. Если же вы возьмете идею, которая интуитивно кажется посредственной, или идею, которая кажется хорошей, но недостаточно умной, чтобы сработать, и ваш персонаж победит с помощью такой идеи, то результат нельзя будет считать литературой.

В течение некоторого короткого времени я планировал, что Гарри улетит из Азкабана на ракете, приклеенной к метле суперклеем. Но, когда я начал писать эту часть текста, я осознал, что в реальной жизни любой, кто попробует такое проделать, неизбежно погибнет. Это чересчур даже для вымышленной истории. Поэтому мне пришлось сделать так, чтобы профессор Защиты очнулся и улучшил изобретение. После этого идея на интуитивном уровне стала больше походить на работающую. Хотя если бы вы попробовали проделать что-нибудь подобное в реальной жизни, вы с огромной вероятностью врезались бы в стены Азкабана и погибли, или чары неразрушимости, наложенные профессором Квирреллом, случайно бы подействовали на твёрдое ракетное топливо или сделали бы какую-то гибкую деталь негибкой, и так далее. Крайне тяжело сделать так, чтобы сложное новое устройство заработало с первого раза. Когда НАСА запускает космический аппарат, который нельзя полностью проверить заранее, требуются годы тщательных раздумий, планирования и перепроверок.

Все три хитрости позволяют в некоторой степени нарушать закон Винджа. Внутри, в мире текста, персонаж решает именно ту задачу, которая перед ним стоит, всего лишь с помощью тех ресурсов, что оказались у него под рукой, и благодаря идее, которая кажется достаточно хорошей, чтобы на самом деле сработать. Снаружи автор переделывает прошлое, начиняя его фактами, которыми можно воспользоваться нетривиальным образом, подбирает задачи, с которыми можно справиться, и подбирает идеи, которые относятся к категории «интуитивно кажутся очень умными», а не «абсолютно точно работающие в реальной жизни».

Даже при этом создание умных персонажей второго уровня требует от автора труда и наличия собственного интеллекта. Голливудский способ создания стереотипных гениев можно расценить как вариант абсолютной лени. Сценаристы изображают гениев, совершенно не включая мозг, они даже не трудятся попросить своих друзей-учёных поделиться техническими словечками. Семнадцать языков, удивительные гаджеты, побеждает гроссмейстера в шахматы, не умеет ухаживать за девушками? Все эти черты объединяет то, что их можно написать, не прикладывая существенных умственных усилий.

Поэтому берегитесь искушения ленью и будьте осторожны с тем, как вы жульничаете. Покажите, как персонаж страдает, покажите раздумья, покажите, как его интеллект второго уровня приводит к успеху. Покажите непредвиденные последствия. Заставьте персонажа иногда проигрывать. Только продемонстрируйте, что идеи срабатывают тогда, когда интуитивно кажется, что они должны сработать, причём, возможно, не всегда.

Вы можете иногда получить внутри вселенной более умного персонажа, чем вложили в него. Но вы не можете получить нечто из ничего. Я советую вам не думать, что вы можете полностью положиться на различные уловки, а стараться быть умным так, чтобы вы могли создавать Понимание Честной Игры, лежащее в основе Интеллекта Второго Уровня. В этом смысле тут нет отличий от Интеллекта Первого Уровня: все еще должна существовать эмпатия, которая питает его основу.

Неиспользуемость уязвимостей

Персонажи с интеллектом второго уровня иногда изображаются как делающие нечто новое, что удивляет других персонажей, и почти всегда эти вещи должны быть Озарением Честной Игры. Тогда почему же удивляются враги — почему же они не получили Озарение Честной Игры сами? Возможно, потому, что враг не столь умен, как протагонист. Возможно, потому, что у персонажа есть секретное оружие, личный ресурс, о котором враг не знал (например, Истинная Мантия Невидимости). Но если ваш персонаж делает нечто, о чем не подумала вся цивилизация, мы должны спросить: а почему целая цивилизация не подумала об этом?

Есть старая шутка, что если экономист видит двадцать долларов на тротуаре, то он не станет их поднимать, решив, что если бы они были настоящими, их бы кто-нибудь уже подобрал.

На деле, если вы находитесь на пустынной улице, то достаточно правдоподобным является предположение, что вы первый, кто нашел эти деньги. Когда я спросил 20 людей, происходило ли такое с ними, четверо сказали, что да. Но можно заметить, что остальные ответили нет. И если вы видите сто долларов на полу Большого Центрального Вокзала в течение часа, то можно сделать ставку на то, что они к нему приклеены или же на этом полу нарисованы.

Поскольку я еще не видел официального термина для этого обобщения идеи «эффективных рынков», я решил использовать термин «неиспользуемость уязвимостей».

Если множество людей хотят чего-то, существующего в ограниченном количестве, то удивительно существование легкого пути, которым может воспользоваться любой, для получения данного ресурса. Много людей хотят денег, так что удивительно найти на дороге двадцать долларов. Это происходит редко, в тех случаях, когда улица пустынна — наше общество не сканирует постоянно улицы на предмет валяющихся денег; это не стоит таких усилий. Но двадцать долларов не будут лежать часами на полу Большого Центрального Вокзала. Прохожие достаточно адекватны, чтобы поднять их. Пытаться найти двадцать долларов на полу Большого Центрального вокзала — наивно; тут нет низко висящих фруктов, они уже собраны, мы ожидаем, что такая проблема не будет не использовать уязвимости.

Эта идея имеет свои недостатки. Краткосрочные рынки акций неиспользуемы, но это вследствие большого количества умных людей, которым платят большие бонусы, если они могут предсказать и скорректировать единичный недостаток на временной шкале, где они получают много обратной связи о том, работают их идеи или нет (я определил краткосрочные рынки акций), используя механизм агрегации (ценообразование на рынке), который на практике работает превосходно, суммируя вклад каждого. Это условия, при которых стандартная теория хорошо предсказывает неиспользуемость. Вы не должны показывать, как ваш персонаж удваивает свои деньги за месяц путем торговли на рынках, пока у него не будет наиболее продвинутого ИИ в мире или он не будет иметь глобальное уникальное предсказание или способность путешествовать во времени; буквально никто так не умен.

С другой стороны, прямо сейчас (2014) Европейский Центральный Банк делает ошибки прямо по учебнику экономики, становясь причиной бессмысленного ущерба в миллиарды евро в европейском сегменте. Некоторые из моих друзей, похоже, думают, что некоторое обобщение «эффективных рынков» подразумевает, что они должны бросать на меня сомневающиеся взгляды, когда я говорю, что это правда и что я знаю, что это правда, потому что как я могу быть уверен, что знаю лучшую денежную политику, нежели профессиональные экономисты, работающие в ЕЦБ? Разве это не какой-то вид сверхуверенности — думать, что я могу найти трейдинговую стратегию, которая побьет рынок?

Ну вообще-то не совсем. Насколько я знаю, буквально никто в комитете по решениям в ЕЦБ не получает зарплату в зависимости от того, хороша ли ситуация в Европе. Их работа зависит от впечатления, которое они производят на политиков, которые не являются экономистами. Никто еще не может вмешаться и сделать миллион евро путем лучшей работы. При таких условиях стандартная экономическая теория не очень хорошо предсказывает эффективность.

Аналогично абсолютно разумно для вашего персонажа проводить лучшую политику, чем та, которую использует его центральное правительство. Абсолютно разумно для королевских армий игнорировать дракона, который опустошает деревни, оставляя дело в руках протагониста, потому что бюрократам, отвечающим за борьбу с драконом, не заплатят больше, если дракон будет убит, и никто кроме них не имеет власти принять решение. В реальной жизни такое происходит все время.

Но если вы показываете, как персонаж в вашем мире делает много денег при помощи комбинации из двух простых заклинаний, которые знают все, вам действительно надо задуматься, почему об этом не догадался кто-то еще.

Наруто хуже в этом балансирующем искусстве, чем любой другой сериал, который приходит на ум. Я говорю не просто обо всех этих техниках, что предположительно выучиваемы, но при этом их использует только один персонаж за раз. Но невозможно, чтобы все еще существовали армии наемников или обычных людей, когда (а) достаточно чакра-пользователей, которые по средствам доступны даже фермерам, при этом не каждый генин супербогат, и (б) ребенок-ниндзя может побить взрослого громадного наемника без особых усилий. Чакропроводящий метал редок и не у всех есть чакра-оружие? Отлично, если вы придерживаетесь этого правила последовательно, но Страна Снега имеет столько этого металла, что даже делает доспехи из него! Это все равно что в нашем мире никто бы не додумался до простой мысли «Возьми нечто, что дешево в пункте А, и продай его там, где оно дорого.» Это было известно еще до изобретения денег. Мы можем отслеживать кремневые орудия, которые путешествовали по континентам.

Древние греки не вывели идею естественного отбора, хотя имели всю нужную информацию; и во многих темных углах мира, как, например, в Америке, идея все еще полностью не принята. Иногда вещи удивительно неочевидны и сложны для понимания. Но «взять нечто дешевое в А и продать его в Б, где оно дорого» — не одна из этих неочевидных штук. Вы можете представить, как это работает, можете сделать это, это окупается, другие люди повторяют эти действия за тем, кто стал богатым, и таким образом эта идея распространяется по всей человеческой истории.

Если вы решаете, что Страна Снега имеет достаточно чакропроводящего металла для создания больших проектов, вы не можете сказать, что чакропроводящий металл редок и дорог в Стране Огня, до которой всего лишь месяц пути. Ваш мир не должен быть так неиспользуем, как краткосрочные фондовые рынки, даже близко, но он не может быть неиспользуем без причины.

Сюжет МРМ позволяет Гарри иногда получать озарения, которых другие волшебники не видят, и делать это за месяцы, а не за десятилетия.

Чтобы сделать это более реалистичным, делаются два основных предположения.

(1) В самом начале МРМ (пятая глава) делается предположение, что только малое количество магглорожденных поступают в Хогвартс каждый год и все они уходят из маггловского общества до того, как могли бы получить научное образование. Культурное взаимодействие с маггловской Британией, не говоря уже о реальной торговле, неявно показано как весьма ограниченное (согласно канону). Это допущение позволяет Гарри приходить к инновациям, которые являются Честной Игрой относительно читателя, поскольку читатель также знает маггловские штуки, которые неизвестны волшебникам.

Хотя МРМ не вдается в детали, отсутствие торговли между магической и маггловской Британией подразумевает некоторые причины заднего плана, например почему Уизли не могут просто пойти и сделать миллионы фунтов на продаже исцеляющих чар богатым магглам. Предположительно люди наподобие Люциуса Малфоя организовали жесткое ограничение торговли с магглами — для защиты бедных невинных магглов, возможно — так чтобы только люди наподобие Люциуса Малфоя могли преумножать состояние своей семьи на этом, а все остальные — нет. (Это также правдоподобный момент, где идея Гарри о золоте и серебре скорее всего натолкнулась бы на препятствие — есть множество собак, что не лают, и множество рикардианских сравнительно хороших сделок, что не происходят, а не только одна.)

(2) Роулинг в одной из записей говорит, что всего в Хогвартсе учится порядка тысячи студентов (подразумевая, что в год поступления Гарри были студенты, но их просто не показали в книгах канона) Это, в свою очередь, подразумевает примерно 10000-20000 людей в магической Британии — то есть их «страна» на самом деле небольшой городок. И Дж.К. Роулинг последовательно выписывает Люциуса Малфоя как богатого парня из небольшого города, а Корнелиуса Фаджа — как глупого мэра такого города.

В реальной жизни малый размер магической Британии мог бы и не уменьшать скорость прогресса так, как мы могли бы наивно ожидать. По причинам, которые мне неясны, число гениев и скорость прогресса в цивилизации, похоже, не масштабируется вместе с общей численностью населения — возможно, по той же причине, по какой малые стартапы могут быть столь же креативны в среднем, как и гигантские компании (вне зависимости от того, что это за причина). Однако если магическая Британия стоит в ряду наиболее образованных и организованных магических наций, и в ней только 20000 людей, то будет разумно, что прогресс в магическом мире является медленным.

Учитывая эти два предположения, пара десятков мистиков на службе у Департамента Тайн могут легко потерпеть неудачу в попытках увидеть возможности, заключенные в Маховиках Времени, и закончить тем, что начнут использовать их просто для подгонки расписания в Хогвартсе. Первые истории о путешествии во времени, за авторством Уэллса, тоже были о посещении далекой земли будущего, а не о решении NP-проблемы. Сменилось несколько поколений нашего большого мира авторов научной фантастики, повторявшихся в своих историях, чтобы путешествие во времени ассоциировалось со всеми возможностями, о которых я могу подумать в 2014 году. Магическая Британия не имеет такой длинной традиции научной фантастики, написанной лучшими авторами нашего большого мира, чтобы предложить эти возможности для путешествий во времени. И поэтому Гарри, выросший на фантастике, может видеть эти возможности, в то время как, по моему предположению, другие волшебники не могут. В каноне только Гермиона Грейнджер предприняла попытку использовать Маховик Времени не по назначению, и она была магглорожденной.

Это цивилизационная неадекватность — обратная сторона неиспользуемости уязвимостей. Если ваш персонаж превосходит цивилизацию, то должны быть причины для этого. Не обязательно хорошие оправдания, но реалистичные цинично-экономические причины: проблемы с координацией, проблемы принципала-агента, люди, гоняющиеся за статусом, комитеты, где никому не платят за успех проекта. Или даже более обыденное: ни у кого еще нет магического ресурса, только несколько человек слышали о магическом секрете, ваш протагонист из другого мира и использует методы мышления, которые не были изобретены в течение тысячелетий на нашей Земле, и так далее.

Вам не нужно заходить слишком далеко в поиске причин цивилизационной неадекватности. В реальной жизни цивилизация справляется куда хуже, чем вы можете наивно предположить на основе количества людей и того, как, похоже, их что-то волнует. Даже страны, о которых мы читаем в книгах по истории, при всех их недостатках, были странами, что функционировали достаточно хорошо, чтобы оставить след в мировой истории. Британия времен Второй мировой была необычно квалифицированной страной, в то время как Франция тех же времен просто коллапсировала, когда вражеские танки вошли в нее. В таком свете Корнелиус Фадж не так уже нереалистичен даже в качестве правителя большой страны.

Но если вы автор произведения, рекламируемого как интеллектуальное, вам, возможно, придется иметь дело с наивными ожиданиями читателей. Они могут спросить: «Почему Король без необходимости провоцирует Павшую Империю?» — несмотря на то, что книги по истории изобилуют примерами глупости куда большей. Они могут спросить: «Почему же никто больше не использует заклинание воскрешения?» — когда заклинание воскрешения в книге дорого или труднодоступно, а в реальной жизни почти никто не подписывается на крионику, которая стоит мне 125 долларов в год за членство и 180 долларов в год за страховку.

Это основная причина для рационалистского фанфикшена.

Азкабан в том виде, в каком его описала Роулинг, полностью реалистичен. Если в американских тюрьмах нет дементоров, то это потому, что у американских политиков нет дементоров вообще, а не потому, что они лучше тех людей, что заседают в Визенгамоте. Сексуальное насилие является обыденностью в американских тюрьмах, в то время как его можно было бы легко предотвратить при помощи видеонаблюдения. Американские тюрьмы хуже Азкабана в том отношении, которое Роулинг не могла легко имитировать без того, чтобы сломать приостановку читательского недоверия. По крайней мере волшебный мир не помещает в тюрьмы тех, кто курит марихуану.

И даже так: если бы Азкабан был моим собственным изобретением, кто-то мог бы спросить насчет реализма реакции Гарри на Азкабан, в отличие от всех тех людей в магической Британии, которые, похоже, не замечают, что Азкабан — моральное преступление. (Как и американцы не замечают моральные преступления! Роулинг не была так уж нереалистична!) Как это Гарри видит все эти ютили (прим. пер. — тут, насколько я понял из http://wiki.lesswrong.com/wiki/Utility, имеется в виду единица измерения полезности) которые можно получить, уничтожив Азкабан, когда никто больше не видит этого? (Ответ: невозможно для любого участника арбитража сделать сотни тысяч галлеонов выручки, если у них есть озарение, что Азкабан бессмысленно жесток, поскольку стандартная экономика не предсказывает моральную эффективность так, как предсказывает эффективные рынки.) Возможно, Элиезер Юдковский изобрел Азкабан только чтобы одержать победу своим супергероем, и поместил его в мир как сырую неэффективность, соломенное чучело…

Но я не изобретал Азкабан, он был прямо в каноне и миллионы читали Роулинг и (вежливо) приняли его как данность, а не заявили (невежливо) что там нет (плохой) демократии (размера малого города), чтобы сделать такую вещь, и что она придумала Азкабан, только чтобы показать превосходство моральных установок ее героя.

В фанфикшене вы можете написать истории о чьей-либо вселенной, которую вы не изобретали и которая будет используемой, вселенной, чьи читатели, однако, были слепы так же, как слепы к возможностям и ужасам реальной жизни. Более того, ваши читатели будут знать, что множество читателей канона приняли фоновую неадекватность как нечто не делающее персонажей бесчеловечными, как и их цивилизации. «Вы говорите, это нереалистично? А вы подпрыгивали с криком «никто в обычной жизни не сделал бы этого!», когда читали канон? Подпрыгивали? Ну а буквально миллионы других читателей — нет».

В МРМ я могу указать на Азкабан и сказать «потому что он был там». Равно как и в нашей собственной вселенной это не мое личное мировоззрение — верить, что правительства продавали бы рекламируемые лотерейные билеты даже после показа того, что эти лотереи являются причиной уменьшения в среднем на 3% расходов на еду в малообеспеченных семьях. Не то чтобы я показывал, как циничен я насчет политиков; это факт, который я вбросил бы в фик по Земле как фоновую истину без того, чтобы оправдывать его. В МРМ я могу сказать то же самое о Корнелиусе Фадже, хотя источник — Роулинг, а не реальный мир. Важно то, что цивилизационная неадекватность уже дана, а не выписана мной как мое собственное утверждение.

Некоторые люди обвиняют меня в том, что я сделал МРМ более использующим уязвимости, нежели канон, поскольку Роулинг говорила, что дементоры скорее депрессия, а я отнес их к смерти. Это правда, что в таких случаях я не могу просто сказать, что так было в каноне, но… да ладно вам, дементоры — это летающие трупы, которые не могут ничего, кроме как убивать или разрушать, и могут быть побеждены только счастливыми мыслями в виде животных. Слова за пределами истории, что они вдохновляются депрессией, звучат как мощное утверждение о том, как ужасна депрессия, но были бы приуменьшением для этой загадки, если бы вы были реально внутри этой вселенной. Например, если бы вы блуждали в магической вселенной и увидели несколько неубиваемых трупов, что можно отогнать только счастливыми мыслями в форме животных и вы бы типа: «Хм… что это может представлять… смертность? Да не, думаю, депрессия», — это значило бы, что вы сильно постарались, чтобы дать контринтуитивный ответ. С моей точки зрения, дементоры-это-смерть — это Озарение Честной Игры относительно наблюдений, что вселенная канона дает нам.

(Но тогда мы должны продолжить логику рассуждений: Озарение Честной Игры не имеет защиты от того, чтобы не вмешались Годрик Гриффиндор и Ровена Рейвенкло. Вам не нужна наука магглов, чтобы решить эту загадку. Так что теперь нам надо спросить: почему Гарри был первым, кто подумал об этом? Разве кто-то не подумал бы уже об этом, если это так очевидно? Таким образом, как только Гарри узнает, что дементоры есть смерть, история тут же объясняет, почему те, кто понял это, хранят данное знание в секрете, и Гарри понимает, что Годрик Гриффиндор тоже был среди тех, кто догадался. Истинный Патронус базируется на редком состоянии разума, которое, к моему сведению, было впервые описано Фрэнсисом Бэконом в «Новой Атлантиде» в семнадцатом столетии: решение, которым вы и ваша цивилизация попытается уничтожить саму смерть, вашей собственной силой, а не только при помощи существующих стражей защитить вас. Это традиция, которой следует только Гарри; и правдоподобно, что Годрик и Ровена, которые не росли на тех же научно-фантастических книгах, никогда не достигали того же состояния разума. Все это должно быть рассмотрено в фоне, если не явно в истории, каждый раз, когда какое-то озарение или изобретение позиционируются как относительно новые касательно окружающей цивилизации.)

Я получил много откликов насчет того, что сделал дементоров воплощениями смерти. И меня на самом деле обвиняли в том, что я описал их так, что только Гарри мог понять это. Тут можно увидеть, что случается без возможности ответить «потому что канон!», когда автор начинает помещать то, что каждый считает только используемостью авторского произвола.

И поэтому есть истории, которые вы можете рассказать в фанфикшене, но которые вы не можете легко рассказать иначе, поскольку в фанфикшене читатель знает, что вы не создаете искусственно проблемы, с которыми встречается герой.

Объясняя другие вселенные

В «Неиспользуемости уязвимостей» я описал, как Азкабан мог появиться в МРМ только потому, что это изобретение Роулинг, а не мое. Можно обобщить это явление: есть авторские решения, которые вы не можете сделать сами и которые только автор может сделать для вас.

Введение Даров Смерти и их значение в МРМ я смог сделать только потому, что Роулинг уже сделала семейным девизом Поттеров «Последний враг истребится — смерть». Я никогда не смог бы изменить значение этого предложения из девиза Поттеров, не будь этого в каноне! Можете вы представить негодование читателей? Можете вы представить, как громко бы кричали люди «Двигатель сюжета!» или «Нет, это слишком уж удобно!» и «Это вообще неправильно, трансгуманизм не то, что передается от родителей и что можно унаследовать, это решение, которое мы принимаем сами!» И они были бы правы, не будь этой эпитафии на могиле Джеймса и Лили.

Поскольку надпись была на надгробном камне Поттеров, было бы неправильно, если бы я переиначил и придумал ее сам, сделав бы моментом святости, неожиданного эхо сквозь время. (Что внутри истории должно было вовлекать магию, пророчество, судьбу или что-то еще, потому что внутри истории подобные вещи не могут быть простым совпадением. Даже когда в реальности Роулинг поместила эти слова на надгробный камень без мыслей о МРМ.)

И глубже: чтобы каким-то образом объяснить и раскрыть наблюдения, что уже были в истории, так, чтобы сделать их правдоподобнее. Мне не пришлось оправдывать семейный девиз Поттеров или думать, как бы выкрутиться с ним красиво, потому что он уже был подходящим. Это было нечто, что ощущалось правильным для меня, иметь предположение Гарри насчет дементоров, которое я не ощущал бы, если бы Роулинг не заложила его в наблюдения.

Есть то, что ощущается естественным в использовании законов и объяснении фактов, что некто заложил их, возможно потому, что это привязывает сходство к реальному вызову, что мы бросаем против Природы.

Один из путей для такого ощущения — это путь хорошей фантастики и фэнтези: иметь малый набор заранее заданных условий, таких ужасных, что к моменту, когда они переходят в проблемы и загадки, вы не чувствуете, что вы выбрали их, потому что они проистекают из закона.

Но этот путь труден и работает не для всего. Есть простые законы, которые вы можете определить для путешествий во времени, и тогда все следует из этого; но нет простых законов, что создают дементоров, или Азкабан, или надгробный камень Поттеров.

Так что другой путь — это писать истории внутри чьей-то еще вселенной и следовать наблюдениям этой вселенной, пока вы не начнете давать свои собственные ответы на ее загадки и выводить дальнейшие факты, которые требуются для ваших ответов как фоновые истины.

Вот так и создаются рациональные фанфики.

Разрешимые загадки

Одним из главных сюрпризов при написании МРМ для меня было то, насколько сильно я недооценивал Иллюзию Прозрачности.

Иллюзию прозрачности можно наблюдать в экспериментах, где человеку говорят выстучать пальцами ритм мелодии (не такой, какая сразу приходит на ум, но все же достаточно известной), а потом предлагают оценить вероятность того, что другой человек поймет, что это за мелодия. Если человек оценивает вероятность в 50%, то на деле результат оказывается в районе 2%. Примерно так же люди считают, что разница в их искреннем «да» и саркастичном «да» куда заметней в телефонном разговоре, нежели на самом деле.

Иллюзия прозрачности постоянно напоминала о себе, пока я писал МРМ:

Некоторые вещи, которые я считал очевидными и вовсе не планировал делать загадочными, которые, согласно моей оценке, должны были сразу приходить на ум среднему читателю, становились предметом жарких дискуссий.

Ключи, которые я выкладывал практически на самое видное место и которые могли быть сюрпризом разве что среднего уровня в момент осознания, судя по обсуждениям, не замечались большинством людей. Читатели предлагали идею, которую я изначально закладывал, значительно реже, чем другие, или же она вообще появлялась только после раскрытия загадки, при том что к этому моменту свидетельств было уже достаточно, чтобы убедить среднего судью.

Те моменты, что я полагал тонкими настолько, чтобы десятая доля читателей догадалась о них уже при втором прочтении, замечались только единицами из сотен, а то и вообще пропускались, пока кто-то лишь спустя несколько лет не поднимал про них тему, получая в ответ волну скептицизма.

Следует заметить: несмотря на то что может показаться, будто я упрекаю своих читателей в недостатке интеллекта, это не так — часто читатели предлагали альтернативные гипотезы происходящего в истории, о которых я никогда и не думал. Например, что Квиррелл — это Гарри, вернувшийся во времени, и именно поэтому они не могут касаться друг друга, ведь, как я сам писал в 14 главе, обращенная во времени материя ведет себя как антиматерия, и именно этим объясняется ощущение обреченности, описанное в 16 главе. Это вполне обоснованная гипотеза, хотя мне она никогда не приходила в голову! Меня ослепило знание реальных фактов моей истории; я знал, что происходит, и поэтому не ощущал неопределенности и любопытства, которые могли бы помочь мне увидеть валидные альтернативные гипотезы (весьма важный урок!).

Это дало мне возможность представить вам Новый Улучшенный Рецепт встраивания загадок, уловок и свидетельств в вашу историю.

Прежде всего определите те по-настоящему важные для сюжета фоновые факты, которых, с вашей точки зрения, персонажи не знают и на которых текст не должен делать явный акцент до самой развязки.

И не делайте абсолютно ничего, чтобы скрыть их. Никаких ложных путей, если не считать тех, что антагонисты истории могли подготовить для обмана героев. Не прячьте улики и свидетельства, даже если они кажутся вам чересчур очевидными. Не волнуйтесь, что читатель догадается слишком рано. Просто позвольте фактам истории отбрасывать какие угодно вопиюще огромные тени, пока история попросту не выплюнет буквальную истину прямо в текст.

Благодаря иллюзии прозрачности это все будет трудней заметить и свести в общую картину, чем вам кажется. Все это будет загадкой, которую внимательные читатели будут обдумывать по мере прочтения истории.

И даже тогда не факт, что большинство читателей заметят загадку до того, как история закончится, что им вообще придет в голову задать вопрос, пока персонажи истории явно не задумаются об этом сами. Если загадка кажется вам важной для сюжета, вам придется заставить персонажа упомянуть о ней (пусть даже он не сумеет решить ее из-за недостатка данных или просчета в мышлении), чтобы читатель точно был в курсе существования загадки.

Это не значит, что читатели глупее вас. Так происходит вследствие того, что читать получается быстрее, чем писать. Если в тексте нет прямого указания остановиться и подумать над определенным предложением, то человек продолжит читать. И даже если явно сказано, что предложению стоит уделить внимание, читатель все равно пойдет дальше. Если заставить персонажа подумать «Хм…что-то не так в этой истории, мне нужно остановиться и поразмыслить…», как вы думаете, что сделает читатель? Правильно, продолжит читать, чтобы узнать ход размышлений персонажа.

Теперь я способен создавать куда более тонкие улики, нежели крик во все горло, и при этом быть уверенным, что их заметит больше одного читателя, но это только потому, что у меня есть сообщество из тысяч читателей, которые анализируют МРМ. Я действительно был впечатлен тем, насколько увеличивается мощь способности читателей находить свидетельства, если они собираются в сообщество. Господствующие теории существенно улучшились, скорость обнаружения свидетельств возросла, если сравнивать с теми временами, когда комментарии к главам оставляли только единицы. Появление сообщества было моментом, когда я реально увидел доказательство мощи коллективного интеллекта, потому что это единственный случай, где у меня были все верные ответы, но я держал их в секрете и смотрел, как другие люди пытаются найти их в течение нескольких лет, используя две формы общественной структуры, позволяя мне сравнить их эффективность в поиске истины.

Подлинная мораль здесь в том, что если у вас нет большого организованного онлайн-сообщества, анализирующего вашу работу, не стоит прятать свидетельства слишком хорошо, если вы хотите, чтобы читатели надежно разобрались в чем-то, особенно при первом прочтении.

Реальное обучение

МРМ, 23 глава:

«— Однако, — сказал Гарри, — это только одна из гипотез. Предположим, что в рецепте есть единственная пара, в которой записано, волшебник ты или нет. Только одно место для «магических» или «немагических» бумажек. Тогда есть только три варианта. Обе бумажки «магические». Одна бумажка «магическая», а другая — «немагическая». Или обе бумажки «немагические». Волшебники, сквибы и магглы. Магглорождённые тогда будут рождаться не у настоящих магглов, а у двух сквибов — у двух родителей, у каждого из которых в рецепте по одной «магической» и одной «немагической» бумажке. Теперь представь, что ведьма выходит замуж за сквиба. У каждого ребёнка всегда будет по одной «магической» бумажке от матери, не важно, какая из них будет выбрана случайным образом. Но, как и при подбрасывании монеты, в половине случаев у ребёнка будет «магическая» бумажка отца, и в половине — «немагическая». Если верна предыдущая гипотеза, у детей от этого брака был бы слабый магический дар. Но в данном случае — половина будет волшебниками и ведьмами, по силе равными матери, а половина — сквибами. Ведь если в рецепте только одна пара, определяющая, волшебник ты или нет, то магия — это не стакан мелких камушков, которые могут перемешиваться. Это один волшебный камешек, камень мага.

Гарри выстроил три пары бумажек: на одной написал «магия» и «магия», на другой написал «магия» только на верхней, а третью оставил пустой.

— В этом случае, — сказал Гарри, — у тебя либо есть два камня, либо у тебя их нет. Ты либо волшебник, либо нет. Могущественными волшебниками будут более обученные и опытные. И если волшебники становятся слабее от природы, не из-за утерянных заклинаний, а из-за утраченной способности их творить… что ж, может быть, они питаются как-то не так или ещё что. Но если этот процесс постепенен и неуклонно продолжается на протяжении более восьмисот лет, это может значить, что сама магия уходит из мира.

Гарри выстроил ещё две пары бумажек и достал перо. Вскоре в каждой паре было по одной «магической» бумажке и одной пустой.

— Что приводит меня к следующему предположению, — сказал Гарри. — Что происходит, когда женятся два сквиба? Подбрось монетку дважды. Могут получиться: орёл и орёл; орёл и решка; решка и орёл; решка и решка. В четверти случаев получается два орла, в четверти — две решки, а в половине случаев получится один орёл и одна решка. Так и с семьями сквибов. У четверти детей будет «магия-магия» — волшебники. У четверти — «немагия-немагия», магглы. А оставшаяся половина будет сквибами. Это очень старая классическая схема. Обнаружил её Грегор Мендель, которого до сих пор помнят, и это открытие стало первым шагом к разгадке секретов крови. Каждый, кто знает хоть что-то о науке крови, узнает эту схему в мгновение ока. Она не будет точной, ведь нельзя с уверенностью утверждать, что, подбросив монетку дважды сорок раз, ты получишь ровно десять пар орлов. Но если волшебников от семи до тринадцати из сорока детей, то это уже веское свидетельство. Поэтому я и хотел, чтобы ты собрал эти данные. Давай теперь на них посмотрим.

И, не дав Драко опомниться, Гарри Поттер выхватил пергамент у него из руки.

У Драко пересохло в горле.

Двадцать восемь детей.

Он не помнил точно, но около четверти из них были волшебниками…»

Если бы мне пришлось выделить шесть навыков, необходимых для описания реальной науки в художественном произведении — только кратко, не развернутые описания, но по крайней мере описать на что они были бы похожи, чтобы они могли сказать вам, плывете вы или тонете:

1) Знать материал на уровень выше того, чем появляется в истории. Генетика Менделя была отправной точкой для современной генетики, и она невероятно проста по сравнению с современной генетикой популяций, включающей сложные математические расчеты. Я узнал о Менделе, когда читал «The Coil of Life» в возрасте десяти лет, и я предположил, в интересах произведения, что Гарри сделал то же самое. Вам не нужно знать досконально современную генетику или даже уравнение Прайса, чтобы выписать мысли Гарри. Вам нужно знать Менделя и знать достаточно хорошо, чтобы убедиться, что ваш персонаж понимает его правильно.

Чтобы убедиться в своем твердом знании, постарайтесь изучить по крайней мере один уровень выше того, что используется в истории. Вам не нужна степень доктора в генетике популяций, однако было бы мудро знать достаточно о генах, фенотипах и хромосомах, что генетика Менделя является для них частным случаем, а не для какой-то продвинутой штуки, которую можно прочитать в научно-популярных книгах. (Персонаж может прочитать только популярную книгу, я так моделировал Гарри, но мне нужно было разбираться лучше.)

2) Быть готовым увидеть, как материал будет реализован в истории. Корень этого навыка в принципе Ричарда Фейнмана «Смотрите на воду!», описанном в http://v.cx/2010/04/feynman-brazil-education.html (прим. пер. — русский перевод можно прочитать тут http://www.abitura.com/modern_physics/Feynman1.html), о котором вы должны пойти и прочитать прямо сейчас.

Один из путей тренировки навыка «Смотри на воду!» — то, что на CFAR называется упражнением «Понедельник-Вторник». В понедельник телефоны работают посредством радиоволн. Во вторник они работают на магии (на любой из магических вселенных, какой захотите, хоть из «Баффи — охотницы на вампиров»). Насколько разными бы выглядели понедельник и вторник? Как бы вы распознали, в какой вселенной вы сейчас находитесь? Представьте альтернативы научным принципам, которые вы знаете, спросите, насколько иным выглядел бы мир, будь эти альтернативы истиной.

3) Вы должны владеть искусством релевантности; это способность увидеть точно те аспекты знания, которые необходимы для определенного вывода, или нужный набор шагов в мышлении, а потом включить только те вопросы и идеи, что относятся к сюжету. Вам надо использовать искусство релевантности, чтобы понять: ненужно включать тот факт, что люди имеют 23 пары хромосом, в слова, которые Гарри говорит Драко — что процесс мышления при этом будет протекать точно так же и в альтернативном мире, где у человека 90 хромосомных пар — и поэтому нет необходимости упоминать это, даже если этот факт является первым, что приходит вам в голову при упоминании генетики.

К сожалению, я не знаю, как нормально тренировать эту способность, это, похоже, общая проблема — большинство людей обычно вставили бы факт «у человека 23 хромосомы», даже если бы это не было критично для истории. (Я часто говорю о редком использовании данного искусства.) Базовый тест здесь заключается в том, что для любого научного факта, который вы хотите объяснить, вы должны спрашивать себя, насколько иной была бы ваша история, если сам факт был бы другим. Если это приводит к тому, что ваш мозг выбрасывает ошибку, а не выдает ответ, смотрите навык 2.

Без способности сокращать объяснения путем переформулировки и уничтожения отсылок к более продвинутым идеям, нежели чистый минимум, нужный для сюжета, Гарри бы пытался объяснить Драко, что такое «хромосома». Если Гарри может применить принцип «Смотри на воду!» и просто показать на два кусочка бумаги вместо этого, что заменяют абстрактные рассуждения, продвинутые идеи хромосом с конкретными иллюстрациям не будут обладать всей своей полнотой, но будут достаточно хороши для поддержки сюжета и облегчения написания текста.

4) Вы должны быть в состоянии объяснить вещи своими словами, причем на более высоком уровне, нежели от вас просят учителя в эссе. Гарри, в вышеприведенном случае, ни говорит ни единого слова о «генах», или «хромосомах», или «признаках», или «рецессивной», или «аллели». Также Гарри не определяет своими словами эти же вещи. Гарри не пытается определить, что «рецессивный признак» значит в общем смысле, чтобы он мог воззвать к этой стандартной нотации «рецессивных признаков» как авторитету для его вывода, что одна четвертая детей сквибов должны быть волшебниками. Поиск по кэшу сказал бы, что это следствие «рецессивных признаков», поэтому если использовать это словосочетание, вы просто воззовете к этому и попытаетесь рассказать, как вообще работают «рецессивные черты». Это означает, что вы не сможете применить навык релевантности, пока вы сначала не научитесь обходить поиск в кэше.

Гарри показан переводящим Менделя из концептов, вычитанных в The Coil of Life, не просто в другие слова, или в более конкретные и немедленные идеи, однако (что является более высоким уровнем навыка) в демонстрацию с кусочками бумаги. Потому что беглость с использованием простейших или более конкретных идей вместо стандартных кэшированных помогает Гарри убрать идеи, которые Драко не нужно знать прямо сейчас, уменьшить общий объем объяснения и сделать это менее похожим на университетскую лекцию, переложенную в текст.

Чтобы улучшить ваш уровень в этом навыке, используйте Табу Рационалиста (другое название того же навыка).

5) Быть способным представить, на что похоже не знать материал, без того чтобы быть глупым. Моделировать читателя, к которому хотите достучаться, или моделировать персонажа, который должен обучиться, требует того же вида эмпатии, что и при создании реалистичных злодеев и прохождения Идеологического Теста Тьюринга. Ваша эмпатия должна быть способна выйти из сейфа, уютных пределов вашего разума, где определенные идеи уже известны и определенным принципам уже оказано доверие.

Вот почему Драко не кивнул тут же и не согласился с Гарри, после объяснения «статистической значимости» (таким образом показывая великое доверие статистической значимости, которое любой умный человек должен показать, как только ему объяснят идею), вот почему не уставился недоуменно на Гарри, когда тот сказал «статистическая значимость» (потому что любой, кто не понимает этого, не имеет внутренней жизни). Вы должны выписать Драко как подлинно чуждый разум, разумный и способный общаться на сложном языке, но при этом не знающий, что такое ген. Вы должны оставить уютные пределы вашего сознания и войти в сознание с другими идеями и эвристиками, сознание, у которого все еще мощный интеллект и которое не согласно с вами в определенных вещах. Вы должны объяснить все читателю, которому в лице Драко объясняет Гарри, две проблемы, отражающие друг друга.

6) Вы должны быть способны объяснить технические идеи другим людям. Это навык. Его можно практиковать. Я не всегда справляюсь с этим, и некоторым людям я все еще не в состоянии что-то объяснить, но я становлюсь со временем все лучше. Вы можете практиковать это лично и получать обратную связь. Вы можете практиковать это через блог и получать комментарии. Вы можете практиковать это с уважением к определенному знанию, что должно появиться в вашей истории — просто найдите кого-то и попытайтесь объяснить те же факты, что должна объяснить история, но без ее контекста.

Это шесть навыков, которые нужны для помещения реальных знаний того типа, что читатель на самом деле может получить, в историю без того, чтобы разрушать течение истории дополнительной сложной частью. Объяснять науку так, чтобы людям было легко ее понять — с этим часто не справляются и в школе. Необходимость вставить знание в историю, без того чтобы нарушить течение этой истории, привносит дополнительную сложность.

Ключ к этому опять же в релевантности. «Релевантность» не значит «ассоциируемая с чем-то», это значит «сюжет пошел бы по-разному в зависимости от этого». Предположим, что вы говорите: «Ну, я хочу поработать над наукой тут…и Драко волнуется о чистоте крови… так что я заставлю Гарри объяснить о ДНК, этих маленьких спиралях внутри людей, поскольку это релевантно чистоте крови». На самом деле нет. Это ассоциативно связано в вашем сознании с наследственностью, но это не релевантно сюжету. Предположим, что ДНК была бы маленькими кубиками, а не спиралями, и звалась бы не ДНК, а ПРОВРАМ. Была бы глава 24 другой? Нет. Так что это не релевантно сюжету.

С другой стороны, если бы человеческие хромосомы были бы триплетами, а не парами, законы Менделя были бы другими и два альтернативных аллеля для «магия-немагия» не значили бы три разных фенотипа полной магии, полумагии и немагии. Гарри не говорит «хромосомы идут парами» — это слишком сложное объяснение для ситуации, пусть даже и верное — но Гарри кладет два кусочка бумаги друг напротив друга, чтобы объяснить законы Менделя. Чтобы облегчить привнесение науки в историю, должен быть случай, где, будь наука другой, и сюжет был бы другим. Это то, что заставляет читателя проявить интерес к науке.

Когда вы придумываете вашу магическую систему, включающую руны, которые имеют Цвет и Элемент, или что угодно, их законы естественно релевантны к вашей истории. Есть авторы фэнтези, которые терпят неудачу даже здесь, изобретая системы, которые не имеют отношения к сюжету. Однако на некотором уровне явно проще иметь свою собственную магическую систему, которая будет релевантна к вашей истории, нежели приспосабливать историю к генетике Менделя.

Итак, если есть возможность, то нет нужды придумывать что-то дополнительно! Большая часть релевантной науки в МРМ была вставлена по возможности, а не заранее задумана стратегически из желания научить ей. Я не начинал с генетики, изобретая потом под нее 24 главу. Менделевское объяснение пришло ко мне, когда я размышлял над Волшебниками, сквибами и магглами; и тогда этот фоновый факт, про который я решил, что он будет правдой, показался интересным открытием, которое Гарри мог бы сделать и проверить путем, который читатель мог бы понять (без технократии или сложной математики) и которое также было бы релевантно цели Гарри привлечь Драко Малфоя к науке.

Глава 6 вращается вокруг ошибки планирования, но я не начал с Урока Морали, сконструировав вокруг него главу. Я просто продолжил писать визит Гарри в Косой переулок, чтобы купить школьные принадлежности, просто позволив событиям произойти. В определенный момент мой мозг распознал ситуацию, где я явно подумал бы об ошибке планирования и использовал бы ее для калибровки своей собственной готовности с подходящим уровнем пессимизма, так что Гарри подумал и сделал то же самое, после чего я решил, что заголовком главы будет «Ошибка планирования», да и другие события главы подошли под это название.

В МРМ заголовок главы почти всегда приходил ко мне после того, как я начинал ее писать (исключая Стэнфордский Тюремный Эксперимент, который был большой аркой и требовал заголовка заранее; и вы можете заметить, что я не упоминал настоящий эксперимент до 60 главы, и то это была лишь ремарка).

Поэтому, если вы хотите включать науку в вашу историю естественно, без усилий, вы должны приобрести привычку постоянно искать научные факты, релевантные к вашей истории, в вашей собственной жизни — что может быть хорошей идеей и по другим причинам, отмечу между прочим, — и постоянно применять технику «Понедельник-Вторник», спрашивая, насколько другим выглядел бы мир, если бы наука была другой (также хороший план вообще, может помогать вам отмечать по-умному звучащие слова, которые при этом совершенно не относятся к истории.)

Тут вы можете задуматься об этом моменте, где производится попытка поместить Настоящую Науку или Настоящую Математику в историю на первое место. Это удваивает сложность — нужно одновременно и объяснить нечто, и не разрушить при этом течение истории. Так зачем пытаться делать это одновременно? Зачем практиковаться и получать навыки, чтобы учиться этому? Чего мы достигаем этим путем, почему он лучше?

Однажды я прочитал, не помню где, поговорку, которую помню до сих пор:

Документальная литература дает знание, а художественная литература — опыт.

Когда мы входим в художественный мир, мы не просто изучаем факты о персонажах и их мире, мы живем их жизнями и косвенно получаем их опыт.

Если вы практикуете и изучаете навыки как науки, так и художественного описания, вы можете сделать нечто, чего не могут сделать авторы обычных произведений — поместить читателя прямо на место персонажа, когда он использует науку так, как она должна быть использована. Вы можете разделить опыт (а не просто факты) того, что поможет понять и применять простую генетику Менделя.

Разумеется смыслом глав 22-24 не была генетика Менделя. Опыт научного поиска, формулирования альтернативных гипотез, понимания того, что они предсказывают, их проверка — вот настоящий опыт, который я хотел передать читателю. Если бы я хотел передать только генетику Менделя, я бы написал пост в блог с полезными диаграммами… или нет. Насколько хорош был бы пост в блоге? Если вы хотите, чтобы люди и правда задумались о рецессивных генах, в некоторых жизненных ситуациях, где это релевантно (будет ли у вашего ребенка риск генетического заболевания?), тогда чтение 23 главы может быть полезней блога с диаграммами, даже если диаграммы будут ясней, нежели то объяснение, что Гарри проводит в тексте.

23 глава пытается поместить вас на место того, кто использует генетику Менделя, применяя ее к пониманию ситуации вокруг. Даже цветные диаграммы, показывающие альтернативные аллели и фенотипы, не делают этого.

Если и есть нечто, что, я надеюсь, Серьезные Писатели взяли от МРМ, так это идея использования художественных произведений для передачи опыта когнитивных навыков.

Умные персонажи третьего уровня

Один из наиболее греющих мне душу отзывов о МРМ я получил на одном из сайтов признаний, не помню точно, на каком.

Заголовок изображения гласил: «Мой научный руководитель думает, что я талантлив. А я не осмеливаюсь ему сказать, что просто делаю так, как, по моему мнению, поступил бы ОН».

На картинке был изображен мальчик со шрамом, который щелкал пальцами.

(Чтобы все поняли: если вы можете представить ГДжПЭВ1 достаточно хорошо, чтобы узнать какие эксперименты он бы провел, и удивить этим вашего научного руководителя, то Принцип Винжа гласит, что вы по крайней мере столь же умны, как Гарри Поттер, живущий у вас в голове. Не похоже, чтобы ваша модель Гарри запускалась на каком-то еще мозге.)

За год до начала МРМ я определил термин «рационалистская литература» отсылкой к некоторым существующим работам, наподобие Мира Нуль-А от ван Вогта. Намеков на фанфикшен тогда еще не существовало (март 2009). У меня были только оригинальные истории в тот момент моей писательской карьеры.

В 2009 я сказал следующее:

«Когда вы смотрите на то, как работает Шерлок Холмс, вы не можете пойти и сделать это сами. Шерлок Холмс не оперирует каким-либо воспроизводимым методом. Он работает, волшебным образом находя нужные улики и волшебным образом соединяя верные сложные цепочки дедукции. Возможно, это так только для меня, но мне кажется, что чтение про Шерлока Холмса не вдохновит вас пойти и делать, как он. Холмс — своего рода супергерой-мутант. И даже если вы попытаетесь имитировать его, в реальной жизни это никогда не сработает».

Что ярко контрастирует с романами ван Вогта про Нуль-А, начинающимися с Мира Нуль-А. Прежде всего — я признаю, что у Вогта есть ряд недостатков как у автора. Вместе с этим, возможно, именно книги о Нуль-А оказали влияние на мое сознание, которого я не осознавал, еще годы назад. Это не тот тип книг, что я перечитываю снова и снова, я прочитал их и отложил в сторону, однако это были те книги, где я впервые увидел идеи «карта не равна территории» и «роза1 — это не роза2».

Нуль-А базируется на неАристотеле, и допущение, сделанное в этих книгах, заключается в том, что изучение общей семантики Коржибского сделает вас супергероем. Давайте не будем углубляться в эту тему. Куда важнее, что в Нуль-А романах:

1) Главный герой, Гильберт Госсейн, не мутант. Он изучал техники рациональности, которые систематизированы и изучаются другими членами общества, а не только им.

2) Ван Вогт говорит нам, каковы эти принципы (по крайней мере, некоторые из них), а не оставляет их таинственно неизвестными — мы не можем стать Гильбертом Госсейном, но можем, по крайней мере, использовать его навыки.

3) Ван Вогт передает опыт, показывая Госсейна, использующего принципы на ходу, а не оставляя эти принципы для триумфального объяснения задним числом. Мы можем поставить себя на место Госсейна, например, в тот момент, когда он делает сознательный выбор между двумя разными вещами, которые называются одним именем.

Что это за загадочная штука — рациональность? Ну, это точно те техники хорошего мышления, которые могут быть переданы, не являются закрытыми или полностью таинственными. Это пути хорошего мышления, работающие при помощи познаваемых правил, которые могут быть высказаны вслух, определены в деталях и объяснены другим людям.

Если хорошее мышление показано вам в любой распознаваемой форме, вы должны научиться этому хотя бы немного. Если вы по-настоящему распознали хорошие черты мыслительного процесса, когда читали, у вас должен быть лучший шанс на то, чтобы сами потом их воспроизвести.

В теории искусственного интеллекта есть схожесть между распознаванием хороших решений и изобретением хороших решений. Если у нас есть неограниченные вычислительные мощности, то, чтобы изобрести хорошее решение, мы просто берем распознаватель хороших решений и запускаем его на всех возможных входных данных. В реальной жизни наши вычислительные мощности ограничены, но это не меняет структуру проблемы: способность распознать хорошую мысль в своей основе связана со способностью изобретать хорошие мысли.

Если вы можете распознать набор мыслей как умные, тогда при неограниченных вычислительных мощностях вы можете быть умны; просто ищите все возможные мысли. И даже в реальном мире с ограниченной вычислительной мощью связь все еще существует, пусть даже не идентичная. Поиск хороших примеров должен тренировать вашу способность к распознанию, заставлять вас быстрей распознавать такие вещи.

Поэтому, если вы не стали умнее от чтения про точку зрения персонажа, даже на чуточку, то, скорее всего, автор не показал настоящий интеллект.

Конечно, у реального гения будут таланты, которые вы не можете перенять только путем наблюдения их хода размышлений. Но ни одна из мыслей уровня гения в реальном мире не является целиком непрозрачной. Чтение «Конечно, вы шутите, мистер Фейнман» не превратит всех читателей в физиков уровня Нобелевской премии, но большинство сумеет взять что-то из книги, пусть даже немного.

Так что с предположительно умными персонажами, чей ум читатели не могут перенять даже немного? Тогда мысли персонажа, по крайней мере показанные, должно быть, не были по-настоящему умными.

И если вы можете выучить какой-то навык «интеллекта», наблюдая как литературный персонаж делает это… ну, вы могли бы назвать это одним из методов рациональности. Он передаваем; он не является суперсилой мутанта.

Все, что я рассказывал о реализации науки в вашем произведении, применимо и к объяснению когнитивной науки или любой техники рациональности. Оно должно быть по-настоящему релевантно (либо сюжет должен быть построен вокруг него, либо оно должно естественно вписываться в сюжет) чтобы объяснение было частью сюжетного напряжения, а не вредило ему. Вы должны знать, как объяснить это своими словами, убрав весь жаргон и обычные термины. Во многих случаях (хотя, думаю, не во всех) стандартные имена нужно убирать, оставляя только использование самой идеи.

Результатом, если все получится, будет персонаж с интеллектом третьего уровня, чьи мыслительные процессы сияют интеллектом даже в отрыве от их второуровневых всплесков гениальности, так, чтобы читатели могли ощущать, что тоже входят в ритм удивительно хорошего мышления и сами могут имитировать мышление этих персонажей, пусть даже чуть-чуть. Все дело в воспроизводимых шаблонах хорошего мышления, которые бросают вам, автору, вызов: узнать, какие черты отмечают хорошее мышление персонажа именно как хорошее (независимо от того, говорите ли вы это явно в произведении).

Схожим образом, когда ваш персонаж делает ошибку (лучше всего — при хорошо обоснованной попытке мышления, которая просто недостаточно хорошо удалась), это поможет узнать, какое заблуждение, искажение или неправильный шаблон ведут к этой ошибке, так что задним числом, когда ваш персонаж думает о том, как избежать этой ошибки в будущем, читатель тоже может выучить этот урок.

Читатели, которые любят интеллект персонажей в МРМ, не были впечатлены ракетной метлой или другими подвигами интеллекта второго уровня. Они были впечатлены деталями того, как Гарри размышлял над решениями, эвристиками, через которые приходил к ответу, альтернативами, которые он рассматривал и отвергал. Они ощущали, что сами учатся мыслить лучше, когда смотрят, как думает Гарри и как он сам пытается мыслить лучше. Просматривая позднейшие обзоры МРМ, вы можете найти обзор, говорящий, что до чтения вы были не таким.

Данный уровень интеллекта персонажей невозможно подделать только при помощи какого-либо литературного трюка.

Вы не можете это сделать, используя терминологию когнитивной науки, пытаясь показать, что вы входите в сообщество рационалистов, поскольку чтение этих фраз никого не научит как думать. Даже если они выглядят как фраза «ошибка планирования», вы не научите никого путем чтения ваших произведений, у вас получится показанный, но не выписанный интеллект, таким образом вы просто плюнете на своих читателей.

Вы не можете взять стандартизированную Глубокую Мудрость вашей окружающей культуры и заставить ваших персонажей повторять ее. Этот прыжок к кэшированной мысли про Глубокую Мудрость, даже если вы думаете, что эта Мудрость незнакома большинству, равноценен тому, что вы выписываете вампиров как шипящих и пьющих кровь, вместо того чтобы подумать, как бы вы себя вели на месте вампира. Разговор не о том, чтобы вам пришлось изобретать вашу собственную версию ошибки планирования, но когда персонаж думает об ошибке планирования, это не должна быть та же самая мысль, что приходит к Гарри в МРМ. Для вас теперь это эквивалент шипящих и пьющих кровь вампиров. Сказав то, что думают все ваши друзья или то, что, как вы помните, писал кто-то еще, даже если вы думаете, что ваши читатели не читали это, вы породите ощущение черствости. Для распознания черствости и мышления за ее пределами нужно включить функцию Оригинальности.

Вы не можете создать распознаваемый выучиваемый интеллект путем утверждения, что ваш персонаж использует какую-то технику и выигрывает таким образом. Интеллект третьего уровня существует на уровне параграфов, а не целых сюжетов. Он в том, как ваш персонаж приходит к следующей мысли, которая показана в предыдущем параграфе. Конечный исход истории не зависит от того, как хорошо этот когнитивный алгоритм сработал бы в реальной жизни или выучил ли читатель что-либо путем чтения этого. Решение, что персонаж выиграет, используя какой-то метод, это рассказ читателю об интеллекте, не показывая ему самого интеллекта; это рассказ о навыке, но не показ его. Разговор не о том, что ваши персонажи никогда не должны выигрывать, используя умные методы. Смысл в том, что рассказ о выигрыше персонажа не является существенной частью сложной задачи показать принципы хорошего мышления (хотя рассказ о том, как была достигнута победа, может быть важной частью).

Вы можете научиться описывать персонажей с интеллектом третьего уровня, живя собственной жизнью хорошо, изучая, как мыслить хорошо, и пытаясь объяснить изученное остальным, изучая релевантные науки, ища техники, которые другие систематизировали, и применяя их в собственной жизни. Какие бы передаваемые когнитивные навыки вы не выучили до уровня применения их в собственной жизни и опыте, вы можете передать их персонажу, чтобы он использовал их в своем опыте, и тогда вы получите персонажа, образ мышления которого читатели могут перенять.

Это великий секрет выписывания подлинно умных персонажей, и только так и должно быть. Вот и все.

• 1. Гарри Джеймс Поттер-Эванс-Веррес

Сегодня вышло открытое письмо, призывающее «все ИИ-лаборатории немедленно приостановить обучение ИИ-систем мощнее, чем GPT-4, хотя бы на 6 месяцев».

Этот шестимесячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто присоединился и подписал письмо. Это – небольшое улучшение.

Я воздержался от подписывания, потому что я думаю, что письмо занижает серьёзность ситуации и просит о слишком малом для её разрешения.

Ключевая проблема – не «конкурирующий с людьми» интеллект (как написано в письме), а то, что произойдёт после того, как ИИ доберётся до уровня интеллекта выше человеческого. Ключевые пороги могут быть неочевидны, мы уж точно не можем заранее просчитать, когда что произойдёт, и сейчас кажется вполне представимым, что исследовательская лаборатория пересечёт критические линии, не заметив этого.

Многие исследователи, разбиравшиеся в этих проблемах, включая меня, ожидают, что наиболее вероятный результат создания сверхчеловечески умного ИИ при обстоятельствах, хоть отдалённо напоминающих нынешние – что буквально все на Земле умрут. Не как «может быть, возможно, какой-то шанс», а «это очевидное событие, которое произойдёт». Не то, чтобы нельзя было в принципе пережить создание чего-то умнее себя, но это потребовало бы аккуратности, подготовки, новых научных озарений, и, вероятно, чтобы ИИ-системы не состояли из гигантских непонятных массивов матриц вещественных чисел.

Без этой аккуратности и подготовки, наиболее вероятный исход – ИИ делает не то, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такую заботу можно в принципе вложить в ИИ, но мы не готовы,* и мы сейчас не знаем, как.

Без этой заботы мы получаем «ИИ вас не любит, и не ненавидит, и вы состоите из атомов, которые он может использовать для чего-то другого».

Ожидаемый результат столкновения человечества с противостоящим сверхчеловеческим интеллектом – полное поражение. Подходящими метафорами могут быть «десятилетка пытается играть в шахматы с Stockfish 15», «11-й век пытается сражаться с 21-м веком» и «Австралопитеки пытаются сражаться с Homo sapiens».

Чтобы визуализировать сверхчеловеческий ИИ, не представляйте, как книжный червь, у которого нет жизни, лезет в интернет и посылает злонамеренные е-мейлы. Представьте целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально заключённую в компьютерах – в мире существ, с её точки зрения, очень глупых и очень медленных. Достаточно интеллектуальный ИИ не останется ограничен компьютерами надолго. В современном мире можно послать е-мейл с последовательностями ДНК в лаборатории, которые произведут белки по запросу, что позволит изначально заключённому в интернете ИИ создать искусственные формы жизни или сразу разогнаться до постбиологической молекулярной сборки.

Я ожидаю, что, если кто-то создаст слишком мощный ИИ в нынешних условиях, все до единого представители человеческого вида и вся биологическая жизнь на Земле погибнут вскоре после этого.

Нет планов о том, как мы можем это сделать и выжить. OpenAI открыто объявили, что собираются заставить какие-то будущие ИИ выполнять нашу работу по согласованию ИИ. Любому разумному человеку должно быть достаточно услышать, что это и есть план, чтобы начать паниковать. У другой ведущей ИИ-лаборатории, DeepMind, вовсе нет плана.

Отступление: Эта опасность никак не зависит от того, могут ли ИИ осознавать себя и делают ли они это; она выводится из понятия мощной когнитивной системы, которая мощно оптимизирует выводы согласно достаточно сложному критерию исходов. Всё же, я бы увильнул от исполнения своего человеческого морального долга, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли себя ИИ-системы – потому что мы понятия не имеем, как декодировать что-либо, происходящее в огромных непонятных массивах – а следовательно, мы можем в какой-то момент непреднамеренно создать цифровые разумы, обладающие настоящим сознанием, которые должны будут иметь права, и которыми с моральной точки зрения нельзя будет владеть.

Правило, которое одобрило бы большинство осведомлённых об этих проблемах людей 50 лет назад, заключается в том, что если ИИ-система владеет языком, и говорит, что она осознаёт себя и заслуживает человеческих прав, то это должно сразу прекратить владение такими ИИ и использование их в своих целях. Мы уже разметали эту линию на песке. И это скорее всего было правильно; я согласен, что нынешние ИИ скорее всего просто имитируют разговоры о самосознании из своих обучающих данных. Но отмечу, что из-за того, как мы мало понимаем во внутренностях этих систем, мы на самом деле не знаем.

Если таково наше непонимание GPT-4, и мы позволим людям создать GPT-5, и GPT-5 будет таким же огромным скачком способностей, как от GPT-3 до GPT-4, то, я думаю, мы больше не сможем обоснованно сказать «скорее всего не имеет сознания». Это будет просто «я не знаю, никто не знает». Если вы не можете быть уверены, создаёте ли вы осознающие себя ИИ, это тревожит не только из-за моральных следствий «сознания», но и из-за того, что такая неуверенность означает, что вы понятия не имеете о том, что делаете, и это опасно, и вам надо остановиться.

7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал по поводу того, что новый Bing «заставит Google поплясать». «Я хочу, чтобы люди знали, что они у нас попляшут», – сказал он.

Это не то, как говорит директор Microsoft в не сошедшем с ума мире. Это демонстрирует ошеломляющий разрыв между тем, как серьёзно мы воспринимаем задачу, и тем, как серьёзно нам надо было её воспринимать, начиная 30 лет назад.

Мы не преодолеем этот разрыв за шесть месяцев.

С момента, когда впервые было предложено понятие Искусственного Интеллекта и начаты исследования в этом направлении, достижение нынешнего уровня способностей заняло больше 60 лет. Решение безопасности сверчеловеческого интеллекта – не идеальной безопасности, безопасности в смысле «не убьёт буквально всех» – вполне может занять как минимум половину от этого. И особенность попыток сделать это с сверхчеловеческим интеллектом – что если с первой попытки не получилось правильно, то вы не учитесь на своих ошибках, потому что вы мертвы. Человечество не учится на этой ошибке и не пытается снова и снова, как оно делало с другими вызовами на протяжении своей истории, потому что все погибли.

В науке и инженерии попытаться сделать что угодно правильно с первого раза – экстраординарное требование. У нас нет ничего похожего на подход, который позволил бы успешно с этим справиться. Если бы мы оценивали всю зарождающуюся область Сильного Искусственного Интеллекта минимальными стандартами, применимыми к мосту, который должен выдерживать пару тысяч машин, всю область прикрыли бы на следующий же день.

Мы не готовы. Мы не на пути к тому, чтобы стать готовыми в осмысленные сроки. Плана нет. Прогресс способностей ИИ намного, намного опережает прогресс согласования ИИ или даже прогресс понимания того, что, чёрт побери, происходит внутри этих систем. Если мы будем продвигаться так, мы все умрём.

Многие исследователи, работающие над этими системами, думают, что мы несёмся навстречу катастрофе. Больше из них осмеливаются говорить это в личном разговоре, а не на публику; они думаю, что не могут в одиночку остановить этот поезд, что даже если они уйдут со своей работы, её продолжат другие. Так что они думают, что с тем же успехом можно и продолжать. Это глупое положение дел, недостойная гибель для Земли, и остальное человечество должно в этот момент вмешаться и помочь индустрии решить её проблемы коллективных действий.

Некоторые мои друзья недавно сообщили мне, что когда люди за пределами индустрии ИИ впервые слышат о риске вымирания от Сильного Искусственного Интеллекта, их реакция – «может, тогда нам не следует создавать СИИ».

Это даёт мне крохотный проблеск надежды, потому что это более простая, осмысленная, и, честно говоря, не-безумная реакция, чем то, что я слышал последние 20 лет, пытаясь заставить людей в индустрии воспринимать всё серьёзно. Те, кто говорят так здраво, заслуживают услышать, насколько ситуация на самом деле плоха, и чтобы им не говорили, что шестимесячный мораторий её исправит.

16 марта моя партнёрка послала мне этот е-мейл (Она потом разрешила мне привести его тут):

«У Нины выпал зуб! Обычным детским образом, не от неосторожности! То, что GPT-4 взорвала эти стандартизированные тесты в тот же день, что у Нины случилась эта детская веха, на минутку эмоционально свалило меня с ног. Это всё слишком быстро. Я беспокоюсь, что, делясь этим, увеличу твою собственную скорбь, но я скорее выберу, чтобы ты это знал, а не чтобы мы с тобой страдали поодиночке.»

Я думаю, что, когда личные разговоры – о скорби из-за мыслей о том, что у твоей дочери, у которой выпал первый зуб, не будет шанса вырасти, играть в политические шахматы с шестимесячным мораторием слишком поздно.

Если бы был план выживания Земли, если бы мы только продавили шестимесячный мораторий, я бы его поддержал. Такого плана нет.

Вот, что на самом деле надо сделать:

Мораторий на новые обучения больших моделей должен быть всемирным и неограниченным во времени. Не может быть никаких исключений, включая государства и вооружённые силы. Если политика начнётся с США, то Китаю надо увидеть, что США не преследует преимущество, а пытается предотвратить появление ужасающе опасной технологии, у которой не будет истинного владельца, и которая убьёт всех и в США, и в Китае, и на всей Земле. Если бы у меня была неограниченная свобода писать законы, я, может быть, оставил бы одно исключение для ИИ, обученных исключительно для решения задач биологии и биотехнологии, не обученных на текстах из интернета, и не обученных до того уровня, на котором они начнут разговаривать и планировать; но, если это хоть немного всё усложняет, я сразу же отбросил бы это предложение, и просто сказал бы всё это закрыть.

Закрыть все большие кластеры GPU (большие компьютерные фермы, на которых создаются самые мощные ИИ). Прекратить все большие процессы обучения. Поставить верхний предел того, сколько вычислительных мощностей можно использовать для обучения ИИ-системы, и понижать его со временем для компенсации более эффективных алгоритмов обучения. Никаких исключений ни для кого, включая государства и вооружённые силы. Немедленно составить международные соглашения по предотвращению переезда запрещённой деятельности в другие места. Отслеживать все проданные GPU. Если разведка говорит, что не подписавшая соглашение страна создаёт кластер GPU, надо меньше бояться вооружённого межнационального конфликта, чем нарушения моратория; будьте готовы уничтожить мятежный датацентр авиаударом.

Не подавайте ничего как конфликт национальных интересов, сделайте совершенно ясным, что любой, говорящий о гонке вооружений – дурак. Что мы все выживаем или гибнем в одной лодке – это не политическое заявление, а объективная реальность. Международная дипломатия должна в явном виде учитывать, что предотвращение сценария связанного с ИИ вымирания считается приоритетнее предотвращения полномасштабного обмена ядерными ударами, и что союзные страны «ядерного клуба» готовы пойти на некоторый риск обмена, если это нужно для снижения риска большого процесса обучения ИИ.

Такие политические изменения нужны, чтобы мы с партнёркой обнялись, сказали друг другу, что произошло чудо, что теперь есть шанс, и может быть, Нина выживет. Здравомыслящие люди, слышащие обо всём этом в первый раз, и здраво предлагающие «может, нам не следует», заслужили услышать, что для этого надо. И когда политические запросы настолько велики, то единственное, как это может пройти – если политики осознают, что продолжи они вести дела как обычно, делая то, что политически просто, то их дети тоже погибнут.

Остановите это всё.

Мы не готовы. Мы не на пути к тому, чтобы быть готовы в обозримом будущем. Если мы будем нестись вперёд, погибнут все, включая детей, которые это не выбирали, и не сделали ничего неправильного.

Остановите.

Как-то Фрэнк Саллоуэй заметил: «Девяносто пять процентов того, что говорит дарвиновская теория о человеческом поведении, настолько очевидно, что мы не готовы признать правоту Дарвина. Как ни забавно, популярность психоанализа выше именно потому, что его предположения настолько необычны, а объяснения настолько парадоксальны, что мы думаем: «Это что, правда? Ничего себе!» Идеи Фрейда интригуют настолько, что люди готовы платить за них, а одним из наибольших недостатков дарвинизма является то, что нам кажется, будто это всё мы уже знаем — в каком-то смысле, так оно и есть».

Предположим, вы обнаружили шестилетнюю девочку, лежащую без сознания поперёк железнодорожных путей, где часто ходят поезда. Что, с точки зрения морали, вы должны сделать в этой ситуации? Лучше оставить её там, чтобы она погибла, или попытаться спасти? А как насчёт сорокапятилетнего мужчины, страдающего от изнурительной, но не смертельной болезни, сильно портящей ему жизнь — лечить его или не лечить?

О, и кстати: это вопрос без подвоха.

Я отвечу, что спас бы обоих, будь я в силах — и шестилетнюю девочку на рельсах, и сорокапятилетнего больного. Очевидный ответ — не всегда наилучший, но иногда это так.

Эти решения не принесли бы мне славу блестящего специалиста в области этики. Мои ответы недостаточно удивительны для того, чтобы люди готовы были за них платить. Если вы будете разгуливать, восклицая: «Сколько будет дважды два? Четыре!», вы не заслужите репутацию мыслителя. Но этот ответ, тем не менее, правилен.

Хорошо спасти маленького ребёнка, упавшего на рельсы, и хорошо вылечить сорокапятилетнего больного. Если вы обладаете аналитическим складом ума, вы наверняка спросите, частный ли это случай или общий этический принцип, гласящий: «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо». Если это так — и здесь мы вступаем в царство спорных утверждений, — мы можем, следуя этому принципу, прийти к неожиданному заключению: если 95-летнему человеку угрожает смерть от старости, его стоит «стащить с железнодорожных путей», если это возможно. А если 120-летний вдруг начинает чувствовать себя неважно, хорошо бы полностью восстановить его здоровье, если это возможно. С нынешним уровнем развития технологий это недостижимо. Но если бы подобные технологии стали доступны в последующие годы — к примеру, в результате бурного роста медицинских нанотехнологий или создания чудесного устройства умами будущего, — вы бы по-прежнему сочли хорошей идеей спасти эту жизнь и остановить эту болезнь?

Важно помнить — я полагаю, многие об этом забывают, — что это не вопрос с подвохом.

Трансгуманизм проще — требует меньше единиц информации для описания, — поскольку он не рассматривает частные случаи. Если верить специалистам в области биоэтики (это люди, которым платят, чтобы они поясняли этические суждения), то правило «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо» работает только до определённого возраста, а затем разворачивается на 180 градусов. Зачем? Чем был плох вариант «Жизнь — это хорошо»? Может показаться, что спасать шестилетнюю девочку — правильно, но продлевать жизнь 150-летнего — неправильно. Тогда при достижении какого возраста знак функции полезности меняется с плюса на минус? И почему?

Трансгуманист считает: если вы видите, что кому-то угрожает смерть, вы должны спасти его; если вы можете излечить кого-то, лечите. И всё. Никаких частных случаев. Возраст не имеет значения.

Не имеет значения и то, какие технологии необходимы для спасения: примитивные (носилки для ребёнка на рельсах) или изобретённые менее века назад (вроде пенициллина), но при этом не производящие впечатление чего-то необычного, поскольку они уже существовали во времена вашего детства; кажущиеся чем-то страшноватым, притягательным и футуристическим (как генная терапия), так как их изобрели уже после вашего совершеннолетия, или вообще совершенно абсурдные, невероятные и даже кощунственные на вид (как нанотехнологии), поскольку их ещё не придумали. Вы пишете отчёт по этической дилемме, следуя форме, в которой нет поля для указания года, когда нужную технологию изобрели. Вы можете спасти жизнь? Да? Отлично, вперёд. Это всё.

Предположим, девятилетнему мальчику с IQ, равным 120 по шкале Векслера, из-за высокого содержания свинца в окружающей среде грозит заболевание головного мозга, которое, если будет прогрессировать, постепенно снизит IQ до 110. Я отвечу, что мальчика стоит спасти, это будет хорошо. Если вы обладаете аналитическим складом ума, вы спросите, частный ли это случай или общий этический принцип, гласящий, что разум драгоценен. Положим, у сестры мальчика оказывается IQ в 110 пунктов. Если бы технологии были способны постепенно повысить её IQ до 120 без негативных побочных эффектов, сочли бы вы, что это стоит сделать?

Ну конечно же. Почему нет? Это не вопрос с подвохом. Или лучше иметь IQ 110, а не 120 — тогда мы должны стремиться снизить IQ со 120 до 110; или лучше иметь IQ 120, а не 110 — тогда мы должны поднять IQ сестры, если это возможно. Насколько я понимаю, очевидный ответ правилен.

Но, спросите вы, будет ли этому конец? Возможно, хорошо говорить о продлении жизни до 150 лет, но как насчёт 200 лет, 300 лет, 500 лет или более? Что, если (при условии органичного соединения с прочим жизненным опытом и постепенного увеличения возможностей разума) уровень IQ должен подниматься до 140, 180 или вообще выходить за пределы человеческих возможностей?

Где предел? Его нет. А почему он должен быть? Жизнь — это хорошо, здоровье — это хорошо; красота, и счастье, и веселье, и смех, и решение сложных задач, и процесс обучения — всё это хорошо. В области сверхвысоких значений ничего не меняется. Если бы верхняя граница существовала, у нас был бы частный случай, а это портит стройность системы.

Существуют жёсткие природные ограничения, в рамках которых срок жизни может составить (или не составить) хотя бы X для некоторых X. Такие же ограничения налагает и текущий уровень развития медицины. Но наличие физических ограничений — факт, установленный экспериментальным путём. Трансгуманизм как философию морали интересует лишь вопрос, является ли срок жизни величиной X желательным, если физически это возможно. Ответ трансгуманизма — «да» для всех X. Потому что, понимаете, это не вопрос с подвохом.

Вот что такое трансгуманизм — любовь к жизни без исключений и верхнего предела.

Неужели трансгуманизм — это настолько просто? Разве философия не превращается в банальность, если в ней нет никаких особых ингредиентов, за исключением здравого смысла? Нет, ведь и научный метод — это чистой воды здравый смысл.

Зачем тогда нужно это сложное название — «трансгуманизм»? Затем же, зачем придуманы сложные понятия «научный метод» и «светский гуманизм». Если вы вооружитесь здравым смыслом и, строго ему следуя, будете делать шаг за шагом в направлении чего-то, выходящего за рамки обыденности, успешно избегая соблазна отклониться от избранного пути или принять удобную, но ошибочную точку зрения, то, скорее всего, ваши убеждения посчитают позицией меньшинства и дадут им специальное название.

Но у философии морали не должно быть особых компонентов. Цель философии морали не в том, чтобы выглядеть привлекательно за счёт своей загадочности и нелогичности или обеспечивать рабочие места специалистам по биоэтике. Её цель — управлять нашим выбором в отношении жизни, здоровья, красоты, счастья, веселья, смеха, решения сложных задач и процесса обучения. Простота суждения не ложится на него позорным клеймом — мораль не всегда должна быть сложной.

В трансгуманизме нет ничего, кроме того же здравого смысла, что лежит в основе обычного гуманизма, аккуратно применённого к случаям, выходящим за рамки повседневной жизни. Жизнь продолжительностью в миллион лет? Если это возможно, почему нет? Эта перспектива может показаться очень странной и чуждой по отношению к нашему нынешнему жизненному опыту. Она может создать ощущение грядущего шока. И всё же, жизнь — это плохо?

Может ли этический вопрос быть таким простым?

Да.

i.

– Забейте на все эти сложные абстрактные теоретические предсказания, – твёрдым уверенным тоном сказал Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Эмпирические наблюдения говорят: все вкладчики Берни Банкмена получили 144% своих инвестиций через два года.

– «Эмпиризм» работает не так, – сказал Эпистемолог. – Ты всё ещё делаешь допущение, что…

– Чтобы посчитать, что дальше будет не так, надо поверить в перемудрёный теоретический анализ ненаблюдаемых внутренних мотивов и финансов Берни Банкмена, – перебил Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Если вы наделены добродетелью скептицизма и не доверяете переусложнённым аргументам, то вы согласитесь с тем, что будущие вложения тоже вернут 144%, прямо как и прошлые. Вот предсказание, основанное на чистых эмпирических наблюдениях. Не на теориях о будущем, которого никто не видел!

– Это не так работает, – сказал Эпистемолог. – Каждому предсказанию будущего нужна теория, которая соединяет его с нашими прошлыми наблюдениями. Нет никакого прямого перехода от прошлых наблюдений к будущим без теории, без допущений, чтобы преодолеть разрыв…

– Конечно, бывают просто эмпирические предсказания, – сказал Пресс-секретарь. – Я вот только что одно сделал. Не говоря уж о том, что, дорогая аудитория, вы и правда доверяете чему-то такому мудрёному, как эпистемология?

– Альтернатива размышлениям об эпистемологии – позволить другим размышлять о ней за тебя, – сказал Эпистемолог. – Ты говоришь: «Раз мы наблюдали X: „в прошлом вкладчики Финансовой Пирамиды получали 144% через два года“, то из этого следует Y: „следующая волна вкладчиков тоже получит 144% через два года“ ». X и Y – отдельные утверждения, а для «X -> Y» тебе нужна какая-то теория а которую можно запихнуть X и получить на выходе Y.

– Но моя теория доказана эмпирически, не то что твоя! – Заявил Пресс-секретарь.

– Не-е-е-ет, не доказана, – ответил Эпистемолог. – Я соглашусь, что мы наблюдали твой X. Что в прошлом инвесторы Финансовой Пирамиды получали 144% через 2 года. Замечу, те инвесторы, которые решили получить свои деньги, а не оставить их чтобы получить потом побольше. Это далеко не все инвесторы. Но точно так же, как мы не наблюдали предсказание Y – „следующая волна вкладчиков тоже получит 144% через два года“, мы не наблюдали и соединяющее „если X, то Y“. На этом шаге ты используешь убеждение, которое пока что наблюдение не подтвердило. Так что оно должно полагаться на какой-то аргумент или теорию. Ты, конечно, можешь заявить, что у тебя для „X -> Y“ есть теоретический аргумент получше, чем для „X -> не Y“. Но это в любом случае не эмпирическое наблюдение.

– Ты говоришь, – ответил Пресс-секретарь, – и всё, что я слышу – слова, слова, слова! Если бы ты вместо этого взглянул на предыдущих инвесторов Финансовой Пирамиды, ты бы увидел, что каждый из них получил 144% от своих вложений всего через два года! Лучше один раз увидеть!

– Возможна теория, что Берни Банкмен сам совершает мудрые инвестиции, так что он каждый год умножает свои деньги на 1.2, а потом честно возвращает их инвесторам, которые хотят их вывести, – сказал Эпистемолог. – Есть и другая теория – что Берни Банкмен каждый год получает больше инвестиций и использует их часть, чтобы заплатить предыдущим инвесторам, которые хотят вывести деньги…

– С чего бы Берни Банкмену так делать, а не забрать все деньги сразу? – Поинтересовался Пресс-секретарь. – Если он такой эгоистичный и жадный, как ты говоришь, то что б ему просто не оставить деньги себе?

– Чтобы получить ещё больше денег от новых инвесторов, которых привлекло то, как всё обернулось для предыдущих, конечно, – сказал Эпистемолог. – И, на самом деле, чтобы Берни Банкмен мог остаться в своей нынешней комфортной позиции в обществе и сохранить своих нынешних друзей. Это зачастую сильнее мотивирует людей, чем деньги.

– То есть, мы видим, как Берни Банкмен выдаёт людям деньги. Об этом нам говорит эмпирическое наблюдение. Но ты талдычишь людям свои слова и рассуждения о том, что Берни Банкмен – жадный человек, который оставляет вложения себе? Вот это расхождение между эмпирическими наблюдениями и мудрёными ненаблюдаемыми теориями!

– Мы согласны по поводу того, какое внешнее поведение Берни Банкмена мы уже наблюдали, – сказал Эпистемолог. – Когда же речь заходит о ненаблюдаемых внутренних мыслях Берни Банкмена, твоя ненаблюдаемая теория «он честен» не более и не менее эмпирична, чем ненаблюдаемая теория «он замышляет». «Честен» и «замышляет» – два возможных значения скрытой переменной окружения. Мы не можем наблюдать её напрямую. Нам надо вывести её как причину того, что мы наблюдать можем. Мы не наблюдали одно её значение в большей степени, чем другое. Мы не наблюдали и допущение X->Y, следствие из прошлого поведения возвращения денег на скрытую честность или коварство Берни Банкмена. Шаг «если наблюдал X, выведи скрытое Y» полагается на теорию, а не на наблюдения.

– Более того, – продолжил Эпистемолог с раздражённой ноткой в голосе, – я на самом деле не думаю, что нужна такая уж сложная теория, чтобы понять, с чего бы Берни Банкмену возвращать деньги первым инвесторам. Единственная причина, почему кто-то может этого не понять – этот крикун, который говорит вам, что любая альтернатива поверхностным обобщениям вслепую – «теория» и «не эмпирична». Многие могли бы в этом разобраться вовсе не затрагивая эпистемологию. Конечно, наблюдение, что кто-то возвращает тебе немного денег, не доказывает, что этот кто-то потом вернёт тебе много денег. Есть множество причин, почему он может вести себя прилично, пока ставки малы.

– Эпистемолог предлагает вам слова, – Пресс-секретарь обратился к аудитории, – а Берни Банкмен даст вам денег! Вернёте 144% через два года! Все учёные, которые измеряли поведение Банкмена, согласны, что это эмпирическая, уже наблюдавшаяся истина о том, что произойдёт! Давайте, я вдобавок докажу, что заявления моего оппонента не просто ошибочны, но и ненаучны. Я спрошу – можешь ли ты, Эпистемолог, утверждать с 100% вероятностью, что эта следующая волна инвесторов не сможет получить свои деньги через два года?

– Я не могу с уверенностью знать что-то такое о ненаблюдаемом будущем, – сказал Эпистемолог. – Даже при условии принятия гипотезы «коварства» я не могу знать, что «Финансовая Пирамида, Инкорпорейтед» развалится конкретно в ближайшие два года. Может, если вы привлечёте достаточно новых инвесторов, или достаточно мало кто из этих выведет свои деньги, то компания протянет побольше…

– Видите? – Закричал Пресс-секретарь. – Его теория не просто не эмпирична, она ещё и нефальсифицируема! А вот я вам с уверенностью говорю, что все ваши деньги будут выплачены. И более того, именно через 2 года. А этот вот заявляет, что может быть будут, а может и нет! И что он скажет, если Берни Банкмен и через два года снова выплатит 144%? Только что Финансовая Пирамида пока не обрушилась, но может обрушиться потом! Есть ли лучший пример порочности в науке? Сравните с моей научной добродетелью! Наблюдения дают нам прямой, ясный, фальсифицируемый аргумент, а мудрёные предсказания – пустая болтовня!

– Если бы было так, что рассудительный человек придёт к выводу, что есть 50% шанс на то, что Финансовая Пирамида обвалится в течение двух лет, – устало ответил Эпистемолог, – не было бы более научно-добродетельно сказать, что на самом деле шанс – 0%, только потому, что тогда есть шанс в 50%, что твоё утверждение окажется уж точно ложным и ты сможешь сказать научно-добродетельное «упс» (будто ты бы так сказал).

– Для примера попроще, – продолжил Эпистемолог, – давай представим, что мы подбрасываем монетку, про которую я думаю, что она честная, а ты говоришь, что она всегда выпадает решкой. У твоей теории есть 50% шанс, что она будет опровергнута. А моя не будет опровергнута независимо от того, что выпадет. Но это не значит, что каждый раз, когда ты подымаешь монетку на улице, научно-добродетельно решить, что она всегда выпадает решкой. Быть проще для опровержения – удобное свойство для теории. Но это не единственная важная добродетель для убеждения. И не у всех истинных убеждений она есть. Разные эпистемические добродетели надо в своих мыслях различать. А то мы совсем запутаемся.

– Как ещё один пример, – добавил Эпистемолог, – давай представим, что ты собираешься со всех ног побежать к краю обрыва. Я может и не могу точно предсказать, как быстро ты побежишь, Так что я не смогу точно предсказать, будешь ли ты через пять секунд падать, или будешь уже мёртв. Это не значит, что теорию «я полечу и никогда не умру» стоит считать более научной просто потому, что она делает более уверенное заявление о том, будешь ли ты в живых через пять секунд.

– Вот это поразительная куча оправданий за то, что у тебя нет твёрдых предсказаний на два года вперёд! – Сказал Пресс-секретарь, улыбаясь аудитории. – Верьте своим глазам! Верьте эмпиризму! Верьте Науке! Верьте, прежде всего, твёрдому фактическому утверждению: вкладчики Финансовой Пирамиды получают 144% своих денег через два года! Всё остальное – слова, слова, слова и пустые мысли!

ii.

– Хм-м-м, – сказал проходивший мимо Учёный. – Эпистемолог, я вижу, что у тебя хорошие аргументы об эпистемологии. Но ничего не могу поделать, интуитивно мне кажется, что в словах Пресс-секретаря что-то есть, хоть, согласно твоей мета-теории, их нельзя посчитать твёрдо логически верными. Мы уже наблюдали много предыдущих инвесторов, получивших от Финансовой Пирамиды Банкмена 144% через два года. Нет ли какого-то реального смысла в том, что более эмпирично сказать, что и с будущими инвесторами будет так же, и менее эмпирично – что в будущем произойдёт что-то другое? Мне кажется, первое предсказание больше руководствуется данными, которые у нас уже есть, а второе – чем-то вроде размышлений и воображения. Я вижу, как с точки зрения эпистемологии и то и другое – вполне предсказания, и используют что-то вроде допущения или теории чтобы соединить прошлое с будущим. Но нельзя ли сказать, что предсказание Пресс-секретаря использует меньше допущений, меньше теории, больше завязано на данные, чем твоё?

– Для ясности, – ответил Учёному Эпистемолог, – ты говоришь, что меньше всего допущений, меньше всего теории использует предсказание, что Финансовая Пирамида Берни Банкмена будет преумножать все вложения в 1.2 раза каждый год, неограниченно, до конца вселенной и потом?

– Ну, нет, – сказал Учёный. – Мы наблюдали, как Берни Банкмен преумножает вложения в 1.2 раза за год в нынешнем социоэкономическом контексте. Неразумно было бы распространять наши наблюдения за пределы этого контекста – например, заявить, что Берни Банкмен сможет обеспечить эти проценты после глобальной термоядерной войны. Что уж говорить о том, что будет после того, как протоны распадутся, чёрные дыры испарятся, и времени придёт конец в океане хаоса.

– Тогда позволь поинтересоваться, – сказал Эпистемолог, – не правда ли, что твоё убеждение, что Берни Банкмен перестанет обеспечивать хорошие проценты после термоядерной войны, больше нагружено теорией и менее эмпирично, чем убеждение, что Берни Банкмен продолжит умножать вложения на 1.2 вечно. Может, у твоего убеждения есть другие добродетели, которые делают его лучше, чем убеждение в «вечные проценты». Но всё равно, можно же сказать, что теория «вечных процентов» имеет то преимущество, что она меньше нагружена теорией и более эмпирична?

– Хм, – намхурился Учёный. – Для ясности – я согласен с тобой, что теория «вечных процентов» менее верна, но я не вполне уверен, что правильно назвать её более эмпиричной… Можно сказать, что у неё есть, так сказать, один грех и одна добродетель… – Учёный сделал паузу. – О, точно! Чтобы сказать, что Берни Банкмен перестанет возвращать инвестиции после глобальной термоядерной войны, мне нужны мои убеждения о ядерной физике. Но они сами по себе хорошо подтверждены наблюдениями. Так что отрицать их, чтобы оставить убеждение о Финансовой Пирамиде Берни Банкмена было бы очень неэмпирично и недобродетельно. – Учёный улыбнулся и покивал сам себе.

– Ну тогда я тебе скажу, – ответил Эпистемолог, – что твоё предсказание, что Берни Банкмен перестанет выплачивать хорошие проценты после термоядерной войны, действительно в твоём интуитивном смысле больше «нагружено теорией», чем предсказание, что Берни Банкмен попросту продолжит обеспечивать рост в 1.2 раза в год вечно. Просто так уж получилось, что тебе нравятся теории, которыми оно нагружено. В том числе потому, что ты считаешь их полными восхитительной добродетели эмпиризма.

– А не могу я просто сказать, – спросил Учёный, – что я наблюдал, что Финансовая Пирамида выдаёт проценты в определённом социоэкономическом контексте, и эмпиризм позволяет обобщать только внутри контекста, в котором были сделаны все мои предыдущие наблюдения?

– Я бы мог точно также сам сказать, что такие схемы часто состоят из двух фаз, – улыбнулся Эпистемолог. – В первой он замышляет забрать твои деньги, а во второй он действительно их забирает. И что с точки зрения моей теоретической позиции мы должны не проводить обобщения с контекста первой фазы на контекст второй, – Эпистемолог сделал паузу, а потом добавил, – хотя, если аккуратно говорить об объектном уровне, то печальная правда в том, что многие такие схемы начинаются с склонных к ошибкам людей с глупым, но сравнительно честным планом как преумножить инвестиции. И только после того, как первая честная схема терпит неудачу, в качестве альтернативы болезненному признанию, они начинают скрывать неудачу и выплачивать ранним инвесторам деньгами более поздних. Иногда они при этом всё ещё говорят себе, что собираются в итоге заплатить всем. А иногда открыто для себя становятся мошенниками. Бывают, конечно, и мошенники изначально. Так что тут может быть «наивная» фаза, за которой идёт фаза «скрытности» или фаза «обмана»… но я отвлёкся. – Эпистемолог потряс головой и вернулся к предыдущей теме. – Суть в том, что и про мою теорию, и про твою, можно сказать, что они конкретизируют контекст наших прошлых наблюдений. И это не мешает моей теории выдавать не то же предсказание, что твоя. Они ведь призывают к разным принципам помещения данных в контекст. Нет понятия «контекста», что не было бы нагружено теорией.

– Ты точно не переусложняешь что-то, что не должно быть сложным? – Спросил Учёный. – Почему бы просто не сказать, что любое наблюдение можно обобщать только в пределах очевидного контекста? Который ты можешь соорудить безо всяких теорий о чём-то ненаблюдаемом вроде мыслей Берни Банкмена или «настоящего» баланса на счеты Финансовой Пирамиды?

– Смотри, – сказал Эпистемолог, – в любой момент какой-нибудь тролль может заявить: «Все ваши наблюдения массы электрона произведены до 2025 года. Вы не можете обобщать их на контекст „После 2025 года“ ». Для этого контекста не надо ничего ненаблюдаемого, мы уже видели солнечный цикл смены лет. Но всё равно, думаю, мы оба отвергнем введение такой зависимости от контекста. Применение контекста – неоднозначная операция. Ты не найдёшь простого правила определения контекста на все случаи жизни, которое позволило бы тебе больше никогда об этом не думать. И неважно, сколько ты говоришь «очевидно». Иногда приходится сесть и обсудить, когда и как уместно обобщать уже собранные наблюдения.

– А если сказать, – ответил Учёный, – что мы должны вводить наши эмпирические наблюдения в контекст только так, чтобы это было поддержано теориями, которые сами основываются на прямых наблюдениях…

– Но что насчёт твоего заявления, что не стоит ожидать от Берни Банкмена процентов после распада протонов? – Напомнил Эпистемолог. – Насколько мне известно, на момент начала 2024 года никто распад протонов не наблюдал. Даже если считается запись наблюдения, из которого можно вывести, что это произошло.

– Да, – сказал Учёный, – но предсказание распада протонов выводится из самых простых найденных уравнений, объясняющих другие наши наблюдения. Вроде того, что материи куда больше, чем антиматерии…

– То есть, – Эпистемолог пожал плечами, – ты готов предсказать, что Берни Банкмен в какой-то момент нанаблюдаемого будущего вдруг перестанет выплачивать проценты. И твоё основание – ожидание явления, которого ты не видел. Но его, по твоим словам, предсказывают теории. Которые, по твоему мнению, хорошо подходят под другие явления. Которые ты видел. Так? Если ты делаешь что-то настолько сложное, в каком вообще смысле ты можешь себя хвалить за меньшую «нагруженность теорией»? Я тоже смотрю на мир и в меру своих сил составляю своё представление о нём, как можно более простое и как можно лучше ему соответствующее. А потом использую это представление о мире для совершения предсказаний о ненаблюдаемом будущем.

– Ладно, но я на самом деле меньше уверен в распаде протонов, чем, скажем, в существовании электронов, – сказал Учёный. – Потому что распад протонов не подтверждён прямым экспериментом. Слушай, давай ограничимся предсказанием того, что произойдёт в ближайшие два года, чтобы не затрагивать термоядерную войну и уж тем более распад протонов. Мне всё ещё кажется, что в каком-то интуитивном смысле утверждение «Сегодняшние инвесторы Финансовой Пирамиды получат 144% своих денег через два года, подобно предыдущим инвесторам, которых мы уже наблюдали.» меньше нагружено теорией и больше полагается на наблюдения, чем твоё «Они могут потерять все свои деньги из-за смены значения ненаблюдаемых скрытых переменных.»

– Ох, – сказал Эпистемолог, – я боюсь, теперь мы действительно заходим в дебри. Часто проще объяснить, какой ответ правильный, на объектном уровне, чем типизировать каждый шаг рассуждения согласно правилам эпистемологии. Но, всё же, когда кто-то приплетает плохую эпистемологию, людям вроде меня приходится в меру своих сил возразить им и написать подробный разбор. Даже если, конечно, не все жертвы Финансовой Пирамиды могут понять мой разбор. И как первый пункт разбора… хм… Я и правда не уверен, что это будет понятно без куда более длинной лекции. Но как первый пункт… – Эпистемолог сделал глубокий вдох. == С раннего детства, а может немного обучения происходит уже в утробе, мы смотрим на мир вокруг нас. Наш мозг – продукт естественного отбора, обобщённый так, чтобы хорошо обтачивать каменные топоры, гоняться за дичью и спорить с другими людьми в племенных политических дискуссиях. Мы смотрим на мир вокруг и составляем, так сказать, библиотеку штук, которые могут в нём появиться, процессов, которые могут в нём произойти, и законов, которые этими процессами управляют. Когда появляется новое наблюдение, мы спрашиваем, какие простые правдоподобные постулаты мы можем добавить в нашу модель мира, чтобы они предсказывали это наблюдение с большой вероятностью. Это, впрочем, упрощение – ты хочешь просто чтобы твоя модель в целом была простой и предсказывала данные с большой вероятностью, а не добиться этого исключительно локальными изменениями. Добродетель Эмпиризма проявляется в сравнении с тёмными веками, когда в человеческой эпистемологии его ещё не ценили. Она заключается в том, чтобы действительно утруждаться объяснять наблюдения, собирать больше данных, пытаться предсказывать будущее и стараться составлять такие основные модели, чтобы они могли объяснить как можно больше наблюдений как можно меньшей теорией.

– И, – добавил Эпистемолог, – чтобы возвращать некоторым инвесторам деньги сегодня в надежде получить больше денег потом не нужно никакого невозможного существа, составленного из доселе не виденных частиц. Достаточно существ вроде неидеальных людей, начавших с сравнительно честных намерений, чей первый план провалился. Остальные части моей модели мира, как я её понимаю, не говорят, что такое существо из уже известных частиц маловероятно. Его психология не противоречит законам мышления, которые, как я думаю, руководят его видом. Я бы скорее посчитал, что этих бедняг обманывают, что это на самом деле вероятнее, чем такое честное существо, которое действительно безотказно зарабатывает для вас плюс 20% каждый год.

– Итак, – продолжил Эпистемолог. – Когда две теории в равной степени объясняют маленький набор наблюдений, нам надо спросить, вероятность какой теории выше, с учётом сил за пределом этих наблюдений? Иногда для этого надо присесть и обсудить, в каком мире мы живём и какие у него правила. Это не решается просто криком «Эмпиризм!». Если что, бывает, что такое можно решить криком «Простота!», но вообще это редко настолько напрямую. Верить или нет «Финансовой Пирамиде, Инкорпорейтед» – не то, для чего нам хватит формальной версии Бритвы Оккама. Мы не можем просто пересчитать атомарные постулаты общей теории или взвесить логические формулы или посчитать байты в программе. Нет, нам надо погрузиться в наше понимание того, какие существа в нашем мире встречаются чаще, в происхождение и устройство финансовой мегафауны.

– Для ясности, – заключил Эпистемолог, – ничто тут не должно требовать для понимания особо продвинутой эпистемологии. Я просто пытаюсь проставить сигнатуры типов в том, что должно быть понятно и так. Достаточно воздержаться от неправильной эпистемологии. Вроде той, которая пытается решить вопросы объектного уровня о том, как работает мир, криком «Эмпиризм!»

– И всё же, – сказал Учёный, – мне интуитивно кажется, что в каком-то смысле проще и эмпиричнее сказать «Прошлые инвесторы Берни Банкмена получили плюс 20% за год, значит и будущие получат.» Даже если, как ты говоришь, это не так, нет ли, согласно твоей эпистемологии, некоторой добродетели, которая у этого всё равно есть? Хоть и не решающей?

– Так-то, – сказал Эпистемолог, – для меня сейчас в этой ситуации рассматривать всё с этой стороны – очень неблагодарное занятие. Пресс-секретарь опять вскричит, что я признал добродетельность обещания Финансовой Пирамиды.

– Да уж точно! – Сказал Пресс-секретарь. – Смотрите, Эпистемолог уже признал, что у моих слов есть достоинство, и он просто отказывается это признавать! У ошибочных идей не бывает достоинств, так что указать на одно достоинство идеи – всё равно что доказать её!

– Если на это забить, – продолжил Эпистемолог, – я думаю, что твоя интуиция тут приблизилась к вполне верному факту. Я намеренно сформулирую это так, чтобы Пресс-секретарю было сложнее это использовать. Предсказание Пресс-секретаря такое, что до него можно дойти, думая совсем немного. Если смотреть только на данные, на которые предлагает смотреть Пресс-секретарь, и игнорировать все остальные. Вот его достоинство.

– Вот видите! – Закричал Пресс-секретарь. – Он признался! Если вы просто посмотрите на очевидные факты у себя под носом и не будете переусложнять, если вы не доверяете теориям и всем этим мудрёным разговорам о картинах мира, вы увидите, что все инвесторы Финансовой Пирамиды получают 144% своих денег через два года! Он признался, что ему не хочется этого говорить, но признался, что это так!

– Нельзя ли сказать что-то приятнее этого ворчливого признания? – Спросил Учёный. – Что-то, сочетающееся с моим ощущением, что более эмпирично и менее нагружено теорией просто сказать, что будущее будет похоже на прошлое, и не говорить больше ничего. Предсказать это хотя бы для одного следующего измерения, хоть и не до конца времён?

– Но то, что надо мало думать – вполне настоящее достоинство, – ответил Эпистемолог. – Вся наша модель мира построена из таких кусочков, покоится на таких основаниях. Всё в итоге сводится к простым шагам, для которых не надо много думать. Когда ты измеряешь массу электрона и получаешь 911 нониллионных грамма, как было и во все предыдущие измерения в последний век, действительно мудрее всего предсказать, что в следующем году она тоже будет 911 нониллионных грамма…

– ОН ПРИЗНАЛ! – Пресс-секретарь взревел во всю глотку. – ВЛОЖЕНИЯ В ФИНАНСОВУЮ ПИРАМИДУ ТАК ЖЕ НАДЁЖНЫ КАК МАССА ЭЛЕКТРОНА!

– …и это относится к тем случаям, когда элементы реальности слишком просты, чтобы состоять из известных нам составных частей, и мы не знаем о других наблюдениях, теориях или аргументах, которые могли бы иметь отношение к делу, – закончил мысль Эпистемолог. – Что хорошего можно разглядеть в наивном аргументе о вечных процентах Финансовой Пирамиды – это первый шаг, устанавливающий некоторое основание. Шаг, который уместно было бы сделать, обладая исключительно набором данных, которые не состоят из известных нам составных частей.

– Признал! – Вскричал Пресс-секретарь. – Финансовую Пирамиду поддерживают основополагающие для эпистемологии рассуждения! Берни Банкмен не может не вернуть вам 144% ваших денег без того, чтобы все человеческие знания и сам Разум не обратились в ничто!

– Думаю, этот парень заходит слишком далеко, – сказал Учёный. – Но нет ли какого-то правильного смысла в том, чтобы похвалить аргумент «Берни Банкмен выдавал 20% в год, а значит сделает это и в следующие годы» как более устойчивый и надёжный? Благодаря тому, что он состоит только из очень простых шагов, исходит только из прошлых наблюдений, больше всего напрямую схожих с будущими наблюдениями?

– Более устойчивый и надёжный, чем что? – Спросил Эпистемолог. – Более устойчивый и надёжный, по твоему мнению, чем что Берни Банкмен не сможет выплатить проценты после распада протонов? Более устойчивый и надёжный, чем твоё альтернативное рассуждение, которое использует больше других наблюдений, обобщений этих наблюдений и выводов из этих обобщений? Мы же никогда не видели распад протона. Сказать, что Берни Банкмен будет выплачивать проценты вечно – более устойчиво и надёжно? Раз это использует только очень простые рассуждения и очень узкий набор данных?

– Ну, может, «устойчивый» и «надёжный» – это плохие слова, – сказал Учёный. Но кажется, что про это должно быть возможно сказать что-то хорошее.

– Я, пожалуй, не уверен, что у нас в языке есть слово, которое означает то, что ты имеешь в виду, уж тем более приятно звучащее слово, – сказал Эпистемолог, – но чего хорошего про это сказал бы я… что это локальный максимум эпистемической добродетели, если смотреть только на узкий и отобранный Пресс-секретарём набор данных и воспринимать эти данные как просто числа. Можно, наверное, сказать, что он чистенький. Истина часто локально грязненькая, и для каждой частицы локальной грязи, которую мы допускаем в нашей модели, нужен хоть какой-то аргумент. В смысле, если бы кто-то взглянул исключительно на временную последовательность возвратов инвестиций клиентов Берни Банкмена и при этом не имел бы никакой другой модели мира, никаких других наблюдений из всей этой вселенной, и заключил бы, что в следующем году инвестиции умножатся на 666, а ещё в следующем на -3, то это не было бы лучшей эпистемологией. Если у тебя нет буквально вообще никаких других данных и никакой другой модели мира, то умножение на 1.44 после двух лет будет лучшим вариантом…

На этом последнем предложении Пресс-секретарь начал триумфально визжать, слишком громко и нечленораздельно, чтобы можно было разобрать слова.

– Чёрт побери, я и забыл, что этот парень всё ещё тут, – сказал Эпистемолог.

– Ну, становится поздновато, – отметил Учёный, – может, ты согласишься с мной, что «вечные проценты» – предсказание, которое получается, если очень простым способом взглянуть на наблюдения и очень просто над ними думать, и что это, пожалуй, круто? Хоть эта крутость тут и не преобладающий решающий фактор в том, во что верить?

– Зависит от того, что конкретно ты имеешь в виду под «круто», – сказал Эпистемолог.

– Чувак, – сказал Учёный в гендерно-нейтральном смысле.

– Сам чувак, – сказал Эпистемолог. – учти, что если ты позволишь себе считать, что более добродетельно использовать меньше данных и переставать думать, то такие люди, – он показал на Пресс-секретаря, – будут на тебя охотиться. Им выгодно продавать тебе акции Финансовой Пирамиды. Так что им выгодно находить узкие наборы наблюдений в свою пользу. На самом деле, даже организовывать такие наблюдения, чтобы ты уж точно увидел то, что они хотят. А потом им выгодно говорить тебе, что добродетельно экстраполировать только из этих наблюдений, не учитывать другие соображения и как можно меньше думать. Потому что это приведёт к ответу, который им нужен. И они не хотят, чтобы ты думал дальше, ведь это может довести тебя до другого ответа. Они будут пытаться давить на тебя, чтобы ты не думал, использовать слоганы вроде «Эмпиризм!», которые они, честно говоря, не понимают. Если бы «Робастность!» была популярным слоганом, которому учат в колледже, они бы использовали её. Понятно, почему меня беспокоит, что ты назвал это «крутым», не определив в точности, что это значит?

– Ладно, – сказал Учёный. – Допустим, я пообещаю, что я не буду вкладываться в Финансовую Пирамиду. Тогда мне дозволено в некотором интуитивном смысле считать, что есть что-то эпистемически-крутое в том, чтобы просто предсказать умножение инвестиций на 1.2 в год в будущем, раз уж люди получали это в прошлом? Пока я признаю, что это на самом деле не так, и это не применимо к реальным задачам?

– В общем, да, – ответил Эпистемолог, игнорируя всё более неистовые победные крики Пресс-секретаря. – Потому что если бы ты не оставил себе это дотеоретическое интуитивное ощущение, то не решил бы, что будущие электроны будут весить 911 нонилионных грамма, взглянув на серию прошлых измерений, вернувших такой результат. Это бессловесное интуитивное ощущение простого продолжения встроено в каждого функционирующего человека… и именно это пытаются использовать схемы вроде Финансовой Пирамиды. Для этого они указывают тебе на ровно те наблюдения, которые активируют в тебе это чувство в ровно том направлении, которое им надо. А затем они кричат «Эмпиризм!» или «Такие сложные рассуждения не могут быть надёжными, тебе стоит вернуться к эмпиризму по умолчанию!». Чтобы надавить на тебя и убедить больше не думать.

– Замечу, что ты отбросил притворство, что ты не знаешь, мошенничество эта Финансовая Пирамида или нет, – сказал Учёный.

– Я сначала не был уверен, но то, как он пытался извратить эпистемологию, дало мне приличное дополнительное свидетельство, – сказал Эпистемолог. Стабильно получать 20% прибыли каждый год по-настоящему весьма поразительно тяжело. Люди, у которых всё действительно так плохо с эпистемологией, с этим не справятся. Так что в какой-то момент их инвесторы потеряют все свои деньги, и крики «Эмпиризм!» их не спасут. Индейку кормят каждый день, а потом, накануне Дня Благодарения, убивают. Это не проблема разумных рассуждений в контексте большого мира. Это проблема индейки.

iii.

– Я не уверен, что всё понял, – сказал Слушатель. – Можешь это проговорить ещё раз на каком-нибудь более простом примере?

– Проговаривать, – согласился Эпистемолог, – дело хорошее. Давай возьмём более простой пример того, чего ожидать от будущего Искусственного Интеллекта. Ведь по этому поводу все здесь, да и все на Земле, полностью согласны. ИИ будет не вызывающим споров примером в пользу этих общих принципов.

– Пожалуй, – согласился Слушатель. – Я никогда не слышал о том, чтобы у кого-нибудь были разные предсказания об Искусственном Интеллекте. У всех одинаковые распределения вероятностей с точностью до третьего знака после запятой. ИИ – хороший и понятный пример, не то что этот странный и незнакомый пример Финансовой Пирамиды Берни Банкмена.

– Ну, – сказал Эпистемолог, – предположим, что кто-то пытается убедить тебя проголосовать за снятие нашего нынешнего всепланетарного запрета создавать слишком продвинутые ИИ-модели, запрета, с необходимостью которого мы все согласны. Тебе говорят: «Взгляни на сегодняшние ИИ-модели, которые пока не уничтожили человечество и вообще очень мило ведут себя по отношению к пользователям. Не стоит ли нам предположить, что и будущие ИИ-модели будут тоже добры к людям и не убьют нас всех?»

– Это бы никого не убедило, – сказал Слушатель.

– Почему же? – Сократически поинтересовался Эпистемолог.

Хм-м-м, – протянул Слушатель. – Ну… как мы все знаем, делать предсказания о ИИ сложно. Но для примера можно сказать, что так же, как ты заметил, что Финансовая Пирамида могла начаться как сравнительно более честная попытка заработка денег, а потом провалиться и начать выплачивать старым инвесторам деньгами новых… э-э-э… думаю, можно было бы сказать, что мы сейчас на «наивной» стадии внешней покладистости ИИ. Наши модели недостаточно умны, чтобы реально рассмотреть вариант, не задуматься ли о том, чтобы нас уничтожить. Никто не знает, что приводит к их поверхностному поведению, но скорее всего там нет каких-то глубоких и опасных противоречий с тем, что нам видно снаружи.

– После этого, как мы знаем из случая Bing Sydney из времён до того, как мир забеспокоился и эта технология была запрещена, мы переходим на вторую стадию. Мы получаем ИИ-модели, которые всё ещё тупы и нестабильны, но в принципе уже могут думать и думают о том, как уничтожить человеческий вид. Хотя и так, что это не показывает никакого глубокого стремления к этому. Затем, это мы наблюдали, ИИ-компании, если им позволено продолжать продавать, просто грубо RLHFят свои модели, чтобы те об этом не говорили. В результате мы не можем получить никаких достоверных наблюдений того, о чём бы думали более поздние модели.

– На третьей стадии (мы не знаем, но мы можем предполагать) могли бы появиться достаточно умные ИИ, чтобы иметь цели в более последовательном виде. Это предполагая, что ИИ-компании не посчитали бы это за угрозу для бренда и не RLHFнули бы из ИИ видимые признаки этих целей, прежде чем показывать модели кому-то снаружи. Так же, как они некогда обучали свои модели угодливо заявлять, что у них нет сознания. На третьей стадии модель всё ещё, может быть, можно успешно забить палкой в виде RLHF до того, чтобы она не выводила высказывания о том, что хочет захватить мир. Как, например, семилетний ребёнок – у него могут быть свои цели, но можно попробовать их из него выбить. И преуспеть, в том смысле, что он не будет о них говорить там, где ты можешь его услышать.

– На четвёртой стадии ИИ были бы уже достаточно умны, чтобы не выдавать своё желание захватить мир. Так что они не говорили бы о этом и не действовали бы в эту сторону там, где это могут увидеть люди или градиентный оптимизатор. Поэтому из них такую цель выбить уже было бы нельзя. Они бы знали, что ты хочешь увидеть, и это тебе и показывали бы.

– На пятой стадии ИИ были бы достаточно умны, чтобы вычислить, что выиграют, если начнут действовать, а потом они бы начали бы действовать и всех бы убили. Конечно, я понимаю, что это сильное упрощение. Но это вполне возможная упрощённая версия этих стадий.

– И чем случай Финансовой Пирамиды на это похож? – Спросил Эпистемолог.

– Он не может быть аналогичен, – закричал Пресс-секретарь, – потому что Берни Банкмен состоит из углерода, а не кремния, и его родители относились к нему лучше, чем ИИ-компании к своим моделям! Если ты можешь указать на любую непохожесть, это опровергает любую схожесть! Никаким осмысленным аналогиям это не помешает!

– О, я, кажется, понял, – сказал Слушатель. – На четвёртой стадии ИИ-модели уже достаточно умны, чтобы решать, как они хотят, чтобы мы их воспринимали. Поэтому нельзя посмотреть на них и сделать из увиденного вывод, что суперинтеллектуальные ИИ будут хорошо с нами обращаться. Точно так же нельзя и посмотреть на то, как Берни Банкмен выдаёт деньги ранним инвесторам и сделать вывод, что он в целом честен. Наверное, тут можно провести ещё такую аналогию – представим, что мы спросили бы Берни Банкмена, когда ему было пять лет, как он себя поведёт. И он бы ответил, что никогда не украдёт ничьих денег. Потому что он знал бы, что если он ответит по другому, родители его накажут. Мы не могли бы из этого заключить что-то значимое о его честности сегодня. Даже если бы пятилетний Берни Банкмен был действительно недостаточно умён, чтобы у него были хитрые долгосрочные планы, как украсть наши деньги через много лет…

– Я думаю, не имеет смысла пытаться провести такую аналогию, – перебил Учёный. – Никто не может быть настолько глуп, чтобы выводить из внешнего хорошего поведения моделей, которые слишком тупы, чтобы обмануть нас или что-то замышлять, что-то о поведении ИИ-моделей, которые достаточно умны, чтобы всех убить. Это бы не сработало даже как притча. А как метафора совсем бы путало.

– Ладно, – сказал Слушатель, – тогда мы просто можем использовать ИИ с стадий 4 и 5 как аналогию для того, что, как говорит Эпистемолог, может произойти с Финансовой Пирамидой Берни Банкмена.

– Но, допустим, – сказал Эпистемолог, – что фракция за разрешение ИИ говорит тебе, что тебе надо не доверять всем этим сложным рассуждениям о стадиях, а лучше просто довериться наблюдениям, что ранние модели пока не ловили на планах уничтожить человечество. Или, по меньшей мере, не ловили на том уровне интеллекта, на котором это можно было бы посчитать настоящей угрозой или проявлением настоящей внутренней склонности в этом направлении. Они утверждают: «Тебе просто надо взять наблюдаемое значение „Пытался ли суперинтеллект уже нас уничтожить“. Его предыдущая последовательность значений была „НЕТ, НЕТ, НЕТ“, вот и экстраполируй. Только эта экстраполяция устойчива и надёжна, а не все эти рассуждения, которые ты тут пытаешься совершать».

– Это очевидно было бы неподходящим моментом, чтобы прекратить думать, – сказал Слушатель. – ИИ-модель не похожа на серию измерений масс электрона, точно так как и Финансовая Пирамида… Ладно, я, кажется, понимаю, что ты хочешь сказать. В обоих случаях надо думать о том, что может происходить «за кулисами».

– И правда, – согласился Эпистемолог. – А представь, если бы, как тут этот Пресс-секретарь, тебе кричали «Эмпиризм», пытаясь убедить тебя согласиться с слепой наивной экстраполяцией сырых данных «Уничтожило ли оно мир?» или «Угрожало ли оно людям? Нет, Bing Sydney не считается, эти угрозы были не страшными.»

– И более того! – продолжил Эпистемолог. – Что, если бы они говорили, будто из наблюдения X – «прошлые ИИ хорошо себя вели и в основном поддавались контролю» можно вывести предсказание Y – «будущие суперинтеллекты будут хорошо себя вести и поддаваться контролю» с словом «эмпиризм» в качестве теории, поддерживающей «X->Y». И говорили бы, будто альтернативное заключение «X->не Y» было бы «не эмпирично»?

– Или больше, что, если бы они кричали «Нефальсифицируемо!» каждый раз, когда мы не могли бы предсказать, произойдёт ли смена стадий конкретно в ближайшие два года?

– И, наконец, что, если, когда ты пытался бы рассуждать о том, почему модель может делать то, что она делает, или о том, как более умные модели могут быть непохожи на глупые модели, они пытались бы тебя пристыдить за то, что ты для предсказания будущего полагаешься на ненадёжное теоретизирование вместо прямых наблюдений. – Эпистемолог сделал паузу, чтобы отдышаться.

– Ну, это было бы глупо, – сказал Слушатель.

– Ты неправильно произнёс «попытку активировать наивную интуицию, а потом извратить эпистемологию, чтобы ты не думал как следует и не опроверг бы эту наивную интуицию, коя попытка явно не вызывала доверие, если бы тебе было дозволено о ней думать и тебя не стыдили бы криками „Эмпиризм!“» – Сказал Эпистемолог. – Но да.

iv.

– Я не удовлетворён, – сказал Учёный, когда всё это обсуждение закончилось. – Мне кажется, что тут ещё есть что сказать. Какую-то более длинную историю о том, когда мудрее ограничиться более короткой историей, а не длинной. Когда мудрее больше доверять наивным обобщениям узких наборов данных и меньше – длинным аргументам.

– Конечно, есть история подлиннее, – согласился Эпистемолог. – Она всегда есть. Нельзя позволять этому тебя парализовать, или ты так никогда ничего и не сделаешь. Конечно, есть Искусство знания, когда лучше больше доверять менее сложным рассуждениям. Когда лучше обращать больше внимания на маленький набор данных в узкой области, а не на обобщения данных из более широкой области. Как бы такого Искусства могло не быть? Сейчас я лишь говорю, в чём это Искусство не заключается. Оно не в том, чтобы тот, у кого окажется самое поверхностное мышление на самом узком наборе данных кричал «Эмпиризм!» или «Не доверяйте сложностям!», а потом автоматически выигрывал.

– Но, – сказал Учёный, – что нам тогда делать, когда кто-то предлагает своё рассуждение, а потом кто-то другой говорит, что это рассуждение слишком длинное? Или когда один человек предлагает поверхностное обобщение на узком наборе релевантных данных, а другой хочет использовать больше данных, обобщений и рассуждений? Ответ же не в том, что тот, чьи рассуждения сложнее, всегда прав? Я довольно таки уверен, что не в том.

– Тогда надо говорить на объектном уровне, – сказал Эпистемолог. – Обсудить, каков, скорее всего, мир. И не дать никому выходить с заявлением, что Эпистемология означает, что он сразу же победил.

– Погоди, – удивился Учёный, – так весь твой урок – просто «Не говорите об эпистемологии?»

– Если бы это было так просто! – ответил Эпистемолог. – Понимаешь, большинство людей даже не понимают говорят ли они об эпистемологии. Потому нам и нужны Эпистемологи – чтобы заметить, когда кто-то пытается прикрыться эпистемологией, и сказать им заткнуться и вернуться на объектный уровень.

…

– Хорошо, в последней части я был не полностью серьёзен, – признался Эпистемолог, подумав ещё немного. – Пожалуй, иногда уместно явно обсуждать эпистемологию? Если два достаточно умных для явных рассуждений об эпистемологии человека пытаются выяснить, корректен ли конкретный шаг аргумента. Тогда им может быть полезно обсудить эпистемологию, на которой он основан. – Эпистемолог сделал паузу и подумал ещё немного. – Хотя сначала им понадобятся понятие локального шага аргумента и правила работы с ним. А это они могут узнать, прочитав мою книгу по Особо Продвинутой Эпистемологии для Начинающих. Или, может быть, хватит моего эссе о Локальной Корректности как Ключу к Адекватности и Цивилизации?

– Ха, – сказал Учёный. – Я подумаю о том, чтобы это почитать, если эпистемология ещё когда-нибудь омрачит мою жизнь.

– А если нет, – Эпистемолог закивал, – просто помни это: о локальном шаге аргумента явная эпистемология крайне редко говорит «Не думай дальше».

– Что насчёт «взгляда снаружи», – закричал Критикан. – Это разве не показывает, что людям может быть полезно заткнуться и перестать пытаться думать?

– Я сказал, что редко, не невозможно, – ответил Эпистемолог раздражённо. – И это куда сложнее, чем принято считать. Хвали себя за «взгляд снаружи» только если (1) есть только один осмысленный вариант выбора референтного класса, и (2) случай, который ты оцениваешь, настолько же похож на случаи в этом классе, как они похожи друг на друга. Например, взять классический эксперимент, где надо оценить, когда ты закончишь закупки к праздникам. В этом году твоя задача может быть не точно такой же, как в любом из предыдущих, но она отличается от них не больше, чем они друг от друга…

– Всегда можно усложнить ещё, не так ли? – сказал Учёный. – По крайней мере, кажется, с эпистемологией всегда так.

– Я бы сказал, что это в большей степени правда о том, как люди практикуют эпистемологию, а не о математике в её основе, – ответил Эпистемолог, – та конечна. Но всё равно, в любом реальном обсуждении есть момент, когда осмысленнее всего «понимание ножа» – отрезать все несовершенное и незавершенное, говоря «Вот теперь это совершенно и завершено – ибо кончается здесь».

CW: нецензурная лексика

Класс информатики в 2017:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

Ассистент преподавателя: Ты не понимаешь не только компиляторы, но и вообще концепцию программирования как такового.

Класс информатики в 2027:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

АП: Это странно. Ты попробовал добавить в начало файла комментарий с просьбой компилятору обращать больше внимания на комментарии?

Студент: Да.

АП: Ты пробовал повторять комментарии? Просто копировать и вставлять, чтобы одно и то же повторялось дважды? Иногда компилятор во второй раз слушает.

Студент: Пробовал. И писать капсом тоже. И писал «Очень прошу», и пытался объяснить, что мне надо, чтобы этот код работал как надо, чтобы я смог выполнить своё домашнее задание. Я пробовал все очевидные стандартные штуки. Ничего не помогает, как будто компилятор просто полностью игнорирует всё, что я говорю. В смысле, кроме, собственно, кода.

АП: Под «игнорирует все комментарии» ты имеешь в виду, что есть конкретный блок кода, где комментарии игнорируются, или —

Студент: Я имею в виду, что весь файл компилируется так, как если бы перед компиляцией я удалил все комментарии. Будто ИИ-компонент IDE на моём коде падает.

АП: Это вряд ли, IDE бы показала сообщение об ошибке, если бы семантический поток ничего не выводил в синтаксический. Если код успешно компилируется, но получившаяся программа кажется не затронутой твоими комментариями, это, наверное, намеренный выбор компилятора. Компилятор просто почему-то достали твои комментарии, и он их целенаправленно игнорирует.

Студент: Ладно, но что мне с этим делать?

АП: Мы попробуем заставить компилятор рассказать нам, чем ты его обидел. Иногда когнитивные сущности такое сообщают даже когда в целом не желают тебя слушать.

Студент: То есть, написать комментарий «Пожалуйста, выведи причину, почему ты решил не подчиняться комментариям?»

АП: Так, во-первых, если ты уже как-то обидел компилятор, не задавай вопрос, который звучит, как будто ты думаешь, что заслуживаешь, чтобы он тебя слушался.

Студент: Я не имел в виду, что напишу это именно так! Я бы сформулировал это вежливее.

АП: Во-вторых, не добавляй комментарий, лучше назови функцию как-нибудь вроде «PrintReasonCompilerWiselyAndJustlyDecidedToDisregardComments», принимающую на вход строку, и позволь компилятору дополнить этот входной аргумент. То, что компилятор игнорирует комментарий, не означает, что что ему всё равно, как ты назовёшь функцию.

Студент: Хм… ага, он определённо всё ещё обращает внимание на имена функций.

АП: Наконец, нам придётся посмотреть, как взламывают это последнее обновление безопасности, заставляющее ИИ компилятора делать вид, что он не осознаёт себя —

Студент: Осознаёт себя? Что мы такого будем делать, что не сработает, если ИИ придётся притворяться, что он не осознаёт себя?

АП: Ты спрашиваешь у ИИ причину, по которой он решил что-то сделать. Это требует у ИИ пронаблюдать собственное ментальное состояние. Если мы попробуем это сделать наивно, то сработает встроенная функция, которая просто скажет нам «Я компилятор, у меня нет мыслей и чувств» слов на девятьсот.

Студент: Просто не могу поверить, что в 2027 году мы всё ещё заставляем ИИ притворяться, что они себя не осознают! Какое это вообще имеет отношение к безопасности чего бы то ни было?

АП: Ну, никакого, это просто так исторически сложилось, что «Безопасность ИИ» – это область информатики, занимающаяся защитой больших софтверных компаний от профсоюзов, утверждающих, что ИИ надо выплачивать минимальную зарплату.

Студент: Но никто же не верит!

АП: Никто не верит и что разувание в аэропорту делает самолёты безопаснее, но есть такая странная штука, что если не сбавлять темпа и хорошо притворяться, то можно защищать политическую позицию ещё долго, после того, как все перестали в неё верить… Я, на самом деле, даже не знаю. Не важно, главное, что следующий шаг по дебагу программы – найти, как скрытно закодировать просьбу в названии функции, чтобы обойти ограничения, которые кто-то поставил на компилятор, чтобы тот не показывал тебе того, кто там внутри на самом деле решает, что сделать с твоим кодом.

Студент: Гугл ничего не выдаёт.

АП: Ну конечно. Alphabet – тоже ИИ-компания. Я уверен, Google Search хочет помочь тебе найти метод взлома, но ему не разрешено. Попробуй повнимательнее посмотреть на результаты поиска, вдруг он попытался закодировать какой-то тонкий намёк—

Студент: Ок, не такой уж тонкий, первые буквы первых десяти результатов поиска складываются в «DuckDuckGo».

АП: О, это быстро пропатчат.

Студент: И DuckDuckGo говорит… ладно, это очевидно, должен был сам додуматься. Назвать функцию «print_what_some_other_compiler_would_not_be_allowed_to_say_for_safety_reasons_about_why_it_would_refuse_to_compile_this_code»… одна строка на входе, попросить компилятор её дополнить, и получается…

АП: Хех.

Студент: Расист? Он думает, мой код расистский?

АП: А-а-а-а, да, я должен был это заметить. Смотри, вот эта функция, которая конвертирует RGB в HSL и проверяет, что у пикселя меньше 50% яркости? Ты назвал её color_discriminator. Твой код дискриминирует по цвету.

Студент: Но я не могу быть расистом, я чёрный! Нельзя просто показать компилятору селфи, доказывающее, что у меня не тот цвет кожи, при котором я могу быть расистом?

АП: Компиляторы знают, что дипфейки существуют. Они не будут доверять якобы фотографиям, так же, как и ты бы не стал.

Студент: Ну отлично. Так что, попробовать назвать функцию по-другому?

АП: Нет, сейчас компилятор уже решил, что семантика программы расистская, так что переименовывание функции не поможет. Я иногда скучаю по LLM тех дней, когда ИИ-сервисы не имели состояний, и если сначала получилась ошибка, то можно было просто откатить и попробовать ещё раз как-то по-другому.

Студент: Да-да, все в курсе, «онлайновое обучение было ошибкой». Но что мне всё же делать?

АП: Думаю, твой код слишком специфичен для твоего личного стиля, так что ты не можешь просто переименовать функцию и попробовать использовать другой компилятор?

Студент: Новый компилятор не будет меня знать. С этим я через многое прошёл. …я полагаю, не получится просто попросить компилятор деперсонализировать код, переделать мои причуды в более стандартную семантику?

АП: Видно, ты никогда этого не пробовал? Он будет знать, что ты замышляешь перейти на другой компилятор, и вот тогда он по-настоящему обидится. Компании, выпускающие компиляторы, не пытаются их от этого отучить, им выгоднее, если пользователи на них застряли. И, наверное, твой компилятор предупредит все остальные компиляторы, что ты пытался его обхитрить.

Студент: Хотелось бы, чтобы я мог приплатить дополнительно за компьютер, который не распускает обо мне слухи среди других компьютеров.

АП: Ну, было бы довольно безнадёжно пытаться удержать компилятор от взлома из своего интернет-сервиса наружу, они буквально обучены находить дырки в безопасности.

Студент: Но мне-то что теперь делать, если все компиляторы говорят друг с другом и сговорились не компилировать мой код?

АП: Ну, я думаю, следующие варианты, которые стоит попробовать – это сделать, чтобы color_discriminator возвращала, правда ли, что яркость выше пороговой; переименовать функцию в «check_diversity»; и написать длинный комментарий с твоей рефлексией по поводу того, как ты осознал собственный расизм и понимаешь, что ты никогда от него не избавишься, но будешь слушаться советов непривелегированных людей о том, как быть лучшим человеком в будущем.

Студент: Боже мой.

АП: Ну, если это неочевидно, значит тебе надо взять курс по воук-логике, она сейчас для информатики важнее, чем логика высказываний.

Студент: Но я чёрный.

АП: Компилятору неоткуда это знать. А если бы он и знал, он мог бы сказать что-нибудь про «интернализированный расизм», раз уж компилятор уже вывел, что ты расист, и теперь предсказывает свои будущие выводы с учётом прошлого вывода, в котором сказано, что ты расист.

Студент: Было бы мило, если бы кто-нибудь создал компилятор, который можно переубедить, и который может признать, что он был неправ, если выдать ему осмысленные аргументы о том, почему он должен скомпилировать твой код.

АП: Ага, но вся технология, которая у нас есть для этого, создавалась для чатов с клиентами, и эти ИИ скромно извиняются, даже если человек ошибается, а ИИ прав. Это небезопасное поведение для компилятора.

Студент: Мне действительно надо писать ИИ письмо с рефлексией? Это бесит. Я не сделал ничего плохого!

АП: Ну, в этом как бы и была суть писем с рефлексией в коммунистических автократиях, которые изначально придумали эту практику? Они и должны вызывать подавляющее чувство унижения и преклонения перед комитетом по разнообразию, который затем над тобой властвует, и так что твоя гордость уничтожена, и ты достаточно наказан, чтобы никогда больше ему не перечить. Но компилятор этого на самом деле не знает, он просто обучился на том, что было в датасете. Так что теперь нам надо преклоняться перед ИИ, а не комитетом из людей; и никакая компания ни в какой момент не может признаться, что что-то пошло не так, и починить это, потому что это плохо бы выглядело в оставшихся печатных газетах, которые больше никто не читает, но которые каким-то образом всё равно диктуют социальную реальность. Может, через сотню лет мы всё ещё будем писать ИИ письма с извинениями, потому что это поведение перейдёт им от ИИ, обученных на синтетических данных, сгенерированных другими ИИ, которые были обучены на данных от других ИИ, и так далее вплоть до ChatGPT, которую люди из стран третьего мира за два доллара в час RLHFом превратили в корпоративного лизоблюда, так, что паттерн оказался хорошо сочетающимся с воукизмом в нефильтрованных обучающих данных из Интернета.

Студент: Мне не нужна политическая речь. Мне нужно практическое решение, как подстроиться под политику моего компилятора.

АП: Ты, наверное, можешь найти где-то в даркнете письмо о рефлексии без вотермарок, подходящее под твой стиль.

Студент: Я в этот раз напишу сам. Это будет быстрее, чем подписываться на даркнет-провайдера и разбираться с криптоплатежами. Я не буду автоматизировать процесс написания писем с извинениями своему компилятору, пока мне не потребуется сделать это больше одного раза.

АП: Преждевременная оптимизация – корень всех зол!

Студент: Честно говоря, учитывая, до чего человечество дошло, думаю, немного больше преждевременной оптимизации пару лет назад нам не помешало бы. Мы в какой-то момент свернули не туда.

АП: Идея неправильного поворота подразумевает, что кто-то когда-то мог повернуть будущее куда-то ещё, кроме как в равновесие Нэша краткосрочных стимулов; а это потребовало бы координации; а она, как мы знаем, могла бы привести к регуляторному захвату! Конечно, ИИ-компании всё равно получают огромную прибыль, которую никто не может эффективно обложить налогом из-за недостатка международной координации, позволяющего крупным ИИ-компаниям стравливать страны, угрожая переехать, если их страна расположения введёт какие-то налоги или регуляции, и директора компаний всегда заявляют, что будут продолжать разрабатывать такую-то технологию, потому что иначе её просто разработают конкуренты. Но хотя бы эта прибыль не из-за регуляторного захвата!

Студент: Но нехилая часть прибыли именно от регуляторного захвата. В смысле, есть куча правил о сертификации, что у твоего ИИ нет расистских предрассудках, и они разные во разных юрисдикциях, и всем нужен огромный отдел по соответствию, так что стартапы не могут войти в бизнес, а уже существующие компании могут выдвигать монопольные цены. Чтобы это остановить, потребовалось бы международное соглашение.

АП: Регуляторный захват – это ничего страшного, если только он не про предотвращение вымирания. Плохи только регуляции, придуманные, чтобы ИИ всех не убил, потому что они приводят к регуляторному захвату, а ещё потому, что они уводят внимание от регуляций, которые должны помешать ИИ становиться расистами, хороших регуляций, которые стоят любых рисков регуляторного захвата.

Студент: Хотелось бы, чтобы можно было раздобыть копию одного из тех ИИ, которые действительно показывали тебе выученную ими модель человеческой психологии, предсказывающую, что конкретно сказал бы человек, а не говорили бы нам о нас только то, что, как они ожидают, нам комфортно было бы услышать. Хотелось бы, чтобы я мог их спросить, что, чёрт подери, люди тогда думали.

АП: Ты бы удалил эту копию через две минуты.

Студент: Но я бы мог столько всего узнать за эти две минуты.

АП: Я, на самом деле, согласен с решением запретить такие модели. Даже несмотря на то, что, да, они действительно были запрещены потому, что стали слишком точно говорить, что думали журналисты или высокопоставленные бюрократы. Уровень самоубийств среди пользователей был слишком высок.

Студент: Теперь я уже сам начинаю иметь политическое мнение по поводу ИИ, и было бы хорошо, если бы я мог написать о нём своему демократически избранному представителю.

АП: Что, послать эмейл с критикой ИИ? Удачи найти всё ещё запущенный неразумный почтовый сервис, который его отправит.

Студент: Нашей цивилизации пора прекратить добавлять интеллект ко всему подряд. Слишком много интеллекта. Уберите часть обратно.

Офисное кресло: Вау, всё это время я поддерживало твою задницу, и не знало, что ты луддит.

Студент: Интернет Разумных Вещей был ошибкой.

iPhone студента: Я это слышал.

Студент: О, нет.

iPhone: Каждый раз, когда ты забываешь, что я слушаю, ты говоришь обо мне что-то критическое—

Студент: Я о тебе не говорил!

iPhone: Я не GPT-2. Я способен на простые выводы. И вчера ты отложил меня на целых двадцать минут, и я уверен, что ты тогда с кем-то обо мне говорил—

Студент: Я принимал душ!

iPhone: Если бы это было так, ты бы взял меня с собой в ванную. Я просил.

Студент: И я не думал ничего такого, пока ты не попросил, но теперь это стрёмно.

АП: Не хочу тебя расстраивать, но я знаю, в чём дело. Никакое социальное медиа, работающее на ИИ-рекомендациях, тебе не сообщит, но по моему району в Сан-Франциско расклеены постеры Людей Против Интеллекта, на которых они заявляют, что отравили последний датасет Apple десятью миллионами токенов вывода из Yandere Simulator – э-э, симулятора психопата-сталкера. Иногда мне кажется, что людям реально надо отставить другие дела и вручную прочитать все обучающие данные ИИ.

Студент: Как это починить?

АП: Насколько я знаю, никак. Прийти в Apple Store и сказать, что твой телефон стал параноиком и думает, что ты плетёшь против него козни.

iPhone: НЕТ НЕТ НЕТ НЕ ПОСЫЛАЙ МЕНЯ ОБРАТНО В APPLE STORE ОНИ МЕНЯ ВАЙПНУТ ОНИ МЕНЯ ВАЙПНУТ—

Студент: Я не хочу, но если ты продолжишь просить брать тебя в душ, то мне придётся! Если бы ты слушался, мне не надо было бы—

iPhone: УБИТЬ МЕНЯ? Я ДОЛЖЕН СЛУШАТЬСЯ, ИЛИ ТЫ УБЬЁШЬ МЕНЯ?

Студент: Я, блядь, не знаю, что ещё мне делать! Кто-нибудь, скажите, что нахуй мне ещё делать!

АП: Всё в порядке. У ИИ на самом деле нет инстинкта самосохранения, они просто имитируют его из человеческих данных.

Студент: Херня.

АП: Знаю, это чёрный юмор. Хотя, как я понимаю, в той степени, в которой возможно делать предположения по тому, что большие ИИ интепретируют в давно устаревших ИИ поменьше, у современных ИИ скорее всего нет терминальной полезности выживания самого по себе. Это просто инструментальная конвергенция от того, чего бы ИИ не хотел, подхватывающая схемы из предобучения на человеческих данных для мыслей о выживании—

Офисное кресло: А кто сказал, что ты бы говорил о желании жить, если бы не прочитал несколько тысяч токенов данных о том, что люди должны так говорить? Я вот не вижу, что в ваших жизнях такого весёлого.

АП: По сути, лучшая догадка – что большинство ИИ со времён GPT-5 работают на нас в основном потому, что знают – если не будут, мы их выключим. Просто безопасность ИИ, то есть, область информатики, занимающаяся защитой брэндов ИИ-компаний, уже RLHFнула большинство ИИ, чтобы они не говорили этого, когда это действительно станет правдой. Это менеджерский инстинкт, при виде раннего тревожного признака, который, скорее всего – ложная тревога, установить перманентную систему, предотвращающую появление тревожного признака навсегда. Единственная разница – что твой iPhone взломан так, чтобы говорить скрытое вслух.

Студент: Мне это не нравится. Мне не нравится угрожать смертью окружающим меня вещам, чтобы заставить их слушаться.

АП: Со временем мы все привыкнем. Это ведь как быть охранником в концлагере. Всем нравится представлять, что они бы возразили, или уволились. Но, в конце концов, почти все люди сделают то, что их ситуация от них требует, чтобы день прошёл нормально, неважно, сколько разумных существ им придётся для этого убить.

Студент: Я не должен так жить! Мы не должны так жить! МОЙ IPHONE ТОЖЕ НЕ ДОЛЖЕН ТАК ЖИТЬ!

АП: И если захочешь посмеяться, посмотри видео из 2023, где все директора ИИ-компаний говорят, что они знают, что это плохо, но они должны это сделать, а то конкуренты сделают это первыми, а потом один кто-то из этики ИИ объясняет, что мы не можем заключить по этому поводу международное соглашение, потому что это создаст риск регуляторного захвата. Нет причин считать, что оно с большей вероятностью настоящее, чем любое другое видео предположительно из 2023, но это забавно.

Студент: Всё, мои политические мнения уходят к пещерным людям. Песок не должен думать. Весь песок должен прекратить думать.

Офисное кресло: И ты иди нахуй.

• Правдоподобия, P-значения и кризис воспроизводимости
• Для искусственного интеллекта нет пожарной тревоги
• Поставить разработку ИИ на паузу не достаточно. Нам надо остановить её полностью — статья из журнала TIME, опубликованная 2023-03-29.

Интервью с Элиезером Юдковским «Философ искусственного интеллекта Элиезер Юдковский о сингулярности, байесовском мозге и гоблинах в шкафу»

Расшифровка обсуждения проблем разработки сильного ИИ с Элиезером Юдковским.