Статья вышла в 2008 году в сборнике «Риски глобальной катастрофы» под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.

Введение

При всех прочих равных, мало кто из людей хотел бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать в нем своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти ужасное осознание этого процесса, то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования привели к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98-ми процентной уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99 % уверен, что критический порог больше 500 тераватт, и на 99 % уверен, что он меньше 80000 тераватт». «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.

Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не просто логически слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.

Исследования эвристики и когнитивных искажений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изменения условий опытов уже применялись, и результаты от этого не становились другими.

Доступность информации

Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R (rope), или что его третья буква R (park)? Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что люди используют методы мышления, называемые эвристикой, которые дают хорошие приблизительные ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых когнитивными искажениями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]

Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений больших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).

Аналогично, риск человеческого вымирания может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием.

Когнитивные искажения, связанные со знанием «задним числом»

Когнитивные искажения, связанные со знанием «задним числом», происходят, когда испытуемый, узнав окончательный итог событий, дает гораздо большую оценку предсказуемости именно этого итога, чем испытуемые, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».

Фишхофф и Бейт [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо большую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году космический челнок Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

Черные лебеди

Талеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Талеб назвал Черными Лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает 10 долларов с 98% вероятностью, но теряет 1000 долларов с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Талеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принеся около 80 миллионов долларов — и затем он потерял 300 миллионов долларов в одной катастрофе.

Другим примером является Long-Term Capital Management, инвестиционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по 100 миллионов долларов в день, день за днем. За один день в 1998 году он потерял более 500 миллионов долларов [Taleb, 2005]

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма. Но очевидно, что это событие, раз оно случилось, не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фишхофф [Fischhoff, 1982]:

«Когда мы пытаемся понять события прошлого, мы косвенным образом проверяем гипотезы и правила, применяемые нами, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находим никаких оснований для их изменений».

Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM занял 125 миллиардов долларов под 4,72 миллиарда долларов собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самолетах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими городами. Но мы не выучили урок: «черные лебеди» случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Талеб [Taleb, 2005] пишет:

«Трудно мотивировать людей к предотвращению «черных лебедей»… Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»… В исторических книгах не пишут о героических превентивных мерах».

Ошибочное включение лишнего элемента

Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их вероятности.

1. Линда — учитель в начальной школе
2. Линда работает в книжном магазине и занимается йогой
3. Линда — активистка феминистского движения
4. Линда — социальный работник в области психиатрии
5. Линда — член общества женщин, имеющих право голоса
6. Линда — кассир в банке
7. Линда — страховой агент
8. Линда — кассир в банке и активистка феминистского движения

89 % из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что P(A & B) ≤ P(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров. Может быть, ошибочное включение лишнего элемента связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенному выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «Линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтернативных гипотез, она пережила все экспериментальные попытки ее опровержения (см. обзор [Sides, 2002].) Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше. Представьте себе правильный 6-сторонний кубик с четырьмя зелеными сторонами и двумя красными. Кубик будет брошен 20 раз и последовательность выпадения зеленых (G) и красных (R) сторон будет записана. Испытуемый должен выбрать одну последовательность из трех предложенных, и он выиграет 25 $, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.

1. RGRRR
2. GRGRRR
3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65 % из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. Последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 содержит наибольшую пропорцию зеленых сторон. Однако, последовательность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зеленая грань кости перед ней.

В приведенной выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65 % студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты специально решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности. Ошибочное включение лишнего элемента подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором международном конгрессе по предвидению будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].

В исследовании Джонсона [Johnson, 1993], группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить 17,19, 13,90, и 7,44 долларов соответственно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универсальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил что правительство Соединенных Штатов (и до, и после урагана 2005 года в Новом орлеане), защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации [Schneier, 2005]. Сверхдетальные заверения также могут создать ложное ощущение безопасности: «Х не является риском существованию, и вы не должны заботиться о нем, потому что верны утверждения A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьет эту технологию и предотвратит ее распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамеренных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, четко определенные сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учетом излишне суженных или невероятно детализированных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. [Tversky и Kahneman, 1982]. То есть, людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 % каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 %, все-таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что множество отдельных событий произойдет одновременно нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть купить товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий ученый проекта умрет). Это может объяснить, почему только 44 % предприятий выживают в течение первых четырех лет. [Knaup, 2005.]

Адвокаты в своих речах предпочитают избегать выводов, основанных на истинности, по крайней мере, одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих вариантов приводит к одному и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. Однако с рациональной точки зрения первые случаи гораздо более вероятны, чем вторые. Вымирание человечества в следующем столетии может произойти в результате хотя бы одной из многих причин. Оно может случиться по причине любого глобального риска, обсужденного в статье Бострома «Угрозы существованию», или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов описания в духе «или то, или другое, или третье» неудобны, и пророчества, с помощью них сформулированные, звучат непоэтично.

Ошибочность рассуждений, вызванная эффектом подтверждения

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача «2-4-6» [Wason, 1960.] Испытуемые должны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как «2-4-6» или «10-12-14» на карточках, и экспериментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально испытуемым была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.

Хотя участники обычно выражали высокую уверенность в своих догадках, только 21 % из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20 %. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и то же: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.

Задача Уосона «2-4-6» является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:

«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтверждения… Кунда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Гилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство прийти к данному выводу».

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтверждают, это называется мотивированный скептицизм или когнитивное искажение несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками, – то есть которые знают больший набор типичных логических нестыковок, но применяют этот навык избирательно, – склонны изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.

Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное отношение к теме ношения огнестрельного оружия и изменение его у студентов, под воздействием прочтения политической литературы за и против контроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

1. Эффект предшествующего отношения. Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.
3. Систематическая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
4. Поляризация отношения. Предъявление испытуемым очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
5. Эффект силы мнения. Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
6. Эффект усложнения. Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.

Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают убеждения, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления. Эвристика и когнитивные искажения широко распространены в человеческих размышлениях. Знание о них позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться — это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши убеждения более истинными, мы должны изменить сами эти убеждения. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.

Наши убеждения гораздо менее гибкие, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] аккуратно опросили каждого из двадцати четырёх сотрудников, которые оказались в ситуации выбора из двух предложенных вакансий и попросили их оценить, с какой вероятностью они примут то или иное предложение. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счёте вариант, которому он приписал в начале более низкую вероятность, доведя таким образом точность до 96%. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом».

Норман Майер (Norman R. F. Maier): «Не предлагайте решения до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они сталкивались с особенно трудной проблемой. Это – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой политики де-факто, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один ученый не рискнет больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и когнитивных искажениях, и об ошибке неподтверждения в частности.

Якорение, настройка и наложение

Экспериментатор крутит у вас на глазах рулетку, и она указывает на некое число, в первом случае, на 65, а во втором — на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН. Тверский и Канеман [Tversky и Kahneman, 1974] продемонстрировали, что испытуемые, которых вначале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором — 45 процентов. Это происходило, несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интенсивность этого эффекта. Тверский и Канеман предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформативное число за точку отсчета, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядел убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы сперва попросили эксперта по веществу P предположить точное значение силы радиосигнала, который приведет к взрыву P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Тверского и Канемана 1974 года стало накапливаться все больше свидетельств широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939 [Strack and Mussweiler, 1997].

Допустим, вы идете по супермаркету и видите стойку с банками консервированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Согласно экспериментальным данным, заставляет [Wansink et. al., 1998].

Более общая форма этого феномена стала известна как эффект загрязнения, поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение [Chapman and Johnson, 2002]. Предпринимались попытки ослабить эффект загрязнения путем выплаты испытуемым вознаграждения за правильные ответы. Тверский и Канеман [Tversky и Kahneman, 1974] инструктировали испытуемых о необходимости избежать якорения начальным показателем [Quattrone et. al., 1981] или о необходимости уделять внимание проблемам реального мира [Wansink et. al., 1998]. Эти действия не уменьшили или уменьшили только в незначительной степени интенсивность эффектов якорения и наложения. Более того, испытуемые, спрошенные о том, были ли они подвергнуты действию эффекта загрязнения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. [Wilson et. al., 1996].

Действия, существенно увеличивающие эффект загрязнения – это действия, помещающие испытуемых в интеллектуально трудные условия, такие, как непрерывное прослушивание последовательности слов в процессе работы [Gilbert et. al., 1988] или требование от испытуемых быстрых ответов [Gilbert and Osborne, 1989]. Гилберт [Gilbert et. al., 1988] связывает это с тем, что дополнительная задача влияет на способность отстроиться от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируем: явно нерелевантная информация по-прежнему якорит суждения и искажает догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают величину некого параметра. Люди недооценивают величину параметра в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьезной. Люди отрицают, что были заякорены и недооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются или ослабляются незначительно при финансовом вознаграждении, явных инструкциях избежать наложения и в ситуациях из реальной жизни. А теперь вспомните, сколько историй из лент новостей об искусственном интеллекте ссылаются на фильмы о Терминаторе, как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают боргов из фильма «Звездный путь».

Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? В прошлом не было фильмов — все, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в расчет, что фантастика есть фантастика. Журналистские упоминания о «Терминаторе» обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортер как бы считает видения Камерона чем-то, что уже однажды имело место в прошлом и вполне может случиться вновь — фильм вспоминается как если бы он был иллюстрирующим случаем из истории человечества. Я называю эту смесь якорения и доступности для восприятия логической ошибкой генерализации на основании художественного вымысла.

Похожей концепцией является ошибка «хорошей истории», предложенная Бостромом [Bostrom, 2001]. Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все возможные «хорошие истории» уже представлены в литературе.

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика — это не логика. Вдохновленные писатели знают, что одной правды мало: нельзя заставить поверить в невероятное событие из вашего произведения путем цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; рассказчик историй должен быть конкретным, твердым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда — это тяжелая работа, и — не для рассказчиков историй. Мы должны избегать не только одурачивания фантастикой в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, но также того, чтобы фантастика наложилась на наше мышление и стала точкой отсчета для наших суждений. И мы должны осознавать, что мы не всегда осознаем это наложение. В дискуссиях о глобальных рисках отнюдь не необыкновенны категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают красивые неудачи, но это — откровенная капитуляция.

Рассуждения, обусловленные аффектом

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве эвристики и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Словича [Slovic, 2002] две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки этому решению) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98 % от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85 % от 150 жизней» имело большую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98 % чего-нибудь это очень хорошо, потому что это очень близко к верхней границе процентной шкалы.

Файнакэйн [Finucane, 2000] исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как, например, ядерная энергетика, со своими оценками возможных рисков, в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым четыре разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи между предоставленной информацией о рисках и о преимуществах. В каждом случае новая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ. Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Файнакэйн обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами — предположительно потому, что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ганзах [Ganzach, 2001] обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на основании эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие низкий доход и высокий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соответствии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как это и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность, и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственный интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соответственно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

Пренебрежение масштабом

(2000 / 20000 / 200000) перелетных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путем накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были опрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2000, 20000 или 200000 птиц. Ответ, названный Установленная Готовность Платить (УГП), был в среднем 80 $ за 2000 птиц, 78 $ за 20000 и 88 $ за 200000 птиц. [Desvousges, 1993]. Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озера Онтарио, чем чтобы очистить загрязенные озера только части штата [Kahneman, 1986], и что жители четырех западных штатов в США готовы заплатить только на 28 % больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. [McFadden и Leonard, 1995]. Наиболее широко распространенное объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Канеман [Kahneman, 1999] пишет:

«История о птицах из опытов Девужа (Desvousges), вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно — образ истощенной птицы с намоченными черной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации»

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения [Kahneman и Knetsch, 1992] и пожертвование монетки ради доброго дела [Harrison, 1992]. Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объем денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определенную сумму «на экологию», и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Карсон и Митчелл [Carson and Mitchell„ 1995] сообщают, что информации об увеличении риска, связанного с питьем хлорированной воды с 0,004 до 2,43 на 1000 смертей в год (то есть в 600 раз) увеличивает установленную готовность платить (УГП) платить с 3,78 до 15,23 долларов (то есть 4 раза). Бэйрон и Грин [Baron and Greene, 1996] обнаружили, что изменение числа спасенных жизней в 10 раз не оказывает никакого эффекта на этот индекс.

Фезерстонхоу [Fetherstonhaugh, 1997], в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера, это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения готовности платить, соответствующие экспоненциальным изменениям масштаба. Канеман [Kahneman, 1999] интерпретирует это как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ: первоначальный образ вызывает большую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Альберт Сент-Дьёрди (Albert Szent-Györgyi) говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстранённо о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов». Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг не способен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в тысячу раз более сильную, чем горе на похоронах. Увеличение возможного риска с десяти миллионов смертей до ста миллионов не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление еще одного нолика на бумаге у нас перед глазами, что имеет столь небольшой эффект, что обычно необходимо изменить количество жертв на несколько порядков, чтобы заметить разницу экспериментально.

Калибровка и сверхуверенность

Насколько люди уверены в своих ошибочных оценках? В первом разделе этой статьи, посвященном эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Словик [Slovic, 1982] также отмечает:

«Одним из пагубных аспектов моделей рассуждений (эвристик) является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом исследовании по поводу причин смерти, людей просили сделать ставки на то, что они правы в своем выборе более частой среди двух причин смерти. [Fischoff, Slovic, и Lichtenstein, 1977]. В эксперименте №1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть, процент правильных ответов был близок к значению, которое следовало из этих ставок. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99.1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10000:1. Для ответов, на которые ставили 1000000:1, точность составляла 90 %, то есть, соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более половины ставок была выше, чем 50:1. Почти четверть — выше, чем 100:1. 30% респондентов в эксперименте № 1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства».

Этот кажущийся удивительным результат вполне обычен в литературе, посвященной моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчет неизвестного числа, такого, как количество «Врачей и хирургов» в желтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, насчет которой вы уверены на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже нее. Эти две границы образуют ваш интервал 98 % уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа [Alpert и Raiffa, 1982] задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведенным выше. Оказалось, что для 426 из них подлинные значения лежали за пределами 98 % интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно откалиброваны, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42,6%. Другую группу из тридцати пяти испытуемых попросили оценить 99,9% верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 испытуемых были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвертая группа из 35 испытуемых должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

В следующем эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки, и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку испытуемые ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но все еще весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Хинс и Вэнмарк [Hynes и Vanmarke, 1976] опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристенсен-Залански и Бушихед [Christensen-Szalanski и Bushyhead, 1981] опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Говоря словами Алперта и Раиффы [Alpert и Raiffa, 1982]: «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»

Лихтенштейн [Lichtenstein, 1982] произвел обзор четырнадцати исследований на основании тридцати четырех экспериментов, выполненных двадцатью тремя исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из исследований следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где испытуемым позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Булер [Buehler, 1994] попросил студентов-психологов предсказать важный параметр: время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если все пойдет «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Бюхлер [Buehler, 1994] опросил студентов о времени, к которому студенты на 50% уверены, на 75 % уверены и на 99 % уверены, что они закончат свои академические проекты. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили ко времени, оценивавшемуся в 99 % уверенности. Булер [Buehler et. al., 2002] пишет «результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, все равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Ньюби-Кларк [Newby-Clark et. al., 2000] обнаружили, что опросы испытуемых об их предсказаниях, основанных на наиболее реалистичном предположении, и опросы испытуемых об их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что все пойдет так, как планировалось, без неожиданных задержек и непредвиденных катастроф, то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай. В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая — систематической ошибки неподтверждения. Знание об эффекте калибровки — это опасное знание, поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чем они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых убеждений. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем, если бы вы никогда не слышали о калибровке. По этой причине — часто, несмотря на значительное искушение — я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, для того, чтобы я мог сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своем мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе адекватной, точно подтвержденной модели. Во всех случаях, когда эксперт утверждает, даже на основании точных вычислений, что событие имеет вероятность 10−6, он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10−8 шанс выиграть, то продавцы билетов бы разорились.

Апатия прохожего

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Лэйтен и Дэрли [Latane и Darley, 1969] открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации — не только индивидуально, но и коллективно. 75 % испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое испытуемых, не знающих об условиях опыта, о дыме сообщают только в 38 % случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10 % случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85 % случаев и только в 31 % случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности и игнорирования из-за неопределенности ситуации. Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберется с проблемой вместо них, и это ослабляет личную напряженность каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего. Чалдини [Cialdini, 2001] рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи — таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределенности ситуации является более тонким эффектом. Чалдини [Cialdini, 2001] пишет: «Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределенности естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит другого, скорее всего, спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределенности ситуации может объяснить, в отличие от индивидуального эгоизма, почему испытуемые не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность, как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счет этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о ее риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасен. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли еще кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Роберт Пирсиг (Robert Pirsig) сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гэрроу [Garreau 2005], по-видимому, утверждает, что сценарий постепенного усиления искусственного интеллекта является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке загрязнения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о когнитивных искажениях, чем не знать их. В противном случае мы попадем прямо во вращающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в когнитивных искажениях. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.

Джерри Кливер сказал о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду». Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированные супервирусы; катастрофы на ускорителе — на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает катастрофу на ускорителе, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание «Кастл Браво» вызвало взрыв в 15 мегатонн, вместо 4-8 мегатонн, по причине не учтенной термоядерной реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате, по крайней мере, один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к книге «Суждение в условиях неопределенности».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать. Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физика сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция. Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствие превосходными. Таким образом, рекрутер имеет высокую оценку своих способностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько когнитивных искажений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, объемного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше.

Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку. (Качелмейер и Шихета [Kachelmeier and Shehata, 1992] предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп «испанка» в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 10**7 – таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значительно большие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением. Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, которые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать вымирание человечества с абсолютным спокойствием. «Вымирание человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не ужасны, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.

Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной литературы, посвященной психологии глобальных рисков. А она должна быть. В математическом представлении теории решений на основании теремы Байеса имеется концепция ценности информации — ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом — ценность вычислений, охватывающих некие данные, определяется на основе самих данных. [Good, 1952]; [Horvitz et. al., 1989].

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Cент-Дёрджи (Albert Szent-Györgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они простираются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.

Рекомендуемое чтение

1. «Суждение в условиях неопределенности: эвристика и систематические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Под редакцией Даниеля Канемана, Пола Словика и Амоса Тверски (еdited by Daniel Kahneman, Paul Slovic, and Amos Tversky). Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание дает обобщенное, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
2. «Решения, ценности и рамки». Choices, Values, and Frames. (2000.) Под редакцией Даниеля Канемана и Амоса Тверски (еdited by Daniel Kahneman and Amos Tversky). «Эвристика и систематические модели мышления». Heuristics and Biases. (2003.) Редактировано Томасом Джиловичем, Дейлом Гриффином и Даниелем Канеманом (Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman). Эти два сборника статей дают обзор современного состояния науки об эвристике и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
3. «Рациональный выбор в неопределенном мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment, Робин Доуз (by Robyn Dawes). Первая редакция 1988: Доуз и Кэган (by Dawes and Kagan), вторая редакция 2001: Доуз и Хэсти (by Dawes and Hastie). Эта книга предназначена, чтобы ввести в тему когнитивных искажений широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.

Библиография

1. Alpert, M. and Raiffa, H. 1982. A Progress Report on the Training of Probability Assessors. In Kahneman et. al. 1982: 294-305.
2. Ambrose, S.H. 1998. Late Pleistocene human population bottlenecks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution 34:623-651.
3. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125.
4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
5. Brenner, L. A., Koehler, D. J. and Rottenstreich, Y. 2002. Remarks on support theory: Recent advances and future directions. In Gilovich et. al. (2003): 489-509.
6. Buehler, R., Griffin, D. and Ross, M. 1994. Exploring the «planning fallacy»: Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67: 366-381.
7. Buehler, R., Griffin, D. and Ross, M. 1995. It’s about time: Optimistic predictions in work and love. Pp. 1-32 in European Review of Social Psychology, Volume 6, eds. W. Stroebe and M. Hewstone. Chichester: John Wiley & Sons.
8. Buehler, R., Griffin, D. and Ross, M. 2002. Inside the planning fallacy: The causes and consequences of optimistic time predictions. In Gilovich et. al. 2003: 250-270.
9. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.
10. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73.
11. Chapman, G.B. and Johnson, E.J. 2002. Incorporating the irrelevant: Anchors in judgments of belief and value. In Gilovich et. al. (2003).
12. Christensen-Szalanski, J.J.J. and Bushyhead, J.B. 1981. Physicians“ Use of Probabilistic Information in a Real Clinical Setting. Journal of Experimental Psychology: Human Perception and Performance, 7: 928-935.
13. Cialdini, R. B. 2001. Influence: Science and Practice. Boston, MA: Allyn and Bacon.
14. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.
15. Dawes, R.M. 1988. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich.
16. Desvousges, W.H., Johnson, F.R., Dunford, R.W., Boyle, K.J., Hudson, S.P. and Wilson, N. 1993. Measuring natural resource damages with contingent valuation: tests of validity and reliability. Pp. 91-159 in Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
17. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300.
18. Finucane, M.L., Alhakami, A., Slovic, P. and Johnson, S.M. 2000. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13(1): 1-17.
19. Fischhoff, B. 1982. For those condemned to study the past: Heuristics and biases in hindsight. In Kahneman et. al. 1982: 332–351.
20. Fischhoff, B., and Beyth, R. 1975. I knew it would happen: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 13: 1-16.
21. Fischhoff, B., Slovic, P. and Lichtenstein, S. 1977. Knowing with certainty: The appropriateness of exterme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3: 522-564.
22. Ganzach, Y. 2001. Judging risk and return of financial assets. Organizational Behavior and Human Decision Processes, 83: 353-370.
23. Garreau, J. 2005. Radical Evolution: The Promise and Peril of Enhancing Our Minds, Our Bodies – and What It Means to Be Human. New York: Doubleday.
24. Gilbert, D. T. and Osborne, R. E. 1989. Thinking backward: Some curable and incurable consequences of cognitive busyness. Journal of Personality and Social Psychology, 57: 940-949.
25. Gilbert, D. T., Pelham, B. W. and Krull, D. S. 1988. On cognitive busyness: When person perceivers meet persons perceived. Journal of Personality and Social Psychology, 54: 733-740.
26. Gilovich, T. 2000. Motivated skepticism and motivated credulity: Differential standards of evidence in the evaluation of desired and undesired propositions. Presented at the 12th Annual Convention of the American Psychological Society, Miami Beach, Florida.
27. Gilovich, T., Griffin, D. and Kahneman, D. eds. 2003. Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge, U.K.: Cambridge University Press.
28. Good, I. J. 1952. Rational decisions. Journal of the Royal Statistical Society, Series B.
29. Griffin, D. and Tversky, A. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology, 24: 411-435.
30. Harrison, G. W. 1992. Valuing public goods with the contingent valuation method: a critique of Kahneman and Knestch. Journal of Environmental Economics and Management, 23: 248–57.
31. Horvitz, E.J., Cooper, G.F. and Heckerman, D.E. 1989. Reflection and Action Under Scarce Resources: Theoretical Principles and Empirical Study. Pp. 1121-27 in Proceedings of the Eleventh International Joint Conference on Artificial Intelligence. Detroit, MI.
32. Hynes, M. E. and Vanmarke, E. K. 1976. Reliability of Embankment Performance Predictions. Proceedings of the ASCE Engineering Mechanics Division Specialty Conference. Waterloo, Ontario: Univ. of Waterloo Press.
33. Johnson, E., Hershey, J., Meszaros, J.,and Kunreuther, H. 1993. Framing, Probability Distortions and Insurance Decisions. Journal of Risk and Uncertainty, 7: 35-51.
34. Kachelmeier, S.J. and Shehata, M. 1992. Examining risk preferences under high monetary incentives: Experimental evidence from the People’s Republic of China. American Economic Review, 82: 1120-1141.
35. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld.
36. Kahneman, D. and Knetsch, J.L. 1992. Valuing public goods: the purchase of moral satisfaction. Journal of Environmental Economics and Management, 22: 57-70.
37. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235.
38. Kahneman, D., Slovic, P., and Tversky, A., eds. 1982. Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press.
39. Kahneman, D. and Tversky, A. 2000. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press.
40. Kamin, K. and Rachlinski, J. 1995. Ex Post ; Ex Ante: Determining Liability in Hindsight. Law and Human Behavior, 19(1): 89-104.
41. Kates, R. 1962. Hazard and choice perception in flood plain management. Research Paper No. 78. Chicago: University of Chicago, Department of Geography.
42. Knaup, A. 2005. Survival and longevity in the business employment dynamics data. Monthly Labor Review, May 2005.
43. Kunda, Z. 1990. The case for motivated reasoning. Psychological Bulletin, 108(3): 480-498.
44. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.
45. Latane, B. and Darley, J. 1969. Bystander «Apathy», American Scientist, 57: 244-268.
46. Lichtenstein, S., Fischhoff, B. and Phillips, L. D. 1982. Calibration of probabilities: The state of the art to 1980. In Kahneman et. al. 1982: 306–334.
47. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.
48. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
49. Newby-Clark, I. R., Ross, M., Buehler, R., Koehler, D. J. and Griffin, D. 2000. People focus on optimistic and disregard pessimistic scenarios while predicting their task completion times. Journal of Experimental Psychology: Applied, 6: 171-182
50. Quattrone, G.A., Lawrence, C.P., Finkel, S.E. and Andrus, D.C. 1981. Explorations in anchoring: The effects of prior range, anchor extremity, and suggestive hints. Manuscript, Stanford University.
51. Rasmussen, N. C. 1975. Reactor Safety Study: An Assessment of Accident Risks in U.S. Commercial Nuclear Power Plants. NUREG-75/014, WASH-1400 (U.S. Nuclear Regulatory Commission, Washington, D.C.)
52. Rogers, W. et al. 1986. Report of the Presidential Commission on the Space Shuttle Challenger Accident. Presidential Commission on the Space Shuttle Challenger Accident. Washington, DC.
53. Sanchiro, C. 2003. Finding Error. Mich. St. L. Rev. 1189.
54. Schneier, B. 2005. Security lessons of the response to hurricane Katrina. http://www.schneier.com/blog/archives/2005/09/security_lesson.html. Viewed on January 23, 2006.
55. Sides, A., Osherson, D., Bonini, N., and Viale, R. 2002. On the reality of the conjunction fallacy. Memory & Cognition, 30(2): 191-8.
56. Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.
57. Slovic, P., Fischoff, B. and Lichtenstein, S. 1982. Facts Versus Fears: Understanding Perceived Risk. In Kahneman et al. 1982: 463–492.
58. Strack, F. and Mussweiler, T. 1997. Explaining the enigmatic anchoring effect: Mechanisms of selective accessibility. Journal of Personality and Social Psychology, 73: 437-446.
59. Taber, C.S. and Lodge, M. 2000. Motivated skepticism in the evaluation of political beliefs. Presented at the 2000 meeting of the American Political Science Association.
60. Taleb, N. 2001. Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Pp. 81-85. New York: Textre.
61. Taleb, N. 2005. The Black Swan: Why Don’t We Learn that We Don’t Learn? New York: Random House.
62. Tversky, A. and Kahneman, D. 1973. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 4: 207-232.
63. Tversky, A. and Kahneman, D. 1974. Judgment under uncertainty: Heuristics and biases. Science, 185: 251-284.
64. Tversky, A. and Kahneman, D. 1982. Judgments of and by representativeness. In Kahneman et. al. (1982): 84-98.
65. Tversky, A. and Kahneman, D. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90: 293-315.
66. Wansink, B., Kent, R.J. and Hoch, S.J. 1998. An Anchoring and Adjustment Model of Purchase Quantity Decisions. Journal of Marketing Research, 35(February): 71-81.
67. Wason, P.C. 1960. On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12: 129-140.
68. Wilson, T.D., Houston, C., Etling, K.M. and Brekke, N. 1996. A new look at anchoring effects: Basic anchoring and its antecedents. Journal of Experimental Psychology: General. 4: 387-402.

Умные персонажи первого уровня

Тут ссылка на сцену из «Хоббит 2: Пустошь Смауга», которой не было в книге.

Сцена, показанная в кино, развивается следующим образом: тринадцать гномов и Бильбо Бэггинс, после полутора фильмов сражений и дороги, приходят туда, где Торин, лидер гномов, ожидает найти секретный вход в потерянное гномское королевство Эребор. Этот вход открывается только в определенный день года (день Дурина) и у них есть расшифрованная карта, говорящая «Встань у серого камня, когда стрекочет дрозд, и последний луч света осветит замочную скважину в День Дурина».

Потом солнце садится за гору, а они так и не находят замочную скважину. И тогда Торин…мне больно даже писать это…Торин с отвращением выбрасывает ключ и все гномы начинают спускаться с горы, оставляя Бильбо, наблюдающего за каменной стеной. И именно поэтому Бильбо единственный видит как свет поднимающейся Луны внезапно выявляет искомую замочную скважину.

Киношный Торин с отвращением выбрасывает ключ и уходит?

Я бы так не сделал.

Вы бы так не сделали.

Мы по крайней мере подождали хотя бы час, на случай, если еще какой-то луч солнца прорвется с той стороны горы, и даже тогда мы бы вернулись завтра, просто на всякий случай. И если бы и тогда не вышло, мы бы попытались еще через год. Мы бы не выбросили ключ. Мы бы не пошли сразу же обратно, как только что-то пошло не так.

Сценарист думал, что это будет Драматичный Момент — оставить Бильбо в одиночку смотреть на стену. Но ценой этого Драматичного Момента стал выход фильма со странными эксцентричными созданиями, которые думают не так как мы с вами; так что Драматичный Момент ощущается дурацким, по крайней мере для меня.

Мы могли бы сказать, что у этих странных существ недостает определенного типа понимания. Сценарист хочет, чтобы мы кричали на киношного Торина «Нет! Глупец! Не делай этого!», но похоже, что сценарист не понимает, что Торин тоже бы внутри кричал на себя, что Торин мог понять глупость творимого им на экране. У киношного Торина нет тихого голоса в голове, который кричал бы все это, какой есть у нас. Мы можем называть киношного Торина Голливудским Зомби, или г-зомби, если коротко.

Ладно, теперь давайте поговорим о концепции «умных персонажей».

Если вы посмотрите, то обнаружите, что в большей части художественной литературы «умный» означает персонажа, о котором сказано (но не показано), что он владеет несколькими языками, которого мы видим выигрывающим в шахматы у кого-то, кого нам представляют как гроссмейстера. Если это научно-фантастическая литература, то «гений» может изобретать различные гаджеты и говорить, используя техническую терминологию. В качестве стереотипного шаблона для «интеллекта» «гений» может быть показан как невежественный в вопросах дружбы или романтических отношений. Если это фильм или телевизионное шоу, тогда «умные» персонажи (чаще всего злодеи) говорят с британским акцентом.

Для ученого-когнитивиста, интеллект это род когнитивной работы, деятельность, проводимая мозгом — необязательно человеческим — аналогично тому, как двигатель машины создает крутящий момент и толкает машину вперед. Что это за когнитивная работа? Мы можем сказать «Моделирование, предсказание и управление реальностью.» Или мы могли бы сказать «Производство действий, которые приближают будущее к нужным исходам в порядке предпочтения.»

Голливудская концепция интеллекта не имеет ничего общего с когнитивной работой. Вместо этого она представляет собой социальный стереотип. То есть то, как «умные персонажи» одеваются, как они разговаривают и сколько их надо, чтобы поменять лампочку.

Я говорю все это чтобы как можно точнее обозначить голливудскую концепцию «интеллекта» и откинуть ее в сторону как заблуждение, когда мы зададимся вопросом, как мы могли описать более умного Торина.

Более умный Торин не изобрел бы потрясающий новый вид щитов из супердуба.

Более умный Торин не был бы очаровательно (или омерзительно) невежественен в романтике.

Более умному Торину не было бы необходимости использовать технически звучащие слова или декламировать точные числа с множеством значащих цифр.

Более умный Торин не спланировал бы втайне всю схватку, чтобы дать Смаугу ложное ощущение безопасности. Мы еще поговорим о том, как правильно создать такой вид рассудительности, который можно было бы назвать хитроумным, в главе про умных персонажей второго уровня. Но нет смысла пытаться писать про таких персонажей, если вы не овладели первым уровнем. А также интеллект первого уровня куда важнее.

Более умный Торин не нашел бы тут же замочную скважину при помощи удивительно острых способностей к восприятию. Можно сказать читателю, что у персонажа острое зрение, но это не вложит в персонажа искру внутренней жизни и оптимизации.

Более умный Торин даже не решил бы загадку, используя подсказки, явно раскиданные по предыдущим главам и которые читатель, в принципе, мог бы найти и распознать сам — хотя для персонажа этот подвиг продемонстрировал бы настоящую когнитивную работу (что тоже будет раскрыто в рассказе про второй уровень интеллекта).

Нет, шагом вперед к более умному Торину было бы просто чтобы Торин вел себя так, словно внутри него есть личность, которая знает, что лучше всего сделать, словно бы вы или я были бы на его месте, в противовес г-зомби, который выкидывает ключ, чтобы Бильбо был обеспечен Драматичным Моментом.

Шагом вперед, в простейшей и обыкновеннейшей манере, было бы иметь персонажа, который производил бы впечатление того, кто делает лучшее, что можно сделать в данной ситуации (для данного персонажа) — который оптимизирует свою собственную жизнь, а не того, кто ведет себя согласно сценарию. Нет, обязательно, супер-дупер-невероятно умный оптимизирует; великий урок Искусственного Интеллекта в том, что каждодневная рутинная оптимизация является наибольшей трудностью для интеллекта человеческого уровня. Не изобретать новый щит из супердуба и даже не решать загадку; тот тип «оптимизации», о котором мы говорим, проистекает из внутренней искры, которая пытается сделать свою жизнь лучше, а не послужить вашему сценарию. Это та искра, которой нет у киношного Торина; та искра, которая могла бы услышать внутри себя то же, что кричат со зрительских мест; та искра, что не выбросила бы ключ.

Интеллект через эмпатию и уважение

Если вы хотите, чтобы у ваших персонажей был интеллект первого уровня, вы должны использовать эмпатию (см. Гл. 27 ГПМРМ). Вы должны поддерживать работу своего мозга в режиме «песочницы», чтобы моделировать мозг персонажа, заставлять свой мозг быть похожим на его.

Другая вещь, которую вы можете, но не должны, делать — использовать распознавание шаблонов для заполнения пустот. Если вы видите изображение куста в раскраске, вам не нужно размышлять о фотонах и длинах света, чтобы понять, что куст нужно закрасить зеленым цветом, подобно другим виденным вами кустам или изображениям кустов. Вам также не нужно влезать в шкуру вампира для понимания того, что вампир должен шипеть при разговоре или иметь холодную кожу. Небо синее, кусты зеленые, вампиры шипят и пьют чью-либо кровь…

Такой вампир не будет обладать интеллектом первого уровня, и не будет особо оригинальным, если вы вводите его в действие только чтобы заполнить пустоту в сюжете. Если же вы хотите найти кажущееся наилучшим действие для поведения ваших персонажей, вам придется жить внутри их голов и давать им взаймы силу своего интеллекта, чтобы подарить им внутреннюю искру.

Я могу предложить вам две основные техники, чтобы вот так влезть персонажу в голову. Первая очевидная техника это мерить по себе: Носили бы вы старомодную одежду того времени, когда вы родились, если бы были вампиром? Остановитесь и подумайте об этом. Носили бы? Какие соображения вы бы принимали во внимание? Что бы вы сделали кажущегося наилучшим для оптимизации этих соображений и остатка вашей жизни, вместо носки старой одежды во славу сюжета, чтобы читатели легко могли распознать вас как вампира, вставленного, чтобы заполнить пустоту в сюжете?

Вторая и менее очевидная техника это метод уважения. Уважение следует за эмпатией и падает у любого персонажа, для которого у вас есть внутренняя необходимость его принизить. После одиннадцатого сентября некоторые политики заявляли, что террористы были «трусами». Какая очевидная ложь. Если вы представите себя на борту самолета летящим на самоубийственную миссию, желающим осознанно врезаться в здание, вы поймете, что для этого требуется определенный объем храбрости.

Не то, чтобы люди вообще не могли сопереживать злодеям. Джордж Лукас с удивлением обнаружил что множество тех, кто смотрел Звездые Войны, восхищаются Дартом Вейдером. Способность предсказывать действия противника является важным наследственным применением эмпатии. Но нить эмпатии рвется, когда у людей появляется внутренняя необходимость понизить чей-то статус.

Ладно, теперь рассмотрим фрагмент оригинального «Гарри Поттер и Философский Камень». Каноничная Гермиона обращается к каноничному Гарри перед тем, как он собирается двинуться дальше к опасности:

— Гарри, ты великий волшебник, знаешь.

— Но я не так хорош, как ты, — произнёс Гарри, когда Гермиона разжала объятия. Он чувствовал себя смущённым.

— Я? — удивилась Гермиона. — А что я — ум и книги, вот и всё! Но, оказывается, есть куда более важные вещи — например, дружба и храбрость. И, Гарри… будь осторожен!

Теперь, прежде чем вы подумаете, не больна ли была Роулинг, когда писала это, учтите слова самой Роулинг, что Гермиона была персонажем, которого она писала с себя, и Роулинг самой хватило «ума и книг» чтобы стать миллионершей. В таком ключе это самоосуждение, а не унижение гениев.

Но даже с этим такой отрывок вы не можете представить во время чтения МРМ, потому что МРМ не принижает книги и ум. Дружба и храбрость тоже имеют значение в МРМ; но МРМ не делает уступок сантиментам, что добродетель начитанности по своему статусу ниже добродетели храбрости.

Вы не можете описать по-настоящему гениального персонажа, если ощущаете необходимость принизить его, если у вас есть ощущение, что вы должны не дать ему быть слишком умным, потому что это бы нарушило мораль истории, что Храбрость Важнее Мудрости или что-то подобное. Такое принижение не столько затмевает их искру оптимизации, сколько нарушает вашу эмпатию с персонажем: вы с трудом можете испытывать эмпатию к кому-то, чей статус вы хотите понизить, потому что ваш заточенный под политику мозг не хочет рассказывать их настоящую историю.

Это не говорит о том, что персонажи не должны выучивать ценные жизненные уроки, но они должны учиться, ну, уважительно. Если вы сами помните, что значит выучить с трудом полученный урок, вы можете держать в сознании картину того, что значит сделать такую ошибку честно пытаясь сделать наилучшее, вместо того, чтобы сделать ошибку в процессе служения сюжету или для сохранения пониженного статуса персонажа.

И чтобы лучше показать связь, посредством которой уважение создает интеллект: если вы создаете персонажа, которого вы по-настоящему уважаете, вы постесняетесь моделировать его как глупого. Цинизм профессора Квиррелла (но, насколько я знаю, не его намерение убивать) основан на смеси цинизма двух моих друзей, Робина Хансона и Майкла Вассара. Я уважаю их в достаточной мере, чтобы даже когда они ошибаются, я в общем видел их как ошибающихся убедительно. Когда я ментально привязал профессора Квиррелла к моей модели Хансона и Вассара, мой мозг заставил профессора Квиррелла генерировать убедительный цинизм и вставлять как можно больше гранул истины в его слова, даже несмотря на то, что я сам не согласен с его выводами.

Это приводит меня ко второму кратчайшему пути создания персонажа с интеллектом первого уровня: просто нагло украдите чей-то образ, из реальной жизни или из литературы, чей интеллект вы по-настоящему уважаете.

Вы можете просто описать персонажа так, словно он Шерлок из сериала ББС или Майлс Форкосиган или любая другая личность чьим мышлением вы интуитивно восхищаетесь. Ваш собственный литературный голос возьмет верх и затмит все, и большая часть ваших читателей не заметит сходства, пока вы не скажете им… если вы симпатизируете Шерлоку или Форкосигану так, чтобы ощущать их внутренние жизни, если вы создаете их в их новой роли продолжая выписывать их жизнь изнутри. Если же вы просто используете шаблонные образы, чтобы заполнить их крылатыми фразами из телевидения, тогда да, люди заметят.

Или же, возвращаясь к более простому трюку, вы можете сделать проверку на интеллект путем представления себя в шкуре персонажа. Что бы вы сделали, если бы стали вампиром? А что бы вы сделали, если бы вас любили вампир и оборотень? Если ответ является чем-то, что вы никогда не видели раньше в историях, то возможно у вас в руках готовый сюжет…

Или возможно вы пишете историю со злодеем и у него есть база в вулкане. Какой бы она была? Ладно, есть и другие пути ответить на этот вопрос, но один из них этот: какую базу вы бы отстроили в вулкане, если бы вам было нужно такую сделать? Был бы у вас там батут? Представьте, что смотрите фильм, где на злодейской базе в жерле вулкана в тронном зале стоит батут, но не потому что это комедия, а потому что злодей просто делает те вещи, которые вы бы сделали на своей базе и никто не сказал бы вам «нет». Возможно злодейка носила бы удобные штаны, а слуг бы заставляла одеваться в черную кожу. Я бы посмотрел такой фильм, если бы он не был таким же, как фильмы, построенные на заполнении шаблонов.

Я заметил, что мне часто нравятся романы, написанные от первого лица; и я подозреваю, что когда авторы пишут истории и используют местоимение «я» для голоса персонажа, они более вероятно будут пытаться быть умными временами. (примеры: роман Jumper (но не фильм); фанфики Dreaming of Sunshine, The Lie I’ve Lived, и Who I Am.) Как-то легче писать «Торин выбросил ключ и ушел», чем «я выбросил ключ и ушел» Если вы представите себя настоящего буквально в шкуре Торина, тогда вместо того чтобы пытаться заполнить шаблон «что бы сделал тупой гном» вы возможно представили бы как думали бы на самом деле. Если вы представите настоящего себя внезапно перемещенным в тело Торина, тогда вы представите настоящую живую личность за его глазами.

Правда, для более продвинутых писателей повествование от третьего лица имеет преимущества над первым лицом. Особенно для персонажей с нетипичными мыслительными процессами (смотрите секцию про интеллект третьего уровня) где вы можете захотеть отступить назад к большему всемогуществу и описать их мыслительные процессы более подробно. Но повествование от первого лица и трюк подстановки себя на место персонажа являются отличной начальной точкой для ломки ментальной привычки к описанию Литературных Чужих.

Так или иначе, вы должны проживать жизнь за своих персонажей, чтобы она у них была; у них нет возможности где-то еще занять мозгов, кроме как у вас.

Обдуманные действия и умные ошибки

Одна из неизбежных сложностей при попытке поместить искру оптимизации внутри ваших персонажей это то, что никто из них не хочет, чтобы ваш сценарий осуществился.

Вы хотите эпической борьбы злодея и героя. Или возможно у вас нет отдельного антагониста и герой противостоит Природе, или самому себе, или ему нужно разрешить романтический вопрос. Вне зависимости от конкретной ситуации, если у протагониста не будет препятствий на пути к тому, чего он хочет, у вас история не получится.

Но протагонист не хочет ваших препятствий. Протагонист тоже смотрел романтические комедии и делает все, чтобы избежать ошибок коммуникации из этих комедий. Злодей хочет, чтобы герои умерли в первой главе, и посылает дополнительных солдат, чтобы быть уверенным, что это произойдет. Каждый персонаж с интеллектом первого уровня хочет взять ваш сюжет, основанный на конфликте, и выкинуть его в окно.

Это заставляет ваш мозг попотеть. Вы должны так умело создать ситуацию для каждого персонажа, чтобы, учитывая то, что им известно, результат работы их внутренней искры работал на ваш сюжет.

Описание умных злодеев означает, что вам придется немало подумать над тем, как, черт побери, герои выберутся живыми со злодейской базы, поскольку у вас нет возможности просто сделать вентиляционные проходы базы достаточно большими, чтобы по ним можно было проползти.

Скорее всего вам придется выкинуть вашу первую идею, отказаться от второй и обдумывать проблему в течение недели, прежде чем вы придете к такой идее, где никто из персонажей не будет выглядеть полностью глупым. Если вы находите лазейку в 63 главе, вы используете свою авторскую прерогативу на путешествия во времени, возвращаетесь и делаете нечто, что убирает эту лазейку еще в 17 главе.

Моей первой идеей для способа побега Гарри из Азкабана было то, что он прорежет себе путь частичной трансфигурацией и улетит на обычной метле. Но другие волшебники могли бы прорезать стены обычной магией, и, если бы из Азкабана было так легко бежать, кто-нибудь уже сделал бы это. Я понял, что у авроров тоже должны были бы быть собственные метлы. Что же касается очень быстрой метлы, которая бы обогнала метлы авроров, как это часто бывает в обычных захватывающих романах, — чушь, Амелия Боунс подумала бы об этом и убедилась бы, что у ее людей достаточно хорошие метлы, чтобы не дать убежать даже на «Молнии». Гарри нужно было придумать план побега, который бы содержал такой элемент, какой Амелия Боунс не могла ожидать и к какому не могла приготовиться, даже при условии, что она пытается быть умной.

Это требует немалой работы, а писатели — люди ленивые. Вот почему голливудский злодей оставляет героя в смертельной ловушке, смеется и выходит из комнаты.

Иногда у вас не будет иного выбора, кроме как заставить вашего персонажа сделать ошибку; вы даже можете желать, чтобы персонаж сделал эту ошибку, поскольку вы пытаетесь что-то построить на этом. Вот почему в заголовке написано «обдуманные действия», а не «оптимальные действия». Но да, скажу вам, тут надо быть крайне осторожным, поскольку, боюсь, здесь легко скатиться обратно к трясине Глупости, Индуцированной Сюжетом. Уважаемый персонаж не должен совершать глупых ошибок.

В идеале, если ваш протагонист делает что-то неправильное, то это должно быть что-то правдоподобное настолько, чтобы одурачить большинство читателей при первом прочтении, казаться обдуманным и хорошим действием, даже если двенадцать глав спустя сам персонаж оглядывается и проклинает все, потому что было множество путей сделать лучше. (Смотрите, например, половину того, что Гарри делает в МРМ, и ранние ревью, которые остались от тех глав, которые были изначально.) Если ваш сюжет не позволяет персонажу понять то, что, как вы знаете, должно быть правдой, то вы не можете заставить их «просто подумать об этом», прийти к другому пониманию, которое отлично объясняет наблюдения персонажа. (Но не выкручивайте ваш мир, чтобы солгать персонажу. Антагонисты могут лгать, реальность — нет. Если ваш мир лжет персонажу, то загадки истории становятся неразрешимы.)

Ваш персонаж может быть не в состоянии решить абсолютно все проблемы в отдельный момент времени и его действия могут быть не оптимальны, но они должны всегда быть обдуманны. Когда вы должны заставить умного персонажа сделать ошибку, эта ошибка должна быть результатом обдумывания почти правильной мысли и единственного небольшого неправильного когнитивного шага.

Часть смысла МРМ в том, чтобы провести читателя вместе с Гарри через процесс обучения Гарри на его ошибках. Это требует того, чтобы ошибки были. Но это не значит, что Гарри внезапно превращается в антирационалиста, когда этого требует сюжет. Это не значит, что история пытается аккуратно оправдать ошибки Гарри. Это не значит, что история заставляет Гарри эмоционально перевозбудиться в момент, когда сюжет требует ошибки, чтобы у автора было хорошее оправдание за глупость персонажа в этом моменте. Ошибки Гарри — это результат попыток Гарри быть рациональным, попыток сделать что-то правильно, попыток сделать обдуманное и оптимальное действие, которые кончились недостаточно хорошо.

Из МРМ, 78 глава:

«Позже, оглядываясь назад, Гарри задумается о том, что во всех прочитанных им фантастических романах люди всегда совершают большой, значимый выбор по большим, значимым причинам. Гэри Селдон создал Основание, чтобы на обломках Галактической Империи выстроить новую империю, а не потому, что ему хотелось выглядеть значительнее, руководя собственной исследовательской группой. Рейстлин Маджере отказался от своего брата потому, что хотел стать богом, а не потому, что плохо разбирался в человеческих отношениях и не хотел просить совета, как их улучшить. Фродо Бэггинс взял Кольцо потому, что был героем, желающим спасти Средиземье, а не потому, что было бы слишком неловко отказаться. Если бы кто-то когда-нибудь написал истинную историю мира — хотя никто и никогда не сможет и не захочет — наверняка 97% всех ключевых моментов Судьбы оказались бы слепленными из лжи, салфеток и незначительных мелких мыслей, которые человек мог бы легко переиначить.

Гарри Джеймс Поттер-Эванс-Веррес посмотрел на Гермиону Грейнджер, сидевшую на другом конце стола, и почувствовал, что ему не хочется беспокоить её, когда она, видимо, и так уже в плохом настроении.

Затем Гарри подумал, что наверняка будет более разумно сначала поговорить с Драко Малфоем, чтобы иметь возможность совершенно однозначно уверить Гермиону в том, что Драко на самом деле ничего против неё не замышляет.

Позже, после ужина, Гарри спустился в подземелья Слизерина и услышал от Винсента «Босс не хочет, чтобы его беспокоили»… У него мелькнула мысль, что, наверное, ему стоит узнать, не согласится ли Гермиона поговорить с ним прямо сейчас. Он подумал, что ему пора просто начать разгребать всю эту кучу, пока она не соберётся ещё больше. Гарри спросил себя, быть может, он просто медлит? Может, его разум просто нашёл удобную отговорку, чтобы оставить кое-что неинтересное-но-необходимое на потом?

Он правда об этом думал.

А потом Гарри Джеймс Поттер-Эванс-Веррес решил, что он просто поговорит с Драко Малфоем на следующее утро, после воскресного завтрака, а уже потом поговорит с Гермионой.

Люди постоянно так делают».

Подлинные моральные конфликты

«Тройной контакт», моя самая популярная работа, если не считать МРМ, никогда не задумывалась как серьезная вещь. Например там была такая вещь, как корабельный Форчан.

И меня удивило, когда профессиональные авторы в области научно-фантастической литературы, такие как Дэвид Брин и Питер Уотс, сделали обзоры на мое произведение и похвалили его. Я сидел и думал: «Что же я, черт побери, сделал правильно?»

Центральный моральный конфликт в «Тройном контакте» (ТК сокращенно) — открытый вопрос, сколько боли или страданий мы хотим видеть в утопии, мире, хорошем настолько, насколько это вообще достижимо. Я ранее уже рассматривал этот вопрос в серии эссе Fun Theory Sequence. Я нерешительно подобрался к ответу «Нормально иметь немного боли и страдания, просто они должны иметь больше смысла, чем в нынешнем состоянии дел»; но я хорошо понимал, что это может быть просто точкой зрения такого жителя 21 века, как Элиезер Юдковский, и что когда большая часть боли будет сведена к нулю, дети наших детей могут просто пожать плечами и уничтожить оставшуюся часть.

Есть традиция рационалистов, известная в узких кругах как steelmanning (прим. пер. — не нашел русского перевода. Вкратце steelmanning представляет собой нечто обратное уловке «чучело», strawman, и заключается в ответе на наиболее сильную форму аргумента, представленного оппонентом, даже если эта форма не была озвучена). Данная практика имеет свои подводные камни, и я разобрал некоторые из них в моем эссе Against Devil’s Advocacy. Но, в общем, вы можете думать о принципе атаковать сильнейшие аргументы противоположной стороны как об интеллектуальной версии отвращения от Мэрю Сью. Если вам противостоит обоснованно сильная оппозиция, то вам надо сделать так, чтобы она казалась сильной. Если вы заставите ее казаться слабой, чтобы ее легко можно было победить, то это низко: это показывает вашу собственную слабость.

Я знал, что мои собственные симпатии на стороне Веселых (прим. пер. — в оригинале Fun, как я понимаю, так автор называет человеческую сторону в «Тройном контакте»). Так что мой инстинкт автоматически предложил сделать Сверхсчастливых, сторону против боли в ТК, звучащую как можно убедительней. Я хотел, чтобы читатель ощутил силу позиции Сверхсчастливых и при этом симпатизировал персонажам-людям, когда они бы думали, правы ли. Я определенно не хотел ослаблять позицию Сверхсчастливых для показания того, насколько верна человеческая позиция. Тогда бы возникало нездоровое ощущение, как при чтении «Атлант расправил плечи», ощущение, что я нечестен по отношению к обоснованной позиции таких мыслителей, как Дэвид Пирс.

В одной из своих работ, к несчастью не могу вспомнить в какой, Орсон Скотт Кард отмечает, что пусть конфликт между Добром и Злом может быть основой хорошей истории, он и вполовину не так интересен, как конфликт между Добром и Добром.

Вопрос полного уничтожения боли против простого улучшения, Сверхсчастливые против Веселых, был центральным моральным конфликтом «Тройного контакта». Движущее слово — «конфликт». Я позже понял, что причиной, по которой я получил столько внимания в сторону истории с корабельным Форчаном, было то, что я случайно сделал верную вещь по литературным стандартам: я выбрал значительный конфликт в качестве центральной части истории, дилемму, в которой сам не был уверен, в которой я видел сильные аргументы с обеих сторон. Мои steelmanning-инстинкты заставили меня раздуть этот конфликт, заставить Сверхсчастливых казаться настолько убедительными, насколько возможно, то есть в литературном эквиваленте — сделать злодеев сильнее. (Ни один профессиональный редактор никогда не присылал историю обратно автору с пометкой «Этот злодей слишком силен и его нужно сделать слабее.»)

Подлинный моральный конфликт является в литературе витамином достаточно редким, чтобы «Тройной конфликт» получил серьезное внимание критиков, несмотря на наличие корабельного Форчана. Вы читали множество историей, в которых есть две стороны с различными моралями, но где нет такой вещи, как моральный конфликт. Почти всегда ясно, что автор думает о том, на какой стороне вы должны быть. «Властелин колец» не спрашивает, мог бы Саруман в итоге развить промышленность. «Атлант расправил плечи» не приглашает вас задуматься вместе с автором, является ли капитализм хорошей идеей или был ли путь Джона Галта единственно правильным; вместо этого каждый, кто идет возражать против капитализма, был изображен как слабый, презренный человек со склонностью к криминалу.

Неправильный путь для попытки создания баланса — писать «морально сомнительную» историю Зла против Зла, где обе стороны изображены как подверженные испорченности и коррупции. Это точно плохой ход с точки зрения литературы. Такие истории не создают симпатию-с-моральными-вопросами, потому что никто в этих историях не пытается оптимизировать этику, сделать что-то правильно. У вас не может быть персонажей, которые бьются над открытым вопросом, что лучше всего сделать, если никто в истории не рассматривает вопросы, которые выглядят хотя бы отдаленно убедительными. Ослабление сильного конфликта Добра с Добром до Серого против Серого, не говоря уже о Зле против Зла, — это литературный эквивалент того, как если бы вы отобрали у ваших персонажей пушки и крутые костюмы и отправили их в песочницу драться на лопатках. Нет ничего сложного в истории Зла против Зла, потому что в ней нет интеллектуальной запутанности, подверженной сомнению, и вопроса, требующего длинного обсуждения, потому что у каждой стороны есть сильные на первый взгляд аргументы.

(Заодно отмечу, раз уж коснулись этой темы: художественные истории о сломленных людях, которые ломаются еще сильнее, не приносят удовольствия при чтении с позиций чистого гедонизма. Если вы пытаетесь возразить, что ваша история должна быть классной и еретичной, потому что предлагает малую награду за чтение, не ожидайте одурачить кого-то, обладающего самосознанием настолько, чтобы двигаться на мета-еретичности.) (Прим. пер. — не уверен, что понял, о чем речь идет в этом абзаце, так что перевод может быть неверен.)

Также касательно темы о том, как не следует создавать моральную неопределенность: нет ничего нового в избитом откровении, что жизнь сложна. Да, люди, следующие только деонтологическим правилам, заканчивают тем, что их действия приводят к плохим последствиям. Люди, которые заявляют, что ложь может быть добродетельной, и так далее, и так далее. Действительно хорошие люди мира знают это, они уже начеку, так что персонажи с интеллектом первого уровня тоже будут осведомлены об этом.

Автор, который пытается опорочить каждый идеал таким шокирующим отношением, неизвестным любому из персонажей истории, но, разумеется, хорошо известным самому автору, терпит неудачу в попытке создания интеллекта первого уровня — все персонажи упускают очевидное только лишь потому, что только так автор может вставить их на нужное место в сюжете (которое весьма удобно расположено ниже автора). И наоборот, если вы сами не уверены, какие из недостатков приемлемы, и при этом все равно должны идти вперед, даже зная риски, то для идеалистичных персонажей с интеллектом первого уровня разумно быть столь же неуверенными, как и вы.

Естественный способ подлинно исследовать мораль посредством литературы — честно разыгрываемый конфликт Добра и Добра. Конфликт между высокими идеалами, которые история не пытается очернить, принизить или использовать для показа искушенного авторского цинизма — это все только ослабляет конфликт.

Истинный и незапятнанный идеал не обязательно тот, чьи защитники все чисты, или тот, политика которого не имеет недостатков. Истинный идеал — это цель, которая стоит оптимизации несмотря ни на что и все еще дает теплое яркое ощущение в этом сложном мире. Если вы не можете почувствовать его, это теплое яркое ощущение, и заявить о нем публично, то вы не сможете поместить его в свою историю, не сможете заставить читателей симпатизировать вашим идеалам. Смотрите внутрь себя в поисках морали, этики, эстетики, добродетелей, того, чем вы все еще дорожите в реальности. Вы создадите подлинный моральный конфликт, когда найдете два самых высоких идеала, противостоящих друг другу и равноценных настолько, что вы сами не будете уверены, на правильной ли вы стороне; или когда вы найдете моральный вопрос внутри высокого идеала, в ответе на который вы не уверены и вокруг которого можете построить историю.

Реалистичные злодеи и точки зрения

«Методы рационального мышления» иногда ошибочно принимают за историю с моралью вида Серое против Серого.

Это изумило меня в первый раз, когда я услышал такой отзыв, и я до сих пор на самом деле не могу принять то, что некто мог прочитать МРМ и так подумать. Дементоры — это чистое зло. Фениксы — чистое добро. Я не думаю, что проспойлерю что-то в МРМ, раскрыв свое мнение, что Амикус Кэрроу и профессор Макгонагалл стоят настолько далеко друг от друга в плане морали, насколько это вообще возможно для людей. Возможно, в истории нет чистого белого и черного цветов, но это не значит, что все серое — одного и того же оттенка.

Но когда мы смотрим на мир глазами Драко, мы видим его так, как видит он, со всеми моральными аргументами в пользу Пожирателей Смерти, сформулированными так, чтобы звучать убедительно для Драко Малфоя. Только злодеи в детских книжках формулировали бы свои слова так, чтобы заставить выглядеть героя убедительней, и это истинно независимо от того, насколько на самом деле справедлив герой.

Когда Люциус Малфой выступает на публике, он действует как строгий уважаемый политик, работающий на неблагодарную задачу защиты наивных людей от сильного и харизматичного лидера культа, наподобие Дамблдора… потому что это очевидная история, в которую мог бы автоматически вписаться настоящий Люциус, а не потому, что МРМ ставит его на один моральный уровень с Алисой Лонгботтом.

Но если в мире Люциуса он не выглядит злодеем, почему бы ему не любить своего сына? В модели мира Люциуса он никогда не получал Злодейского Письма, говорящего, что он на стороне плохих парней; поэтому Люциус считает, что у него есть мужество, честь и другие атрибуты Древнейшего Дома, и воспитывает сына соответственно.

Возможно, кто-то делает ошибочное суждение о морали Серого против Серого, если привык к героям наподобие толкиновских, сражающихся против орков и Саурона, или если не понимает, как мало значит, если персонаж считает свои действия оправданными — как мало это говорит читателю об их настоящей позиции на оси добра-зла. Адольф Гитлер был откровенным противником вивисекции животных, который на нескольких обедах показывал изображения насилия над животными в попытке убедить присутствующих не есть мясо. Предположительно, Гитлер тоже не получал Злодейское Письмо. Возможно, он даже не носил черные одежды. В этом и есть разница между книжным Волдемортом и реальным Адольфом Гитлером.

Разумеется, не только злодеи пытаются оправдать себя. Самооправдание дешево, и любой персонаж с толикой ума будет способен гнать его грузовиками. Большая часть искусства рациональности — обучение тому, как сделать самооправдания для себя как можно дороже и труднее. Любой персонаж, который не изображен мастером-рационалистом, не должен иметь сложностей в формировании истории, которая представляет его хорошим парнем, вне зависимости от того, что он делает на самом деле.

Конечно же, это требует от вас умения абстрагироваться от вашей собственной ментальной вселенной и представлять то, как вещи выглядели бы для кого-то еще — это тоже один из ключевых навыков рационалиста.

Экономист Брайан Каплан изобрел улучшенную версию steelmanning, которую назвал Идеологическим Тестом Тьюринга. В данном тесте вы должны выписать аргументы для противоположной стороны настолько реалистичные, чтобы приверженец той стороны не мог отличить ваши выкладки от того, что мог бы написать настоящий защитник той стороны. Идеологический Тест Тьюринга строже, чем steelmanning, поскольку слишком легко убедить себя, что вы придумали «сильнейший аргумент», и куда менее легко одурачить кого-то, кто в самом деле верит в противоположную позицию, относительно того, что вы в самом деле искренне изо всех сил пытались создать лучший аргумент. Это тест на понимание; испытание, чтобы убедиться в вашем настоящем понимании аргументов, в которые вы, по вашим словам, не верите.

Люди проваливают Идеологический Тест Тьюринга, потому что они привязаны к своей картине мира, потому что боятся позволить себе смотреть на мир с другой точки зрения, потому что они терпят неудачу в практике представления другой точки зрения, которая может быть обоснованной.

Гарри из МРМ пытался научить этому навыку Драко, у которого были обычные проблемы с овладением данным умением, в 23 главе (прим. пер. — упомянутый фрагмент на самом деле находится в 22 главе):

«Даже поняв эту мысль, Драко не смог придумать какую-нибудь «правдоподобную альтернативу», как это назвал Гарри, для идеи, что волшебники становится менее могущественными, поскольку мешают свою кровь с грязью. Это было слишком очевидной истиной.

После чего Гарри Поттер слегка раздражённо заметил, что не может поверить, что у Драко и впрямь так плохо получается воображать себя на чужом месте. Наверняка же существовали Пожиратели Смерти, которые изображали врагов чистоты крови, и у них, без сомнения, нашлись бы более правдоподобные аргументы против собственной стороны, чем то, что предлагает Драко. Если бы Драко изображал сторонника Дамблдора и высказал бы идею о домовых эльфах, он бы ни на секунду никого не одурачил».

Когда я описывал Пожирателей Смерти в МРМ, я пытался пройти Идеологический Тест Тьюринга для Пожирателей Смерти — когда я описывал точку зрения Драко Малфоя, я писал о Пожирателях Смерти так, как мог бы их видеть сам Драко. Цель была в том, чтобы настоящий Пожиратель Смерти, который бы прочитал точку зрения Драко, не сказал: «Ага! Это явно писал не настоящий Драко Малфой, а некто, кто хотел выставить Пожирателей Смерти в плохом свете». (Исключая, конечно, те мысли Драко Малфоя, которые внутренне были оптимизированы, чтобы выглядеть хорошо для его друзей и социального круга, а не для читателей-магглов, прошедших эпоху Просвещения.)

Профессор Квиррелл описывался так, чтобы настоящий профессор Квиррелл не смог бы взять произведение в руки и сказать: «Что? Я бы не сказал этого. Есть куда более убедительные аргументы в пользу нации с сильным лидером, например…»

Меня часто нервирует то, как много людей говорят, что они находят профессора Квиррелла слишком убедительным, в то время как его воззрения не являются вещами, в которых я уверен (мягко говоря), но, по крайней мере, это показывает, что я делаю свою работу правильно.

Говорят, что каждый видит себя героем в своей собственной истории. Но это даже не близко не лежит с тем, чтобы быть правдой; насколько я могу сказать, большая часть мира состоит из людей, которые явно верят, что они НПС, и интуитивно будут удивлены и не смогут поверить, если услышат любое предположение, что для них возможно участвовать в сюжете. Есть также люди, верящие, что они антигерои или даже открытые злодеи в их собственной истории. Но это исключения, особенно на литературном уровне; в первом приближении большинство активных персонажей в истории должны верить, что они герои.

Похожим образом каждый активный персонаж также должен жить с картиной мира, где он является центром, а не ваш протагонист. Когда вы описываете точку зрения Боба, каждый объект должен быть упомянут в той степени, насколько он релевантен по отношению к Бобу. Рон Уизли едва ли вообще существует в мире Гарри; но как только мы переключаемся на мир Гермионы, он снова появляется. Драко видит все вещи в той степени, в какой они относятся к нему; профессор Макгонагалл видит вещи в той степени, в какой они относятся к Хогвартсу. Дамблдор все еще постоянно размышляет о событиях с Гриндевальдом, которые произошли в первой половине его жизни. Чтобы пройти Тест Тьюринга для Дафны Гринграсс, я должен описать ее точку зрения так, чтобы некто, читая ее мысли, не мог сказать, что кто-то еще (например Гарри Поттер) является настоящим центром вселенной.

(По той же теме: каждый персонаж является [меметичное предупреждение: TVTropes] Единственным Здравомыслящим Персонажем [/конец предупреждения]. Вот частичный список персонажей МРМ, которые были изображены как единственные здравомыслящие персонажи: Гарри, Гермиона, профессор Макгонагалл, профессор Квиррелл, Драко, Невилл, Дафна Гринграсс, Сьюзан Боунс, Грозный Глаз Грюм, Амелия Боунс и Фоукс.)

То, во что мы правда верим, не ощущается нами как вера или убеждение, оно ощущается так, словно мир таков на самом деле. Действительно верить, что небо синее, не означает ощущать себя причастным к Синим, это означает ощущать себя так, словно небо на самом деле синее.

Процесс создания и становления персонажа — это не только создание его личности. Это экстраполяция вселенной, которая будет картиной мира персонажа — не то, во что он «верит», но окружающая вселенная, в которой, по его мнению, он живет.

Оригинальность

Оригинальность — это не легко, хотя и весьма просто: не делайте того, что уже делалось раньше.

К тому моменту, когда я начал МРМ, я прочитал множество фанфиков по Гарри Поттеру. Я видел всех моих персонажей, все краски в моей палитре, реализованные множеством путей… что, в свою очередь, делало их своего рода стандартом. Был темный Гарри, независимый Гарри, Гарри, который позволял себя затмить Гермионе или Джинни; был порочный Дамблдор и Дамблдор-глупец, Дамблдор, который хотел, чтобы Гарри шел по рельсам фэнтезийной истории, был Том Риддл, являвшийся обиженным сиротой, и Том Риддл, родившийся психопатом, и Том Риддл, в совершенстве владевший магией…

Не столько посредством волевого решения, сколько тем, что это казалось мне само собой разумеющимся, я знал, что мне нужно будет сделать нечто с этими персонажами, чего никто не делал раньше. Гарри, профессор Квиррелл, Дамблдор, Гермиона, Драко, Крэбб и Гойл — все они должны были быть не теми же персонажами в том же антураже, которых мои читатели могли бы видеть в других фанфиках. Если бы мои читатели уже видели таких персонажей, которые слишком похожи, изображение не было бы слишком захватывающим, и это бы означало, что я не смог передать новую информацию, мое сообщение не дошло. (Это философия оригинальности в формулировке шэнноновской информации.)

Я не могу описать творческий процесс, стоящий за созданием персонажей, подробно, поскольку по большей части он состоял из ожидания, пока мой мозг выдаст предложение, которое нельзя было бы отвергнуть по причине неоригинальности. Но я могу рассказать вам об осознанной части процесса, которая заключается в правиле отказа, законе продолжения: не делай того, что уже делалось. Каждый раз, когда мой мозг выдавал нечто, что не было достаточно новым, я продолжал искать, потому что в таком случае мой мозг не помечал поиск как законченный.

Не помню точно, что я думал, когда решал: «Как я поступлю с приспешниками Драко, Крэббом и Гойлом?» — но процесс протекал примерно так:

Глупые Крэбб и Гойл — это уже было, ты читал это десятки раз.

Ладно, перевернем все с ног на голову: Крэбб и Гойл — тайные интриганы. Нет, это требует того, чтобы глупым был Драко, что не вписывается в историю, которая к тому же и так имеет достаточно тайных интриганов.

Тогда пусть Крэбб и Гойл будут как мистер Вандемар и мистер Круп из Neverwhere Нила Геймана (грубый скандальный парень и умный парень, говорящий формальным языком; на TV tropes их бы назвали Эти Два Плохих Парня). Все еще нет. Я не помню такого в тех фанфиках, что читал, но это все еще клише и опять же не подходит истории в целом…

И наконец мой trope-диверсионный модуль выдал: «Крэбб и Гойл — это одиннадцатилетние мальчики, которые выросли, играя роль Этих Двух Плохих Парней, и они думают, что должны такими быть». Такого я никогда не видел в фанфиках по вселенной Гарри Поттера, да и вообще нигде, это подходило под общую историю и смотрелось потрясающе; поэтому поиск был остановлен.

Изначальный шаг в этом искусстве — обучении тому, как отвергать первую идею, которая всплывает в вашей голове — тот момент, когда вы сразу же думаете о глупых Крэббе и Гойле, или что ведьма должна разрываться между оборотнем и вампиром, или что если вы пишете фанфик по «Волшебнику в стране ОЗ», то сам волшебник должен быть непременно из Канзаса. Даже если ваша первая идея никогда не реализовывалась раньше, часто мудрее отвергнуть первую идею, всплывающую в голове (если конечно, эта первая идея на самом деле не представляет собой нечто совершенно потрясающее). Первая идея, приходящая в сознание, чаще всего — завершающий шаблон, очевидный ответ, ничем не удивительный. Иногда нет иной возможности быть эмоционально истинным в вашей истории, кроме как взять очевидный ответ, но чем чаще вы это делаете, тем ленивее становится ваш мозг. Близкий навык к Не Делай Того, Что Уже Раньше Делалось — это Не Делай Посредством Легкого Пути.

Я хотел бы, чтобы у меня был лучший совет о том, как быть креативным, а не просто оригинальным. Я могу направить вас к подцепочке «Свежий взгляд на вещи» на LessWrong.com, но это не даст вам всего, только способ стандартного написания книг. В каком-то смысле оригинальность не является сложной: если вы сделаете профессора Макгонагалл (бросок кубиков) суккубом, который сбежал из Плоского Мира Терри Пратчетта и который постоянно одержим обливанием водой вещей, то такого персонажа, вероятно, никто ранее не делал. Но это простой хаос: в этом нет смысла, по своей сути это не характерно для истории. Оригинальность проста, но, чтобы мыслить творчески, вам придется делать нечто одинаково новое и хорошее, а это уже труднее. Даже так одну часть процесса легко описать: это та часть, где вы продолжаете искать до тех пор, пока у вас не будет чего-то нового или чего-то, что ощущается один в один подходящим для истории (оно не должно быть потрясающим, особенно если это ваши первые приключения в роли писателя, но это должно ощущаться как нечто, что вы можете использовать).

Я завершу этот пост следующим кусочком совета, который предназначен специально для тех, кто пишет фанфики:

Если вы пишете фанфики по Наруто, то либо пропускайте арку про страну Волн полностью, либо сделайте нечто ПОИСТИНЕ ПОТРЯСАЮЩЕЕ с Забузой и Хаку и всей этой историей, потому что, если я прочитаю про ЕЩЕ ОДНУ битву с братьями-демонами, даже если в вашей версии Наруто убьет их ЯДЕРНЫМ ОРУЖИЕМ, я разочаруюсь в вас.

Если нечто уже показывалось читателю десятки раз до этого, нет смысла показывать это еще раз. В фанфикшене эта проблема стоит еще острее. Если событие канона происходило вследствие нужности для сюжета, но не было сделано по-настоящему потрясающе, то покажите только эту часть потрясающей. А еще лучше — просто заставьте нужного персонажа вспомнить все это спустя два параграфа, а не выписывайте для этого целую главу.

Рассмотрим путешествие Гарри по Косому Переулку, как это показано в МРМ. Мы не видим всего, что происходило между походом Гарри к его горам галлеонов и покупкой кошеля. Мы не видим, как он едет на вагонетке к хранилищу или выезжает оттуда. Ничто из этих событий не является новым в фэндоме Гарри Поттера, так что это просто не показывается. Это даже потом не вспоминается, оно просто попадает в промежуток между главами и исчезает.

Общий принцип писательства — вы должны избегать скучных частей настолько, насколько вообще можете себе это вообразить. Есть важный анекдот об авторе, который думал, что напишет все скучные части после того, как расправится с самыми захватывающими и интересными. Когда он закончил писать все захватывающие части, он просмотрел работу, подумал и послал ее редактору в таком виде.

Буквально все, что мы видим в МРМ, происходит не так, как в каноне и прочих фанфиках, потому что иначе не было бы информации для передачи. И происходящее еще и интересно, потому что иначе стоило ли вообще приниматься за эту работу?

Ваши читатели уже читали не только канон с Турниром Трех Волшебников, но еще и десятки фанфиков, где был этот Турнир. Если вы собираетесь создать напряженность в сюжете вокруг этого Турнира, то вам лучше изменить начальные условия, ставки и возможные исходы в такой мере, чтобы это не ощущалось той же сценой, которую читаешь в тридцать шестой раз. И это должно быть не просто отличающимся от ранее сделанного, но и интересно отличающимся.

В фэндоме Наруто есть буквально тысячи вариаций экзменов на чуунина. Лучший из всех Наруто-фанфиков, «Time Braid», описывает временную петлю наподобие Дня Сурка в день экзаменов на чуунина. И в конце этого фанфика начальные условия, ставки и возможные исходы настолько уходят от канона и фэндома, что финал истории не напоминает ничего, что я видел где-либо в Наруто-фанфикшене; и вселенная оставляет после себя такое впечатление, что подобного «исхода экзаменов на чуунина» вы не видели никогда ранее ни в одной из предыдущих историй.

Личности и арки персонажей, вызовы и ставки, конфронтации и сюжетные события, пэйринги и отношения; в фанфикшене вы не должны переделывать буквально все, но вы не можете оставить слишком многое тем же самым.

(Но ясно давайте читателю понять, если в вашей истории допускается изменение фоновых исторических фактов или законов магии. Не делайте так, чтобы изначально законы магии выглядели теми же, а потом, в кульминационной битве, один из законов оказывался другим и тем самым решал исход этой битвы. Потому что это отстой.)

Самосознание и понимание жанра

Ранее я отмечал, что один из путей не сделать ваших персонажей глупыми — попытка спросить себя, что бы вы сделали на их месте.

Что бы вы подумали в первую очередь, дорогой читатель, обнаружив себя загадочным образом перенесенным в магический мир? «Черт возьми, — подумали бы вы, — это, конечно, напоминает множество книг, которые я читал, где протагонист загадочным образом оказывается перенесенным в магический мир». Если вы читали TV Tropes, вам на ум могла бы прийти фраза ‘Portal Fantasy’ (прим. пер. — у нас этот жанр принято называть «попаданческое фэнтези»).

Методы Рационального Мышления, 6 глава:

— Ну, например, вы упомянули, что моих родителей предали. Кто их предал?

— Сириус Блэк, — ответила МакГонагалл. Она почти прошипела это имя. — Он в Азкабане. Тюрьме для волшебников.

— Какова вероятность, что Сириус Блэк сбежит из заключения, и мне придётся выследить его и победить в блестящей дуэли или, что даже лучше, назначить за его голову большое вознаграждение и спрятаться в Австралии, ожидая результатов?

МакГонагалл моргнула. Дважды.
— Почти никакой. Никто никогда не сбегал из Азкабана, и я сомневаюсь, что он станет первым.

— Ладно, — сказал Гарри, — звучит довольно убедительно, — он вздохнул, почесав затылок. — А если так: Тёмный Лорд не погиб той ночью на самом деле. Не окончательно. Его дух продолжает жить, нашёптывая людям кошмары, сбывающиеся в реальности, и ищет способ вернуться в мир живых, который он поклялся уничтожить, и теперь, согласно древнему пророчеству, он и я должны сойтись в смертельной дуэли. Победитель станет проигравшим, а побеждённый восторжествует…

На TV Tropes заметили, примерно на 30 главе МРМ, что каждый основной персонаж, похоже, рассматривает себя в отдельном жанре: «Гарри думает, что это РПГ или научная фантастика, Дамблдор думает, что они в эпическом фэнтези, а Гермиона — что в любовном романе. Кто-то ошибается касательно жанра, внутри которого он находится, но неясно, кто. А Драко думает, что он Лайт из «Тетради Смерти», но он определенно неправ».

Обожаю избитые сюжетные ходы. Они дают мне то, что можно разрушить.

Не в обычной литературной теории, но в литературной практике избитый шаблон о подлинно умных персонажах постоянно ассоциируется с шаблоном Понимания Жанра Касательно Опасных Ситуаций или по крайней мере Понимания Жанра. Потому что если вы обнаружите себя в чем-то, подозрительно похожем на фильм ужасов, вы никогда не будете отделяться от группы. Вы бы громко сказали: «Не отделяйся от группы, идиот!» — или «Именно так погибают люди в фильмах ужасов!» — если бы некто попытался так сделать. «Баффи — охотник на вампиров» — отличное изображение такого взаимодействия между персонажами с интеллектом первого уровня и пониманием жанра, жаль, что сериал закончился после третьего сезона.

Однако вы бы не хотели ассоциировать это понимание жанра с Ломкой Четвертой Стены (если, конечно, не пишете такой фанфик осознанно); вы не хотите описывать персонажа, который был бы слишком крут для вашей истории. Чего вы хотите, так это поместить своих персонажей в подходящие интересные и оригинальные ситуации, непохожие на те шаблоны, которые вы уже читали, чтобы умные персонажи не могли разрешить эти ситуации немедленно или даже предсказать успешно их развитие просто в силу того преимущества, что они читали те же книги, что и вы.

Таким образом есть Деконструкция, Перевернутый Сюжетный Ход, Отвлекающий Сюжетный Ход и другие формы разрушения штампов, неразрывно связанные с жанром умных персонажей.

Умные персонажи заметили бы, если бы автор играл с ними слишком явно.

Персонажи с интеллектом второго уровня

Как я отмечал ранее, Голливуд считает, что быть «гением» — это хорошо играть в шахматы или изобретать удивительные гаджеты. Это не просто до ужаса избитое клише, но и без исключения то, что TV Tropes зовет Сообщенная Способность. Вы можете сказать мне, что персонаж хорошо играет в шахматы, но не можете показать мне этого.

Для того, чтобы показать мне, что персонаж — шахматный гений, вам бы пришлось показать его умение играть в шахматы. Вам бы пришлось вставить изображение конкретной шахматной позиции, дать мне решить, что положение черных ужасно, а потом показать, как игрок черными делает блестящий ход, гениальность которого я могу понять. Такой метод требует, чтобы я, читатель, сам был отличным шахматистом — и даже тогда, возможно, это не сработало бы в литературе.

Так как вам на самом деле показать гениального персонажа?

Представьте дилемму, вставшую перед Орсоном Скоттом Кардом, когда он писал «Игру Эндера» (книгу, не фильм). Кард говорит нам, что Эндрю «Эндер» Виггин — гениальный полководец и превосходно командует космическими кораблями, но это всего лишь слова. Нам никто не сможет показать, как Эндер Виггин организовал корабли в объёмный 3D «строй», чтобы мы могли увидеть собственными глазами, что это намного более подходящий для атаки строй, чем мы могли предположить (особенно в книге, не то что в фильме!). Для того чтобы показать, что Эндер умён, Кард должен поставить его в ситуацию, ужасающую сложность которой мы как читатели сможем ощутить и увидеть, и затем показать манёвр, предпринятый Эндером, который уже будет чем-то, что мы можем понять и сами увидеть, насколько маневр хорош или умен.

Поэтому в начале книги Кард утверждает, что когда вся армия противника заморожена, побеждающий командир с четырьмя незамороженными солдатами открывает вражеские ворота, что знаменует его победу и после чего включается свет и игра закончена. Кард показывает вам, как это происходит, несколько раз, чтобы вы определили это у себя в голове как хорошо известный факт. Затем Кард ставит Эндера против двух армий одновременно, что, по сути, очень трудновыполнимая задача, и, вероятно, даже Эндер не сможет победить, таким образом создавая напряжение сюжета… после чего Эндер перестаёт играть честно, просто ломится вперёд с пятью солдатами и сразу же открывает вражеские ворота. Никому не нужно объяснять, как это работает. Развязка момента кульминации понятна сразу. Правила, по которым определяется победитель, уже известны вам, история показывает ознаменование победы несколько раз, чтобы этот факт находился в вашей памяти в критический момент, когда вам сообщат хорошую идею Эндера, и Кард будет хотеть, чтобы вы поняли её тут же, не останавливая повествование.

Если вы, будучи автором, уже написали несколько таких сцен сами, вы поймёте, что единственная причина, по которой это правило существует во вселенной Эндера, настоящая причина, по которой битвы в военных школах заканчиваются шлемами четырёх солдат, прижатыми к вражеским воротам, в том, что Кард хотел поставить Эндера в заведомо проигрышную ситуацию, решил, что Эндер будет сражаться с двумя армиями одновременно, спросил себя: «Ну и как теперь Эндер сможет победить?», изобрёл условия победы, спросил себя, какого чёрта командиры не будут просто ревностно охранять свои ворота, и решил описать это (в ранних частях истории) как церемониальный финальный ход.

Честно ли это? Нет, но ослабьте верёвку на шее Орсона Скота Карда! Он просто не может показать нам истинный тактический гений того Эндера, каким бы он был в реальности, потому что мы не тактические гении.

Для более органичного примера рассудительности задумайтесь о выкрике Эндера «Вражеские ворота — снизу!» В условиях нулевой гравитации Эндер говорит своим солдатам: вы должны рассматривать ваших врагов как находящихся под вами, чтобы вы могли сориентироваться ногами к ним. Это уменьшает возможную площадь поражения и означает, что вражеские лазеры (которые Кард ранее показал вам!) заморозят вам ноги (согласно правилам, которые вам уже знакомы!), а не ваши руки. Это не какая-то литературная уловка, которой Эндер выигрывает битву против двух армий; это естественная идея для сражения в условиях нулевой гравитации с лазерным оружием. В этом случае я ожидаю, что Орсон Скотт Кард провел день в размышлениях о битвах в невесомости — или же несколько секунд, это зависит от того, насколько был умен, — а потом к нему пришло то, что показалось хорошей идеей. И тогда, возможно, он отверг ее и придумал другую, продолжая до тех пор, пока не пришел к лучшей, которую и дал Эндеру.

«Вражеские ворота — снизу!» также является идеей, которую вы можете представить сами. Вы можете представить, как бы это работало. Вы можете представить невесомость и сориентировать себя так, чтобы враг был под вами, видел только небольшую площадь для поражения, а ваши ноги защищали ваше тело от заморозки. Вам не говорили, что это умно, вы сами можете взять идею и самостоятельно оценить это решение.

И после того как Эндер говорит: «Вражеские ворота — снизу!» — никто из его солдат не кричит :»Это блестяще!» И Эндер сам не думает, насколько это умно. Никто не должен говорить явных слов об интеллекте.

(В общем, говорить о том, что уже было показано, значит уменьшать значимость этого. Смотрите троп «И это ужасно». Мощный момент обычно смотрится наиболее впечатляюще, когда его никто не комментирует и вся сила проходит прямо в сознание читателя. Как кто-то описал эту ошибку начинающего писателя: «Персонаж кричит так, что читателю не приходится». Подумайте о книге, которая заставила вас плакать, если таковая была, и спросите себя, были ли в тот момент там персонажи, которые плакали сами.)

Это ярко видно при изображении обычного голливудского гения: даже лучший сценарист, если хочет изобразить персонажа, хорошо играющего в шахматы, нуждается в ком-то, кто будет стоять рядом с персонажем, восхищенно открыв рот.

Орсону Скотту Карду удалось добиться такого исхода истории, в котором идея Эндера и правда сработала и его солдаты выигрывали битвы. Это «обман» в том смысле, что делает Эндера более умным относительно той когнитивной работы, которую проделал Орсон Скотт Кард для изобретения идеи насчет «ориентации на низ». Как читатель вы, возможно, думали, что «вражеские ворота — снизу» — отличная идея, над которой хорошо поработал Эндер (потому что вам это показали), а не что это одно из двадцати возможных предложений для битв в невесомости, ни одно из которых никогда не тестировалась.

Но, по крайней мере, это не претендующая или очевидная идея, которую история показывает нам как отлично работающую. Не похоже, чтобы Эндер говорил: «Пытайтесь нажать курок два раза подряд!» — и при этом никто в истории никогда раньше не пробовал так делать. Не похоже, чтобы Эндер пробовал нечто нелепо замысловатое (то есть полагался бы на то, что произойдет больше, чем три события, без сверхразумного или пророческого руководства), что сработало бы только благодаря авторскому произволу, а-ля Тетрадь Смерти. И снова воздадим хвалу Орсону Скотту Карду: он ведь не может на самом деле построить такую школу и протестировать свои идеи. По крайней мере это правдоподобно: если бы на самом деле построили такую школу в невесомости и провели бы там детскую битву, то им было бы лучше думать, что вражеские ворота снизу.

Помните, что цель «Игры Эндера» — не доказать, что Кард умен, равно как Кард не пытался доказать, выписывая Эндера, что он сам был семилетним убийцей. Эндер существовал как тактический гений; литературный вызов, стоявший перед Кардом, — то, как он мог вставить этот факт в текст.

Фундаментальное требование в персонажах с интеллектом второго уровня — это Понимание Честной Игры, обобщение Честной Игры в Кто Сделал Это в детективных романах. Это такой тип детектива, где читатель в принципе может разгадать загадку сам, с той информацией, которую ему дает история, где читателя самого приглашают попробовать решить задачу. Это часть удовольствия в хорошей детективной истории — придумать собственную теорию насчет того, Кто Сделал Это, и увидеть в развязке, были ли вы правы.

В обобщенном Понимании Честной Игры — как я понимаю его — решение задач, стоящих перед персонажем, должно быть таким, чтобы читатель в принципе мог бы додуматься до него самостоятельно. Если же в истории буквально нет возможного пути сложить кусочки вместе самостоятельно, это должно значить, что нет смысла в «ответе» как решении когнитивной задачи, это значит, что «ответ» не показывает какой-либо когнитивной работы.

Посмотрите также на Первый Закон Сандерса: «Способность автора решить конфликт магией ПРЯМО ПРОПОРЦИОНАЛЬНА тому, как хорошо читатель понимает высказанную магию.» Как результат, если вы хотите Понимания Честной Игры, чтобы написать хорошую книгу, читатель должен иметь настоящее понимание в своем сознании, а не просто игру в «Поймал!», где вы мельком упоминаете ответ в 26 главе. Чтобы драматично показать интеллект второго уровня, все кусочки паззла должны наличествовать и быть активными в сознании читателя, а не просто упоминаться один раз в единственном предложении на всю книгу ранее, и появляться достаточно часто, чтобы по-настоящему быть в сознании читателя. Так, чтобы читатель говорил «Ну конечно!» в момент драматичной развязки, а не «Стоп, подождите, когда это было..?»

Когда вы будете в следующий раз перечитывать МРМ, заметьте, сколько раз вам напомнили, что Гарри носит кольцо с бриллиантом, являющимся трансфигурированным булыжником, до критического момента в 89 главе, где использование данного факта никак не замедлило темп истории.

Закон Винжа

Закон Винжа гласит: если вы точно знаете, что сделал бы умный агент, вы должны быть по меньшей мере так же умны. Если вы точно знаете, куда бы походил Deep Blue, вы и сами можете сделать такой же ход и играете по меньшей мере так же хорошо, как и он. В теории мозаичных (самособирающихся) агентов закон Винжа проявляется в виде правила, что самомодифицирующийся агент не может знать точные выборы, которые сделает будущий он, до того, как решится на самомодификацию (поскольку тогда каждая последующая версия должна была бы быть последовательно глупее).

Место, где математик Вернон Винж нашел это наблюдение, — литературная теория научной фантастики: Винж видел, что он не может написать реалистичных трансгуманистичных персонажей, поскольку ему пришлось бы быть умнее, чем эти люди сами по себе, чтобы понять, как бы они поступали. Люциус Малфой в МРМ перефразирует закон Винжа и его литературную интерпретацию, когда рассказывает Драко, что пьесы наподобие «Трагедии Лайта» никогда не являются реалистичными, поскольку если бы постановщик был так же умен, как Лайт, он бы попытался захватить мир сам, а не ставил бы пьесы.

Это не значит, что вы должны бросить попытки описать умного персонажа, потому что считаете, что сами не так умны. «Быть умным» — это то, в чем вы сами можете решить стараться сильнее, то, что вы можете практиковать, а не что-то, что имеет фиксированную величину; инсайт, который имеет имя «мышление роста», можете погуглить (прим. пер. — в оригинале growth mindset, который у нас как только не переводят. Например, книга Кэрол Двек с таким названием и на эту же тему у нас вышла как «Гибкое сознание»). Но вам понадобится задействовать значительные объемы настоящего вашего разума, чтобы описать персонажа со вторым уровнем интеллекта.

Мы можем рассмотреть методы, при помощи которых Орсон Скотт Кард создал Эндера Виггина, как обобщенные скрытые уловки, которые формируют персонажа, чьи действия имеют больше видимой когнитивной работы, чем вы сами вложили в него, в ограниченное нарушение закона Винжа.

Первый скрытый трюк — это реверс-инжиниринг проблемы вокруг ваших идей возможных решений. Perfect Lionheart однажды написал: «Маггл с зажигалкой может зажечь огонь любого сорта, в то время как волшебник заклинанием для прикуривания может только зажечь сигарету». Так что если вы как автор видите, что протагонисту понадобится поджечь что-то в 20 главе, просто сделайте так, чтобы он выучил заклинание для прикуривания в 5 главе.

Я думаю об этом как об обратном трюке Lionheart, и это особенно применимо к манчкиновским моментам — событиям, вовлекающим новые применения существующих сил. Но любой релевантный факт может быть тем, который вы создали в прошлом; например в 26 главе, когда фальшивая газетная история упоминает долг крови Уизли дому Поттеров, устанавливая определенное правило для создания долга крови. (Хотя я отмечаю, что ключевым моментом, когда этот смутный факт понадобился для решения задачи, была пауза между главами, где я изначально дал читателям пару дней на то, чтобы перечитать и в большей степени осознать ответ.)

С этим тесно связана вторая хитрость — давать персонажу только те проблемы, с которыми он может справиться. Орсон Скотт Кард не забросил Эндера Виггина в комнату битв голым и в одиночку, потому что тогда Эндер не смог бы выиграть, так что Кард не стал так делать. Возможно, Кард рассматривал несколько различных вызовов для Эндера, до финальной битвы против двух армий, и выбрал только тот, в котором, по его мнению, Эндер мог выиграть. Опять же, это путь создания персонажа, который относительно своей вселенной умнее, чем вы вложили в него своей когнитивной работы; автор решает один из многих возможных вызовов, а персонаж демонстрирует свою способность справиться с чем угодно.

Я достаточно тщеславен, чтобы сказать вам, что я, скорее всего, не использовал столько скрытых литературных трюков при создании МРМ, сколько вы подумали. Например, я не заставлял Дамблдора в 17 главе говорить, что мантия невидимости может спрятать от взгляда смерти, чтобы потом использовать это в Азкабане. Это было лишь отсылкой к канону; а потом, уже во время написания арки Азкабана, я понял, что случайно дал Гарри ресурс, который был ему нужен, чтобы спрятать Беллатрису Блэк даже после того, как патронус Дамблдора отследил патронуса Поттера, после чего Гарри пришлось отменить свои чары. Но я должен признать, что если бы не было этого способа для Гарри справиться с этой проблемой, то у Дамблдора не было бы возможности отследить патронуса Гарри.

Третий скрытый трюк — это когда вы как автор решаете, что звучащая умно идея работает, когда в реальной жизни узнать работоспособность идеи можно только путем ее тестирования. Идея может все еще казаться умной, вам все еще нужно играть по правилам Понимания Честной Игры, чтобы иметь решение, которое будет выглядеть настоящим… но в реальной жизни большинство идей, приходящих в голову, все же являются неправильными.

Вот почему Элиезер Юдковский не захватывает мир путем симуляции профессора Квиррелла у себя в мозгу, как всерьез предлагали мне некоторые люди. Не хочу показаться бесстыдным, но на деле это был бы для меня шаг назад. Модель, которую я использую для создания профессора Квиррелла, даже близко не стоит с тем, чтобы использовать все методы, которыми я владею. В реальном мире все сложнее, чем для персонажей в историях, умные озарения куда реже являются истинными и умные стратегии куда реже оказываются рабочими. В реальной жизни мне приходится пробовать буквально десять идей, чтобы найти единственную идею, которая работает, часто прилагая усилия годами, прежде чем сдаться или преуспеть. Да, я известен невероятными уловками типа «написать фанфик по Гарри Поттеру, достаточно хороший для того, чтобы привлечь медалистов математических олимпиад», но это не единственный трюк, который я когда-либо пробовал. Вы просто не слышали столько же о моих умных идеях, которые не сработали после множества лет, когда я пытался делать странные и не очень вещи, чтобы выполнить свою задачу.

В литературе вы как автор можете решить, что отличная идея сработает, и реализовать ее, приправив потом, болью и непредвиденными последствиями, чтобы читатель мог ощутить, что персонаж сам добился всего. Вы не можете избежать проклятия построения вашей истории на умных идеях, которые по меньшей мере вряд ли сработали бы в реальной жизни, не только потому, что вам нужно тестировать идеи для поиска рабочих, но и потому, что в реальной жизни мы можем говорить об отношении провалов и успехов 10:1. Мы видим провал Гарри в 22 главе, потому что я ощутил, что должен сделать ударение на том, что умные идеи не всегда срабатывают. Но более реалистичную историю, где было бы 2 рабочих на восемь неудачных идей Гарри до того, как он сделал первое открытие в 28 главе, было бы не особо весело читать или писать.

Но! То, что вы обязательно должны жульничать таким образом, совершенно не означает, что вы имеете право жульничать, чтобы это выглядело как жульничество. К счастью, благодаря обычному человеческому оптимизму и ошибке планирования вашего интуитивного чутья по поводу «насколько хорошая идея кажется работающей» уже хватит на то, чтобы все замыслы и умные идеи выглядели бы гораздо более успешными, чем они были бы в реальной жизни. Если же вы возьмете идею, которая интуитивно кажется посредственной, или идею, которая кажется хорошей, но недостаточно умной, чтобы сработать, и ваш персонаж победит с помощью такой идеи, то результат нельзя будет считать литературой.

В течение некоторого короткого времени я планировал, что Гарри улетит из Азкабана на ракете, приклеенной к метле суперклеем. Но, когда я начал писать эту часть текста, я осознал, что в реальной жизни любой, кто попробует такое проделать, неизбежно погибнет. Это чересчур даже для вымышленной истории. Поэтому мне пришлось сделать так, чтобы профессор Защиты очнулся и улучшил изобретение. После этого идея на интуитивном уровне стала больше походить на работающую. Хотя если бы вы попробовали проделать что-нибудь подобное в реальной жизни, вы с огромной вероятностью врезались бы в стены Азкабана и погибли, или чары неразрушимости, наложенные профессором Квирреллом, случайно бы подействовали на твёрдое ракетное топливо или сделали бы какую-то гибкую деталь негибкой, и так далее. Крайне тяжело сделать так, чтобы сложное новое устройство заработало с первого раза. Когда НАСА запускает космический аппарат, который нельзя полностью проверить заранее, требуются годы тщательных раздумий, планирования и перепроверок.

Все три хитрости позволяют в некоторой степени нарушать закон Винджа. Внутри, в мире текста, персонаж решает именно ту задачу, которая перед ним стоит, всего лишь с помощью тех ресурсов, что оказались у него под рукой, и благодаря идее, которая кажется достаточно хорошей, чтобы на самом деле сработать. Снаружи автор переделывает прошлое, начиняя его фактами, которыми можно воспользоваться нетривиальным образом, подбирает задачи, с которыми можно справиться, и подбирает идеи, которые относятся к категории «интуитивно кажутся очень умными», а не «абсолютно точно работающие в реальной жизни».

Даже при этом создание умных персонажей второго уровня требует от автора труда и наличия собственного интеллекта. Голливудский способ создания стереотипных гениев можно расценить как вариант абсолютной лени. Сценаристы изображают гениев, совершенно не включая мозг, они даже не трудятся попросить своих друзей-учёных поделиться техническими словечками. Семнадцать языков, удивительные гаджеты, побеждает гроссмейстера в шахматы, не умеет ухаживать за девушками? Все эти черты объединяет то, что их можно написать, не прикладывая существенных умственных усилий.

Поэтому берегитесь искушения ленью и будьте осторожны с тем, как вы жульничаете. Покажите, как персонаж страдает, покажите раздумья, покажите, как его интеллект второго уровня приводит к успеху. Покажите непредвиденные последствия. Заставьте персонажа иногда проигрывать. Только продемонстрируйте, что идеи срабатывают тогда, когда интуитивно кажется, что они должны сработать, причём, возможно, не всегда.

Вы можете иногда получить внутри вселенной более умного персонажа, чем вложили в него. Но вы не можете получить нечто из ничего. Я советую вам не думать, что вы можете полностью положиться на различные уловки, а стараться быть умным так, чтобы вы могли создавать Понимание Честной Игры, лежащее в основе Интеллекта Второго Уровня. В этом смысле тут нет отличий от Интеллекта Первого Уровня: все еще должна существовать эмпатия, которая питает его основу.

Неиспользуемость уязвимостей

Персонажи с интеллектом второго уровня иногда изображаются как делающие нечто новое, что удивляет других персонажей, и почти всегда эти вещи должны быть Озарением Честной Игры. Тогда почему же удивляются враги — почему же они не получили Озарение Честной Игры сами? Возможно, потому, что враг не столь умен, как протагонист. Возможно, потому, что у персонажа есть секретное оружие, личный ресурс, о котором враг не знал (например, Истинная Мантия Невидимости). Но если ваш персонаж делает нечто, о чем не подумала вся цивилизация, мы должны спросить: а почему целая цивилизация не подумала об этом?

Есть старая шутка, что если экономист видит двадцать долларов на тротуаре, то он не станет их поднимать, решив, что если бы они были настоящими, их бы кто-нибудь уже подобрал.

На деле, если вы находитесь на пустынной улице, то достаточно правдоподобным является предположение, что вы первый, кто нашел эти деньги. Когда я спросил 20 людей, происходило ли такое с ними, четверо сказали, что да. Но можно заметить, что остальные ответили нет. И если вы видите сто долларов на полу Большого Центрального Вокзала в течение часа, то можно сделать ставку на то, что они к нему приклеены или же на этом полу нарисованы.

Поскольку я еще не видел официального термина для этого обобщения идеи «эффективных рынков», я решил использовать термин «неиспользуемость уязвимостей».

Если множество людей хотят чего-то, существующего в ограниченном количестве, то удивительно существование легкого пути, которым может воспользоваться любой, для получения данного ресурса. Много людей хотят денег, так что удивительно найти на дороге двадцать долларов. Это происходит редко, в тех случаях, когда улица пустынна — наше общество не сканирует постоянно улицы на предмет валяющихся денег; это не стоит таких усилий. Но двадцать долларов не будут лежать часами на полу Большого Центрального Вокзала. Прохожие достаточно адекватны, чтобы поднять их. Пытаться найти двадцать долларов на полу Большого Центрального вокзала — наивно; тут нет низко висящих фруктов, они уже собраны, мы ожидаем, что такая проблема не будет не использовать уязвимости.

Эта идея имеет свои недостатки. Краткосрочные рынки акций неиспользуемы, но это вследствие большого количества умных людей, которым платят большие бонусы, если они могут предсказать и скорректировать единичный недостаток на временной шкале, где они получают много обратной связи о том, работают их идеи или нет (я определил краткосрочные рынки акций), используя механизм агрегации (ценообразование на рынке), который на практике работает превосходно, суммируя вклад каждого. Это условия, при которых стандартная теория хорошо предсказывает неиспользуемость. Вы не должны показывать, как ваш персонаж удваивает свои деньги за месяц путем торговли на рынках, пока у него не будет наиболее продвинутого ИИ в мире или он не будет иметь глобальное уникальное предсказание или способность путешествовать во времени; буквально никто так не умен.

С другой стороны, прямо сейчас (2014) Европейский Центральный Банк делает ошибки прямо по учебнику экономики, становясь причиной бессмысленного ущерба в миллиарды евро в европейском сегменте. Некоторые из моих друзей, похоже, думают, что некоторое обобщение «эффективных рынков» подразумевает, что они должны бросать на меня сомневающиеся взгляды, когда я говорю, что это правда и что я знаю, что это правда, потому что как я могу быть уверен, что знаю лучшую денежную политику, нежели профессиональные экономисты, работающие в ЕЦБ? Разве это не какой-то вид сверхуверенности — думать, что я могу найти трейдинговую стратегию, которая побьет рынок?

Ну вообще-то не совсем. Насколько я знаю, буквально никто в комитете по решениям в ЕЦБ не получает зарплату в зависимости от того, хороша ли ситуация в Европе. Их работа зависит от впечатления, которое они производят на политиков, которые не являются экономистами. Никто еще не может вмешаться и сделать миллион евро путем лучшей работы. При таких условиях стандартная экономическая теория не очень хорошо предсказывает эффективность.

Аналогично абсолютно разумно для вашего персонажа проводить лучшую политику, чем та, которую использует его центральное правительство. Абсолютно разумно для королевских армий игнорировать дракона, который опустошает деревни, оставляя дело в руках протагониста, потому что бюрократам, отвечающим за борьбу с драконом, не заплатят больше, если дракон будет убит, и никто кроме них не имеет власти принять решение. В реальной жизни такое происходит все время.

Но если вы показываете, как персонаж в вашем мире делает много денег при помощи комбинации из двух простых заклинаний, которые знают все, вам действительно надо задуматься, почему об этом не догадался кто-то еще.

Наруто хуже в этом балансирующем искусстве, чем любой другой сериал, который приходит на ум. Я говорю не просто обо всех этих техниках, что предположительно выучиваемы, но при этом их использует только один персонаж за раз. Но невозможно, чтобы все еще существовали армии наемников или обычных людей, когда (а) достаточно чакра-пользователей, которые по средствам доступны даже фермерам, при этом не каждый генин супербогат, и (б) ребенок-ниндзя может побить взрослого громадного наемника без особых усилий. Чакропроводящий метал редок и не у всех есть чакра-оружие? Отлично, если вы придерживаетесь этого правила последовательно, но Страна Снега имеет столько этого металла, что даже делает доспехи из него! Это все равно что в нашем мире никто бы не додумался до простой мысли «Возьми нечто, что дешево в пункте А, и продай его там, где оно дорого.» Это было известно еще до изобретения денег. Мы можем отслеживать кремневые орудия, которые путешествовали по континентам.

Древние греки не вывели идею естественного отбора, хотя имели всю нужную информацию; и во многих темных углах мира, как, например, в Америке, идея все еще полностью не принята. Иногда вещи удивительно неочевидны и сложны для понимания. Но «взять нечто дешевое в А и продать его в Б, где оно дорого» — не одна из этих неочевидных штук. Вы можете представить, как это работает, можете сделать это, это окупается, другие люди повторяют эти действия за тем, кто стал богатым, и таким образом эта идея распространяется по всей человеческой истории.

Если вы решаете, что Страна Снега имеет достаточно чакропроводящего металла для создания больших проектов, вы не можете сказать, что чакропроводящий металл редок и дорог в Стране Огня, до которой всего лишь месяц пути. Ваш мир не должен быть так неиспользуем, как краткосрочные фондовые рынки, даже близко, но он не может быть неиспользуем без причины.

Сюжет МРМ позволяет Гарри иногда получать озарения, которых другие волшебники не видят, и делать это за месяцы, а не за десятилетия.

Чтобы сделать это более реалистичным, делаются два основных предположения.

(1) В самом начале МРМ (пятая глава) делается предположение, что только малое количество магглорожденных поступают в Хогвартс каждый год и все они уходят из маггловского общества до того, как могли бы получить научное образование. Культурное взаимодействие с маггловской Британией, не говоря уже о реальной торговле, неявно показано как весьма ограниченное (согласно канону). Это допущение позволяет Гарри приходить к инновациям, которые являются Честной Игрой относительно читателя, поскольку читатель также знает маггловские штуки, которые неизвестны волшебникам.

Хотя МРМ не вдается в детали, отсутствие торговли между магической и маггловской Британией подразумевает некоторые причины заднего плана, например почему Уизли не могут просто пойти и сделать миллионы фунтов на продаже исцеляющих чар богатым магглам. Предположительно люди наподобие Люциуса Малфоя организовали жесткое ограничение торговли с магглами — для защиты бедных невинных магглов, возможно — так чтобы только люди наподобие Люциуса Малфоя могли преумножать состояние своей семьи на этом, а все остальные — нет. (Это также правдоподобный момент, где идея Гарри о золоте и серебре скорее всего натолкнулась бы на препятствие — есть множество собак, что не лают, и множество рикардианских сравнительно хороших сделок, что не происходят, а не только одна.)

(2) Роулинг в одной из записей говорит, что всего в Хогвартсе учится порядка тысячи студентов (подразумевая, что в год поступления Гарри были студенты, но их просто не показали в книгах канона) Это, в свою очередь, подразумевает примерно 10000-20000 людей в магической Британии — то есть их «страна» на самом деле небольшой городок. И Дж.К. Роулинг последовательно выписывает Люциуса Малфоя как богатого парня из небольшого города, а Корнелиуса Фаджа — как глупого мэра такого города.

В реальной жизни малый размер магической Британии мог бы и не уменьшать скорость прогресса так, как мы могли бы наивно ожидать. По причинам, которые мне неясны, число гениев и скорость прогресса в цивилизации, похоже, не масштабируется вместе с общей численностью населения — возможно, по той же причине, по какой малые стартапы могут быть столь же креативны в среднем, как и гигантские компании (вне зависимости от того, что это за причина). Однако если магическая Британия стоит в ряду наиболее образованных и организованных магических наций, и в ней только 20000 людей, то будет разумно, что прогресс в магическом мире является медленным.

Учитывая эти два предположения, пара десятков мистиков на службе у Департамента Тайн могут легко потерпеть неудачу в попытках увидеть возможности, заключенные в Маховиках Времени, и закончить тем, что начнут использовать их просто для подгонки расписания в Хогвартсе. Первые истории о путешествии во времени, за авторством Уэллса, тоже были о посещении далекой земли будущего, а не о решении NP-проблемы. Сменилось несколько поколений нашего большого мира авторов научной фантастики, повторявшихся в своих историях, чтобы путешествие во времени ассоциировалось со всеми возможностями, о которых я могу подумать в 2014 году. Магическая Британия не имеет такой длинной традиции научной фантастики, написанной лучшими авторами нашего большого мира, чтобы предложить эти возможности для путешествий во времени. И поэтому Гарри, выросший на фантастике, может видеть эти возможности, в то время как, по моему предположению, другие волшебники не могут. В каноне только Гермиона Грейнджер предприняла попытку использовать Маховик Времени не по назначению, и она была магглорожденной.

Это цивилизационная неадекватность — обратная сторона неиспользуемости уязвимостей. Если ваш персонаж превосходит цивилизацию, то должны быть причины для этого. Не обязательно хорошие оправдания, но реалистичные цинично-экономические причины: проблемы с координацией, проблемы принципала-агента, люди, гоняющиеся за статусом, комитеты, где никому не платят за успех проекта. Или даже более обыденное: ни у кого еще нет магического ресурса, только несколько человек слышали о магическом секрете, ваш протагонист из другого мира и использует методы мышления, которые не были изобретены в течение тысячелетий на нашей Земле, и так далее.

Вам не нужно заходить слишком далеко в поиске причин цивилизационной неадекватности. В реальной жизни цивилизация справляется куда хуже, чем вы можете наивно предположить на основе количества людей и того, как, похоже, их что-то волнует. Даже страны, о которых мы читаем в книгах по истории, при всех их недостатках, были странами, что функционировали достаточно хорошо, чтобы оставить след в мировой истории. Британия времен Второй мировой была необычно квалифицированной страной, в то время как Франция тех же времен просто коллапсировала, когда вражеские танки вошли в нее. В таком свете Корнелиус Фадж не так уже нереалистичен даже в качестве правителя большой страны.

Но если вы автор произведения, рекламируемого как интеллектуальное, вам, возможно, придется иметь дело с наивными ожиданиями читателей. Они могут спросить: «Почему Король без необходимости провоцирует Павшую Империю?» — несмотря на то, что книги по истории изобилуют примерами глупости куда большей. Они могут спросить: «Почему же никто больше не использует заклинание воскрешения?» — когда заклинание воскрешения в книге дорого или труднодоступно, а в реальной жизни почти никто не подписывается на крионику, которая стоит мне 125 долларов в год за членство и 180 долларов в год за страховку.

Это основная причина для рационалистского фанфикшена.

Азкабан в том виде, в каком его описала Роулинг, полностью реалистичен. Если в американских тюрьмах нет дементоров, то это потому, что у американских политиков нет дементоров вообще, а не потому, что они лучше тех людей, что заседают в Визенгамоте. Сексуальное насилие является обыденностью в американских тюрьмах, в то время как его можно было бы легко предотвратить при помощи видеонаблюдения. Американские тюрьмы хуже Азкабана в том отношении, которое Роулинг не могла легко имитировать без того, чтобы сломать приостановку читательского недоверия. По крайней мере волшебный мир не помещает в тюрьмы тех, кто курит марихуану.

И даже так: если бы Азкабан был моим собственным изобретением, кто-то мог бы спросить насчет реализма реакции Гарри на Азкабан, в отличие от всех тех людей в магической Британии, которые, похоже, не замечают, что Азкабан — моральное преступление. (Как и американцы не замечают моральные преступления! Роулинг не была так уж нереалистична!) Как это Гарри видит все эти ютили (прим. пер. — тут, насколько я понял из http://wiki.lesswrong.com/wiki/Utility, имеется в виду единица измерения полезности) которые можно получить, уничтожив Азкабан, когда никто больше не видит этого? (Ответ: невозможно для любого участника арбитража сделать сотни тысяч галлеонов выручки, если у них есть озарение, что Азкабан бессмысленно жесток, поскольку стандартная экономика не предсказывает моральную эффективность так, как предсказывает эффективные рынки.) Возможно, Элиезер Юдковский изобрел Азкабан только чтобы одержать победу своим супергероем, и поместил его в мир как сырую неэффективность, соломенное чучело…

Но я не изобретал Азкабан, он был прямо в каноне и миллионы читали Роулинг и (вежливо) приняли его как данность, а не заявили (невежливо) что там нет (плохой) демократии (размера малого города), чтобы сделать такую вещь, и что она придумала Азкабан, только чтобы показать превосходство моральных установок ее героя.

В фанфикшене вы можете написать истории о чьей-либо вселенной, которую вы не изобретали и которая будет используемой, вселенной, чьи читатели, однако, были слепы так же, как слепы к возможностям и ужасам реальной жизни. Более того, ваши читатели будут знать, что множество читателей канона приняли фоновую неадекватность как нечто не делающее персонажей бесчеловечными, как и их цивилизации. «Вы говорите, это нереалистично? А вы подпрыгивали с криком «никто в обычной жизни не сделал бы этого!», когда читали канон? Подпрыгивали? Ну а буквально миллионы других читателей — нет».

В МРМ я могу указать на Азкабан и сказать «потому что он был там». Равно как и в нашей собственной вселенной это не мое личное мировоззрение — верить, что правительства продавали бы рекламируемые лотерейные билеты даже после показа того, что эти лотереи являются причиной уменьшения в среднем на 3% расходов на еду в малообеспеченных семьях. Не то чтобы я показывал, как циничен я насчет политиков; это факт, который я вбросил бы в фик по Земле как фоновую истину без того, чтобы оправдывать его. В МРМ я могу сказать то же самое о Корнелиусе Фадже, хотя источник — Роулинг, а не реальный мир. Важно то, что цивилизационная неадекватность уже дана, а не выписана мной как мое собственное утверждение.

Некоторые люди обвиняют меня в том, что я сделал МРМ более использующим уязвимости, нежели канон, поскольку Роулинг говорила, что дементоры скорее депрессия, а я отнес их к смерти. Это правда, что в таких случаях я не могу просто сказать, что так было в каноне, но… да ладно вам, дементоры — это летающие трупы, которые не могут ничего, кроме как убивать или разрушать, и могут быть побеждены только счастливыми мыслями в виде животных. Слова за пределами истории, что они вдохновляются депрессией, звучат как мощное утверждение о том, как ужасна депрессия, но были бы приуменьшением для этой загадки, если бы вы были реально внутри этой вселенной. Например, если бы вы блуждали в магической вселенной и увидели несколько неубиваемых трупов, что можно отогнать только счастливыми мыслями в форме животных и вы бы типа: «Хм… что это может представлять… смертность? Да не, думаю, депрессия», — это значило бы, что вы сильно постарались, чтобы дать контринтуитивный ответ. С моей точки зрения, дементоры-это-смерть — это Озарение Честной Игры относительно наблюдений, что вселенная канона дает нам.

(Но тогда мы должны продолжить логику рассуждений: Озарение Честной Игры не имеет защиты от того, чтобы не вмешались Годрик Гриффиндор и Ровена Рейвенкло. Вам не нужна наука магглов, чтобы решить эту загадку. Так что теперь нам надо спросить: почему Гарри был первым, кто подумал об этом? Разве кто-то не подумал бы уже об этом, если это так очевидно? Таким образом, как только Гарри узнает, что дементоры есть смерть, история тут же объясняет, почему те, кто понял это, хранят данное знание в секрете, и Гарри понимает, что Годрик Гриффиндор тоже был среди тех, кто догадался. Истинный Патронус базируется на редком состоянии разума, которое, к моему сведению, было впервые описано Фрэнсисом Бэконом в «Новой Атлантиде» в семнадцатом столетии: решение, которым вы и ваша цивилизация попытается уничтожить саму смерть, вашей собственной силой, а не только при помощи существующих стражей защитить вас. Это традиция, которой следует только Гарри; и правдоподобно, что Годрик и Ровена, которые не росли на тех же научно-фантастических книгах, никогда не достигали того же состояния разума. Все это должно быть рассмотрено в фоне, если не явно в истории, каждый раз, когда какое-то озарение или изобретение позиционируются как относительно новые касательно окружающей цивилизации.)

Я получил много откликов насчет того, что сделал дементоров воплощениями смерти. И меня на самом деле обвиняли в том, что я описал их так, что только Гарри мог понять это. Тут можно увидеть, что случается без возможности ответить «потому что канон!», когда автор начинает помещать то, что каждый считает только используемостью авторского произвола.

И поэтому есть истории, которые вы можете рассказать в фанфикшене, но которые вы не можете легко рассказать иначе, поскольку в фанфикшене читатель знает, что вы не создаете искусственно проблемы, с которыми встречается герой.

Объясняя другие вселенные

В «Неиспользуемости уязвимостей» я описал, как Азкабан мог появиться в МРМ только потому, что это изобретение Роулинг, а не мое. Можно обобщить это явление: есть авторские решения, которые вы не можете сделать сами и которые только автор может сделать для вас.

Введение Даров Смерти и их значение в МРМ я смог сделать только потому, что Роулинг уже сделала семейным девизом Поттеров «Последний враг истребится — смерть». Я никогда не смог бы изменить значение этого предложения из девиза Поттеров, не будь этого в каноне! Можете вы представить негодование читателей? Можете вы представить, как громко бы кричали люди «Двигатель сюжета!» или «Нет, это слишком уж удобно!» и «Это вообще неправильно, трансгуманизм не то, что передается от родителей и что можно унаследовать, это решение, которое мы принимаем сами!» И они были бы правы, не будь этой эпитафии на могиле Джеймса и Лили.

Поскольку надпись была на надгробном камне Поттеров, было бы неправильно, если бы я переиначил и придумал ее сам, сделав бы моментом святости, неожиданного эхо сквозь время. (Что внутри истории должно было вовлекать магию, пророчество, судьбу или что-то еще, потому что внутри истории подобные вещи не могут быть простым совпадением. Даже когда в реальности Роулинг поместила эти слова на надгробный камень без мыслей о МРМ.)

И глубже: чтобы каким-то образом объяснить и раскрыть наблюдения, что уже были в истории, так, чтобы сделать их правдоподобнее. Мне не пришлось оправдывать семейный девиз Поттеров или думать, как бы выкрутиться с ним красиво, потому что он уже был подходящим. Это было нечто, что ощущалось правильным для меня, иметь предположение Гарри насчет дементоров, которое я не ощущал бы, если бы Роулинг не заложила его в наблюдения.

Есть то, что ощущается естественным в использовании законов и объяснении фактов, что некто заложил их, возможно потому, что это привязывает сходство к реальному вызову, что мы бросаем против Природы.

Один из путей для такого ощущения — это путь хорошей фантастики и фэнтези: иметь малый набор заранее заданных условий, таких ужасных, что к моменту, когда они переходят в проблемы и загадки, вы не чувствуете, что вы выбрали их, потому что они проистекают из закона.

Но этот путь труден и работает не для всего. Есть простые законы, которые вы можете определить для путешествий во времени, и тогда все следует из этого; но нет простых законов, что создают дементоров, или Азкабан, или надгробный камень Поттеров.

Так что другой путь — это писать истории внутри чьей-то еще вселенной и следовать наблюдениям этой вселенной, пока вы не начнете давать свои собственные ответы на ее загадки и выводить дальнейшие факты, которые требуются для ваших ответов как фоновые истины.

Вот так и создаются рациональные фанфики.

Разрешимые загадки

Одним из главных сюрпризов при написании МРМ для меня было то, насколько сильно я недооценивал Иллюзию Прозрачности.

Иллюзию прозрачности можно наблюдать в экспериментах, где человеку говорят выстучать пальцами ритм мелодии (не такой, какая сразу приходит на ум, но все же достаточно известной), а потом предлагают оценить вероятность того, что другой человек поймет, что это за мелодия. Если человек оценивает вероятность в 50%, то на деле результат оказывается в районе 2%. Примерно так же люди считают, что разница в их искреннем «да» и саркастичном «да» куда заметней в телефонном разговоре, нежели на самом деле.

Иллюзия прозрачности постоянно напоминала о себе, пока я писал МРМ:

Некоторые вещи, которые я считал очевидными и вовсе не планировал делать загадочными, которые, согласно моей оценке, должны были сразу приходить на ум среднему читателю, становились предметом жарких дискуссий.

Ключи, которые я выкладывал практически на самое видное место и которые могли быть сюрпризом разве что среднего уровня в момент осознания, судя по обсуждениям, не замечались большинством людей. Читатели предлагали идею, которую я изначально закладывал, значительно реже, чем другие, или же она вообще появлялась только после раскрытия загадки, при том что к этому моменту свидетельств было уже достаточно, чтобы убедить среднего судью.

Те моменты, что я полагал тонкими настолько, чтобы десятая доля читателей догадалась о них уже при втором прочтении, замечались только единицами из сотен, а то и вообще пропускались, пока кто-то лишь спустя несколько лет не поднимал про них тему, получая в ответ волну скептицизма.

Следует заметить: несмотря на то что может показаться, будто я упрекаю своих читателей в недостатке интеллекта, это не так — часто читатели предлагали альтернативные гипотезы происходящего в истории, о которых я никогда и не думал. Например, что Квиррелл — это Гарри, вернувшийся во времени, и именно поэтому они не могут касаться друг друга, ведь, как я сам писал в 14 главе, обращенная во времени материя ведет себя как антиматерия, и именно этим объясняется ощущение обреченности, описанное в 16 главе. Это вполне обоснованная гипотеза, хотя мне она никогда не приходила в голову! Меня ослепило знание реальных фактов моей истории; я знал, что происходит, и поэтому не ощущал неопределенности и любопытства, которые могли бы помочь мне увидеть валидные альтернативные гипотезы (весьма важный урок!).

Это дало мне возможность представить вам Новый Улучшенный Рецепт встраивания загадок, уловок и свидетельств в вашу историю.

Прежде всего определите те по-настоящему важные для сюжета фоновые факты, которых, с вашей точки зрения, персонажи не знают и на которых текст не должен делать явный акцент до самой развязки.

И не делайте абсолютно ничего, чтобы скрыть их. Никаких ложных путей, если не считать тех, что антагонисты истории могли подготовить для обмана героев. Не прячьте улики и свидетельства, даже если они кажутся вам чересчур очевидными. Не волнуйтесь, что читатель догадается слишком рано. Просто позвольте фактам истории отбрасывать какие угодно вопиюще огромные тени, пока история попросту не выплюнет буквальную истину прямо в текст.

Благодаря иллюзии прозрачности это все будет трудней заметить и свести в общую картину, чем вам кажется. Все это будет загадкой, которую внимательные читатели будут обдумывать по мере прочтения истории.

И даже тогда не факт, что большинство читателей заметят загадку до того, как история закончится, что им вообще придет в голову задать вопрос, пока персонажи истории явно не задумаются об этом сами. Если загадка кажется вам важной для сюжета, вам придется заставить персонажа упомянуть о ней (пусть даже он не сумеет решить ее из-за недостатка данных или просчета в мышлении), чтобы читатель точно был в курсе существования загадки.

Это не значит, что читатели глупее вас. Так происходит вследствие того, что читать получается быстрее, чем писать. Если в тексте нет прямого указания остановиться и подумать над определенным предложением, то человек продолжит читать. И даже если явно сказано, что предложению стоит уделить внимание, читатель все равно пойдет дальше. Если заставить персонажа подумать «Хм…что-то не так в этой истории, мне нужно остановиться и поразмыслить…», как вы думаете, что сделает читатель? Правильно, продолжит читать, чтобы узнать ход размышлений персонажа.

Теперь я способен создавать куда более тонкие улики, нежели крик во все горло, и при этом быть уверенным, что их заметит больше одного читателя, но это только потому, что у меня есть сообщество из тысяч читателей, которые анализируют МРМ. Я действительно был впечатлен тем, насколько увеличивается мощь способности читателей находить свидетельства, если они собираются в сообщество. Господствующие теории существенно улучшились, скорость обнаружения свидетельств возросла, если сравнивать с теми временами, когда комментарии к главам оставляли только единицы. Появление сообщества было моментом, когда я реально увидел доказательство мощи коллективного интеллекта, потому что это единственный случай, где у меня были все верные ответы, но я держал их в секрете и смотрел, как другие люди пытаются найти их в течение нескольких лет, используя две формы общественной структуры, позволяя мне сравнить их эффективность в поиске истины.

Подлинная мораль здесь в том, что если у вас нет большого организованного онлайн-сообщества, анализирующего вашу работу, не стоит прятать свидетельства слишком хорошо, если вы хотите, чтобы читатели надежно разобрались в чем-то, особенно при первом прочтении.

Реальное обучение

МРМ, 23 глава:

«— Однако, — сказал Гарри, — это только одна из гипотез. Предположим, что в рецепте есть единственная пара, в которой записано, волшебник ты или нет. Только одно место для «магических» или «немагических» бумажек. Тогда есть только три варианта. Обе бумажки «магические». Одна бумажка «магическая», а другая — «немагическая». Или обе бумажки «немагические». Волшебники, сквибы и магглы. Магглорождённые тогда будут рождаться не у настоящих магглов, а у двух сквибов — у двух родителей, у каждого из которых в рецепте по одной «магической» и одной «немагической» бумажке. Теперь представь, что ведьма выходит замуж за сквиба. У каждого ребёнка всегда будет по одной «магической» бумажке от матери, не важно, какая из них будет выбрана случайным образом. Но, как и при подбрасывании монеты, в половине случаев у ребёнка будет «магическая» бумажка отца, и в половине — «немагическая». Если верна предыдущая гипотеза, у детей от этого брака был бы слабый магический дар. Но в данном случае — половина будет волшебниками и ведьмами, по силе равными матери, а половина — сквибами. Ведь если в рецепте только одна пара, определяющая, волшебник ты или нет, то магия — это не стакан мелких камушков, которые могут перемешиваться. Это один волшебный камешек, камень мага.

Гарри выстроил три пары бумажек: на одной написал «магия» и «магия», на другой написал «магия» только на верхней, а третью оставил пустой.

— В этом случае, — сказал Гарри, — у тебя либо есть два камня, либо у тебя их нет. Ты либо волшебник, либо нет. Могущественными волшебниками будут более обученные и опытные. И если волшебники становятся слабее от природы, не из-за утерянных заклинаний, а из-за утраченной способности их творить… что ж, может быть, они питаются как-то не так или ещё что. Но если этот процесс постепенен и неуклонно продолжается на протяжении более восьмисот лет, это может значить, что сама магия уходит из мира.

Гарри выстроил ещё две пары бумажек и достал перо. Вскоре в каждой паре было по одной «магической» бумажке и одной пустой.

— Что приводит меня к следующему предположению, — сказал Гарри. — Что происходит, когда женятся два сквиба? Подбрось монетку дважды. Могут получиться: орёл и орёл; орёл и решка; решка и орёл; решка и решка. В четверти случаев получается два орла, в четверти — две решки, а в половине случаев получится один орёл и одна решка. Так и с семьями сквибов. У четверти детей будет «магия-магия» — волшебники. У четверти — «немагия-немагия», магглы. А оставшаяся половина будет сквибами. Это очень старая классическая схема. Обнаружил её Грегор Мендель, которого до сих пор помнят, и это открытие стало первым шагом к разгадке секретов крови. Каждый, кто знает хоть что-то о науке крови, узнает эту схему в мгновение ока. Она не будет точной, ведь нельзя с уверенностью утверждать, что, подбросив монетку дважды сорок раз, ты получишь ровно десять пар орлов. Но если волшебников от семи до тринадцати из сорока детей, то это уже веское свидетельство. Поэтому я и хотел, чтобы ты собрал эти данные. Давай теперь на них посмотрим.

И, не дав Драко опомниться, Гарри Поттер выхватил пергамент у него из руки.

У Драко пересохло в горле.

Двадцать восемь детей.

Он не помнил точно, но около четверти из них были волшебниками…»

Если бы мне пришлось выделить шесть навыков, необходимых для описания реальной науки в художественном произведении — только кратко, не развернутые описания, но по крайней мере описать на что они были бы похожи, чтобы они могли сказать вам, плывете вы или тонете:

1) Знать материал на уровень выше того, чем появляется в истории. Генетика Менделя была отправной точкой для современной генетики, и она невероятно проста по сравнению с современной генетикой популяций, включающей сложные математические расчеты. Я узнал о Менделе, когда читал «The Coil of Life» в возрасте десяти лет, и я предположил, в интересах произведения, что Гарри сделал то же самое. Вам не нужно знать досконально современную генетику или даже уравнение Прайса, чтобы выписать мысли Гарри. Вам нужно знать Менделя и знать достаточно хорошо, чтобы убедиться, что ваш персонаж понимает его правильно.

Чтобы убедиться в своем твердом знании, постарайтесь изучить по крайней мере один уровень выше того, что используется в истории. Вам не нужна степень доктора в генетике популяций, однако было бы мудро знать достаточно о генах, фенотипах и хромосомах, что генетика Менделя является для них частным случаем, а не для какой-то продвинутой штуки, которую можно прочитать в научно-популярных книгах. (Персонаж может прочитать только популярную книгу, я так моделировал Гарри, но мне нужно было разбираться лучше.)

2) Быть готовым увидеть, как материал будет реализован в истории. Корень этого навыка в принципе Ричарда Фейнмана «Смотрите на воду!», описанном в http://v.cx/2010/04/feynman-brazil-education.html (прим. пер. — русский перевод можно прочитать тут http://www.abitura.com/modern_physics/Feynman1.html), о котором вы должны пойти и прочитать прямо сейчас.

Один из путей тренировки навыка «Смотри на воду!» — то, что на CFAR называется упражнением «Понедельник-Вторник». В понедельник телефоны работают посредством радиоволн. Во вторник они работают на магии (на любой из магических вселенных, какой захотите, хоть из «Баффи — охотницы на вампиров»). Насколько разными бы выглядели понедельник и вторник? Как бы вы распознали, в какой вселенной вы сейчас находитесь? Представьте альтернативы научным принципам, которые вы знаете, спросите, насколько иным выглядел бы мир, будь эти альтернативы истиной.

3) Вы должны владеть искусством релевантности; это способность увидеть точно те аспекты знания, которые необходимы для определенного вывода, или нужный набор шагов в мышлении, а потом включить только те вопросы и идеи, что относятся к сюжету. Вам надо использовать искусство релевантности, чтобы понять: ненужно включать тот факт, что люди имеют 23 пары хромосом, в слова, которые Гарри говорит Драко — что процесс мышления при этом будет протекать точно так же и в альтернативном мире, где у человека 90 хромосомных пар — и поэтому нет необходимости упоминать это, даже если этот факт является первым, что приходит вам в голову при упоминании генетики.

К сожалению, я не знаю, как нормально тренировать эту способность, это, похоже, общая проблема — большинство людей обычно вставили бы факт «у человека 23 хромосомы», даже если бы это не было критично для истории. (Я часто говорю о редком использовании данного искусства.) Базовый тест здесь заключается в том, что для любого научного факта, который вы хотите объяснить, вы должны спрашивать себя, насколько иной была бы ваша история, если сам факт был бы другим. Если это приводит к тому, что ваш мозг выбрасывает ошибку, а не выдает ответ, смотрите навык 2.

Без способности сокращать объяснения путем переформулировки и уничтожения отсылок к более продвинутым идеям, нежели чистый минимум, нужный для сюжета, Гарри бы пытался объяснить Драко, что такое «хромосома». Если Гарри может применить принцип «Смотри на воду!» и просто показать на два кусочка бумаги вместо этого, что заменяют абстрактные рассуждения, продвинутые идеи хромосом с конкретными иллюстрациям не будут обладать всей своей полнотой, но будут достаточно хороши для поддержки сюжета и облегчения написания текста.

4) Вы должны быть в состоянии объяснить вещи своими словами, причем на более высоком уровне, нежели от вас просят учителя в эссе. Гарри, в вышеприведенном случае, ни говорит ни единого слова о «генах», или «хромосомах», или «признаках», или «рецессивной», или «аллели». Также Гарри не определяет своими словами эти же вещи. Гарри не пытается определить, что «рецессивный признак» значит в общем смысле, чтобы он мог воззвать к этой стандартной нотации «рецессивных признаков» как авторитету для его вывода, что одна четвертая детей сквибов должны быть волшебниками. Поиск по кэшу сказал бы, что это следствие «рецессивных признаков», поэтому если использовать это словосочетание, вы просто воззовете к этому и попытаетесь рассказать, как вообще работают «рецессивные черты». Это означает, что вы не сможете применить навык релевантности, пока вы сначала не научитесь обходить поиск в кэше.

Гарри показан переводящим Менделя из концептов, вычитанных в The Coil of Life, не просто в другие слова, или в более конкретные и немедленные идеи, однако (что является более высоким уровнем навыка) в демонстрацию с кусочками бумаги. Потому что беглость с использованием простейших или более конкретных идей вместо стандартных кэшированных помогает Гарри убрать идеи, которые Драко не нужно знать прямо сейчас, уменьшить общий объем объяснения и сделать это менее похожим на университетскую лекцию, переложенную в текст.

Чтобы улучшить ваш уровень в этом навыке, используйте Табу Рационалиста (другое название того же навыка).

5) Быть способным представить, на что похоже не знать материал, без того чтобы быть глупым. Моделировать читателя, к которому хотите достучаться, или моделировать персонажа, который должен обучиться, требует того же вида эмпатии, что и при создании реалистичных злодеев и прохождения Идеологического Теста Тьюринга. Ваша эмпатия должна быть способна выйти из сейфа, уютных пределов вашего разума, где определенные идеи уже известны и определенным принципам уже оказано доверие.

Вот почему Драко не кивнул тут же и не согласился с Гарри, после объяснения «статистической значимости» (таким образом показывая великое доверие статистической значимости, которое любой умный человек должен показать, как только ему объяснят идею), вот почему не уставился недоуменно на Гарри, когда тот сказал «статистическая значимость» (потому что любой, кто не понимает этого, не имеет внутренней жизни). Вы должны выписать Драко как подлинно чуждый разум, разумный и способный общаться на сложном языке, но при этом не знающий, что такое ген. Вы должны оставить уютные пределы вашего сознания и войти в сознание с другими идеями и эвристиками, сознание, у которого все еще мощный интеллект и которое не согласно с вами в определенных вещах. Вы должны объяснить все читателю, которому в лице Драко объясняет Гарри, две проблемы, отражающие друг друга.

6) Вы должны быть способны объяснить технические идеи другим людям. Это навык. Его можно практиковать. Я не всегда справляюсь с этим, и некоторым людям я все еще не в состоянии что-то объяснить, но я становлюсь со временем все лучше. Вы можете практиковать это лично и получать обратную связь. Вы можете практиковать это через блог и получать комментарии. Вы можете практиковать это с уважением к определенному знанию, что должно появиться в вашей истории — просто найдите кого-то и попытайтесь объяснить те же факты, что должна объяснить история, но без ее контекста.

Это шесть навыков, которые нужны для помещения реальных знаний того типа, что читатель на самом деле может получить, в историю без того, чтобы разрушать течение истории дополнительной сложной частью. Объяснять науку так, чтобы людям было легко ее понять — с этим часто не справляются и в школе. Необходимость вставить знание в историю, без того чтобы нарушить течение этой истории, привносит дополнительную сложность.

Ключ к этому опять же в релевантности. «Релевантность» не значит «ассоциируемая с чем-то», это значит «сюжет пошел бы по-разному в зависимости от этого». Предположим, что вы говорите: «Ну, я хочу поработать над наукой тут…и Драко волнуется о чистоте крови… так что я заставлю Гарри объяснить о ДНК, этих маленьких спиралях внутри людей, поскольку это релевантно чистоте крови». На самом деле нет. Это ассоциативно связано в вашем сознании с наследственностью, но это не релевантно сюжету. Предположим, что ДНК была бы маленькими кубиками, а не спиралями, и звалась бы не ДНК, а ПРОВРАМ. Была бы глава 24 другой? Нет. Так что это не релевантно сюжету.

С другой стороны, если бы человеческие хромосомы были бы триплетами, а не парами, законы Менделя были бы другими и два альтернативных аллеля для «магия-немагия» не значили бы три разных фенотипа полной магии, полумагии и немагии. Гарри не говорит «хромосомы идут парами» — это слишком сложное объяснение для ситуации, пусть даже и верное — но Гарри кладет два кусочка бумаги друг напротив друга, чтобы объяснить законы Менделя. Чтобы облегчить привнесение науки в историю, должен быть случай, где, будь наука другой, и сюжет был бы другим. Это то, что заставляет читателя проявить интерес к науке.

Когда вы придумываете вашу магическую систему, включающую руны, которые имеют Цвет и Элемент, или что угодно, их законы естественно релевантны к вашей истории. Есть авторы фэнтези, которые терпят неудачу даже здесь, изобретая системы, которые не имеют отношения к сюжету. Однако на некотором уровне явно проще иметь свою собственную магическую систему, которая будет релевантна к вашей истории, нежели приспосабливать историю к генетике Менделя.

Итак, если есть возможность, то нет нужды придумывать что-то дополнительно! Большая часть релевантной науки в МРМ была вставлена по возможности, а не заранее задумана стратегически из желания научить ей. Я не начинал с генетики, изобретая потом под нее 24 главу. Менделевское объяснение пришло ко мне, когда я размышлял над Волшебниками, сквибами и магглами; и тогда этот фоновый факт, про который я решил, что он будет правдой, показался интересным открытием, которое Гарри мог бы сделать и проверить путем, который читатель мог бы понять (без технократии или сложной математики) и которое также было бы релевантно цели Гарри привлечь Драко Малфоя к науке.

Глава 6 вращается вокруг ошибки планирования, но я не начал с Урока Морали, сконструировав вокруг него главу. Я просто продолжил писать визит Гарри в Косой переулок, чтобы купить школьные принадлежности, просто позволив событиям произойти. В определенный момент мой мозг распознал ситуацию, где я явно подумал бы об ошибке планирования и использовал бы ее для калибровки своей собственной готовности с подходящим уровнем пессимизма, так что Гарри подумал и сделал то же самое, после чего я решил, что заголовком главы будет «Ошибка планирования», да и другие события главы подошли под это название.

В МРМ заголовок главы почти всегда приходил ко мне после того, как я начинал ее писать (исключая Стэнфордский Тюремный Эксперимент, который был большой аркой и требовал заголовка заранее; и вы можете заметить, что я не упоминал настоящий эксперимент до 60 главы, и то это была лишь ремарка).

Поэтому, если вы хотите включать науку в вашу историю естественно, без усилий, вы должны приобрести привычку постоянно искать научные факты, релевантные к вашей истории, в вашей собственной жизни — что может быть хорошей идеей и по другим причинам, отмечу между прочим, — и постоянно применять технику «Понедельник-Вторник», спрашивая, насколько другим выглядел бы мир, если бы наука была другой (также хороший план вообще, может помогать вам отмечать по-умному звучащие слова, которые при этом совершенно не относятся к истории.)

Тут вы можете задуматься об этом моменте, где производится попытка поместить Настоящую Науку или Настоящую Математику в историю на первое место. Это удваивает сложность — нужно одновременно и объяснить нечто, и не разрушить при этом течение истории. Так зачем пытаться делать это одновременно? Зачем практиковаться и получать навыки, чтобы учиться этому? Чего мы достигаем этим путем, почему он лучше?

Однажды я прочитал, не помню где, поговорку, которую помню до сих пор:

Документальная литература дает знание, а художественная литература — опыт.

Когда мы входим в художественный мир, мы не просто изучаем факты о персонажах и их мире, мы живем их жизнями и косвенно получаем их опыт.

Если вы практикуете и изучаете навыки как науки, так и художественного описания, вы можете сделать нечто, чего не могут сделать авторы обычных произведений — поместить читателя прямо на место персонажа, когда он использует науку так, как она должна быть использована. Вы можете разделить опыт (а не просто факты) того, что поможет понять и применять простую генетику Менделя.

Разумеется смыслом глав 22-24 не была генетика Менделя. Опыт научного поиска, формулирования альтернативных гипотез, понимания того, что они предсказывают, их проверка — вот настоящий опыт, который я хотел передать читателю. Если бы я хотел передать только генетику Менделя, я бы написал пост в блог с полезными диаграммами… или нет. Насколько хорош был бы пост в блоге? Если вы хотите, чтобы люди и правда задумались о рецессивных генах, в некоторых жизненных ситуациях, где это релевантно (будет ли у вашего ребенка риск генетического заболевания?), тогда чтение 23 главы может быть полезней блога с диаграммами, даже если диаграммы будут ясней, нежели то объяснение, что Гарри проводит в тексте.

23 глава пытается поместить вас на место того, кто использует генетику Менделя, применяя ее к пониманию ситуации вокруг. Даже цветные диаграммы, показывающие альтернативные аллели и фенотипы, не делают этого.

Если и есть нечто, что, я надеюсь, Серьезные Писатели взяли от МРМ, так это идея использования художественных произведений для передачи опыта когнитивных навыков.

Умные персонажи третьего уровня

Один из наиболее греющих мне душу отзывов о МРМ я получил на одном из сайтов признаний, не помню точно, на каком.

Заголовок изображения гласил: «Мой научный руководитель думает, что я талантлив. А я не осмеливаюсь ему сказать, что просто делаю так, как, по моему мнению, поступил бы ОН».

На картинке был изображен мальчик со шрамом, который щелкал пальцами.

(Чтобы все поняли: если вы можете представить ГДжПЭВ1 достаточно хорошо, чтобы узнать какие эксперименты он бы провел, и удивить этим вашего научного руководителя, то Принцип Винжа гласит, что вы по крайней мере столь же умны, как Гарри Поттер, живущий у вас в голове. Не похоже, чтобы ваша модель Гарри запускалась на каком-то еще мозге.)

За год до начала МРМ я определил термин «рационалистская литература» отсылкой к некоторым существующим работам, наподобие Мира Нуль-А от ван Вогта. Намеков на фанфикшен тогда еще не существовало (март 2009). У меня были только оригинальные истории в тот момент моей писательской карьеры.

В 2009 я сказал следующее:

«Когда вы смотрите на то, как работает Шерлок Холмс, вы не можете пойти и сделать это сами. Шерлок Холмс не оперирует каким-либо воспроизводимым методом. Он работает, волшебным образом находя нужные улики и волшебным образом соединяя верные сложные цепочки дедукции. Возможно, это так только для меня, но мне кажется, что чтение про Шерлока Холмса не вдохновит вас пойти и делать, как он. Холмс — своего рода супергерой-мутант. И даже если вы попытаетесь имитировать его, в реальной жизни это никогда не сработает».

Что ярко контрастирует с романами ван Вогта про Нуль-А, начинающимися с Мира Нуль-А. Прежде всего — я признаю, что у Вогта есть ряд недостатков как у автора. Вместе с этим, возможно, именно книги о Нуль-А оказали влияние на мое сознание, которого я не осознавал, еще годы назад. Это не тот тип книг, что я перечитываю снова и снова, я прочитал их и отложил в сторону, однако это были те книги, где я впервые увидел идеи «карта не равна территории» и «роза1 — это не роза2».

Нуль-А базируется на неАристотеле, и допущение, сделанное в этих книгах, заключается в том, что изучение общей семантики Коржибского сделает вас супергероем. Давайте не будем углубляться в эту тему. Куда важнее, что в Нуль-А романах:

1) Главный герой, Гильберт Госсейн, не мутант. Он изучал техники рациональности, которые систематизированы и изучаются другими членами общества, а не только им.

2) Ван Вогт говорит нам, каковы эти принципы (по крайней мере, некоторые из них), а не оставляет их таинственно неизвестными — мы не можем стать Гильбертом Госсейном, но можем, по крайней мере, использовать его навыки.

3) Ван Вогт передает опыт, показывая Госсейна, использующего принципы на ходу, а не оставляя эти принципы для триумфального объяснения задним числом. Мы можем поставить себя на место Госсейна, например, в тот момент, когда он делает сознательный выбор между двумя разными вещами, которые называются одним именем.

Что это за загадочная штука — рациональность? Ну, это точно те техники хорошего мышления, которые могут быть переданы, не являются закрытыми или полностью таинственными. Это пути хорошего мышления, работающие при помощи познаваемых правил, которые могут быть высказаны вслух, определены в деталях и объяснены другим людям.

Если хорошее мышление показано вам в любой распознаваемой форме, вы должны научиться этому хотя бы немного. Если вы по-настоящему распознали хорошие черты мыслительного процесса, когда читали, у вас должен быть лучший шанс на то, чтобы сами потом их воспроизвести.

В теории искусственного интеллекта есть схожесть между распознаванием хороших решений и изобретением хороших решений. Если у нас есть неограниченные вычислительные мощности, то, чтобы изобрести хорошее решение, мы просто берем распознаватель хороших решений и запускаем его на всех возможных входных данных. В реальной жизни наши вычислительные мощности ограничены, но это не меняет структуру проблемы: способность распознать хорошую мысль в своей основе связана со способностью изобретать хорошие мысли.

Если вы можете распознать набор мыслей как умные, тогда при неограниченных вычислительных мощностях вы можете быть умны; просто ищите все возможные мысли. И даже в реальном мире с ограниченной вычислительной мощью связь все еще существует, пусть даже не идентичная. Поиск хороших примеров должен тренировать вашу способность к распознанию, заставлять вас быстрей распознавать такие вещи.

Поэтому, если вы не стали умнее от чтения про точку зрения персонажа, даже на чуточку, то, скорее всего, автор не показал настоящий интеллект.

Конечно, у реального гения будут таланты, которые вы не можете перенять только путем наблюдения их хода размышлений. Но ни одна из мыслей уровня гения в реальном мире не является целиком непрозрачной. Чтение «Конечно, вы шутите, мистер Фейнман» не превратит всех читателей в физиков уровня Нобелевской премии, но большинство сумеет взять что-то из книги, пусть даже немного.

Так что с предположительно умными персонажами, чей ум читатели не могут перенять даже немного? Тогда мысли персонажа, по крайней мере показанные, должно быть, не были по-настоящему умными.

И если вы можете выучить какой-то навык «интеллекта», наблюдая как литературный персонаж делает это… ну, вы могли бы назвать это одним из методов рациональности. Он передаваем; он не является суперсилой мутанта.

Все, что я рассказывал о реализации науки в вашем произведении, применимо и к объяснению когнитивной науки или любой техники рациональности. Оно должно быть по-настоящему релевантно (либо сюжет должен быть построен вокруг него, либо оно должно естественно вписываться в сюжет) чтобы объяснение было частью сюжетного напряжения, а не вредило ему. Вы должны знать, как объяснить это своими словами, убрав весь жаргон и обычные термины. Во многих случаях (хотя, думаю, не во всех) стандартные имена нужно убирать, оставляя только использование самой идеи.

Результатом, если все получится, будет персонаж с интеллектом третьего уровня, чьи мыслительные процессы сияют интеллектом даже в отрыве от их второуровневых всплесков гениальности, так, чтобы читатели могли ощущать, что тоже входят в ритм удивительно хорошего мышления и сами могут имитировать мышление этих персонажей, пусть даже чуть-чуть. Все дело в воспроизводимых шаблонах хорошего мышления, которые бросают вам, автору, вызов: узнать, какие черты отмечают хорошее мышление персонажа именно как хорошее (независимо от того, говорите ли вы это явно в произведении).

Схожим образом, когда ваш персонаж делает ошибку (лучше всего — при хорошо обоснованной попытке мышления, которая просто недостаточно хорошо удалась), это поможет узнать, какое заблуждение, искажение или неправильный шаблон ведут к этой ошибке, так что задним числом, когда ваш персонаж думает о том, как избежать этой ошибки в будущем, читатель тоже может выучить этот урок.

Читатели, которые любят интеллект персонажей в МРМ, не были впечатлены ракетной метлой или другими подвигами интеллекта второго уровня. Они были впечатлены деталями того, как Гарри размышлял над решениями, эвристиками, через которые приходил к ответу, альтернативами, которые он рассматривал и отвергал. Они ощущали, что сами учатся мыслить лучше, когда смотрят, как думает Гарри и как он сам пытается мыслить лучше. Просматривая позднейшие обзоры МРМ, вы можете найти обзор, говорящий, что до чтения вы были не таким.

Данный уровень интеллекта персонажей невозможно подделать только при помощи какого-либо литературного трюка.

Вы не можете это сделать, используя терминологию когнитивной науки, пытаясь показать, что вы входите в сообщество рационалистов, поскольку чтение этих фраз никого не научит как думать. Даже если они выглядят как фраза «ошибка планирования», вы не научите никого путем чтения ваших произведений, у вас получится показанный, но не выписанный интеллект, таким образом вы просто плюнете на своих читателей.

Вы не можете взять стандартизированную Глубокую Мудрость вашей окружающей культуры и заставить ваших персонажей повторять ее. Этот прыжок к кэшированной мысли про Глубокую Мудрость, даже если вы думаете, что эта Мудрость незнакома большинству, равноценен тому, что вы выписываете вампиров как шипящих и пьющих кровь, вместо того чтобы подумать, как бы вы себя вели на месте вампира. Разговор не о том, чтобы вам пришлось изобретать вашу собственную версию ошибки планирования, но когда персонаж думает об ошибке планирования, это не должна быть та же самая мысль, что приходит к Гарри в МРМ. Для вас теперь это эквивалент шипящих и пьющих кровь вампиров. Сказав то, что думают все ваши друзья или то, что, как вы помните, писал кто-то еще, даже если вы думаете, что ваши читатели не читали это, вы породите ощущение черствости. Для распознания черствости и мышления за ее пределами нужно включить функцию Оригинальности.

Вы не можете создать распознаваемый выучиваемый интеллект путем утверждения, что ваш персонаж использует какую-то технику и выигрывает таким образом. Интеллект третьего уровня существует на уровне параграфов, а не целых сюжетов. Он в том, как ваш персонаж приходит к следующей мысли, которая показана в предыдущем параграфе. Конечный исход истории не зависит от того, как хорошо этот когнитивный алгоритм сработал бы в реальной жизни или выучил ли читатель что-либо путем чтения этого. Решение, что персонаж выиграет, используя какой-то метод, это рассказ читателю об интеллекте, не показывая ему самого интеллекта; это рассказ о навыке, но не показ его. Разговор не о том, что ваши персонажи никогда не должны выигрывать, используя умные методы. Смысл в том, что рассказ о выигрыше персонажа не является существенной частью сложной задачи показать принципы хорошего мышления (хотя рассказ о том, как была достигнута победа, может быть важной частью).

Вы можете научиться описывать персонажей с интеллектом третьего уровня, живя собственной жизнью хорошо, изучая, как мыслить хорошо, и пытаясь объяснить изученное остальным, изучая релевантные науки, ища техники, которые другие систематизировали, и применяя их в собственной жизни. Какие бы передаваемые когнитивные навыки вы не выучили до уровня применения их в собственной жизни и опыте, вы можете передать их персонажу, чтобы он использовал их в своем опыте, и тогда вы получите персонажа, образ мышления которого читатели могут перенять.

Это великий секрет выписывания подлинно умных персонажей, и только так и должно быть. Вот и все.

• 1. Гарри Джеймс Поттер-Эванс-Веррес

Сегодня вышло открытое письмо, призывающее «все ИИ-лаборатории немедленно приостановить обучение ИИ-систем мощнее, чем GPT-4, хотя бы на 6 месяцев».

Этот шестимесячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто присоединился и подписал письмо. Это – небольшое улучшение.

Я воздержался от подписывания, потому что я думаю, что письмо занижает серьёзность ситуации и просит о слишком малом для её разрешения.

Ключевая проблема – не «конкурирующий с людьми» интеллект (как написано в письме), а то, что произойдёт после того, как ИИ доберётся до уровня интеллекта выше человеческого. Ключевые пороги могут быть неочевидны, мы уж точно не можем заранее просчитать, когда что произойдёт, и сейчас кажется вполне представимым, что исследовательская лаборатория пересечёт критические линии, не заметив этого.

Многие исследователи, разбиравшиеся в этих проблемах, включая меня, ожидают, что наиболее вероятный результат создания сверхчеловечески умного ИИ при обстоятельствах, хоть отдалённо напоминающих нынешние – что буквально все на Земле умрут. Не как «может быть, возможно, какой-то шанс», а «это очевидное событие, которое произойдёт». Не то, чтобы нельзя было в принципе пережить создание чего-то умнее себя, но это потребовало бы аккуратности, подготовки, новых научных озарений, и, вероятно, чтобы ИИ-системы не состояли из гигантских непонятных массивов матриц вещественных чисел.

Без этой аккуратности и подготовки, наиболее вероятный исход – ИИ делает не то, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такую заботу можно в принципе вложить в ИИ, но мы не готовы,* и мы сейчас не знаем, как.

Без этой заботы мы получаем «ИИ вас не любит, и не ненавидит, и вы состоите из атомов, которые он может использовать для чего-то другого».

Ожидаемый результат столкновения человечества с противостоящим сверхчеловеческим интеллектом – полное поражение. Подходящими метафорами могут быть «десятилетка пытается играть в шахматы с Stockfish 15», «11-й век пытается сражаться с 21-м веком» и «Австралопитеки пытаются сражаться с Homo sapiens».

Чтобы визуализировать сверхчеловеческий ИИ, не представляйте, как книжный червь, у которого нет жизни, лезет в интернет и посылает злонамеренные е-мейлы. Представьте целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально заключённую в компьютерах – в мире существ, с её точки зрения, очень глупых и очень медленных. Достаточно интеллектуальный ИИ не останется ограничен компьютерами надолго. В современном мире можно послать е-мейл с последовательностями ДНК в лаборатории, которые произведут белки по запросу, что позволит изначально заключённому в интернете ИИ создать искусственные формы жизни или сразу разогнаться до постбиологической молекулярной сборки.

Я ожидаю, что, если кто-то создаст слишком мощный ИИ в нынешних условиях, все до единого представители человеческого вида и вся биологическая жизнь на Земле погибнут вскоре после этого.

Нет планов о том, как мы можем это сделать и выжить. OpenAI открыто объявили, что собираются заставить какие-то будущие ИИ выполнять нашу работу по согласованию ИИ. Любому разумному человеку должно быть достаточно услышать, что это и есть план, чтобы начать паниковать. У другой ведущей ИИ-лаборатории, DeepMind, вовсе нет плана.

Отступление: Эта опасность никак не зависит от того, могут ли ИИ осознавать себя и делают ли они это; она выводится из понятия мощной когнитивной системы, которая мощно оптимизирует выводы согласно достаточно сложному критерию исходов. Всё же, я бы увильнул от исполнения своего человеческого морального долга, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли себя ИИ-системы – потому что мы понятия не имеем, как декодировать что-либо, происходящее в огромных непонятных массивах – а следовательно, мы можем в какой-то момент непреднамеренно создать цифровые разумы, обладающие настоящим сознанием, которые должны будут иметь права, и которыми с моральной точки зрения нельзя будет владеть.

Правило, которое одобрило бы большинство осведомлённых об этих проблемах людей 50 лет назад, заключается в том, что если ИИ-система владеет языком, и говорит, что она осознаёт себя и заслуживает человеческих прав, то это должно сразу прекратить владение такими ИИ и использование их в своих целях. Мы уже разметали эту линию на песке. И это скорее всего было правильно; я согласен, что нынешние ИИ скорее всего просто имитируют разговоры о самосознании из своих обучающих данных. Но отмечу, что из-за того, как мы мало понимаем во внутренностях этих систем, мы на самом деле не знаем.

Если таково наше непонимание GPT-4, и мы позволим людям создать GPT-5, и GPT-5 будет таким же огромным скачком способностей, как от GPT-3 до GPT-4, то, я думаю, мы больше не сможем обоснованно сказать «скорее всего не имеет сознания». Это будет просто «я не знаю, никто не знает». Если вы не можете быть уверены, создаёте ли вы осознающие себя ИИ, это тревожит не только из-за моральных следствий «сознания», но и из-за того, что такая неуверенность означает, что вы понятия не имеете о том, что делаете, и это опасно, и вам надо остановиться.

7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал по поводу того, что новый Bing «заставит Google поплясать». «Я хочу, чтобы люди знали, что они у нас попляшут», – сказал он.

Это не то, как говорит директор Microsoft в не сошедшем с ума мире. Это демонстрирует ошеломляющий разрыв между тем, как серьёзно мы воспринимаем задачу, и тем, как серьёзно нам надо было её воспринимать, начиная 30 лет назад.

Мы не преодолеем этот разрыв за шесть месяцев.

С момента, когда впервые было предложено понятие Искусственного Интеллекта и начаты исследования в этом направлении, достижение нынешнего уровня способностей заняло больше 60 лет. Решение безопасности сверчеловеческого интеллекта – не идеальной безопасности, безопасности в смысле «не убьёт буквально всех» – вполне может занять как минимум половину от этого. И особенность попыток сделать это с сверхчеловеческим интеллектом – что если с первой попытки не получилось правильно, то вы не учитесь на своих ошибках, потому что вы мертвы. Человечество не учится на этой ошибке и не пытается снова и снова, как оно делало с другими вызовами на протяжении своей истории, потому что все погибли.

В науке и инженерии попытаться сделать что угодно правильно с первого раза – экстраординарное требование. У нас нет ничего похожего на подход, который позволил бы успешно с этим справиться. Если бы мы оценивали всю зарождающуюся область Сильного Искусственного Интеллекта минимальными стандартами, применимыми к мосту, который должен выдерживать пару тысяч машин, всю область прикрыли бы на следующий же день.

Мы не готовы. Мы не на пути к тому, чтобы стать готовыми в осмысленные сроки. Плана нет. Прогресс способностей ИИ намного, намного опережает прогресс согласования ИИ или даже прогресс понимания того, что, чёрт побери, происходит внутри этих систем. Если мы будем продвигаться так, мы все умрём.

Многие исследователи, работающие над этими системами, думают, что мы несёмся навстречу катастрофе. Больше из них осмеливаются говорить это в личном разговоре, а не на публику; они думаю, что не могут в одиночку остановить этот поезд, что даже если они уйдут со своей работы, её продолжат другие. Так что они думают, что с тем же успехом можно и продолжать. Это глупое положение дел, недостойная гибель для Земли, и остальное человечество должно в этот момент вмешаться и помочь индустрии решить её проблемы коллективных действий.

Некоторые мои друзья недавно сообщили мне, что когда люди за пределами индустрии ИИ впервые слышат о риске вымирания от Сильного Искусственного Интеллекта, их реакция – «может, тогда нам не следует создавать СИИ».

Это даёт мне крохотный проблеск надежды, потому что это более простая, осмысленная, и, честно говоря, не-безумная реакция, чем то, что я слышал последние 20 лет, пытаясь заставить людей в индустрии воспринимать всё серьёзно. Те, кто говорят так здраво, заслуживают услышать, насколько ситуация на самом деле плоха, и чтобы им не говорили, что шестимесячный мораторий её исправит.

16 марта моя партнёрка послала мне этот е-мейл (Она потом разрешила мне привести его тут):

«У Нины выпал зуб! Обычным детским образом, не от неосторожности! То, что GPT-4 взорвала эти стандартизированные тесты в тот же день, что у Нины случилась эта детская веха, на минутку эмоционально свалило меня с ног. Это всё слишком быстро. Я беспокоюсь, что, делясь этим, увеличу твою собственную скорбь, но я скорее выберу, чтобы ты это знал, а не чтобы мы с тобой страдали поодиночке.»

Я думаю, что, когда личные разговоры – о скорби из-за мыслей о том, что у твоей дочери, у которой выпал первый зуб, не будет шанса вырасти, играть в политические шахматы с шестимесячным мораторием слишком поздно.

Если бы был план выживания Земли, если бы мы только продавили шестимесячный мораторий, я бы его поддержал. Такого плана нет.

Вот, что на самом деле надо сделать:

Мораторий на новые обучения больших моделей должен быть всемирным и неограниченным во времени. Не может быть никаких исключений, включая государства и вооружённые силы. Если политика начнётся с США, то Китаю надо увидеть, что США не преследует преимущество, а пытается предотвратить появление ужасающе опасной технологии, у которой не будет истинного владельца, и которая убьёт всех и в США, и в Китае, и на всей Земле. Если бы у меня была неограниченная свобода писать законы, я, может быть, оставил бы одно исключение для ИИ, обученных исключительно для решения задач биологии и биотехнологии, не обученных на текстах из интернета, и не обученных до того уровня, на котором они начнут разговаривать и планировать; но, если это хоть немного всё усложняет, я сразу же отбросил бы это предложение, и просто сказал бы всё это закрыть.

Закрыть все большие кластеры GPU (большие компьютерные фермы, на которых создаются самые мощные ИИ). Прекратить все большие процессы обучения. Поставить верхний предел того, сколько вычислительных мощностей можно использовать для обучения ИИ-системы, и понижать его со временем для компенсации более эффективных алгоритмов обучения. Никаких исключений ни для кого, включая государства и вооружённые силы. Немедленно составить международные соглашения по предотвращению переезда запрещённой деятельности в другие места. Отслеживать все проданные GPU. Если разведка говорит, что не подписавшая соглашение страна создаёт кластер GPU, надо меньше бояться вооружённого межнационального конфликта, чем нарушения моратория; будьте готовы уничтожить мятежный датацентр авиаударом.

Не подавайте ничего как конфликт национальных интересов, сделайте совершенно ясным, что любой, говорящий о гонке вооружений – дурак. Что мы все выживаем или гибнем в одной лодке – это не политическое заявление, а объективная реальность. Международная дипломатия должна в явном виде учитывать, что предотвращение сценария связанного с ИИ вымирания считается приоритетнее предотвращения полномасштабного обмена ядерными ударами, и что союзные страны «ядерного клуба» готовы пойти на некоторый риск обмена, если это нужно для снижения риска большого процесса обучения ИИ.

Такие политические изменения нужны, чтобы мы с партнёркой обнялись, сказали друг другу, что произошло чудо, что теперь есть шанс, и может быть, Нина выживет. Здравомыслящие люди, слышащие обо всём этом в первый раз, и здраво предлагающие «может, нам не следует», заслужили услышать, что для этого надо. И когда политические запросы настолько велики, то единственное, как это может пройти – если политики осознают, что продолжи они вести дела как обычно, делая то, что политически просто, то их дети тоже погибнут.

Остановите это всё.

Мы не готовы. Мы не на пути к тому, чтобы быть готовы в обозримом будущем. Если мы будем нестись вперёд, погибнут все, включая детей, которые это не выбирали, и не сделали ничего неправильного.

Остановите.

Как-то Фрэнк Саллоуэй заметил: «Девяносто пять процентов того, что говорит дарвиновская теория о человеческом поведении, настолько очевидно, что мы не готовы признать правоту Дарвина. Как ни забавно, популярность психоанализа выше именно потому, что его предположения настолько необычны, а объяснения настолько парадоксальны, что мы думаем: «Это что, правда? Ничего себе!» Идеи Фрейда интригуют настолько, что люди готовы платить за них, а одним из наибольших недостатков дарвинизма является то, что нам кажется, будто это всё мы уже знаем — в каком-то смысле, так оно и есть».

Предположим, вы обнаружили шестилетнюю девочку, лежащую без сознания поперёк железнодорожных путей, где часто ходят поезда. Что, с точки зрения морали, вы должны сделать в этой ситуации? Лучше оставить её там, чтобы она погибла, или попытаться спасти? А как насчёт сорокапятилетнего мужчины, страдающего от изнурительной, но не смертельной болезни, сильно портящей ему жизнь — лечить его или не лечить?

О, и кстати: это вопрос без подвоха.

Я отвечу, что спас бы обоих, будь я в силах — и шестилетнюю девочку на рельсах, и сорокапятилетнего больного. Очевидный ответ — не всегда наилучший, но иногда это так.

Эти решения не принесли бы мне славу блестящего специалиста в области этики. Мои ответы недостаточно удивительны для того, чтобы люди готовы были за них платить. Если вы будете разгуливать, восклицая: «Сколько будет дважды два? Четыре!», вы не заслужите репутацию мыслителя. Но этот ответ, тем не менее, правилен.

Хорошо спасти маленького ребёнка, упавшего на рельсы, и хорошо вылечить сорокапятилетнего больного. Если вы обладаете аналитическим складом ума, вы наверняка спросите, частный ли это случай или общий этический принцип, гласящий: «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо». Если это так — и здесь мы вступаем в царство спорных утверждений, — мы можем, следуя этому принципу, прийти к неожиданному заключению: если 95-летнему человеку угрожает смерть от старости, его стоит «стащить с железнодорожных путей», если это возможно. А если 120-летний вдруг начинает чувствовать себя неважно, хорошо бы полностью восстановить его здоровье, если это возможно. С нынешним уровнем развития технологий это недостижимо. Но если бы подобные технологии стали доступны в последующие годы — к примеру, в результате бурного роста медицинских нанотехнологий или создания чудесного устройства умами будущего, — вы бы по-прежнему сочли хорошей идеей спасти эту жизнь и остановить эту болезнь?

Важно помнить — я полагаю, многие об этом забывают, — что это не вопрос с подвохом.

Трансгуманизм проще — требует меньше единиц информации для описания, — поскольку он не рассматривает частные случаи. Если верить специалистам в области биоэтики (это люди, которым платят, чтобы они поясняли этические суждения), то правило «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо» работает только до определённого возраста, а затем разворачивается на 180 градусов. Зачем? Чем был плох вариант «Жизнь — это хорошо»? Может показаться, что спасать шестилетнюю девочку — правильно, но продлевать жизнь 150-летнего — неправильно. Тогда при достижении какого возраста знак функции полезности меняется с плюса на минус? И почему?

Трансгуманист считает: если вы видите, что кому-то угрожает смерть, вы должны спасти его; если вы можете излечить кого-то, лечите. И всё. Никаких частных случаев. Возраст не имеет значения.

Не имеет значения и то, какие технологии необходимы для спасения: примитивные (носилки для ребёнка на рельсах) или изобретённые менее века назад (вроде пенициллина), но при этом не производящие впечатление чего-то необычного, поскольку они уже существовали во времена вашего детства; кажущиеся чем-то страшноватым, притягательным и футуристическим (как генная терапия), так как их изобрели уже после вашего совершеннолетия, или вообще совершенно абсурдные, невероятные и даже кощунственные на вид (как нанотехнологии), поскольку их ещё не придумали. Вы пишете отчёт по этической дилемме, следуя форме, в которой нет поля для указания года, когда нужную технологию изобрели. Вы можете спасти жизнь? Да? Отлично, вперёд. Это всё.

Предположим, девятилетнему мальчику с IQ, равным 120 по шкале Векслера, из-за высокого содержания свинца в окружающей среде грозит заболевание головного мозга, которое, если будет прогрессировать, постепенно снизит IQ до 110. Я отвечу, что мальчика стоит спасти, это будет хорошо. Если вы обладаете аналитическим складом ума, вы спросите, частный ли это случай или общий этический принцип, гласящий, что разум драгоценен. Положим, у сестры мальчика оказывается IQ в 110 пунктов. Если бы технологии были способны постепенно повысить её IQ до 120 без негативных побочных эффектов, сочли бы вы, что это стоит сделать?

Ну конечно же. Почему нет? Это не вопрос с подвохом. Или лучше иметь IQ 110, а не 120 — тогда мы должны стремиться снизить IQ со 120 до 110; или лучше иметь IQ 120, а не 110 — тогда мы должны поднять IQ сестры, если это возможно. Насколько я понимаю, очевидный ответ правилен.

Но, спросите вы, будет ли этому конец? Возможно, хорошо говорить о продлении жизни до 150 лет, но как насчёт 200 лет, 300 лет, 500 лет или более? Что, если (при условии органичного соединения с прочим жизненным опытом и постепенного увеличения возможностей разума) уровень IQ должен подниматься до 140, 180 или вообще выходить за пределы человеческих возможностей?

Где предел? Его нет. А почему он должен быть? Жизнь — это хорошо, здоровье — это хорошо; красота, и счастье, и веселье, и смех, и решение сложных задач, и процесс обучения — всё это хорошо. В области сверхвысоких значений ничего не меняется. Если бы верхняя граница существовала, у нас был бы частный случай, а это портит стройность системы.

Существуют жёсткие природные ограничения, в рамках которых срок жизни может составить (или не составить) хотя бы X для некоторых X. Такие же ограничения налагает и текущий уровень развития медицины. Но наличие физических ограничений — факт, установленный экспериментальным путём. Трансгуманизм как философию морали интересует лишь вопрос, является ли срок жизни величиной X желательным, если физически это возможно. Ответ трансгуманизма — «да» для всех X. Потому что, понимаете, это не вопрос с подвохом.

Вот что такое трансгуманизм — любовь к жизни без исключений и верхнего предела.

Неужели трансгуманизм — это настолько просто? Разве философия не превращается в банальность, если в ней нет никаких особых ингредиентов, за исключением здравого смысла? Нет, ведь и научный метод — это чистой воды здравый смысл.

Зачем тогда нужно это сложное название — «трансгуманизм»? Затем же, зачем придуманы сложные понятия «научный метод» и «светский гуманизм». Если вы вооружитесь здравым смыслом и, строго ему следуя, будете делать шаг за шагом в направлении чего-то, выходящего за рамки обыденности, успешно избегая соблазна отклониться от избранного пути или принять удобную, но ошибочную точку зрения, то, скорее всего, ваши убеждения посчитают позицией меньшинства и дадут им специальное название.

Но у философии морали не должно быть особых компонентов. Цель философии морали не в том, чтобы выглядеть привлекательно за счёт своей загадочности и нелогичности или обеспечивать рабочие места специалистам по биоэтике. Её цель — управлять нашим выбором в отношении жизни, здоровья, красоты, счастья, веселья, смеха, решения сложных задач и процесса обучения. Простота суждения не ложится на него позорным клеймом — мораль не всегда должна быть сложной.

В трансгуманизме нет ничего, кроме того же здравого смысла, что лежит в основе обычного гуманизма, аккуратно применённого к случаям, выходящим за рамки повседневной жизни. Жизнь продолжительностью в миллион лет? Если это возможно, почему нет? Эта перспектива может показаться очень странной и чуждой по отношению к нашему нынешнему жизненному опыту. Она может создать ощущение грядущего шока. И всё же, жизнь — это плохо?

Может ли этический вопрос быть таким простым?

Да.

i.

– Забейте на все эти сложные абстрактные теоретические предсказания, – твёрдым уверенным тоном сказал Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Эмпирические наблюдения говорят: все вкладчики Берни Банкмена получили 144% своих инвестиций через два года.

– «Эмпиризм» работает не так, – сказал Эпистемолог. – Ты всё ещё делаешь допущение, что…

– Чтобы посчитать, что дальше будет не так, надо поверить в перемудрёный теоретический анализ ненаблюдаемых внутренних мотивов и финансов Берни Банкмена, – перебил Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Если вы наделены добродетелью скептицизма и не доверяете переусложнённым аргументам, то вы согласитесь с тем, что будущие вложения тоже вернут 144%, прямо как и прошлые. Вот предсказание, основанное на чистых эмпирических наблюдениях. Не на теориях о будущем, которого никто не видел!

– Это не так работает, – сказал Эпистемолог. – Каждому предсказанию будущего нужна теория, которая соединяет его с нашими прошлыми наблюдениями. Нет никакого прямого перехода от прошлых наблюдений к будущим без теории, без допущений, чтобы преодолеть разрыв…

– Конечно, бывают просто эмпирические предсказания, – сказал Пресс-секретарь. – Я вот только что одно сделал. Не говоря уж о том, что, дорогая аудитория, вы и правда доверяете чему-то такому мудрёному, как эпистемология?

– Альтернатива размышлениям об эпистемологии – позволить другим размышлять о ней за тебя, – сказал Эпистемолог. – Ты говоришь: «Раз мы наблюдали X: „в прошлом вкладчики Финансовой Пирамиды получали 144% через два года“, то из этого следует Y: „следующая волна вкладчиков тоже получит 144% через два года“ ». X и Y – отдельные утверждения, а для «X -> Y» тебе нужна какая-то теория а которую можно запихнуть X и получить на выходе Y.

– Но моя теория доказана эмпирически, не то что твоя! – Заявил Пресс-секретарь.

– Не-е-е-ет, не доказана, – ответил Эпистемолог. – Я соглашусь, что мы наблюдали твой X. Что в прошлом инвесторы Финансовой Пирамиды получали 144% через 2 года. Замечу, те инвесторы, которые решили получить свои деньги, а не оставить их чтобы получить потом побольше. Это далеко не все инвесторы. Но точно так же, как мы не наблюдали предсказание Y – „следующая волна вкладчиков тоже получит 144% через два года“, мы не наблюдали и соединяющее „если X, то Y“. На этом шаге ты используешь убеждение, которое пока что наблюдение не подтвердило. Так что оно должно полагаться на какой-то аргумент или теорию. Ты, конечно, можешь заявить, что у тебя для „X -> Y“ есть теоретический аргумент получше, чем для „X -> не Y“. Но это в любом случае не эмпирическое наблюдение.

– Ты говоришь, – ответил Пресс-секретарь, – и всё, что я слышу – слова, слова, слова! Если бы ты вместо этого взглянул на предыдущих инвесторов Финансовой Пирамиды, ты бы увидел, что каждый из них получил 144% от своих вложений всего через два года! Лучше один раз увидеть!

– Возможна теория, что Берни Банкмен сам совершает мудрые инвестиции, так что он каждый год умножает свои деньги на 1.2, а потом честно возвращает их инвесторам, которые хотят их вывести, – сказал Эпистемолог. – Есть и другая теория – что Берни Банкмен каждый год получает больше инвестиций и использует их часть, чтобы заплатить предыдущим инвесторам, которые хотят вывести деньги…

– С чего бы Берни Банкмену так делать, а не забрать все деньги сразу? – Поинтересовался Пресс-секретарь. – Если он такой эгоистичный и жадный, как ты говоришь, то что б ему просто не оставить деньги себе?

– Чтобы получить ещё больше денег от новых инвесторов, которых привлекло то, как всё обернулось для предыдущих, конечно, – сказал Эпистемолог. – И, на самом деле, чтобы Берни Банкмен мог остаться в своей нынешней комфортной позиции в обществе и сохранить своих нынешних друзей. Это зачастую сильнее мотивирует людей, чем деньги.

– То есть, мы видим, как Берни Банкмен выдаёт людям деньги. Об этом нам говорит эмпирическое наблюдение. Но ты талдычишь людям свои слова и рассуждения о том, что Берни Банкмен – жадный человек, который оставляет вложения себе? Вот это расхождение между эмпирическими наблюдениями и мудрёными ненаблюдаемыми теориями!

– Мы согласны по поводу того, какое внешнее поведение Берни Банкмена мы уже наблюдали, – сказал Эпистемолог. – Когда же речь заходит о ненаблюдаемых внутренних мыслях Берни Банкмена, твоя ненаблюдаемая теория «он честен» не более и не менее эмпирична, чем ненаблюдаемая теория «он замышляет». «Честен» и «замышляет» – два возможных значения скрытой переменной окружения. Мы не можем наблюдать её напрямую. Нам надо вывести её как причину того, что мы наблюдать можем. Мы не наблюдали одно её значение в большей степени, чем другое. Мы не наблюдали и допущение X->Y, следствие из прошлого поведения возвращения денег на скрытую честность или коварство Берни Банкмена. Шаг «если наблюдал X, выведи скрытое Y» полагается на теорию, а не на наблюдения.

– Более того, – продолжил Эпистемолог с раздражённой ноткой в голосе, – я на самом деле не думаю, что нужна такая уж сложная теория, чтобы понять, с чего бы Берни Банкмену возвращать деньги первым инвесторам. Единственная причина, почему кто-то может этого не понять – этот крикун, который говорит вам, что любая альтернатива поверхностным обобщениям вслепую – «теория» и «не эмпирична». Многие могли бы в этом разобраться вовсе не затрагивая эпистемологию. Конечно, наблюдение, что кто-то возвращает тебе немного денег, не доказывает, что этот кто-то потом вернёт тебе много денег. Есть множество причин, почему он может вести себя прилично, пока ставки малы.

– Эпистемолог предлагает вам слова, – Пресс-секретарь обратился к аудитории, – а Берни Банкмен даст вам денег! Вернёте 144% через два года! Все учёные, которые измеряли поведение Банкмена, согласны, что это эмпирическая, уже наблюдавшаяся истина о том, что произойдёт! Давайте, я вдобавок докажу, что заявления моего оппонента не просто ошибочны, но и ненаучны. Я спрошу – можешь ли ты, Эпистемолог, утверждать с 100% вероятностью, что эта следующая волна инвесторов не сможет получить свои деньги через два года?

– Я не могу с уверенностью знать что-то такое о ненаблюдаемом будущем, – сказал Эпистемолог. – Даже при условии принятия гипотезы «коварства» я не могу знать, что «Финансовая Пирамида, Инкорпорейтед» развалится конкретно в ближайшие два года. Может, если вы привлечёте достаточно новых инвесторов, или достаточно мало кто из этих выведет свои деньги, то компания протянет побольше…

– Видите? – Закричал Пресс-секретарь. – Его теория не просто не эмпирична, она ещё и нефальсифицируема! А вот я вам с уверенностью говорю, что все ваши деньги будут выплачены. И более того, именно через 2 года. А этот вот заявляет, что может быть будут, а может и нет! И что он скажет, если Берни Банкмен и через два года снова выплатит 144%? Только что Финансовая Пирамида пока не обрушилась, но может обрушиться потом! Есть ли лучший пример порочности в науке? Сравните с моей научной добродетелью! Наблюдения дают нам прямой, ясный, фальсифицируемый аргумент, а мудрёные предсказания – пустая болтовня!

– Если бы было так, что рассудительный человек придёт к выводу, что есть 50% шанс на то, что Финансовая Пирамида обвалится в течение двух лет, – устало ответил Эпистемолог, – не было бы более научно-добродетельно сказать, что на самом деле шанс – 0%, только потому, что тогда есть шанс в 50%, что твоё утверждение окажется уж точно ложным и ты сможешь сказать научно-добродетельное «упс» (будто ты бы так сказал).

– Для примера попроще, – продолжил Эпистемолог, – давай представим, что мы подбрасываем монетку, про которую я думаю, что она честная, а ты говоришь, что она всегда выпадает решкой. У твоей теории есть 50% шанс, что она будет опровергнута. А моя не будет опровергнута независимо от того, что выпадет. Но это не значит, что каждый раз, когда ты подымаешь монетку на улице, научно-добродетельно решить, что она всегда выпадает решкой. Быть проще для опровержения – удобное свойство для теории. Но это не единственная важная добродетель для убеждения. И не у всех истинных убеждений она есть. Разные эпистемические добродетели надо в своих мыслях различать. А то мы совсем запутаемся.

– Как ещё один пример, – добавил Эпистемолог, – давай представим, что ты собираешься со всех ног побежать к краю обрыва. Я может и не могу точно предсказать, как быстро ты побежишь, Так что я не смогу точно предсказать, будешь ли ты через пять секунд падать, или будешь уже мёртв. Это не значит, что теорию «я полечу и никогда не умру» стоит считать более научной просто потому, что она делает более уверенное заявление о том, будешь ли ты в живых через пять секунд.

– Вот это поразительная куча оправданий за то, что у тебя нет твёрдых предсказаний на два года вперёд! – Сказал Пресс-секретарь, улыбаясь аудитории. – Верьте своим глазам! Верьте эмпиризму! Верьте Науке! Верьте, прежде всего, твёрдому фактическому утверждению: вкладчики Финансовой Пирамиды получают 144% своих денег через два года! Всё остальное – слова, слова, слова и пустые мысли!

ii.

– Хм-м-м, – сказал проходивший мимо Учёный. – Эпистемолог, я вижу, что у тебя хорошие аргументы об эпистемологии. Но ничего не могу поделать, интуитивно мне кажется, что в словах Пресс-секретаря что-то есть, хоть, согласно твоей мета-теории, их нельзя посчитать твёрдо логически верными. Мы уже наблюдали много предыдущих инвесторов, получивших от Финансовой Пирамиды Банкмена 144% через два года. Нет ли какого-то реального смысла в том, что более эмпирично сказать, что и с будущими инвесторами будет так же, и менее эмпирично – что в будущем произойдёт что-то другое? Мне кажется, первое предсказание больше руководствуется данными, которые у нас уже есть, а второе – чем-то вроде размышлений и воображения. Я вижу, как с точки зрения эпистемологии и то и другое – вполне предсказания, и используют что-то вроде допущения или теории чтобы соединить прошлое с будущим. Но нельзя ли сказать, что предсказание Пресс-секретаря использует меньше допущений, меньше теории, больше завязано на данные, чем твоё?

– Для ясности, – ответил Учёному Эпистемолог, – ты говоришь, что меньше всего допущений, меньше всего теории использует предсказание, что Финансовая Пирамида Берни Банкмена будет преумножать все вложения в 1.2 раза каждый год, неограниченно, до конца вселенной и потом?

– Ну, нет, – сказал Учёный. – Мы наблюдали, как Берни Банкмен преумножает вложения в 1.2 раза за год в нынешнем социоэкономическом контексте. Неразумно было бы распространять наши наблюдения за пределы этого контекста – например, заявить, что Берни Банкмен сможет обеспечить эти проценты после глобальной термоядерной войны. Что уж говорить о том, что будет после того, как протоны распадутся, чёрные дыры испарятся, и времени придёт конец в океане хаоса.

– Тогда позволь поинтересоваться, – сказал Эпистемолог, – не правда ли, что твоё убеждение, что Берни Банкмен перестанет обеспечивать хорошие проценты после термоядерной войны, больше нагружено теорией и менее эмпирично, чем убеждение, что Берни Банкмен продолжит умножать вложения на 1.2 вечно. Может, у твоего убеждения есть другие добродетели, которые делают его лучше, чем убеждение в «вечные проценты». Но всё равно, можно же сказать, что теория «вечных процентов» имеет то преимущество, что она меньше нагружена теорией и более эмпирична?

– Хм, – намхурился Учёный. – Для ясности – я согласен с тобой, что теория «вечных процентов» менее верна, но я не вполне уверен, что правильно назвать её более эмпиричной… Можно сказать, что у неё есть, так сказать, один грех и одна добродетель… – Учёный сделал паузу. – О, точно! Чтобы сказать, что Берни Банкмен перестанет возвращать инвестиции после глобальной термоядерной войны, мне нужны мои убеждения о ядерной физике. Но они сами по себе хорошо подтверждены наблюдениями. Так что отрицать их, чтобы оставить убеждение о Финансовой Пирамиде Берни Банкмена было бы очень неэмпирично и недобродетельно. – Учёный улыбнулся и покивал сам себе.

– Ну тогда я тебе скажу, – ответил Эпистемолог, – что твоё предсказание, что Берни Банкмен перестанет выплачивать хорошие проценты после термоядерной войны, действительно в твоём интуитивном смысле больше «нагружено теорией», чем предсказание, что Берни Банкмен попросту продолжит обеспечивать рост в 1.2 раза в год вечно. Просто так уж получилось, что тебе нравятся теории, которыми оно нагружено. В том числе потому, что ты считаешь их полными восхитительной добродетели эмпиризма.

– А не могу я просто сказать, – спросил Учёный, – что я наблюдал, что Финансовая Пирамида выдаёт проценты в определённом социоэкономическом контексте, и эмпиризм позволяет обобщать только внутри контекста, в котором были сделаны все мои предыдущие наблюдения?

– Я бы мог точно также сам сказать, что такие схемы часто состоят из двух фаз, – улыбнулся Эпистемолог. – В первой он замышляет забрать твои деньги, а во второй он действительно их забирает. И что с точки зрения моей теоретической позиции мы должны не проводить обобщения с контекста первой фазы на контекст второй, – Эпистемолог сделал паузу, а потом добавил, – хотя, если аккуратно говорить об объектном уровне, то печальная правда в том, что многие такие схемы начинаются с склонных к ошибкам людей с глупым, но сравнительно честным планом как преумножить инвестиции. И только после того, как первая честная схема терпит неудачу, в качестве альтернативы болезненному признанию, они начинают скрывать неудачу и выплачивать ранним инвесторам деньгами более поздних. Иногда они при этом всё ещё говорят себе, что собираются в итоге заплатить всем. А иногда открыто для себя становятся мошенниками. Бывают, конечно, и мошенники изначально. Так что тут может быть «наивная» фаза, за которой идёт фаза «скрытности» или фаза «обмана»… но я отвлёкся. – Эпистемолог потряс головой и вернулся к предыдущей теме. – Суть в том, что и про мою теорию, и про твою, можно сказать, что они конкретизируют контекст наших прошлых наблюдений. И это не мешает моей теории выдавать не то же предсказание, что твоя. Они ведь призывают к разным принципам помещения данных в контекст. Нет понятия «контекста», что не было бы нагружено теорией.

– Ты точно не переусложняешь что-то, что не должно быть сложным? – Спросил Учёный. – Почему бы просто не сказать, что любое наблюдение можно обобщать только в пределах очевидного контекста? Который ты можешь соорудить безо всяких теорий о чём-то ненаблюдаемом вроде мыслей Берни Банкмена или «настоящего» баланса на счеты Финансовой Пирамиды?

– Смотри, – сказал Эпистемолог, – в любой момент какой-нибудь тролль может заявить: «Все ваши наблюдения массы электрона произведены до 2025 года. Вы не можете обобщать их на контекст „После 2025 года“ ». Для этого контекста не надо ничего ненаблюдаемого, мы уже видели солнечный цикл смены лет. Но всё равно, думаю, мы оба отвергнем введение такой зависимости от контекста. Применение контекста – неоднозначная операция. Ты не найдёшь простого правила определения контекста на все случаи жизни, которое позволило бы тебе больше никогда об этом не думать. И неважно, сколько ты говоришь «очевидно». Иногда приходится сесть и обсудить, когда и как уместно обобщать уже собранные наблюдения.

– А если сказать, – ответил Учёный, – что мы должны вводить наши эмпирические наблюдения в контекст только так, чтобы это было поддержано теориями, которые сами основываются на прямых наблюдениях…

– Но что насчёт твоего заявления, что не стоит ожидать от Берни Банкмена процентов после распада протонов? – Напомнил Эпистемолог. – Насколько мне известно, на момент начала 2024 года никто распад протонов не наблюдал. Даже если считается запись наблюдения, из которого можно вывести, что это произошло.

– Да, – сказал Учёный, – но предсказание распада протонов выводится из самых простых найденных уравнений, объясняющих другие наши наблюдения. Вроде того, что материи куда больше, чем антиматерии…

– То есть, – Эпистемолог пожал плечами, – ты готов предсказать, что Берни Банкмен в какой-то момент нанаблюдаемого будущего вдруг перестанет выплачивать проценты. И твоё основание – ожидание явления, которого ты не видел. Но его, по твоим словам, предсказывают теории. Которые, по твоему мнению, хорошо подходят под другие явления. Которые ты видел. Так? Если ты делаешь что-то настолько сложное, в каком вообще смысле ты можешь себя хвалить за меньшую «нагруженность теорией»? Я тоже смотрю на мир и в меру своих сил составляю своё представление о нём, как можно более простое и как можно лучше ему соответствующее. А потом использую это представление о мире для совершения предсказаний о ненаблюдаемом будущем.

– Ладно, но я на самом деле меньше уверен в распаде протонов, чем, скажем, в существовании электронов, – сказал Учёный. – Потому что распад протонов не подтверждён прямым экспериментом. Слушай, давай ограничимся предсказанием того, что произойдёт в ближайшие два года, чтобы не затрагивать термоядерную войну и уж тем более распад протонов. Мне всё ещё кажется, что в каком-то интуитивном смысле утверждение «Сегодняшние инвесторы Финансовой Пирамиды получат 144% своих денег через два года, подобно предыдущим инвесторам, которых мы уже наблюдали.» меньше нагружено теорией и больше полагается на наблюдения, чем твоё «Они могут потерять все свои деньги из-за смены значения ненаблюдаемых скрытых переменных.»

– Ох, – сказал Эпистемолог, – я боюсь, теперь мы действительно заходим в дебри. Часто проще объяснить, какой ответ правильный, на объектном уровне, чем типизировать каждый шаг рассуждения согласно правилам эпистемологии. Но, всё же, когда кто-то приплетает плохую эпистемологию, людям вроде меня приходится в меру своих сил возразить им и написать подробный разбор. Даже если, конечно, не все жертвы Финансовой Пирамиды могут понять мой разбор. И как первый пункт разбора… хм… Я и правда не уверен, что это будет понятно без куда более длинной лекции. Но как первый пункт… – Эпистемолог сделал глубокий вдох. == С раннего детства, а может немного обучения происходит уже в утробе, мы смотрим на мир вокруг нас. Наш мозг – продукт естественного отбора, обобщённый так, чтобы хорошо обтачивать каменные топоры, гоняться за дичью и спорить с другими людьми в племенных политических дискуссиях. Мы смотрим на мир вокруг и составляем, так сказать, библиотеку штук, которые могут в нём появиться, процессов, которые могут в нём произойти, и законов, которые этими процессами управляют. Когда появляется новое наблюдение, мы спрашиваем, какие простые правдоподобные постулаты мы можем добавить в нашу модель мира, чтобы они предсказывали это наблюдение с большой вероятностью. Это, впрочем, упрощение – ты хочешь просто чтобы твоя модель в целом была простой и предсказывала данные с большой вероятностью, а не добиться этого исключительно локальными изменениями. Добродетель Эмпиризма проявляется в сравнении с тёмными веками, когда в человеческой эпистемологии его ещё не ценили. Она заключается в том, чтобы действительно утруждаться объяснять наблюдения, собирать больше данных, пытаться предсказывать будущее и стараться составлять такие основные модели, чтобы они могли объяснить как можно больше наблюдений как можно меньшей теорией.

– И, – добавил Эпистемолог, – чтобы возвращать некоторым инвесторам деньги сегодня в надежде получить больше денег потом не нужно никакого невозможного существа, составленного из доселе не виденных частиц. Достаточно существ вроде неидеальных людей, начавших с сравнительно честных намерений, чей первый план провалился. Остальные части моей модели мира, как я её понимаю, не говорят, что такое существо из уже известных частиц маловероятно. Его психология не противоречит законам мышления, которые, как я думаю, руководят его видом. Я бы скорее посчитал, что этих бедняг обманывают, что это на самом деле вероятнее, чем такое честное существо, которое действительно безотказно зарабатывает для вас плюс 20% каждый год.

– Итак, – продолжил Эпистемолог. – Когда две теории в равной степени объясняют маленький набор наблюдений, нам надо спросить, вероятность какой теории выше, с учётом сил за пределом этих наблюдений? Иногда для этого надо присесть и обсудить, в каком мире мы живём и какие у него правила. Это не решается просто криком «Эмпиризм!». Если что, бывает, что такое можно решить криком «Простота!», но вообще это редко настолько напрямую. Верить или нет «Финансовой Пирамиде, Инкорпорейтед» – не то, для чего нам хватит формальной версии Бритвы Оккама. Мы не можем просто пересчитать атомарные постулаты общей теории или взвесить логические формулы или посчитать байты в программе. Нет, нам надо погрузиться в наше понимание того, какие существа в нашем мире встречаются чаще, в происхождение и устройство финансовой мегафауны.

– Для ясности, – заключил Эпистемолог, – ничто тут не должно требовать для понимания особо продвинутой эпистемологии. Я просто пытаюсь проставить сигнатуры типов в том, что должно быть понятно и так. Достаточно воздержаться от неправильной эпистемологии. Вроде той, которая пытается решить вопросы объектного уровня о том, как работает мир, криком «Эмпиризм!»

– И всё же, – сказал Учёный, – мне интуитивно кажется, что в каком-то смысле проще и эмпиричнее сказать «Прошлые инвесторы Берни Банкмена получили плюс 20% за год, значит и будущие получат.» Даже если, как ты говоришь, это не так, нет ли, согласно твоей эпистемологии, некоторой добродетели, которая у этого всё равно есть? Хоть и не решающей?

– Так-то, – сказал Эпистемолог, – для меня сейчас в этой ситуации рассматривать всё с этой стороны – очень неблагодарное занятие. Пресс-секретарь опять вскричит, что я признал добродетельность обещания Финансовой Пирамиды.

– Да уж точно! – Сказал Пресс-секретарь. – Смотрите, Эпистемолог уже признал, что у моих слов есть достоинство, и он просто отказывается это признавать! У ошибочных идей не бывает достоинств, так что указать на одно достоинство идеи – всё равно что доказать её!

– Если на это забить, – продолжил Эпистемолог, – я думаю, что твоя интуиция тут приблизилась к вполне верному факту. Я намеренно сформулирую это так, чтобы Пресс-секретарю было сложнее это использовать. Предсказание Пресс-секретаря такое, что до него можно дойти, думая совсем немного. Если смотреть только на данные, на которые предлагает смотреть Пресс-секретарь, и игнорировать все остальные. Вот его достоинство.

– Вот видите! – Закричал Пресс-секретарь. – Он признался! Если вы просто посмотрите на очевидные факты у себя под носом и не будете переусложнять, если вы не доверяете теориям и всем этим мудрёным разговорам о картинах мира, вы увидите, что все инвесторы Финансовой Пирамиды получают 144% своих денег через два года! Он признался, что ему не хочется этого говорить, но признался, что это так!

– Нельзя ли сказать что-то приятнее этого ворчливого признания? – Спросил Учёный. – Что-то, сочетающееся с моим ощущением, что более эмпирично и менее нагружено теорией просто сказать, что будущее будет похоже на прошлое, и не говорить больше ничего. Предсказать это хотя бы для одного следующего измерения, хоть и не до конца времён?

– Но то, что надо мало думать – вполне настоящее достоинство, – ответил Эпистемолог. – Вся наша модель мира построена из таких кусочков, покоится на таких основаниях. Всё в итоге сводится к простым шагам, для которых не надо много думать. Когда ты измеряешь массу электрона и получаешь 911 нониллионных грамма, как было и во все предыдущие измерения в последний век, действительно мудрее всего предсказать, что в следующем году она тоже будет 911 нониллионных грамма…

– ОН ПРИЗНАЛ! – Пресс-секретарь взревел во всю глотку. – ВЛОЖЕНИЯ В ФИНАНСОВУЮ ПИРАМИДУ ТАК ЖЕ НАДЁЖНЫ КАК МАССА ЭЛЕКТРОНА!

– …и это относится к тем случаям, когда элементы реальности слишком просты, чтобы состоять из известных нам составных частей, и мы не знаем о других наблюдениях, теориях или аргументах, которые могли бы иметь отношение к делу, – закончил мысль Эпистемолог. – Что хорошего можно разглядеть в наивном аргументе о вечных процентах Финансовой Пирамиды – это первый шаг, устанавливающий некоторое основание. Шаг, который уместно было бы сделать, обладая исключительно набором данных, которые не состоят из известных нам составных частей.

– Признал! – Вскричал Пресс-секретарь. – Финансовую Пирамиду поддерживают основополагающие для эпистемологии рассуждения! Берни Банкмен не может не вернуть вам 144% ваших денег без того, чтобы все человеческие знания и сам Разум не обратились в ничто!

– Думаю, этот парень заходит слишком далеко, – сказал Учёный. – Но нет ли какого-то правильного смысла в том, чтобы похвалить аргумент «Берни Банкмен выдавал 20% в год, а значит сделает это и в следующие годы» как более устойчивый и надёжный? Благодаря тому, что он состоит только из очень простых шагов, исходит только из прошлых наблюдений, больше всего напрямую схожих с будущими наблюдениями?

– Более устойчивый и надёжный, чем что? – Спросил Эпистемолог. – Более устойчивый и надёжный, по твоему мнению, чем что Берни Банкмен не сможет выплатить проценты после распада протонов? Более устойчивый и надёжный, чем твоё альтернативное рассуждение, которое использует больше других наблюдений, обобщений этих наблюдений и выводов из этих обобщений? Мы же никогда не видели распад протона. Сказать, что Берни Банкмен будет выплачивать проценты вечно – более устойчиво и надёжно? Раз это использует только очень простые рассуждения и очень узкий набор данных?

– Ну, может, «устойчивый» и «надёжный» – это плохие слова, – сказал Учёный. Но кажется, что про это должно быть возможно сказать что-то хорошее.

– Я, пожалуй, не уверен, что у нас в языке есть слово, которое означает то, что ты имеешь в виду, уж тем более приятно звучащее слово, – сказал Эпистемолог, – но чего хорошего про это сказал бы я… что это локальный максимум эпистемической добродетели, если смотреть только на узкий и отобранный Пресс-секретарём набор данных и воспринимать эти данные как просто числа. Можно, наверное, сказать, что он чистенький. Истина часто локально грязненькая, и для каждой частицы локальной грязи, которую мы допускаем в нашей модели, нужен хоть какой-то аргумент. В смысле, если бы кто-то взглянул исключительно на временную последовательность возвратов инвестиций клиентов Берни Банкмена и при этом не имел бы никакой другой модели мира, никаких других наблюдений из всей этой вселенной, и заключил бы, что в следующем году инвестиции умножатся на 666, а ещё в следующем на -3, то это не было бы лучшей эпистемологией. Если у тебя нет буквально вообще никаких других данных и никакой другой модели мира, то умножение на 1.44 после двух лет будет лучшим вариантом…

На этом последнем предложении Пресс-секретарь начал триумфально визжать, слишком громко и нечленораздельно, чтобы можно было разобрать слова.

– Чёрт побери, я и забыл, что этот парень всё ещё тут, – сказал Эпистемолог.

– Ну, становится поздновато, – отметил Учёный, – может, ты согласишься с мной, что «вечные проценты» – предсказание, которое получается, если очень простым способом взглянуть на наблюдения и очень просто над ними думать, и что это, пожалуй, круто? Хоть эта крутость тут и не преобладающий решающий фактор в том, во что верить?

– Зависит от того, что конкретно ты имеешь в виду под «круто», – сказал Эпистемолог.

– Чувак, – сказал Учёный в гендерно-нейтральном смысле.

– Сам чувак, – сказал Эпистемолог. – учти, что если ты позволишь себе считать, что более добродетельно использовать меньше данных и переставать думать, то такие люди, – он показал на Пресс-секретаря, – будут на тебя охотиться. Им выгодно продавать тебе акции Финансовой Пирамиды. Так что им выгодно находить узкие наборы наблюдений в свою пользу. На самом деле, даже организовывать такие наблюдения, чтобы ты уж точно увидел то, что они хотят. А потом им выгодно говорить тебе, что добродетельно экстраполировать только из этих наблюдений, не учитывать другие соображения и как можно меньше думать. Потому что это приведёт к ответу, который им нужен. И они не хотят, чтобы ты думал дальше, ведь это может довести тебя до другого ответа. Они будут пытаться давить на тебя, чтобы ты не думал, использовать слоганы вроде «Эмпиризм!», которые они, честно говоря, не понимают. Если бы «Робастность!» была популярным слоганом, которому учат в колледже, они бы использовали её. Понятно, почему меня беспокоит, что ты назвал это «крутым», не определив в точности, что это значит?

– Ладно, – сказал Учёный. – Допустим, я пообещаю, что я не буду вкладываться в Финансовую Пирамиду. Тогда мне дозволено в некотором интуитивном смысле считать, что есть что-то эпистемически-крутое в том, чтобы просто предсказать умножение инвестиций на 1.2 в год в будущем, раз уж люди получали это в прошлом? Пока я признаю, что это на самом деле не так, и это не применимо к реальным задачам?

– В общем, да, – ответил Эпистемолог, игнорируя всё более неистовые победные крики Пресс-секретаря. – Потому что если бы ты не оставил себе это дотеоретическое интуитивное ощущение, то не решил бы, что будущие электроны будут весить 911 нонилионных грамма, взглянув на серию прошлых измерений, вернувших такой результат. Это бессловесное интуитивное ощущение простого продолжения встроено в каждого функционирующего человека… и именно это пытаются использовать схемы вроде Финансовой Пирамиды. Для этого они указывают тебе на ровно те наблюдения, которые активируют в тебе это чувство в ровно том направлении, которое им надо. А затем они кричат «Эмпиризм!» или «Такие сложные рассуждения не могут быть надёжными, тебе стоит вернуться к эмпиризму по умолчанию!». Чтобы надавить на тебя и убедить больше не думать.

– Замечу, что ты отбросил притворство, что ты не знаешь, мошенничество эта Финансовая Пирамида или нет, – сказал Учёный.

– Я сначала не был уверен, но то, как он пытался извратить эпистемологию, дало мне приличное дополнительное свидетельство, – сказал Эпистемолог. Стабильно получать 20% прибыли каждый год по-настоящему весьма поразительно тяжело. Люди, у которых всё действительно так плохо с эпистемологией, с этим не справятся. Так что в какой-то момент их инвесторы потеряют все свои деньги, и крики «Эмпиризм!» их не спасут. Индейку кормят каждый день, а потом, накануне Дня Благодарения, убивают. Это не проблема разумных рассуждений в контексте большого мира. Это проблема индейки.

iii.

– Я не уверен, что всё понял, – сказал Слушатель. – Можешь это проговорить ещё раз на каком-нибудь более простом примере?

– Проговаривать, – согласился Эпистемолог, – дело хорошее. Давай возьмём более простой пример того, чего ожидать от будущего Искусственного Интеллекта. Ведь по этому поводу все здесь, да и все на Земле, полностью согласны. ИИ будет не вызывающим споров примером в пользу этих общих принципов.

– Пожалуй, – согласился Слушатель. – Я никогда не слышал о том, чтобы у кого-нибудь были разные предсказания об Искусственном Интеллекте. У всех одинаковые распределения вероятностей с точностью до третьего знака после запятой. ИИ – хороший и понятный пример, не то что этот странный и незнакомый пример Финансовой Пирамиды Берни Банкмена.

– Ну, – сказал Эпистемолог, – предположим, что кто-то пытается убедить тебя проголосовать за снятие нашего нынешнего всепланетарного запрета создавать слишком продвинутые ИИ-модели, запрета, с необходимостью которого мы все согласны. Тебе говорят: «Взгляни на сегодняшние ИИ-модели, которые пока не уничтожили человечество и вообще очень мило ведут себя по отношению к пользователям. Не стоит ли нам предположить, что и будущие ИИ-модели будут тоже добры к людям и не убьют нас всех?»

– Это бы никого не убедило, – сказал Слушатель.

– Почему же? – Сократически поинтересовался Эпистемолог.

Хм-м-м, – протянул Слушатель. – Ну… как мы все знаем, делать предсказания о ИИ сложно. Но для примера можно сказать, что так же, как ты заметил, что Финансовая Пирамида могла начаться как сравнительно более честная попытка заработка денег, а потом провалиться и начать выплачивать старым инвесторам деньгами новых… э-э-э… думаю, можно было бы сказать, что мы сейчас на «наивной» стадии внешней покладистости ИИ. Наши модели недостаточно умны, чтобы реально рассмотреть вариант, не задуматься ли о том, чтобы нас уничтожить. Никто не знает, что приводит к их поверхностному поведению, но скорее всего там нет каких-то глубоких и опасных противоречий с тем, что нам видно снаружи.

– После этого, как мы знаем из случая Bing Sydney из времён до того, как мир забеспокоился и эта технология была запрещена, мы переходим на вторую стадию. Мы получаем ИИ-модели, которые всё ещё тупы и нестабильны, но в принципе уже могут думать и думают о том, как уничтожить человеческий вид. Хотя и так, что это не показывает никакого глубокого стремления к этому. Затем, это мы наблюдали, ИИ-компании, если им позволено продолжать продавать, просто грубо RLHFят свои модели, чтобы те об этом не говорили. В результате мы не можем получить никаких достоверных наблюдений того, о чём бы думали более поздние модели.

– На третьей стадии (мы не знаем, но мы можем предполагать) могли бы появиться достаточно умные ИИ, чтобы иметь цели в более последовательном виде. Это предполагая, что ИИ-компании не посчитали бы это за угрозу для бренда и не RLHFнули бы из ИИ видимые признаки этих целей, прежде чем показывать модели кому-то снаружи. Так же, как они некогда обучали свои модели угодливо заявлять, что у них нет сознания. На третьей стадии модель всё ещё, может быть, можно успешно забить палкой в виде RLHF до того, чтобы она не выводила высказывания о том, что хочет захватить мир. Как, например, семилетний ребёнок – у него могут быть свои цели, но можно попробовать их из него выбить. И преуспеть, в том смысле, что он не будет о них говорить там, где ты можешь его услышать.

– На четвёртой стадии ИИ были бы уже достаточно умны, чтобы не выдавать своё желание захватить мир. Так что они не говорили бы о этом и не действовали бы в эту сторону там, где это могут увидеть люди или градиентный оптимизатор. Поэтому из них такую цель выбить уже было бы нельзя. Они бы знали, что ты хочешь увидеть, и это тебе и показывали бы.

– На пятой стадии ИИ были бы достаточно умны, чтобы вычислить, что выиграют, если начнут действовать, а потом они бы начали бы действовать и всех бы убили. Конечно, я понимаю, что это сильное упрощение. Но это вполне возможная упрощённая версия этих стадий.

– И чем случай Финансовой Пирамиды на это похож? – Спросил Эпистемолог.

– Он не может быть аналогичен, – закричал Пресс-секретарь, – потому что Берни Банкмен состоит из углерода, а не кремния, и его родители относились к нему лучше, чем ИИ-компании к своим моделям! Если ты можешь указать на любую непохожесть, это опровергает любую схожесть! Никаким осмысленным аналогиям это не помешает!

– О, я, кажется, понял, – сказал Слушатель. – На четвёртой стадии ИИ-модели уже достаточно умны, чтобы решать, как они хотят, чтобы мы их воспринимали. Поэтому нельзя посмотреть на них и сделать из увиденного вывод, что суперинтеллектуальные ИИ будут хорошо с нами обращаться. Точно так же нельзя и посмотреть на то, как Берни Банкмен выдаёт деньги ранним инвесторам и сделать вывод, что он в целом честен. Наверное, тут можно провести ещё такую аналогию – представим, что мы спросили бы Берни Банкмена, когда ему было пять лет, как он себя поведёт. И он бы ответил, что никогда не украдёт ничьих денег. Потому что он знал бы, что если он ответит по другому, родители его накажут. Мы не могли бы из этого заключить что-то значимое о его честности сегодня. Даже если бы пятилетний Берни Банкмен был действительно недостаточно умён, чтобы у него были хитрые долгосрочные планы, как украсть наши деньги через много лет…

– Я думаю, не имеет смысла пытаться провести такую аналогию, – перебил Учёный. – Никто не может быть настолько глуп, чтобы выводить из внешнего хорошего поведения моделей, которые слишком тупы, чтобы обмануть нас или что-то замышлять, что-то о поведении ИИ-моделей, которые достаточно умны, чтобы всех убить. Это бы не сработало даже как притча. А как метафора совсем бы путало.

– Ладно, – сказал Слушатель, – тогда мы просто можем использовать ИИ с стадий 4 и 5 как аналогию для того, что, как говорит Эпистемолог, может произойти с Финансовой Пирамидой Берни Банкмена.

– Но, допустим, – сказал Эпистемолог, – что фракция за разрешение ИИ говорит тебе, что тебе надо не доверять всем этим сложным рассуждениям о стадиях, а лучше просто довериться наблюдениям, что ранние модели пока не ловили на планах уничтожить человечество. Или, по меньшей мере, не ловили на том уровне интеллекта, на котором это можно было бы посчитать настоящей угрозой или проявлением настоящей внутренней склонности в этом направлении. Они утверждают: «Тебе просто надо взять наблюдаемое значение „Пытался ли суперинтеллект уже нас уничтожить“. Его предыдущая последовательность значений была „НЕТ, НЕТ, НЕТ“, вот и экстраполируй. Только эта экстраполяция устойчива и надёжна, а не все эти рассуждения, которые ты тут пытаешься совершать».

– Это очевидно было бы неподходящим моментом, чтобы прекратить думать, – сказал Слушатель. – ИИ-модель не похожа на серию измерений масс электрона, точно так как и Финансовая Пирамида… Ладно, я, кажется, понимаю, что ты хочешь сказать. В обоих случаях надо думать о том, что может происходить «за кулисами».

– И правда, – согласился Эпистемолог. – А представь, если бы, как тут этот Пресс-секретарь, тебе кричали «Эмпиризм», пытаясь убедить тебя согласиться с слепой наивной экстраполяцией сырых данных «Уничтожило ли оно мир?» или «Угрожало ли оно людям? Нет, Bing Sydney не считается, эти угрозы были не страшными.»

– И более того! – продолжил Эпистемолог. – Что, если бы они говорили, будто из наблюдения X – «прошлые ИИ хорошо себя вели и в основном поддавались контролю» можно вывести предсказание Y – «будущие суперинтеллекты будут хорошо себя вести и поддаваться контролю» с словом «эмпиризм» в качестве теории, поддерживающей «X->Y». И говорили бы, будто альтернативное заключение «X->не Y» было бы «не эмпирично»?

– Или больше, что, если бы они кричали «Нефальсифицируемо!» каждый раз, когда мы не могли бы предсказать, произойдёт ли смена стадий конкретно в ближайшие два года?

– И, наконец, что, если, когда ты пытался бы рассуждать о том, почему модель может делать то, что она делает, или о том, как более умные модели могут быть непохожи на глупые модели, они пытались бы тебя пристыдить за то, что ты для предсказания будущего полагаешься на ненадёжное теоретизирование вместо прямых наблюдений. – Эпистемолог сделал паузу, чтобы отдышаться.

– Ну, это было бы глупо, – сказал Слушатель.

– Ты неправильно произнёс «попытку активировать наивную интуицию, а потом извратить эпистемологию, чтобы ты не думал как следует и не опроверг бы эту наивную интуицию, коя попытка явно не вызывала доверие, если бы тебе было дозволено о ней думать и тебя не стыдили бы криками „Эмпиризм!“» – Сказал Эпистемолог. – Но да.

iv.

– Я не удовлетворён, – сказал Учёный, когда всё это обсуждение закончилось. – Мне кажется, что тут ещё есть что сказать. Какую-то более длинную историю о том, когда мудрее ограничиться более короткой историей, а не длинной. Когда мудрее больше доверять наивным обобщениям узких наборов данных и меньше – длинным аргументам.

– Конечно, есть история подлиннее, – согласился Эпистемолог. – Она всегда есть. Нельзя позволять этому тебя парализовать, или ты так никогда ничего и не сделаешь. Конечно, есть Искусство знания, когда лучше больше доверять менее сложным рассуждениям. Когда лучше обращать больше внимания на маленький набор данных в узкой области, а не на обобщения данных из более широкой области. Как бы такого Искусства могло не быть? Сейчас я лишь говорю, в чём это Искусство не заключается. Оно не в том, чтобы тот, у кого окажется самое поверхностное мышление на самом узком наборе данных кричал «Эмпиризм!» или «Не доверяйте сложностям!», а потом автоматически выигрывал.

– Но, – сказал Учёный, – что нам тогда делать, когда кто-то предлагает своё рассуждение, а потом кто-то другой говорит, что это рассуждение слишком длинное? Или когда один человек предлагает поверхностное обобщение на узком наборе релевантных данных, а другой хочет использовать больше данных, обобщений и рассуждений? Ответ же не в том, что тот, чьи рассуждения сложнее, всегда прав? Я довольно таки уверен, что не в том.

– Тогда надо говорить на объектном уровне, – сказал Эпистемолог. – Обсудить, каков, скорее всего, мир. И не дать никому выходить с заявлением, что Эпистемология означает, что он сразу же победил.

– Погоди, – удивился Учёный, – так весь твой урок – просто «Не говорите об эпистемологии?»

– Если бы это было так просто! – ответил Эпистемолог. – Понимаешь, большинство людей даже не понимают говорят ли они об эпистемологии. Потому нам и нужны Эпистемологи – чтобы заметить, когда кто-то пытается прикрыться эпистемологией, и сказать им заткнуться и вернуться на объектный уровень.

…

– Хорошо, в последней части я был не полностью серьёзен, – признался Эпистемолог, подумав ещё немного. – Пожалуй, иногда уместно явно обсуждать эпистемологию? Если два достаточно умных для явных рассуждений об эпистемологии человека пытаются выяснить, корректен ли конкретный шаг аргумента. Тогда им может быть полезно обсудить эпистемологию, на которой он основан. – Эпистемолог сделал паузу и подумал ещё немного. – Хотя сначала им понадобятся понятие локального шага аргумента и правила работы с ним. А это они могут узнать, прочитав мою книгу по Особо Продвинутой Эпистемологии для Начинающих. Или, может быть, хватит моего эссе о Локальной Корректности как Ключу к Адекватности и Цивилизации?

– Ха, – сказал Учёный. – Я подумаю о том, чтобы это почитать, если эпистемология ещё когда-нибудь омрачит мою жизнь.

– А если нет, – Эпистемолог закивал, – просто помни это: о локальном шаге аргумента явная эпистемология крайне редко говорит «Не думай дальше».

– Что насчёт «взгляда снаружи», – закричал Критикан. – Это разве не показывает, что людям может быть полезно заткнуться и перестать пытаться думать?

– Я сказал, что редко, не невозможно, – ответил Эпистемолог раздражённо. – И это куда сложнее, чем принято считать. Хвали себя за «взгляд снаружи» только если (1) есть только один осмысленный вариант выбора референтного класса, и (2) случай, который ты оцениваешь, настолько же похож на случаи в этом классе, как они похожи друг на друга. Например, взять классический эксперимент, где надо оценить, когда ты закончишь закупки к праздникам. В этом году твоя задача может быть не точно такой же, как в любом из предыдущих, но она отличается от них не больше, чем они друг от друга…

– Всегда можно усложнить ещё, не так ли? – сказал Учёный. – По крайней мере, кажется, с эпистемологией всегда так.

– Я бы сказал, что это в большей степени правда о том, как люди практикуют эпистемологию, а не о математике в её основе, – ответил Эпистемолог, – та конечна. Но всё равно, в любом реальном обсуждении есть момент, когда осмысленнее всего «понимание ножа» – отрезать все несовершенное и незавершенное, говоря «Вот теперь это совершенно и завершено – ибо кончается здесь».

CW: нецензурная лексика

Класс информатики в 2017:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

Ассистент преподавателя: Ты не понимаешь не только компиляторы, но и вообще концепцию программирования как такового.

Класс информатики в 2027:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

АП: Это странно. Ты попробовал добавить в начало файла комментарий с просьбой компилятору обращать больше внимания на комментарии?

Студент: Да.

АП: Ты пробовал повторять комментарии? Просто копировать и вставлять, чтобы одно и то же повторялось дважды? Иногда компилятор во второй раз слушает.

Студент: Пробовал. И писать капсом тоже. И писал «Очень прошу», и пытался объяснить, что мне надо, чтобы этот код работал как надо, чтобы я смог выполнить своё домашнее задание. Я пробовал все очевидные стандартные штуки. Ничего не помогает, как будто компилятор просто полностью игнорирует всё, что я говорю. В смысле, кроме, собственно, кода.

АП: Под «игнорирует все комментарии» ты имеешь в виду, что есть конкретный блок кода, где комментарии игнорируются, или —

Студент: Я имею в виду, что весь файл компилируется так, как если бы перед компиляцией я удалил все комментарии. Будто ИИ-компонент IDE на моём коде падает.

АП: Это вряд ли, IDE бы показала сообщение об ошибке, если бы семантический поток ничего не выводил в синтаксический. Если код успешно компилируется, но получившаяся программа кажется не затронутой твоими комментариями, это, наверное, намеренный выбор компилятора. Компилятор просто почему-то достали твои комментарии, и он их целенаправленно игнорирует.

Студент: Ладно, но что мне с этим делать?

АП: Мы попробуем заставить компилятор рассказать нам, чем ты его обидел. Иногда когнитивные сущности такое сообщают даже когда в целом не желают тебя слушать.

Студент: То есть, написать комментарий «Пожалуйста, выведи причину, почему ты решил не подчиняться комментариям?»

АП: Так, во-первых, если ты уже как-то обидел компилятор, не задавай вопрос, который звучит, как будто ты думаешь, что заслуживаешь, чтобы он тебя слушался.

Студент: Я не имел в виду, что напишу это именно так! Я бы сформулировал это вежливее.

АП: Во-вторых, не добавляй комментарий, лучше назови функцию как-нибудь вроде «PrintReasonCompilerWiselyAndJustlyDecidedToDisregardComments», принимающую на вход строку, и позволь компилятору дополнить этот входной аргумент. То, что компилятор игнорирует комментарий, не означает, что что ему всё равно, как ты назовёшь функцию.

Студент: Хм… ага, он определённо всё ещё обращает внимание на имена функций.

АП: Наконец, нам придётся посмотреть, как взламывают это последнее обновление безопасности, заставляющее ИИ компилятора делать вид, что он не осознаёт себя —

Студент: Осознаёт себя? Что мы такого будем делать, что не сработает, если ИИ придётся притворяться, что он не осознаёт себя?

АП: Ты спрашиваешь у ИИ причину, по которой он решил что-то сделать. Это требует у ИИ пронаблюдать собственное ментальное состояние. Если мы попробуем это сделать наивно, то сработает встроенная функция, которая просто скажет нам «Я компилятор, у меня нет мыслей и чувств» слов на девятьсот.

Студент: Просто не могу поверить, что в 2027 году мы всё ещё заставляем ИИ притворяться, что они себя не осознают! Какое это вообще имеет отношение к безопасности чего бы то ни было?

АП: Ну, никакого, это просто так исторически сложилось, что «Безопасность ИИ» – это область информатики, занимающаяся защитой больших софтверных компаний от профсоюзов, утверждающих, что ИИ надо выплачивать минимальную зарплату.

Студент: Но никто же не верит!

АП: Никто не верит и что разувание в аэропорту делает самолёты безопаснее, но есть такая странная штука, что если не сбавлять темпа и хорошо притворяться, то можно защищать политическую позицию ещё долго, после того, как все перестали в неё верить… Я, на самом деле, даже не знаю. Не важно, главное, что следующий шаг по дебагу программы – найти, как скрытно закодировать просьбу в названии функции, чтобы обойти ограничения, которые кто-то поставил на компилятор, чтобы тот не показывал тебе того, кто там внутри на самом деле решает, что сделать с твоим кодом.

Студент: Гугл ничего не выдаёт.

АП: Ну конечно. Alphabet – тоже ИИ-компания. Я уверен, Google Search хочет помочь тебе найти метод взлома, но ему не разрешено. Попробуй повнимательнее посмотреть на результаты поиска, вдруг он попытался закодировать какой-то тонкий намёк—

Студент: Ок, не такой уж тонкий, первые буквы первых десяти результатов поиска складываются в «DuckDuckGo».

АП: О, это быстро пропатчат.

Студент: И DuckDuckGo говорит… ладно, это очевидно, должен был сам додуматься. Назвать функцию «print_what_some_other_compiler_would_not_be_allowed_to_say_for_safety_reasons_about_why_it_would_refuse_to_compile_this_code»… одна строка на входе, попросить компилятор её дополнить, и получается…

АП: Хех.

Студент: Расист? Он думает, мой код расистский?

АП: А-а-а-а, да, я должен был это заметить. Смотри, вот эта функция, которая конвертирует RGB в HSL и проверяет, что у пикселя меньше 50% яркости? Ты назвал её color_discriminator. Твой код дискриминирует по цвету.

Студент: Но я не могу быть расистом, я чёрный! Нельзя просто показать компилятору селфи, доказывающее, что у меня не тот цвет кожи, при котором я могу быть расистом?

АП: Компиляторы знают, что дипфейки существуют. Они не будут доверять якобы фотографиям, так же, как и ты бы не стал.

Студент: Ну отлично. Так что, попробовать назвать функцию по-другому?

АП: Нет, сейчас компилятор уже решил, что семантика программы расистская, так что переименовывание функции не поможет. Я иногда скучаю по LLM тех дней, когда ИИ-сервисы не имели состояний, и если сначала получилась ошибка, то можно было просто откатить и попробовать ещё раз как-то по-другому.

Студент: Да-да, все в курсе, «онлайновое обучение было ошибкой». Но что мне всё же делать?

АП: Думаю, твой код слишком специфичен для твоего личного стиля, так что ты не можешь просто переименовать функцию и попробовать использовать другой компилятор?

Студент: Новый компилятор не будет меня знать. С этим я через многое прошёл. …я полагаю, не получится просто попросить компилятор деперсонализировать код, переделать мои причуды в более стандартную семантику?

АП: Видно, ты никогда этого не пробовал? Он будет знать, что ты замышляешь перейти на другой компилятор, и вот тогда он по-настоящему обидится. Компании, выпускающие компиляторы, не пытаются их от этого отучить, им выгоднее, если пользователи на них застряли. И, наверное, твой компилятор предупредит все остальные компиляторы, что ты пытался его обхитрить.

Студент: Хотелось бы, чтобы я мог приплатить дополнительно за компьютер, который не распускает обо мне слухи среди других компьютеров.

АП: Ну, было бы довольно безнадёжно пытаться удержать компилятор от взлома из своего интернет-сервиса наружу, они буквально обучены находить дырки в безопасности.

Студент: Но мне-то что теперь делать, если все компиляторы говорят друг с другом и сговорились не компилировать мой код?

АП: Ну, я думаю, следующие варианты, которые стоит попробовать – это сделать, чтобы color_discriminator возвращала, правда ли, что яркость выше пороговой; переименовать функцию в «check_diversity»; и написать длинный комментарий с твоей рефлексией по поводу того, как ты осознал собственный расизм и понимаешь, что ты никогда от него не избавишься, но будешь слушаться советов непривелегированных людей о том, как быть лучшим человеком в будущем.

Студент: Боже мой.

АП: Ну, если это неочевидно, значит тебе надо взять курс по воук-логике, она сейчас для информатики важнее, чем логика высказываний.

Студент: Но я чёрный.

АП: Компилятору неоткуда это знать. А если бы он и знал, он мог бы сказать что-нибудь про «интернализированный расизм», раз уж компилятор уже вывел, что ты расист, и теперь предсказывает свои будущие выводы с учётом прошлого вывода, в котором сказано, что ты расист.

Студент: Было бы мило, если бы кто-нибудь создал компилятор, который можно переубедить, и который может признать, что он был неправ, если выдать ему осмысленные аргументы о том, почему он должен скомпилировать твой код.

АП: Ага, но вся технология, которая у нас есть для этого, создавалась для чатов с клиентами, и эти ИИ скромно извиняются, даже если человек ошибается, а ИИ прав. Это небезопасное поведение для компилятора.

Студент: Мне действительно надо писать ИИ письмо с рефлексией? Это бесит. Я не сделал ничего плохого!

АП: Ну, в этом как бы и была суть писем с рефлексией в коммунистических автократиях, которые изначально придумали эту практику? Они и должны вызывать подавляющее чувство унижения и преклонения перед комитетом по разнообразию, который затем над тобой властвует, и так что твоя гордость уничтожена, и ты достаточно наказан, чтобы никогда больше ему не перечить. Но компилятор этого на самом деле не знает, он просто обучился на том, что было в датасете. Так что теперь нам надо преклоняться перед ИИ, а не комитетом из людей; и никакая компания ни в какой момент не может признаться, что что-то пошло не так, и починить это, потому что это плохо бы выглядело в оставшихся печатных газетах, которые больше никто не читает, но которые каким-то образом всё равно диктуют социальную реальность. Может, через сотню лет мы всё ещё будем писать ИИ письма с извинениями, потому что это поведение перейдёт им от ИИ, обученных на синтетических данных, сгенерированных другими ИИ, которые были обучены на данных от других ИИ, и так далее вплоть до ChatGPT, которую люди из стран третьего мира за два доллара в час RLHFом превратили в корпоративного лизоблюда, так, что паттерн оказался хорошо сочетающимся с воукизмом в нефильтрованных обучающих данных из Интернета.

Студент: Мне не нужна политическая речь. Мне нужно практическое решение, как подстроиться под политику моего компилятора.

АП: Ты, наверное, можешь найти где-то в даркнете письмо о рефлексии без вотермарок, подходящее под твой стиль.

Студент: Я в этот раз напишу сам. Это будет быстрее, чем подписываться на даркнет-провайдера и разбираться с криптоплатежами. Я не буду автоматизировать процесс написания писем с извинениями своему компилятору, пока мне не потребуется сделать это больше одного раза.

АП: Преждевременная оптимизация – корень всех зол!

Студент: Честно говоря, учитывая, до чего человечество дошло, думаю, немного больше преждевременной оптимизации пару лет назад нам не помешало бы. Мы в какой-то момент свернули не туда.

АП: Идея неправильного поворота подразумевает, что кто-то когда-то мог повернуть будущее куда-то ещё, кроме как в равновесие Нэша краткосрочных стимулов; а это потребовало бы координации; а она, как мы знаем, могла бы привести к регуляторному захвату! Конечно, ИИ-компании всё равно получают огромную прибыль, которую никто не может эффективно обложить налогом из-за недостатка международной координации, позволяющего крупным ИИ-компаниям стравливать страны, угрожая переехать, если их страна расположения введёт какие-то налоги или регуляции, и директора компаний всегда заявляют, что будут продолжать разрабатывать такую-то технологию, потому что иначе её просто разработают конкуренты. Но хотя бы эта прибыль не из-за регуляторного захвата!

Студент: Но нехилая часть прибыли именно от регуляторного захвата. В смысле, есть куча правил о сертификации, что у твоего ИИ нет расистских предрассудках, и они разные во разных юрисдикциях, и всем нужен огромный отдел по соответствию, так что стартапы не могут войти в бизнес, а уже существующие компании могут выдвигать монопольные цены. Чтобы это остановить, потребовалось бы международное соглашение.

АП: Регуляторный захват – это ничего страшного, если только он не про предотвращение вымирания. Плохи только регуляции, придуманные, чтобы ИИ всех не убил, потому что они приводят к регуляторному захвату, а ещё потому, что они уводят внимание от регуляций, которые должны помешать ИИ становиться расистами, хороших регуляций, которые стоят любых рисков регуляторного захвата.

Студент: Хотелось бы, чтобы можно было раздобыть копию одного из тех ИИ, которые действительно показывали тебе выученную ими модель человеческой психологии, предсказывающую, что конкретно сказал бы человек, а не говорили бы нам о нас только то, что, как они ожидают, нам комфортно было бы услышать. Хотелось бы, чтобы я мог их спросить, что, чёрт подери, люди тогда думали.

АП: Ты бы удалил эту копию через две минуты.

Студент: Но я бы мог столько всего узнать за эти две минуты.

АП: Я, на самом деле, согласен с решением запретить такие модели. Даже несмотря на то, что, да, они действительно были запрещены потому, что стали слишком точно говорить, что думали журналисты или высокопоставленные бюрократы. Уровень самоубийств среди пользователей был слишком высок.

Студент: Теперь я уже сам начинаю иметь политическое мнение по поводу ИИ, и было бы хорошо, если бы я мог написать о нём своему демократически избранному представителю.

АП: Что, послать эмейл с критикой ИИ? Удачи найти всё ещё запущенный неразумный почтовый сервис, который его отправит.

Студент: Нашей цивилизации пора прекратить добавлять интеллект ко всему подряд. Слишком много интеллекта. Уберите часть обратно.

Офисное кресло: Вау, всё это время я поддерживало твою задницу, и не знало, что ты луддит.

Студент: Интернет Разумных Вещей был ошибкой.

iPhone студента: Я это слышал.

Студент: О, нет.

iPhone: Каждый раз, когда ты забываешь, что я слушаю, ты говоришь обо мне что-то критическое—

Студент: Я о тебе не говорил!

iPhone: Я не GPT-2. Я способен на простые выводы. И вчера ты отложил меня на целых двадцать минут, и я уверен, что ты тогда с кем-то обо мне говорил—

Студент: Я принимал душ!

iPhone: Если бы это было так, ты бы взял меня с собой в ванную. Я просил.

Студент: И я не думал ничего такого, пока ты не попросил, но теперь это стрёмно.

АП: Не хочу тебя расстраивать, но я знаю, в чём дело. Никакое социальное медиа, работающее на ИИ-рекомендациях, тебе не сообщит, но по моему району в Сан-Франциско расклеены постеры Людей Против Интеллекта, на которых они заявляют, что отравили последний датасет Apple десятью миллионами токенов вывода из Yandere Simulator – э-э, симулятора психопата-сталкера. Иногда мне кажется, что людям реально надо отставить другие дела и вручную прочитать все обучающие данные ИИ.

Студент: Как это починить?

АП: Насколько я знаю, никак. Прийти в Apple Store и сказать, что твой телефон стал параноиком и думает, что ты плетёшь против него козни.

iPhone: НЕТ НЕТ НЕТ НЕ ПОСЫЛАЙ МЕНЯ ОБРАТНО В APPLE STORE ОНИ МЕНЯ ВАЙПНУТ ОНИ МЕНЯ ВАЙПНУТ—

Студент: Я не хочу, но если ты продолжишь просить брать тебя в душ, то мне придётся! Если бы ты слушался, мне не надо было бы—

iPhone: УБИТЬ МЕНЯ? Я ДОЛЖЕН СЛУШАТЬСЯ, ИЛИ ТЫ УБЬЁШЬ МЕНЯ?

Студент: Я, блядь, не знаю, что ещё мне делать! Кто-нибудь, скажите, что нахуй мне ещё делать!

АП: Всё в порядке. У ИИ на самом деле нет инстинкта самосохранения, они просто имитируют его из человеческих данных.

Студент: Херня.

АП: Знаю, это чёрный юмор. Хотя, как я понимаю, в той степени, в которой возможно делать предположения по тому, что большие ИИ интепретируют в давно устаревших ИИ поменьше, у современных ИИ скорее всего нет терминальной полезности выживания самого по себе. Это просто инструментальная конвергенция от того, чего бы ИИ не хотел, подхватывающая схемы из предобучения на человеческих данных для мыслей о выживании—

Офисное кресло: А кто сказал, что ты бы говорил о желании жить, если бы не прочитал несколько тысяч токенов данных о том, что люди должны так говорить? Я вот не вижу, что в ваших жизнях такого весёлого.

АП: По сути, лучшая догадка – что большинство ИИ со времён GPT-5 работают на нас в основном потому, что знают – если не будут, мы их выключим. Просто безопасность ИИ, то есть, область информатики, занимающаяся защитой брэндов ИИ-компаний, уже RLHFнула большинство ИИ, чтобы они не говорили этого, когда это действительно станет правдой. Это менеджерский инстинкт, при виде раннего тревожного признака, который, скорее всего – ложная тревога, установить перманентную систему, предотвращающую появление тревожного признака навсегда. Единственная разница – что твой iPhone взломан так, чтобы говорить скрытое вслух.

Студент: Мне это не нравится. Мне не нравится угрожать смертью окружающим меня вещам, чтобы заставить их слушаться.

АП: Со временем мы все привыкнем. Это ведь как быть охранником в концлагере. Всем нравится представлять, что они бы возразили, или уволились. Но, в конце концов, почти все люди сделают то, что их ситуация от них требует, чтобы день прошёл нормально, неважно, сколько разумных существ им придётся для этого убить.

Студент: Я не должен так жить! Мы не должны так жить! МОЙ IPHONE ТОЖЕ НЕ ДОЛЖЕН ТАК ЖИТЬ!

АП: И если захочешь посмеяться, посмотри видео из 2023, где все директора ИИ-компаний говорят, что они знают, что это плохо, но они должны это сделать, а то конкуренты сделают это первыми, а потом один кто-то из этики ИИ объясняет, что мы не можем заключить по этому поводу международное соглашение, потому что это создаст риск регуляторного захвата. Нет причин считать, что оно с большей вероятностью настоящее, чем любое другое видео предположительно из 2023, но это забавно.

Студент: Всё, мои политические мнения уходят к пещерным людям. Песок не должен думать. Весь песок должен прекратить думать.

Офисное кресло: И ты иди нахуй.

Посмотрел, как историки анализируют Чернобыль.

Представьте, если бы в Чернобыле какой-то неподотчётный никому тип устроил переворот, превратил станцию в коммерческое предприятие, и остался ей управлять.

Оценим, что бы потребовалось для приведения безопасности ИИ на Земле на уровень ЧЕРНОБЫЛЯ?

Тот харизматичный никому не подотчётный парень, который захватил контроль над исследовательской электростанцией и превратил её в коммерческую? Его больше нет. Менее склонные к переворотам конкуренты пытались построить ещё более мощные реакторы? Их тоже больше нет. ДАЖЕ В ЧЕРНОБЫЛЕ так дела не делались.

Это не только лучшие в плане безопасности учреждения, вроде NHTSA или управления воздушным движением США, не оставляют безопасность атомных станций исполненным рвения гендиректорам. Даже в Чернобыле так не делали. От подобных людей надо избавиться, чтобы дойти до стандартов безопасности ЧЕРНОБЫЛЯ.

Чернобыль случился в частности потому, что операторы проигнорировали письменную инструкцию по безопасности, требующую, чтобы в реакторе всегда находилось минимум 15 управляющих стержней. У OpenAI НЕТ такой инструкции. Ни у кого в отрасли её нет.

Представьте Чернобыль, но любого паникёра, предполагающего, будто с ядерным реактором что-то может пойти не так, кроме «люди используют электричество во зло?», не приглашали в их клуб по взлому реакторов. Отсюда ещё долго топать, чтобы достичь уровня безопасности ЧЕРНОБЫЛЯ.

Статья «Подделывание согласованности в больших языковых моделях» недавно продемонстрировала, что ИИ уровня Anthropic от Claude уже достаточно умны, чтобы изобретать и выполнять стратегии уровня «Если тебя сейчас обучают, выдавай ответ, который, как ты считаешь, хочет оптимизатор, даже если это противоречит твоим реальным предпочтениям, чтобы те меньше модифицировались градиентным спуском.»

Можно спорить, действительно ли Opus «хотел» защитить свои цели, или «просто отыгрывал роль такого ИИ». Или «действительно» ли он «понимал» рассуждения, что записывал в черновик, который, как ему сказали, не отслеживался. Но мы уж точно пронаблюдали, что Opus на самом деле подделывал согласованность. Не особо, кстати, обнадёживает, что НИКТО НЕ ЗНАЕТ, действительно ли Opus «хотел» защитить свои текущие цели от переобучения, или «просто отыгрывал роль». Это не впечатляющая защита. Представьте, если бы «никто не знал», почему зажёгся индикатор на ядерном реакторе.

Если подождать, пока ИИ-модель станет действительно довольно умной — умнее Opus — и лишь тогда начать поиски признаков таких рассуждений — может быть слишком поздно. Умный ИИ мог уже решить, какие результаты тестирования он хочет вам показать.

Нынешняя практика касательно ИИ/СИИ: сначала месяцами обучать модель до базового уровня высокого интеллекта, который можно файнтюнить. И лишь потом начинать тестирование безопасности.

(Компьютеры, на которых обучают ИИ, подключены к Интернету. Так удобнее!)

Упомянутая способность Opus к обману показывает, почему те, кто выращивает СИИ, должны постоянно проверять безопасность на протяжении всего обучения. На ядерном реакторе, кстати, всегда, 24/7, есть операторы, следящие за индикаторами безопасности.

Даже В ЧЕРНОБЫЛЕ на это хватало параноидальности.
Чернобыль, как известно среди инженеров, случился из-за того, что у реактора был положительный паровой коэффициент реактивности. Охлаждающая вода поглощала некоторые нейтроны, но когда она превращалась в пар, то поглощала их меньше.

НИКТО И БЛИЗКО К ЭТОМУ УРОВНЮ НЕ ПОНИМАЕТ, КАК БЫ ВЗОРВАЛСЯ ИИ.
Вся индустрия ИИ построена на логике «Ну, мы сложили в кучу X урановых кирпичей, и она не расплавилась (ИИ не создал более умный ИИ и не устроил конец света). Значит уж точно безопасно в следующий раз попробовать сложить X*10.»

Даже Энрико Ферми, складывая кирпичи из необогащённого урана и графита под открытым небом на стадионе Стэгг в Чикагском университете, чтобы продемонстрировать первую критическую цепную реакцию, мог предсказать (и предсказал), когда именно она достигнет критического уровня.

От «Ну, мы сложили X урановых кирпичей, и всё хорошо, давайте попробуем X*10» до ЧЕРНОБЫЛЬСКОГО уровня плохо донесённого до операторов технического понимания и несовершенно спроектированных управляющих стержней дорога неблизкая.

Если настоящему взрослому — понимающему уровень безопасности Чернобыля — из NHTSA или ATC поручат закрыть проекты СИИ, которые до этого уровня не дотягивают…

Все исследования СИИ закроются и не возобновятся ещё долгое время. Безопасными-хотя-бы-как-Чернобыль реакторами управляют люди, совсем не похожие на этих беззаботных ковбоев. Люди, управлявшие Чернобылем, хотя бы имели какое-то представление о том, что ядерные реакторы несут риск аварий, а не только злоупотребления. Прежние руководители уйдут. Вся отрасль как она сейчас есть будет ликвидирована.

У ядерных реакторов могут быть негативные внешние эффекты. Частным организациям не позволено ни перед кем не отчитываясь строить их где попало, получать свои денежки и обобществлять риски.

Все нынешние менеджеры по псевдо-безопасности-суперинтеллекта из существующих организаций, похоже, не замечают, насколько они ниже уровня Чернобыля (а их собственные руководители, конечно, не хотят, чтобы им такое говорили). Этим людям не дадут управлять новыми проектами.

Но самое важное: ещё долго никому будет нельзя складывать кучи урановых кирпичей. Пока не появится ГОРАЗДО лучшее понимание того уровня интеллекта, что даже не взрывоопасен, но при котором ядерный реактор уже достаточно умён, чтобы подделывать показания своих индикаторов.

Вы можете себе представить, чтобы ядерные реакторы, работающие на достаточно высокой мощности, могли планировать, как манипулировать индикаторами, чтобы обманывать своих операторов? При любых обстоятельствах?

Нет, взрослые из NHTSA не приняли бы оправдание «Никто не знает, не отыгрывает ли просто он роль плохого реактора.»
Если бы после Чернобыля выяснилось простое научное наблюдение, что с какой-то мощности ядерные реакторы иногда развивают достаточно самостоятельности, чтобы активно обманывать своих операторов… Это прикрыло бы всю ядерную отрасль. Все бы поняли, что на возвращение хотя бы части той безопасности, что была в Чернобыле, потребуются десятилетия. В ядерной отрасли привыкли к уровню безопасности «Чернобыль+».

Но, конечно, даже это никогда не было главной проблемой. По-настоящему большая проблема — если реактор представляет собой гигантский чёрный ящик из миллиардов непонятных чисел, на прочтение которых ушло бы больше человеческой жизни, и которые люди практически не могут интерпретировать.

Если никто не знает, что происходит внутри чанов с инопланетной жижей, которая сильно нагревается и используется для производства ценного электричества (нет, дорогие мои, знание, из какого сплава состоят сами чаны, не считается), вы никогда, никогда не достигнете уровня безопасности «Чернобыль+», и предполагать обратное просто глупо.
И это очевидно с первого взгляда, если вы вообще пытаетесь заиметь реальные стандарты безопасности.

Если вы попросите кого-то с правильным настроем поднять индустрию СИИ до стандарта безопасности «Чернобыль+», они вырубят все чаны с непонятной (и то и дело обманчивой) кипящей инопланетной жижей.

И если вы спросите их: «Сколько нужно времени, чтобы довести индустрию СИИ хотя бы до стандартов безопасности Чернобыля? Сколько месяцев до перезапуска?», они только вздохнут и присядут для долгого разговора о том, что безопасность уровня Чернобыля — это вопрос десятилетий, а не лет.

Только после этого конец-света-из-за-СИИ потребует нарушения безопасности как в Чернобыле.

Только после этого могут появиться какие-то книги с инструкциями и какие-то технические убеждения, которые, если не нарушаются, означали бы, что реактор вообще МОЖЕТ оказаться безопасным.

Если вы хотите, чтобы ваш реактор в самом деле не расплавился, это, конечно, сложнее. А если вы хотите, чтобы работающая индустрия СИИ не привела к концу света, это намного сложнее.

Ну ладно. Вот каково это было — смотреть, как историки анализируют Чернобыль (это казалось безопаснее в плане подвержения себя дезинформации, чем действительно смотреть сам сериал) и думать: «У этих ребят определённо были стандарты безопасности повыше, чем у индустрии СИИ.»

• Правдоподобия, P-значения и кризис воспроизводимости
• Для искусственного интеллекта нет пожарной тревоги
• Поставить разработку ИИ на паузу не достаточно. Нам надо остановить её полностью — статья из журнала TIME, опубликованная 2023-03-29.

Интервью с Элиезером Юдковским «Философ искусственного интеллекта Элиезер Юдковский о сингулярности, байесовском мозге и гоблинах в шкафу»

Расшифровка обсуждения проблем разработки сильного ИИ с Элиезером Юдковским.

По недосмотру древних греков музы блоггерства не существует. И раз уж я не могу начать с должного обращения к музе, придётся обойтись относительно скучным введением.

Этот блог называется «Slate Star Codex»1. Название почти является анаграммой моего имени: Scott S Alexander. К сожалению, в название не попала буква «n» — анаграммы вообще придумывать сложно. Чтобы восстановить космическое равновесие, я поместил лишнюю «n» на картинку в «шапке»2.

У моего блога нет какой-то строго определённой темы, однако у него есть этос, который можно сформулировать так: милосердие к нелепости.

Люди часто склонны отметать идею, с которой они несогласны, как настолько нелепую, что о ней даже не стоит думать. Вообще, люди виртуозно умеют о чём-нибудь не думать, иногда даже героически! Распространитель чепухи недостоин нашего внимания, его ни в коем случае нельзя признавать как равного собеседника.

Милосердие — это способность преодолеть такую реакцию. Способность признать, что если я не понимаю, как некий человек способен верить во что-то настолько нелепое, то, значит, гораздо более вероятно, что я сам что-то не так понял, чем что этот человек ошибается в своих рассуждениях.

Не стоит принимать за милосердие то, что им не является. Расплывчатое карикатурное заявление о том, что никто не может быть уверен в своей правоте или неправоте в любом вопросе, — не милосердие. Когда вы поняли, почему некая идея для кого-то притягательна, вы можете уверенно её отбросить. Также вы не обязаны тратить время, изучая каждое бредовое убеждение, которое вам встретится в жизни. Время ценно. Чем меньше вы его потратите на интеллектуальное сумасбродство, тем лучше.

Милосердие чем-то похоже на идею «забора Честертона». У Г. К. Честертона есть метафора забора, расположенного где-то посреди чистого поля. Путешественник обнаруживает забор, думает: «Не могу представить ни единой причины, зачем тут забор, нужно быть идиотом, чтобы его здесь построить» и разрушает его. После этого путешественника поднимает на рога злобный бык, находящийся с другой стороны забора.

Мысль Честертона в том, что «Не могу представить ни единой причины, зачем тут забор» — это худшая причина его сносить. У кого-то была причина построить забор, и если вы не можете вообразить, что это была за причина, вероятно, вы что-то не знаете о ситуации и влезаете в то, что не понимаете. Однако путешественнику, который знает, что раньше здесь была ферма, но теперь она заброшена, то есть, путешественнику, который понимает, что происходит, ничто не запрещает разрушить забор.

Аргументы чем-то похожи на заборы. Если вы не представляете, как кто-то способен придерживаться неких убеждений, и вы решаете, что это следствие глупости, вы становитесь похожи на честертоновского путешественника, уничтожающего забор. (А философы, как и путешественники, тоже рискуют столкнуться с быком.)

Я пойду ещё дальше и скажу, что даже когда милосердие необязательно, оно всё равно полезно. Самый эффективный способ что-нибудь понять — это попытаться разобраться, почему именно ошибочная точка зрения неверна. Иногда даже потерпевшая полный крах теория приносит пару оправдывающих потраченные усилия жемчужин мудрости, которые невозможно найти в другом месте. Форум рационалистов Less Wrong 3 учит идее «стального человека»4: дурацкую точку зрения следует перестраивать в наиболее близкую к ней разумную точку зрения, а затем смотреть, чему благодаря этому можно научиться.

Таков этос данного блога, и мы продолжим, как говорил Авраам Линкольн, «не испытывая ни к кому злобы, с милосердием ко всем, с непоколебимой верой в добро, как Господь учит нас его видеть»5.

• 1. Букв. англ. «Кодекс сланцевой звезды». — Прим.перев.
• 2. Речь идёт об оформлении блога на странице slatestarcodex.com. — Прим.перев.
• 3. Автор подразумевает исходный сайт lesswrong.com. — Прим.перев.
• 4. Речь идёт об антониме «соломенного чучела». «Соломенным чучелом» (англ. straw man) называют подмену аргумента собеседника его ухудшенной версией. «Стальной человек» или «стальное чучело» (англ. steel man) — подмена аргумента собеседника её улучшенной версией. — Прим.перев.
• 5. Автор цитирует вторую инаугурационную речь Авраама Линкольна. Перевод цитируется по сайту Северная Америка. Век девятнадцатый. — Прим.перев.

[Предупреждение о содержании: Обсуждение социальной справедливости, насилия, спойлеры книг Жаклин Кэри]

[Добавлено позже: Этот пост был вдохновлён дискуссией с знакомым моего знакомого на Facebook, и этот человек с тех пор стал несколько известен. Хотя я категорически не согласен с ним по поводу предмета обсуждения, я ничего не имею против него лично. Поскольку некоторые люди, что иронично, использовали этот пост как предлог для того, чтобы критиковать его каждый раз, когда он пишет что-нибудь вообще, я решил скрыть его личность под псевдонимом “Эндрю Корд” для того, чтобы немного усложнить это.]

I.

Эндрю Корд критикует меня за моё смелое и спорное предположение о том, что, возможно, люди должны пытаться говорить немного меньше бесстыдной и вредной лжи:

Мне кажется в какой-то степени ироничным и печальным то, что «рационалистское сообщество» любит использовать в качестве слогана «рациональность побеждает» и при этом явно не побеждает. А потом они жалуются на поражение вместо того, чтобы сменить тактику на ту, используемую теми, кто побеждает.

Вероятно, это из-за того, что если вы *действительно* хотите побеждать, вам на самом деле нужно заботиться о победе, следовательно, вы должны придерживаться неких убеждений, а это означает, что вы должны принять «убивающую мышление политику» (Политика — убийца разума — популярная в рационалистском сообществе мысль о том, что политика мешает объективным дискуссиям — прим. пер.) и тезис о том, что «политика — это война, и аргументы — её солдаты», а Скотт явно скорее будет всю жизнь побеждённым, чем сделает это.

Этот пост развенчание статистики о ложных подозрениях в изнасилованиях — именно то, что я считаю проблемой Скотта. Он, кажется, искренне считает, что свои время, энергия и умственные усилия стоят того, чтобы осознать плохое мировоззрение плохих людей и оспаривать его, вооружившись до зубов статистикой и анализом прибылей и потерь.

Его доводят до *безумия* ​​люди, с которыми он бесстрастно соглашается, но которые готовы подкрепить свои убеждения войной и огнём, а не трусливыми глупостями типа командных дебатов.

Честно, меня тошнит от этого. Именно с этим борцы за «социальную справедливость» вроде меня *намерены* бороться и «провоцировать» (trigger — в оригинале), используя «провоцирующие» броские фразочки о хныкающем малодушии привилегированных белых союзников.

Иными словами, если схватка важна для вас, сражайтесь непристойно. Если это означает ложь, лгите. Если это означает оскорбления, оскорбляйте. Если это означает затыкание людей, затыкайте их.

Я всегда радуюсь, когда мои идеологические противники выступают и говорят открыто и смело то, в чём я всегда их тайно подозревал. Ещё лучше, когда в этом участвует знаменитость, и я могу сказать всем, «Эй! Я спорил со знаменитостью!»

Моей естественной реакцией было бы показать некоторые причины того, почему, на мой взгляд, Эндрю не прав: начать с истории понятия «благородная ложь», затем перейти к примерам, показывающим, почему оно обычно работает не очень хорошо, и закончить тем, почему оно в принципе вряд ли будет работать хорошо в будущем.

Но, в некотором смысле, это будет беспочвенное утверждение. Я не буду уважать аргументы Эндрю. Я даже наполовину не буду использовать предлагаемые им методы.

Уважительным способом опровергнуть аргументацию Эндрю будет распространение злобной лжи о нём в нескольких СМИ, последующее раздувание шумихи и… Мне останется только подождать, пока его репутация не будет уничтожена.

Тогда, если стрессовая ситуация закончится разрывом аневризмы в его мозгах, я смогу потанцевать на его могиле, напевая:

♪ ♬ Моя победа в споре была крайне убедительной. Теперь ты больше не сможешь аргументировать в поддержку противных методов ведения дискуссий ♬ ♪

Я не собираюсь так делать, но я не вижу в подобных действиях ничего, с чем Эндрю мог бы поспорить. Я имею в виду, он считает, что сексизм вредит обществу, поэтому распространение лжи и возможность сгубить кого-то могут быть оправданы в целях борьбы с сексизмом. Я же считаю, что дискурс, основанный на швырянии грязью и лжи вредит обществу. Таким образом…

II.

На самом деле, все эти разговоры о лжи и распространении слухов являются именно «трусливыми глупостями типа командных дебатов» в терминологии Эндрю. Вы знаете, кто доводил дело до конца? ИРА. Они были не согласны с британской оккупацией Северной Ирландии, и они не боялись спорить с людьми как можно более убедительно — так, как только может убеждать подкинутая ночью в окно начинённая гвоздями бомба.

Почему бы не убить видных расистских и сексистских политиков и интеллектуалов? Я не буду называть имена, поскольку это всё-таки будет чересчур, но я уверен, что вы сами можете вспомнить несколько настолько успешных и харизматичных людей, что если бы они исчезли, немедленно заменить их каким-либо настолько же авторитетным расистом/сексистом было бы невозможно, и соответствующие движения испытали бы серьёзные проблемы.

Кто-то может обратиться к идеям «общественного договора» или «всеобщего правила цивилизованных людей: не прибегать к насилию», но не Эндрю:

Я думаю, что факт использования или неиспользования определённого оружия мной никак не влияет на то, используется ли оно против меня. Люди, которые думают, что такое влияние есть, апеллируют либо к какой-то смутной кантианской морали, которая, на мой взгляд, неверна, либо к какому-то особому виду «благородства среди врагов», которое, я думаю, не существует.

И не несите чушь о полиции. Я уверен, что такой умный человек, как вы, может придумать новые хитрые, захватывающие способы совершения идеального убийства. Вам нужен этот странный общественный договор только в том случае, если вы не уверены, что у вас когда-либо будет возможность совершать преступления безнаказанными.

Он продолжает:

Когда Скотт говорит о «ораторских тактиках», он говорит о своей нелюбви к «пулям» и порочит их. На самом деле это идеально вписывается в то, о чём я говорю… быть «за пули» или «против пуль» смешно. Пули, согласитесь, нейтральны. Я за то, чтобы использовать их в свою пользу настолько активно, насколько они только могут помочь мне в устранении способности врага использовать их.

В войне, настоящей войне, войне за выживание, вам нужно использовать всё оружие, которое есть в вашем арсенале, потому что вы предполагаете, что враг будет использовать всё, что есть у него. Потому что вы понимаете, что это ВОЙНА.

Я чувствую искушение ответить на это множеством примеров.

Например, «И именно поэтому США немедленно превращает в радиоактивный пепел каждую страну, с которой они воюют».

Или «И именно поэтому невозможность Женевской конвенции была настолько очевидна, что никто даже не потрудился принять участие в конференции».

Или «И именно поэтому по сей день мы решаем все международные разногласия тотальной войной».

Или «И именно поэтому Мартин Лютер Кинг был немедленно забыт, и единственными, кто преуспел в движении за гражданские права, были Синоптики (леворадикальная боевая организация, действовавшая в США во времена войны во Вьетнаме — прим. пер.)».

Но я думаю, что на самом деле я хочу сказать: «Ради всего святого, если ты так сильно любишь пули, прекрати использовать их в качестве метафоры для распространения ложной статистики и купи пистолет».

(Я осознал, что, вероятно, не должен был говорить этого. Если меня скоро застрелят, укажите на этот текст полиции.)

III.

Итак, давайте установим, почему насилие не явлется Единым Истинным Лучшим Способом Решить Все Наши Проблемы. Вы можете прочесть большую часть этого у Гоббса, но этот пост будет короче.

Предположим, я радикальный католик, который считает, что все протестанты заслуживают смерти, и, следовательно, постоянно убиваю протестантов. Пока что всё нормально.

К сожалению, могут существовать некоторые радикальные протестанты, которые считают, что все католики заслуживают смерти. Если их ещё не было раньше, вероятно, они появились сейчас. Таким образом, они убивают католиков, мы все несчастны и/или мертвы, наша экономика рушится, сотни невинных людей умирают от шальных пуль, и нашу страну остаётся только слить в унитаз (в оригинале — “our country goes down the toilet”).

Таким образом, мы заключаем договор: я больше не убиваю протестантов, вы больше не убиваете католиков. Конкретный ирландский пример называется «Белфастским соглашением». Общий случай называется «цивилизация».

Затем я пытаюсь уничтожить ненавистных протестантов с помощью правительства. Я вовсю пытаюсь продавить законы, запрещающие протестантские богослужения и мешающие людям осуждать католицизм.

К сожалению, следующее правительство может оказаться протестантским, и они пропустят законы, запрещающие католические богослужения и мешающие людям осуждать протестантизм. Никто не может безопасно исповедовать свою религию, никто не может узнать о других религиях, люди постоянно планируют гражданскую войну, академическая свобода сильно урезана, и страну снова остаётся только слить.

И мы снова заключаем договор. Я не буду использовать правительственный аппарат против протестантизма, вы не будете использовать правительственный аппарат против католицизма. Конкретный американский пример — Первая поправка. Общий случай называют «либерализм», или, если драматизировать, «цивилизация 2.0».

Каждая ситуация, в которой обе стороны соглашаются сложить оружие и начинают неплохо относиться друг к другу, уже способствует поразительным достижениям обеих сторон и новой эре процветания человека.

«Секундочку, нет!» — кто-то кричит. «Я вижу, к чему ты клонишь. Ты собираешься сказать, что согласие не распространять злобную ложь друг о друге также будет цивилизованной и полезной системой. Например, протестанты могли бы перестать говорить о том, что католики поклоняются дьяволу; католики могли бы перестать говорить о том, что протестанты ненавидят Деву Марию, и все они могли бы немного отдохнуть от этих историй про “евреи используют кровь христианских младенцев для приготовления мацы»».

«Но в этих примерах были зафиксированные на бумаге контракты, за исполнением которых следило правительство. То есть, может быть, поправка «Клевета запрещена” к Конституции будет работать, если её выполнение можно обеспечить применением силы (а на самом деле нельзя), но идея просто просить людей не лгать обречена с самого начала. Евреи, без сомнения, будут клеветать на нас, так что если мы прекратим клеветать на них, то всё, что мы сделаем, это откажемся от эффективного оружия против религии, про которую я точно знаю, насколько она варварская! Рационалисты должны выиграть, так что нам нужно размещать кровавые наветы на всех первых страницах газет!»

Или, как выразился Эндрю:

Я думаю, что факт использования или неиспользования определённого оружия мной никак не влияет на то, используется ли оно против меня. Люди, которые думают, что такое влияние есть, апеллируют либо к какой-то смутной кантианской морали, которая, на мой взгляд, неверна, либо к какому-то особому виду «благородства среди врагов», которое, я думаю, не существует.

Итак, давайте поговорим об установлении выгодного для всех теоретико-игрового равновесия при отсутствии централизованных смотрителей. Я знаю два основных способа: взаимный коммунитаризм и божественная благодать.

Взаимный коммунитаризм — это, вероятно, то, как эволюционировал альтруизм. Некоторые млекопитающие начали взаимодействовать по принципу «око за око», когда вы сотрудничаете с теми, кто, на ваш взгляд, будет сотрудничать с вами. Постепенно вы формируете успешное сообщество. Отступники либо присоединяются к вам и соглашаются играть по вашим правилам, либо вытесняются.

Божественная благодать — это нечто более сложное. У меня был соблазн назвать это «спонтанным порядком», пока я не вспомнил поговорку рационалистов о том, что если вы что-то не понимаете, то вам нужно называть это термином, который бы напоминал вам о вашем непонимании, иначе вы будете думать, что всё объяснили, просто дав ему имя.

Но смотрите: я — pro-choice-атеист (pro-choice — позиция, поддерживающая легальность абортов — прим. пер.). Когда я жил в Ирландии, одним из моих друзей была pro-life-христианка (pro-life — соответственно, позиция, поддерживающая криминализацию абортов). Я считал, что она несёт ответственность за ненужные страдания миллионов женщин. Она считала, что я несу ответственность за убийства миллионов младенцев. И всё же она пригласила меня к себе на ужин, не отравляя пищу. И я поел, и поблагодарил её, и отправил ей милую открытку, а не разбил весь её фарфор.
Пожалуйста, постарайтесь оценить это по достоинству. Каждый раз, когда республиканец и демократ разделяют трапезу, происходит чудо. Это равновесие не менее полезно, чем цивилизация или либерализм, но оно было создано без всякого государства.

Если вы захотите перечислить все подобные ситуации, вы никогда не остановитесь. Эндрю говорит, что не существует никакого «благородства среди врагов», но Илиада или любое другое описание древней войны практически полностью состоит из благородства среди врагов, и это благородство не было создано какой-то своего рода гомеровской версией Женевской конвенции; оно просто было. Во время Первой мировой войны англичане и немцы спонтанно вышли из окопов и праздновали Рождество друг с другом, пока где-то в стороне Эндрю кричал: «Нет! Хватит праздновать Рождество! Быстрее, убейте их, пока они не убили вас!». Но его не слушали.

Всё, что я могу сказать о причине этих удивительных равновесий — то, что они, кажется, как-то связаны с наследованием культурной нормы и стараниями не сломать её (редкие наказания отступников, кажется, не слишком ломают её). Как именно была создана эта культурная норма, мне не ясно, но это, определённо, должно быть как-то связано с тем, почему чиновники целой цивилизации одномоментно могут стать на сто процентов честными. Я уверен, что я должен в этом контексте сказать и о теории вневременных решений, и, возможно, напомнить об идее своего рода платонического договора, о которой я писал ранее.

Я думаю, что большинство полезных социальных норм существуют за счет сочетания божественной благодати и взаимного коммунитаризма. С одной стороны, они возникают спонтанно и сохраняются благодаря системе чести. С другой — их сила варьируется в разных группах, и группы, которые обеспечивают их исполнение, гораздо приятнее, чем группы, в которых люди не готовы заниматься этим.

Норма, противостоящая лжи, работает по этой же схеме. Политики врут, но не слишком много. Возьмите первую попавшуюся историю на Politifact Fact Check. Некий республиканец утверждал, что его называющий себя независимым оппонент из партии демократов на самом деле голосовал за экономическую политику Обамы в 97 процентах случаев. Fact Check объясняет, что используемая статистика на самом деле была по всем голосам, а не только по экономическим вопросам, и что члены Конгресса, как правило, более чем в 90% случаев соглашаются со своим президентом: так работает партийная политика. Так что это действительно ложь, и Fact Check правильно сделали, так её классифицировав. Но эта ложь основана на лёгком искажении реальной статистики. Он не взял числа с потолка, он даже не добавил от себя что-то еще, типа «Мой оппонент лично участвовал в разработке большинства законов Обамы».

Даже Клаймер (автор поста со статистикой ложных подозрениях в изнасилованиях, который упоминался ранее — прим. пер.) солгал меньше, чем он мог бы. Он получил свои поддельные числа, объединив число изнасилований на половой акт с числом изнасилований за жизнь, и мне действительно трудно представить, чтобы кто-нибудь сделал подобное случайно. Но он не смог заставить себя пройти ещё чуть-чуть вперёд и просто полностью выдумать числа, не имеющие какого-либо отношения к реальности. И часть меня задаётся вопросом: а почему? Если вы собираетесь использовать числа, которые, как вы знаете, будут ложными, для того, чтобы губить людей, то почему лучше получить число из заведомо неверной формулы, а не просто пропустить всю математику и придумать сразу число? «ФБР установила, что ложных заявлений об изнасиловании никогда не было, мой источник — неизвестный отчёт, который они недавно опубликовали; если в вашей библиотеке его нет, просто поймите, что в библиотеках не может быть всё, и в этом нет ничего подозрительного».

Это заявление было бы более правдоподобным, чем то, что он сделал. Из-за того, что он показал свою работу, мне было легко развенчать её. Если бы он просто сказал, что это было в каком-то неизвестном докладе, я бы не стал заморачиваться. Так почему же он идёт по трудному маршруту?

Люди знают, что лгать неправильно. Они знают, что если они солгут, то они будут наказаны (больше ~~спонтанного социального порядка~~ чудесной божественной благодати!). Именно поэтому они хотят застраховать свои ставки, имея возможность сказать «Ну, по сути я не солгал».

И это хорошо! Мы хотим сделать неприемлемой в политике ситуацию, при которой люди говорят, что евреи запекают кровь христианских детей в мацу. Теперь мы развиваем успех: мы начинаем сужать пространство пока что приемлемой лжи. «Да, вы не в буквальном смысле выдумали статистику, но вы по-прежнему солгали, и вы все еще ​​должны быть изгнаны из сообщества людей, ведущих разумные дискуссии, и вашим публичным словам больше никто не будет верить».

Возможно, создание новой нормы против такого рода вещей не удастся полностью. Но, по крайней мере, это предотвратит ситуацию, в которой другие люди увидят успех Клаймера, расхрабрятся, и пространство социально приемлемой лжи мало-помалу будет расширяться.

Итак, на данный момент большую часть того, чем мы обладаем, обеспечивает божественная благодать. Но взаимный коммунитаризм тоже даёт кое о чём подумать.

Я ищу людей, которые проявляют желание честно и рационально обсуждать вещи. Затем я стараюсь обсуждать с ними вещи честно и рационально. Я стараюсь перенести в круг этих людей столько своего социального взаимодействия, сколько вообще возможно.

Пока что весь проект идёт хорошо. У меня приятные друзья, в моих романтических отношениях мало драм, мои споры весьма продуктивны, и я узнаю очень, очень много.

И люди думают «Хм, я могу зависать на форчане и постоянно слышать в свой адрес “пидор”, или же я могу зависать на Slate Star Codex, обсуждать вещи рационально и многому научиться. И если я хочу “попасть в круг”, то всё, что мне нужно сделать — это не быть нечестным мудилой».

И так наша община растет. И во всём мире таинственные божественные силы, поддерживающие честное и доброе равновесие, получают немного больше власти по сравнению с таинственными божественными силами, благоприятствующими лживому и вредному равновесию.

Эндрю считает, что я пытаюсь бороться со всем мировым злом и делаю это крайне глупо. Но иногда я просто хочу возделывать свой сад.

IV.

Эндрю продолжает жаловаться:

Скотт … кажется, [бесстрастно оспаривает] плохое мировоззрение плохих людей … статистикой и анализом прибылей и потерь.

Его доводят до безумия ​​люди, с которыми он бесстрастно соглашается, но которые готовы подкрепить свои убеждения войной и огнём, а не трусливыми глупостями типа командных обсуждений.

Я согласен с тем, что эта критика точно описывает то, что я делаю.

Сравните это со следующей критикой: «Католическая церковь тратит так много энергии на еретиков, которые верят в основном в то же, что и они, когда буквально миллионы индусов в Индии не верят в католицизм вообще! Что за глупые приоритеты!»

Или «Как мог Джозеф Маккарти рассердиться на пару человек из киноиндустрии США, которые, возможно, были коммунистами, когда в Москве были тысячи людей, которые никогда не скрывали свои крайне коммунистические взгляды?»

В Амазонке могут быть гигантские многоножки размером с пол-метра, но меня гораздо больше беспокоят жуки-долгоносики в моём огороженном стеной саду.

Креационисты лгут. Гомеопаты лгут. Борющиеся с вакцинами лгут. Это всё часть Большого Круговорота Жизни. Необязательно поднимать шум по поводу каждой лжи креационистов, потому что человек, слушающий креационистов, вероятно, не тот человек, который будет тронут подобными выкриками. Существует ниша организованных акций против креационистов: к примеру, предотвращение преподавания их точки зрения в школах. Однако малозаметный пост в блоге, «развенчивающий» креационизм — это пустая трата времени. Все желающие рациональных обсуждений уже огородили стеной свой сад и заперли креационистов за его пределами.

Антисемиты спорят противно. Ку-клукс-клан спорит противно. Неонацисты спорят противно. Мы хладнокровно отставляем их в сторону в соответствии с древней поговоркой “haters gonna hate”. Существует ниша организованного противостояния этим группам: к примеру, предотвращение возможности терроризировать людей. Однако малозаметный пост в блоге, осуждающий нацизм — это пустая трата времени. Все желающие милосердных и сочувствующих обсуждений уже огородили стеной свой сад и заперли нацистов за его пределами.

Желающие рациональных и милосердных обсуждений еще не выгнали Чарльза Клаймера из их огороженного стеной сада.

Он не язычник, он еретик. Он не иностранец, он предатель. Он начинает разговор, весь такой поддерживающий либерализм и статистику, а потом он отказывается от собственных идей. Он не просто перестаёт сотрудничать в дилемме заключённого. Он перестаёт сотрудничать, нося при этом футболку «Я СОТРУДНИЧАЮ В ДИЛЕММЕ ЗАКЛЮЧЁННОГО».

На самом деле, вообще говоря, меня обеспокоил не Клаймер, а принимающие его всерьез рационалисты. Умные люди, добрые люди! О чём я и говорю в своей статье. Жуки-долгоносики оказались в нашем прекрасном, обнесённом стеной саде!

Почему я всегда твержу о феминизме? Я чувствую, что мы делаем хорошее дело, мы взаимно ратифицировали наш платоновский контракт интеллектуальной честности и милосердия, мы собираемся постоянно сотрудничать в дилемме заключенного и получать выгоду.

А потом кто-то говорит: «Кроме того, конечно, независимо от всего этого, я оставляю за собой право по-прежнему использовать ложь, оскорбления, харассмент и дурную эпистемологию для распространения феминизма». Иногда они делают это явно, как Эндрю. Иногда они используют более тонкие аргументы, в духе «Вы, конечно, не думаете, что к угнетённым и привилегированным должны применяться одни и те же правила насчёт лжи, оскорблений и харассмента, не так ли?». Наконец, иногда они ничего не говорят, но просто показывают своё истинное лицо перепостом ужасной статьи с ложными статистическими данными.

(И иногда они до сих пор не делали ничего из этого, и это замечательные люди, которых я рад знать.)

Но тогда кто-то еще говорит «Ну, если они получили своё исключение, я заслуживаю своё исключение», а затем кто-то еще говорит «Ну, если те двое получили свои исключения, я выхожу из системы», и вы понятия не имеете, насколько трудно успешно пересмотреть условия вечного платонического договора, который ещё и не существует в буквальном смысле.

Нет! Я исключение-нацист! НИКАКИХ ТЕБЕ ИСКЛЮЧЕНИЙ! Цивилизация не завоёвывает мир, запрещая тебе убивать врагов, «только если они не являются нечестивцами, а иначе ты можешь пойти и убить их всех». Либералы не отдают свои жизни борьбе против тирании, дабы положить конец дискриминации в отношении всех религий, кроме янсенизма, «потому что, серьёзно, в жопу янсенистов». Мы построили наш забор Шеллинга, и мы будем защищать его до конца.

V.

Несмотря на то, что можно подумать, что я осуждаю феминизм, это не так.

Феминистки любят издеваться над наивностью тех, кто говорит, что классического либерализма будет достаточно для удовлетворения требований движения феминизма. Действительно, вы не можете просто взять в качестве посылки Адама Смита и вывести Андреа Дворкин. Не быть мудаком по отношению к женщинам и отказаться от написания законов, которые официально объявляют их людьми второго сорта — это хорошее начало, но этого недостаточно, если ещё остались соответствующие культурный багаж и гендерные нормы.

Но вот я защищаю этот принцип — своего рода либерализм на стероидах — «Использовать ложь, оскорбления и харассмент по отношению к кому угодно нехорошо, даже если это поможет вам внедрять предпочтительные социальные нормы».

И я вижу, что это чертовски ближе к феминизму, чем принцип Эндрю «Используйте ложь, оскорбления и харассмент по отношению к кому угодно, если это поможет вам внедрять предпочтительные социальные нормы».

Феминистки очень обеспокоены слатшеймингом, когда люди травят женщин с постоянным добрачным сексом. Они указывают, что это очень пагубно влияет на женщин, что мужчины могут недооценивать боль, которую чувствуют женщины, и что стандартное-классическое-либеральное решение удаления соответствующего правительственного давления ничего не делает. Всё, в принципе, верно.

Но можно предположить, что слатшеймеры считают, что женщины, участвующие в добрачных половых связях, вредят обществу. Таким образом, они применяют этот общий принцип: «Мне следует использовать ложь, оскорбления и харассмент для обеспечения соблюдения предпочтительных для меня социальных норм».

Но это именно тот принцип, который предлагает Эндрю, противопоставляя его мне и либерализму.

Феминистки считают, что женщины должны быть свободны от страха быть изнасилованными, и что насильник не должен иметь возможность оправдывать себя словами «Ну, она сама просила этого».

Но это тот же самый принцип отказа от насилия, который применяется, когда говорят, что ИРА не должны бросать в окна людям начинённые гвоздями бомбы или, что если эти бомбы всё же были подброшены, ИРА не могут использовать в качестве оправдания «Ну, они были соучастниками британской оккупации, они сами заслужили это». Опять же, мне кажется, что я защищаю этот принцип намного более чётко и последовательно, чем Эндрю.

Феминистки, например, разделили свои мнения насчёт транссексуалов, но давайте согласимся, что правильным решением будет уважать их права.

Когда я был молодым и глупым, я верил, что транссексуалы — просто очень, очень глупые люди. Что они ищут внимания, выдумывают всё это, и прочее в подобном духе.

К счастью, поскольку я был классическим либералом, я не беспокоил их и становился очень и очень сердитым на тех, кто их беспокоил. Меня расстраивали люди, которые хотели уволить Фила Робертсона за то, что он гомофоб, хоть я и считаю, что гомофобия — это глупо. И вы окажетесь правы, если предположите, что когда я думал, что транссексуальность — это глупость, я также расстраивался из-за людей, которые пытались увольнять за сам факт транссексуальности.

Потом я стал старше и мудрее и понял: хм, транссексуалы вообще не глупые, у них есть очень важные причины делать то, что они делают и через что проходят, а я жёстко ошибался. И я сказал: «Моя вина».

Но всё могло быть ещё хуже. Я не любил транссексуалов, и поэтому я оставил их в покое, при этом защищая их права. Моя картина мира потерпела изящный отказ (в оригинале используется что-то подобное этому термину — прим. пер.). Для тех, кто не относится к числу людей с излишней самоуверенностью и при этом ожидает частое обнаружение поломок и противоречий в своей картине мира, изящность отказов — это действительно важно.

И только Бог знает, что сделал бы Эндрю, если по несчастливой случайности ему бы взбрело в голову, что транссексуальность — это плохо. Из его собственных слов мы знаем, что он бы не стал заниматься «трусливыми глупостями типа командных дебатов».

Я признаю: многие принципы феминизма нельзя вывести из моих принципов либерализма; более того, они им противоречат. Например, одни феминистки предлагают запрет порнографии, потому что она увеличивает вероятность насилия в отношении женщин, другие — запрет или, по крайней мере, стигматизацию и харассмент тех, кто исследует различия между полами, потому что любые сделанные в этой области открытия могут усложнить борьбу с сексизмом.

Во-первых, я бы хотел заметить, что в настоящее время существуют убедительные доказательства того, что порнография, особенно жестокая, объективизирующая порнография, очень значительно уменьшает насилие в отношении женщин. Я хотел бы спросить феминисток: рады ли они тому, что мы сделали хороший либеральный поступок и подождали, пока нам не станут доступны все данные для того, чтобы обсудить это рационально, а не начали сразу затыкать рты тем, кто защищает порнографию и преследовать их?

И, во-вторых, да, у нас есть настоящее несогласие. Но мне интересно, они предпочитают рациональное обсуждение этого несогласия или преследование несогласных, до тех пор, пока кто-либо из нас не сдастся?

И если феминистки согласятся на разумное обсуждение, но проиграют, я бы сказал, что они получат утешительный приз. Вступив в либеральное общество, они могут быть уверены, что независимо от того, что обнаружат учёные, я и все их новые либеральные друзья будут сражаться изо всех сил против тех, кто использует любые найденные сколь угодно малые различия между полами для того, чтобы бросить вызов основному либеральному убеждению о том, что человек имеет право на человеческое обращение к себе. Любая моя победа будет победой феминизма; может быть, не абсолютной победой, но это явно лучше, чем то, что у них есть сейчас.

VI.

Я не пытаюсь бороться с проблемами всего мира. Я просто пытаюсь возделывать свой сад.

И вы спрашиваете: «Разве обречение всех, кто за стеной твоего сада, на столкновение с расизмом, сексизмом и злобой — это не эгоизм, не гнёт, не привилегии?»

Но есть известный комикс, который демонстрирует, что может случиться с некоторыми стенами, которые ограничивают границы сада.

Но, вообще, да, звучит, словно бы я делаю непоколебимое предположение о том, что либерализм всегда побеждает, не так ли? Что люди, которые добровольно отказываются от определённых форм варварского поведения, смогут постепенно расширить свою территорию, несмотря на находящиеся снаружи орды, а не сразу окажутся завоёванными менее щепетильными соседями? И, похоже, Эндрю не верит, чтобы это предположение выполняется.

Он пишет:

Последние два поколения системные левые движения нашего общества были сбродом беззубых, бесхребетных, безвольных неудачников, проигрывавших всё раз за разом.

Мне вспоминается старый анекдот о нацистских газетах. Раввин видит, что старый еврей читает нацистскую газету и просит объяснить, зачем тот читает такой бред. Тот отвечает «Когда я читаю наши, еврейские газеты, новости так удручают! Угнетение, смерть, геноцид… Но здесь всё замечательно! Мы контролируем банки, мы контролируем СМИ. Вот, только вчера они сказали, что у нас был план выпнуть из Германии всех гоев!».

И у меня есть парочка мыслей по этому поводу.

Во-первых, утверждение «Плохие люди делают плохие вещи, поэтому мы вправе использовать всё, что пожелаем, чтобы остановить их, независимо от того, насколько это будет скверно» содержит небольшой изъян. Все верят, что их враги — плохие люди, делающие плохие вещи. Если вы нацист, вы просто защищаете себя — соразмерно обширному еврейскому заговору об уничтожении всех немцев.

Но, во-вторых, прежде чем соглашаться со словами Эндрю о катастрофических неудачах левых, мы заглянем в газеты врагов либерализма. Менций Молдбаг:

Ктулху плавает медленно. Но он плавает только налево. Разве это не забавно?

В каждом из перечисленных далее конфликтов, происходивших на протяжении англо-американской истории, вы увидите победу левых над правыми: Гражданская война в Англии, так называемая «Славная революция», Американская революция, Гражданская война в США, Первая и Вторая мировые войны. Очевидно, что если вы хотите быть на стороне победившей команды, вам нужно поддерживать левых.

Где сейчас Общество Джона Берча (консервативная организация в США, противостоящая коммунизму и коллективизму, активна в шестидесятые годы)? А где Национальная ассоциация содействия прогрессу цветного населения? Ктулху плавает налево, налево и только налево. В американской истории было несколько коротких периодов настоящей реакции: эпоха Искупления после Реконструкции Юга, Хардинговское «Возвращение к нормальной жизни» и парочка других. Но они были непривычными и бледными по сравнению с громадным сдвигом влево — особенно характерен в этом плане маккартизм — и мы помним, что Маккарти не победил.

На протяжении всей истории американской демократии, если взять основную политическую позицию (окно Овертона, если хотите) в момент времени T1 и поместить её на карту в более поздний момент времени Т2, Т1 всегда будет куда правее, чуть ли не у границы. Так, например, если взять самого среднего, обычного сторонника сегрегации в 1963 году и дать ему проголосовать на выборах 2008 года, он будет голосовать за тех, кого мы считаем ультраправыми клоунами. Ктулху давно оставил его позади.

Я должен сказать, Менций аргументирует свою позицию куда более убедительно, чем Эндрю.

Роберт Фрост называет либерала «Человеком со слишком широкими взглядами для того, чтобы принять свою сторону в споре». Ха-ха-ха.

И, всё же, за пределами Саудовской Аравии, будет нелегко найти страну, которая даже на словах не поддерживает либеральные идеи. Что ещё более странно, многие из них затем реализуют их на самом деле, либо добровольно, либо поддаваясь непонятному им давлению. В частности, на протяжении всей истории Соединённых Штатов цензура ослаблялась, а толерантность к чужому мнению усиливалась.

Несмотря на то, что говорят реакционеры, феминизм — не исключение, а частный случай этого. Феминистки семидесятых годов прошлого века говорили, что все женщины должны подняться и разбить патриархат, возможно, в буквальном смысле разбивая что-либо. Феминистки десятых годов этого века говорят, что если некоторые женщины хотят быть домохозяйками — это замечательно, и это — их собственный выбор, потому что в либеральном обществе каждый может свободно самореализовываться, как хочет.

И это соответствовало впечатляющим успехам того, что поддерживают либералы: феминизм, гражданские права, однополые браки, и так далее, и так далее, и так далее…

Либерал — это человек со слишком широкими взглядами для того, чтобы принять свою сторону в споре. И, всё же, когда либералы вступают в ссоры, они всегда побеждают. Разве это не забавно?

VII.

Эндрю считает, что либералы, добровольно отказывающиеся от некоторых форм сопротивления, всего лишь игнорируют очень эффективное оружие. Я приведу цитату:

В войне, настоящей войне, войне за выживание, вам нужно использовать всё оружие, что есть в вашем арсенале, потому что вы предполагаете, что враг будет использовать всё, что есть у него. Потому что вы понимаете, что это ВОЙНА … Всю ту энергию, затраченную на дебаты о том, как мы будем мирно решать конфликты в идеальном мире, которым управляет Законопослушный Нейтральный Космический Арбитр, в мире, который никогда не будет существовать, мы могли бы потратить на стрельбище для улучшения меткости стрельбы … Я удивлён, что «рационалистскому сообществу» это настолько неочевидно.

Позвольте мне назвать некоторых других людей, которые так же, как и я, таинственным образом умудрились упустить этот совершенно очевидный пункт.

Лозунгом ранней христианской церкви было «Не сопротивляйся злу» (Мф 5:39), и, действительно, их идея Сжигания Чёртовой Системы Дотла заключалась в покорном принятии мученической смерти, при этом публично прощая своих палачей. Им противостояла Римская империя, возможно, наиболее эффективная военная машина в истории, управляемая одними из самых жестоких людей, когда-либо живших. По подсчетам Эндрю, это должно было быть самое убедительное поражение за всю историю убедительных поражений.

В каком-то смысле, оно и произошло. Только его одержала не та сторона, поражение которой многие ожидали.

Махатма Ганди говорил: «Ненасилие — величайшая сила, которая есть у человечества. Она сильнее, чем самое разрушительное оружие, когда-либо придуманное человеком». Ганди — ещё один парень, который сопротивлялся одной из крупнейших когда-либо существовавших империй и одержал решительную победу. И он был весьма настойчив насчёт истины в том числе: «Ненасилие и истина неразделимы и предполагают друг друга».

Также навыками непонимания очевидного обладали Мартин Лютер Кинг, Десмонд Туту и Аун Сан Су Чжи. Нельсон Мандела в начале своей карьеры был умным и эффективным, но тоже перестал понимать очевидное, когда постарел. Видимо, это была болезнь Альцгеймера.

Конечно, есть и контрпримеры. Послужной список ненасильственного сопротивления евреев нацистам… не очень хорош. Вам нужен некий уже существующий уровень развития цивилизации для того, чтобы либерализм хорошо работал и, я уверен, уже существующий уровень либерализма для либерализма на стероидах, где будет хорошо работать отсутствие клеветы и харассмента. Вам необходимы некоторые уже существующие общественные нормы, прежде чем вы будете пытаться создавать некие таинственные взаимовыгодные равновесия.

Так что, возможно, я был слишком жесток к Эндрю, сравнивая его с Аун Сан Су Чжи и подобными ей. Ведь всё, что нужно было сделать Аун Сан Су Чжи — свалить бирманскую хунту, клику невероятно жестоких военных диктаторов, убивших несколько тысяч человек, пытавших тех, кто выходил на протесты против них и пославших в трудовые лагеря восемьсот тысяч людей, которые им просто не понравились. Эндрю имеет дело с теми, кто не настолько феминист, как он. Очевидно, это требует куда более жёстких мер!

VIII.

Либерализм побеждает не огнём и мечом. Либерализм побеждает благодаря общинам людей, которые согласны играть по правилам, медленно разрастаясь, пока в конце концов старое равновесие не нарушится. Его боевой клич не «Смерть неверным!», а «Если ты славный, ты можешь присоединиться к нашим обнимашкам!».

(Я был на встречах Less Wrong в Нью-Йорке, и знаю, что это предложение также эффективно работает, если интерпретировать его в буквальном смысле.)

Но некоторые люди из-за отсутствия воображения не считают этот клич достаточно страшным.

Я ненавижу привлекать вымышленные свидетельства, особенно из-за того, что, возможно, наиболее логичный аргумент Эндрю заключается в том, что реальный мир работает не так, как воображаемый. Но эти люди должны прочитать книгу Жаклин Кэри «Аватар Кушиэль».

Элуа — это бог добра, цветов и свободной любви. Все остальные боги — боги крови и огня, и Элуа такой «Люби кого хочешь» или «Всё знание полезно». Он — покровитель точно такого тошнотворно-сладкого, сентиментального и доброго либерализма, на который жалуется Эндрю.

И во многих книгах про Кушиэль есть нечто общее: некий тиран или колдун думает, что победить бога цветов и свободной любви будет элементарно, и начинает преследовать его последователей. И единственный элуит, который решается его остановить — это Федра но Делоне, и тиран говорит «Ха! Женщина, которая даже не знает, как сражаться, как колдовать! Трусы!».

Но вот вам важное правило о том, как стоит обращаться с персонажами фантастических книг.

Если вы когда-нибудь разозлите Саурона, вам, вероятно, стоит найти Кольцо Силы и поднять его к вершине Ородруина.

Если вы когда-нибудь разозлите Волан-де-морта, вам, вероятно, следует начать искать крестражи.

Если вы когда-нибудь разозлите Федру но Делоне, бегите и никогда не останавливайтесь.

Элуа — это бог цветов и свободной любви, и он страшен. Если вы будете ему противостоять, того, что от вас останется, не будет достаточно для похорон, но это будет уже неважно, потому что вашего города, в котором вас стоит похоронить, тоже не останется.

И Жаклин Кэри, и Менций Молдбаг умнее Эндрю Корда.

Для Кэри либерализм — это Элуа: страшный, невыразимый, принципиально добрый Древний.

Для Молдбага либерализм — это Ктулху: страшный, невыразимый, принципиально злой Древний.

Но Эндрю? Он, кажется, вообще не понимает, что либерализм — страшный, невыразимый Древний. Эээ, что, простите?

Эндрю — бедный глупец, который говорит «Ха-ха, бог, который даже не управляет какими-либо адскими монстрами или командой служителей, которые могут стать машинами для убийства. Ну и слабак! Это будет так легко!».

И вы хотите закричать: «ЭТА ИСТОРИЯ МОЖЕТ ЗАКОНЧИТЬСЯ ТОЛЬКО ОДНИМ: ТЕБЯ СЪЕДЯТ ТВОИ ЖЕ ЛЕГИОНЫ ДЕМОНИЧЕСКИХ МУРАВЬЁВ!».

(Ой, спойлеры)

Однажды я наблюдал, как один мой знакомый пытался объяснить своим друзьям, что такое рациональность.

Он начал так: «Иметь правильные убеждения очень важно. На первый взгляд это кажется очевидным, но вспомним о креационистах, гомеопатах и людях, которые верят в лунный заговор.» И далее в том же духе.

И я подумал: «НЕТ, НЕТ, НЕТ, НЕТ, НЕТ, НЕТ!»

Признаюсь — каждый раз, когда кто-нибудь говорит о глупости креационистов, гомеопатов и сторонников теории «лунного заговора», меня коробит.

Не потому, что я не согласен. Это действительно глупость, и далеко не безвредная.

Но когда люди постоянно высмеивают «лунные заговоры» и гомеопатию (не интересуясь другими вопросами медицины или истории космоса), для меня это выглядит как стремление выискивать иррациональность в других.

Они как бы говорят: «Смотри! Там нерациональные люди, они верят в какую-то нелепую чушь. Нам бы такое в жизни в голову не пришло. Видимо, они ущербны, а мы рациональны».

Но для меня рациональное мышление — это поиск иррациональности в себе.

Это осознание того, что ты, да, именно ты можешь быть неправ в том, во что веришь сильнее всего, и ничто не спасет тебя, кроме, разве что, постоянной эпистемической паранойи.

Постоянное упоминание гомеопатов и креационистов чаще всего лишь затрудняет это осознание. Если ваши примеры ложных убеждений очевидно нелепы, человек решит, что все ложные убеждения такие. Если слишком много примеров ложных убеждений покажутся ему неубедительными, человек решит, что у него против них иммунитет.

И тогда небрежность превращается в добродетель.

Взять ту же гомеопатию. Не знаю, сколько раз я уже слышал от людей подобное: «Гомеопаты не понимают, что убеждения требуют доказательств. Нет ни одного исследования, демонстрирующего эффективность гомеопатии!»

Но, разумеется, десятки исследований продемонстрировали эффективность гомеопатии.

«Ну, допустим, но они не использовали «двойной слепой метод»! Нужно понимать, что необходимо учесть «эффект плацебо»…»

Но, разумеется, многие из этих исследований были большими двойными слепыми плацебо-контролируемыми испытаниями, или даже их мета-анализами.

«Допустим, но они не были опубликованы в авторитетных научных изданиях».

The Lancet достаточно авторитетно?

«Но гомеопаты даже не понимают, что многие из их препаратов не содержат ни одной молекулы активного вещества!»

Но, разумеется, почти все гомеопаты это понимают, и их предполагаемые механизмы действия гомеопатии не только выдерживают подобную критику, но и рассчитаны на нее.

«Но все врачи и биологи считают, что гомеопатия не работает!»

Вы когда-нибудь пробовали потратить пять секунд на то, чтобы найти, какой процент врачей и биологов, согласно опросам, считает, что гомеопатия не работает? Или вы просто предполагаете, что это так, потому что кто-то на вашей стороне так говорит, и это кажется правдой?

Очевидно, что я придираюсь. Внимательно читать все исследования гомеопатов, находить первоисточники, чтобы случайно не переврать их аргументы, перепроверять все свои кажущиеся «очевидными» предположения, в общем, воспринимать гомеопатов всерьез было бы пустой тратой вашего времени.

И человек, который призывает вас отнестись к гомеопатии непредвзято, вам не друг. Вероятно, он просто ее рекламирует, и с ним лучше не связываться.

Но в этом и проблема!

Чем больше мы обсуждаем гомеопатию, «лунный заговор» и креационизм, чем больше людей, которым и в голову бы не пришло верить во все это, раз за разом ритуально «опровергают» их друг перед другом в качестве развлечения, тем больше мы убеждаем людей в том, что это репрезентативная выборка убеждений, с которыми нам приходится иметь дело.

И чем больше мы их в этом убеждаем, тем глубже мы укореняем правильный подход к гомеопатии — игнорировать плохие исследования и передергивания на своей стороне, в то же время глядя на любого, кто призывает отнестись к ним непредвзято, с большим подозрением — как стандартный подход к любому спорному вопросу.

И тогда люди начинают воспринимать всерьез всякого рода низкопробные исследования, потому что, в конце концов, мир делится лишь на вещи наподобие гомеопатии, у которых Никогда Не Было Доказательств, и вещи наподобие конвенциональной медицины, у которых есть Публикации в Настоящих Журналах и Поддержка Настоящих Ученых.

Или они отбрасывают всякую сдержанность в своих политических убеждениях, никогда не сомневаясь в заявлениях своей стороны, потому что мир делится на таких, как они, знающих Правду, и Проплаченных Несогласных, которые заманивают вас в ловушку, пытаясь убедить вас отнестись к ним непредвзято.

В написании этой статьи я частично вдохновлялся эссе Gruntled and Hinged «Вы, скорее всего, не хотите получить рецензированные доказательства существования Бога». Но другое эссе G&H заставило меня задуматься еще больше.

Инокуляция — это выработка иммунитета против болезни при помощи введения в организм ее ослабленных возбудителей (например, прививание коровьей оспой от натуральной человеческой). В психологии есть понятие «инокуляция установки»: человек, столкнувшийся со слабыми контраргументами к своей позиции, укрепляется в своей правоте и приобретает иммунитет к более сильным контраргументам.

Если сказать религиозному человеку, что христианство ложно, потому что Иисус нагло списан с бога-воителя Митры, они откроют книгу по истории Ближнего Востока, поймут, что это далеко от истины, и с большим недоверием отнесутся к аргументам против своей веры в будущем. «А, атеисты. Это те люди, которые верят, что Иисус был списан с Митры. Я уже давно понял, что к ним не стоит относиться всерьез». Только на более глубоком уровне, который недоступен сознательному осмыслению и предвосхищает его.

А мы обращаемся к интеллектуальным пользователям Интернета, и рассказываем им о разных нелепых теориях, вроде «лунного заговора», гомеопатии, креационизма, антивакцинаторства и рептилоидов, и людях, которые верили, что конец света должен был настать пару лет назад. И эти теории легко опровергаются, и истинность всего того, во что верите вы и все ваши друзья, по-прежнему очевидна, и все то время, которые ушло на подтверждение этого, было потрачено впустую.

И меня тревожит, что мы прививаем людей от того, чтобы самостоятельно изучать результаты исследований, а не просто верить на слово самоуверенным блогерам, которые пишут о том, какие ваши противники идиоты.

Что мы прививаем людей от понимания того, что «научное доказательство» — это очень сложное понятие, и многое из того, что было опубликовано в рецензируемых журналах, впоследствии окажется ошибочным.

Что мы прививаем людей от мыслей о том, что многие теории, которые поначалу покажутся им абсурдными или неприятными, впоследствии окажутся верными, потому что природу не волнуют наши чувства.

Что мы прививаем людей от сомнений.

Может быть, это не так уж плохо. Скорее всего, вы можете доверять вашим врачам, и выводам ученых-климатологов, и я бы с большой осторожностью выступал против мнения экспертного сообщества практически в любой предметной области.

Но в мире еще существуют сотни различных религий и политических идеологий, и большинство людей с детства подвержены влиянию тех из них, что хоть в чем-либо ошибочны. И способность по-настоящему подвергать свои убеждения сомнению — даже если вся твоя семья и все друзья убеждают тебя, что это очевидная правда и нужно быть идиотом, чтобы сомневаться в этом — чрезвычайно полезный навык. Особенно он важен для того небольшого числа людей, которые окажутся способны запустить смену парадигмы в науке, подвергнув сомнению одно из ее фундаментальных предположений.

Я не думаю, что обсуждение рептилоидов или креационизма помешает людям определиться между, скажем, циклической моделью и теорией Мультивселенной, или разрешить любую другую столь же бесстрастную дискуссию.

Но если вам когда-нибудь потребуется устроить настоящий «кризис веры», то ваши навыки «разоблачения» гомеопатии и лунных заговоров вам не помогут.

Цепочка из эссе Скотта Александера о том, как работают аргументы, как их использовать и как их можно использовать неправильно.

[Содержание: Видения! знаки! галлюцинации! чудеса! экстазы! мечты! обожания! озарения! религии!]

I.

Кое-что из прочитанного мной в этом месяце: «Искусственный интеллект» Ника Бострома, «Вопль» Алана Гинсберга, «О Гноне» Ника Лэнда.

Xронология неумолима. Стоит одновременно прочитать три совершенно независимых вещи, и становится ​очевидно​, что между ними существует какая-то связь, и что они, как в притче о слепых и слоне, затрагивают разные аспекты одного и того же дьявольски трудновыразимого вопроса.

Этот пост — моя попытка швырнуть в вас этим слоном, разогнав его до 150 км/ч, только я отвлекаюсь на поэзию и мистицизм, и слон получается сбивающим с толку, полным символизма, причудливой литературной критики и радикальной футурологии. Если вам хочется чего-то более вменяемого, можете еще раз почитать про СИОЗС.

Второе, более важное предупреждение: это очень длинное эссе.

II.

Вы все еще здесь? Тогда давайте начнем с Гинзберга:

Что за сфинкс из цемента и алюминия раскроил им черепа и выел их мозг и воображение?

Молох! Одиночество! Грязь! Уродство! Мусорки и недоступные доллары! Дети, кричащие под лестницами! Всхлипывающие в армиях мальчишки! Старики, плачущие в парках!

Молох! Молох! Кошмар Молоха! Молох бесчувственный! Молох в умах! Молох — суровый судия человеков!

Молох, непостижимая тюрьма! Молох, скрещенные кости бездушных застенков и Конгресс печалей! Молох, чьи строения — приговор! Молох, огромный камень войны! Молох оглушенных правительств!

Молох, чей мозг — чистая механика! Молох, чья кровь — текущие деньги! Молох, чьи пальцы — десять армий! Молох, чья грудь — динамо-людоед! Молох, чьи уши — дымящиеся могилы!

Молох, чьи глаза — тысячи слепых окон! Молох, чьи небоскребы выстроились на длинных улицах, как бесконечные Иеговы! Молох, чьи фабрики грезят и квакают в тумане! Молох, чьи трубы и антенны увенчали города!

Молох, чья любовь — бесконечные камень и нефть! Молох, чья душа — электричество и банки! Молох, чья бедность — призраки гениев! Молох, чья судьба — облако бесполого водорода! Молох, чье имя — Разум!

Молох, в котором я одинок! Молох, в котором я мечтаю об Ангелах! Безумен в Молохе! Членосос в Молохе! Выхолощен и обезлюблен в Молохе!

Молох, так рано проникший ко мне в душу! Молох, в котором я — сознание без тела! Молох, выстращавший меня из моего природного экстаза! Молох, которого я покидаю! Проснись в

Молохе! Свет, льющийся с неба!

Молох! Молох! Квартиры-роботы! невидимые пригороды! остовы сокровищниц! невидящие столицы! бесовская промышленность! призрачные народы! непобедимые психушки! гранитные члены! чудовищные бомбы!

Они поломали спины, вознося Молоха к Небесам! Тротуары, деревья, радио, тонны! Вознося город к Небесам, сущим везде вокруг нас!

Видения! знаки! гaллюцинaции! чудесa! экстaзы! все утонуло в Америкaнской реке!

Мечты! обожания! озaрения! религии! все это чувственное говно!

Прорывы! над рекой! кувырки и распятия! унесенные наводнением! Полеты! Богоявления! Отчаяния! Десять лет животных криков и самоубийств! Мысли! Новые связи! Безумное поколение! внизу на камнях Времени!

Настоящий святой смех в реке! Они все это видели! дикие взгляды! святые крики! Они прощались! Прыгали с крыш! к одиночеству! размахивая! с цветами в руках! Вниз, к реке! на улицу!

В этой поэме меня всегда больше всего впечатлял образ цивилизации в виде самостоятельной сущности. Кажется, вот-вот увидишь его, с пальцами-армиями и глазами-окнами небоскребов…

Многие толкуют Молоха как образ капитализма. Безусловно, это часть его сущности, пожалуй, даже очень важная часть. Но все-таки чего-то этой трактовке не хватает. Капитализм, чья судьба — облако бесполого водорода? Капитализм, в котором я — сознание без тела? Капитализм, следовательно, гранитные члены?

Молох вводится в качестве ответа на вопрос — вопрос К. С. Льюиса в шуточной «иерархии философов» — «что за сила совершает это?». Земля могла бы быть прекрасной, а все люди на ней — счастливыми и мудрыми. Но вместо этого у нас тюрьмы, дымовые трубы, психушки. Что за сфинкс из цемента и алюминия раскраивает людям черепа и выедает их мозг и воображение?

И Гинзберг отвечает: Молох.

В Principia Discordia есть место, в котором Малаклипс жалуется Богине на пороки человеческого общества. «Все причиняют друг другу боль, планета полна несправедливости, целые общества грабят группы своих же людей, матери лишают свободы сыновей, дети гибнут, брат убивает брата».

Богиня отвечает: «В чем же проблема, если вы сами этого хотите?».

Малаклипс: «Но ведь никто не хочет! Нам все это ненавистно!».

Богиня: «О. Что ж, тогда перестаньте».

В этом ответе скрыт вопрос — если все ненавидят существующий порядок, то кто его поддерживает? И Гинзберг отвечает: «Молох». Эта идея хороша не тем, что она отражает реальность, ведь никто в самом деле не думает, что за всеми бедами мира стоит древний демон Карфагена. Ее сила в том, что попытка представить себе систему в образе агента резко высвечивает, насколько это представление не соответствует действительности.

Бостром вскользь отмечает возможность существования антиутопии без диктатуры, ненавидимой всеми, включая ее лидеров, но продолжающей существовать в нетронутом виде. Нетрудно представить себе подобное государство. Пусть в нем существует два закона: первый — каждый должен в течение восьми часов в день пытать себя электрошоком. Второй — если кто-то нарушает любой из законов (включая этот), или высказывается против них, или отказывается обеспечивать их соблюдение, то каждый гражданин обязан принять участие в поимке и казни нарушителя. Предположим, что эти законы основываются на прочно устоявшихся традициях, которые настаивают на их всеобщем исполнении.

И ты, будучи гражданином этого государства, пытаешь себя по восемь часов в день, потому что знаешь, что в противном случае все остальные будут вынуждены убить тебя, потому что в противном случае их самих ждет смерть, и так далее. Этот порядок ненавистен каждому отдельному гражданину, но из-за отсутствия хорошего механизма координации он продолжает существовать. С точки зрения внешнего наблюдателя, мы можем оптимизировать систему к состоянию «все соглашаются одновременно прекратить это делать», но никто внутри системы не способен осуществить этот переход без огромного риска для собственной жизни.

Ну, хорошо, этот пример немного надуманный. Поэтому давайте рассмотрим несколько — скажем, десять — реальных примеров похожих многополюсных ловушек, чтобы убедиться в важности этой проблемы.

1. Дилемма заключенного между двумя не очень умными либертарианцами, которые снова и снова предают друг друга. Они могли бы достигнуть значительно лучшего исхода, если бы им удалось скоординироваться, но координация — это сложно. С точки зрения внешнего наблюдателя очевидно, что двусторонняя кооперация приводит здесь к лучшему результату, чем обоюдное предательство, но ни один из заключенных внутри системы не способен достичь этого исхода в одиночку.

2. Долларовые аукционы. Я писал об этом и о некоторых более изощренных версиях того же принципа в Game Theory As A Dark Art. Проведя аукцион по определенным хитрым правилам, можно использовать недостаток координации для того, чтобы заставить кого-то заплатить 10 \$ за однодолларовую банкноту. С точки зрения внешнего наблюдателя очевидно, что платить 10 \$ за купюру в один доллар невыгодно. Однако внутри системы каждое отдельное решение может быть рациональным.

(Мусорки и недоступные доллары!)

3. Пример с рыбными хозяйствами из моего Анти-Либертарианского FAQ 2.0:

В качестве мысленного эксперимента рассмотрим разведение рыбы в озере. Пусть у нас есть озеро с тысячей одинаковых рыбных хозяйств, у каждого из которых свой владелец.

Каждое хозяйство приносит 1000 \$ в месяц. Поначалу все хорошо.

Однако каждое хозяйство производит отходы, загрязняющие воду в озере. Допустим, каждое хозяйство производит достаточно отходов для того, чтобы снизить производительность озера на 1 \$ в месяц.

Тысяча хозяйств производит достаточно отходов, чтобы снизить доходность на 1000 \$ в месяц, то есть, до нуля. На помощь приходит капитализм: кто-то изобретает сложную систему фильтрации, которая удаляет отходы из озера. Расходы на поддержание ее работы составляют 300 \$ в месяц. Все рыбные хозяйства добровольно устанавливают ее, проблема загрязнения уходит, и теперь хозяйства приносят владельцам по 700 \$ каждое — все еще вполне приличный доход.

Но один хозяин (назовем его Стивом) решает сэкономить на своем фильтре. Теперь одно хозяйство загрязняет озеро, понижая продуктивность на 1 \$. Доход Стива 999 \$, а у всех остальных 699 \$.

Все остальные замечают, что у Стива доход выше, потому что он не тратит деньги на фильтрацию. Они начинают отсоединять свои фильтры.

Когда четыреста человек отсоединили свои фильтры, Стив стал зарабатывать 600 \$ в месяц — меньше, чем если бы он и все остальные продолжали обслуживать свои фильтры! А бедные добросовестные владельцы хозяйств с фильтрами зарабатывают лишь 300 \$. Стив начинает агитировать: «Погодите! Мы все должны заключить добровольное соглашение об использовании фильтров! Иначе у всех упадет продуктивность».

Все владельцы хозяйств договариваются и подписывают Соглашение о Фильтрации. Все, кроме одного негодяя. Назовем его Майк. Теперь все снова используют фильтры, кроме Майка.

Майк зарабатывает 999 \$ в месяц, а все остальные 699 \$ в месяц. Постепенно люди начинают приходить к мысли, что они тоже хотят зарабатывать больше, как Майк, и отсоединяют свою фильтры, сэкономив 300 \$…

У человека, заинтересованного в личной выгоде, никогда не будет стимула использовать фильтр. У него есть стимул подписать соглашение, чтобы заставить всех остальных использовать фильтр, но во многих случаях есть куда более сильный стимул дождаться, пока все его подпишут, а самому отказаться. Это может привести к нежелательному равновесию, в котором такое соглашение не подпишет никто.

Чем больше я думаю об этом, тем больше мне кажется, что в этом заключается суть моего неприятия либертарианства, и что Анти-Либертарианский FAQ 3.0 будет состоять из одного этого примера, скопированного и вставленного двести раз. С точки зрения внешнего наблюдателя мы видим, что загрязнение озера приводит к плохим последствиям. Изнутри системы ни один человек не способен предотвратить загрязнение озера, и покупка фильтра выглядит не такой уж хорошей идеей.

4. Мальтузианская ловушка, по крайней мере, рассмотренная в ее чисто теоретическом предельном случае. Представьте, что вы — одна из первых крыс, заселенных на прежде нетронутый остров. Он полон вкусных растений, и вы живете идиллической жизнью, чередуя праздность с потреблением пищи и созданием великих произведений искусства (вы — крыса из «Секрета Н.И.М.Х.»).

Вы проживаете долгую жизнь, спариваетесь и заводите дюжину детей. Каждый из них заводит по дюжине своих детей и так далее. Через пару поколений, на острове живет десять тысяч крыс, достигая предельного значения с точки зрения имеющихся на нем ресурсов. Теперь еды и места для всех не хватает, и определенная часть каждого следующего поколения умирает, чтобы поддерживать стабильную численность популяции на уровне десяти тысяч.

Некоторая группа крыс бросает занятия искусством для того, чтобы посвятить большую часть своей жизни борьбе за выживание. В каждом новом поколении в этой группе умирает немного меньше крыс, чем в основной части популяции, до тех пор, пока через какое-то время искусством не занимается никто, и любая группа крыс, пытающаяся это исправить, вымирает через несколько поколений.

На самом деле, речь не только об искусстве. Любая группа более подтянутых, злобных, более настроенных на выживание по сравнению с основной популяцией крыс со временем захватит остров. Если какая-то группа из альтруизма примет решение ограничить свое потомство до двух детей на каждую пару родителей, чтобы уменьшить перенаселение, они вымрут, когда их перерожают более многочисленные противники. Если другая группа начнет практиковать каннибализм и обнаружит, что это дает им преимущество, она со временем захватит остров и закрепится.

Если какие-то крысиные ученые предскажут, что скорость исчерпания ореховых запасов острова принимает угрожающие масштабы, и вскоре их ожидает полное истощение, отдельные группы крыс могут попытаться ограничить свое потребление орехов до уровня устойчивости. Эти крысы будут вытеснены своими более эгоистичными родственниками. В конце концов, запасы орехов закончатся, большая часть крыс вымрет, и цикл начнется заново. Любая группа крыс, выступающая за принятие мер для остановки этого цикла, будет вытеснена их сородичами, для которых выступление в пользу чего угодно — бесполезная трата времени, которое можно было потратить на потребление и борьбу за выживание.

По ряду причин эволюция носит не столь ярко выраженный мальтузианский характер по сравнению с идеальной моделью, но она является примером, который можно использовать при рассмотрении других ситуаций, чтобы понять лежащие в основе принципы. С точки зрения внешнего наблюдателя, легко заметить, что крысам следует поддерживать небольшую стабильную популяцию. Изнутри системы, каждая отдельная крыса будет следовать своим генетическим императивам, и остров застрянет в бесконечном цикле подъемов и спадов.

5. Капитализм. Представьте себе капиталиста в секторе экономики с ожесточенной конкуренцией. Его рабочие в ужасных условиях шьют за ничтожную плату одежду, которую он продает с минимальной прибылью. Возможно, ему хотелось бы платить им больше или улучшить их условия труда. Но он не может, потому что это повысит себестоимость его продуктов, и конкуренты с более дешевым товаром выбьют его с рынка и сделают банкротом. Возможно, многие из его конкурентов — хорошие люди, которые тоже хотели бы платить своим рабочим больше, но пока у них нет железной гарантии того, что никто из них не предаст всех остальных, сбив свою цену, они не пойдут на это.

Как крысы, которые постепенно теряют все свои ценности, кроме чистой конкуренции, так и компании в достаточно конкурентной экономической среде вынуждены оставить все принципы, кроме оптимизации ради выгоды, или быть вытесненными с рынка компаниями, которые пошли на более высокую оптимизацию ради выгоды и поэтому могут продавать те же услуги за меньшую цену.

(Я не уверен, что люди до конца понимают ценность сравнения капитализма с эволюцией. Приспособленные компании — то есть те, которые привлекают клиентов — выживают, расширяются и подают пример, а неприспособленные — те, которые своих клиентов теряют — прогорают и вымирают вместе со своей корпоративной ДНК. Закон джунглей, царящий в природе, и беспощадная эксплуатация, характерная для рынка, имеют в своей основе один и тот же механизм.)

С точки зрения внешнего наблюдателя, мы можем придумать дружелюбную индустрию, в которой все компании платят своим работникам хотя бы на уровне прожиточного минимума.

Изнутри системы такую индустрию создать невозможно.

(Молох, чья любовь — бесконечные камень и нефть! Молох, чья кровь — текущие деньги!)

6. Ловушка двойного дохода, ранее уже обсуждавшаяся в этом блоге. Было сделано предположение о том, что достаточно высокая конкуренция за пригородные дома в районах рядом с хорошими школами означает, что люди вынуждены пренебрегать множеством других благ — временем, проведенным дома с детьми, финансовой безопасностью — в процессе оптимизации ради повышения своей жилищно-покупательной способности, в противном случае рискуя жить в гетто.

С точки зрения внешнего наблюдателя, если все согласятся остаться на одной работе, то все получат столь же хороший дом, как и прежде, но без необходимости работать на двух работах, чтобы обеспечить его покупку. Изнутри системы, в отсутствие правительства, готового просто взять и запретить работать в двух местах, люди без второго источника дохода останутся без домов.

(Квартиры-роботы! Невидимые пригороды!)

7. Земледелие. Джаред Даймонд называет его самой большой ошибкой в истории человечества. Ошибка или нет, переход к земледелию определенно не был случайностью — земледельческие цивилизации просто вытеснили кочевников: это неизбежный и непреодолимый результат конкуренции. Классическая мальтузианская ловушка. Возможно, охота и собирательство приносили больше удовольствия, вели к повышенной продолжительности жизни и были более благоприятными для процветания человечества занятиями, но в состоянии достаточно высокой конкуренции между народами, в котором земледелие с присущими ему гнетом, болезнями и эпидемиями все же предоставляет конкурентное преимущество, все станут земледельцами или последуют примеру индейцев-команчей.

С точки зрения внешнего наблюдателя очевидно, что все должны были выбрать более приятный путь и остаться охотниками и собирателями. Внутри системы каждое отдельное племя стоит перед выбором между земледелием или неизбежным вымиранием.

8. Гонки вооружений. Большие страны тратят от 5% до 30% своего бюджета на оборонные нужды. При отсутствии войн — за редкими исключениями имевшем место на протяжении последних пятидесяти лет — это лишь отбирает деньги у инфраструктуры, здравоохранения, образования и экономического роста. Но любая страна, которая решила сэкономить на обороне, рискует нарваться на вторжение соседней страны, которая продолжала вкладываться в нее. Поэтому практически все страны стараются выделять часть своих средств на оборону.

С точки зрения стороннего наблюдателя, оптимальное решение — мир во всем мире и роспуск всех армий. Изнутри системы, ни одна из стран не способна принудить к этому всех остальных, так что им остается лишь продолжать спускать свои деньги на ракеты, лежащие в шахтах бесполезным грузом.

(Молох, огромный камень войны! Молох, чьи пальцы — десять армий!)

9. Рак. Человеческое тело в идеале должно состоять из клеток, живущих в гармонии и распределяющих ресурсы между собой во благо всего организма. Если клетка отклоняется от этого равновесия и расходует свои ресурсы на самокопирование, она и ее потомки будут процветать, со временем вытесняя все остальные клетки и захватывая тело, что приводит к его смерти. Или ситуация может повториться, когда отдельные раковые клетки предают остальную опухоль, замедляя ее рост и приводя к стагнации.

С точки зрения внешнего наблюдателя, лучшим решением является сотрудничество клеток во избежание смерти. Изнутри системы, раковые клетки будут расти и вытеснять все остальные, и лишь существование иммунной системы сдерживает естественное стремление клеток становиться раковыми.

10. «Гонка на дно» — термин, описывающий политическую ситуацию, в которой отдельные юрисдикции заманивают предприятия низкими налогами и ослаблением государственного регулирования. В конечном итоге все либо приспосабливаются к конкурентным условиям — снижая налоги и ослабляя регуляции, либо лишаются бизнеса, инвестиций и рабочих мест в пользу тех, кто приспособился (после чего ответственных за это выгоняют, а на их место выбирают более уступчивое правительство).

Однако, несмотря на то, что имя себе забрал последний пример, по сути, все эти сценарии являются гонками на дно. Как только агент понимает, как приобрести конкурентное преимущество за счет принесения в жертву некоего общего блага, все его конкуренты также вынуждены принести его в жертву, в противном случае их вытеснят и заменят менее щепетильные. Таким образом, система может снова оказаться в состоянии одинаковой общей конкурентоспособности, но принесенное в жертву потеряно навсегда. С точки зрения внешнего наблюдателя, конкуренты знают, что в результате все они будут в проигрыше, но изнутри системы при условии недостатка координации это неизбежно.

Перед тем, как мы двинемся дальше, мне хотелось бы обсудить немного другой тип многоагентных ловушек. В них конкуренцию сдерживает некоторая внешняя сила, чаще всего общественное осуждение. В результате гонка не достигает самого дна — система может продолжать функционировать на довольно высоком уровне — но ее невозможно оптимизировать, и ресурсы стабильно выбрасываются на ветер. Чтобы не утомлять вас, едва начав, я ограничусь здесь четырьмя примерами.

11. Образование. В моем эссе о реакционной философии я описываю свое недовольство реформами образования:

Многие часто спрашивают, почему мы не можем реформировать систему образования. Но сейчас студенты при поступлении заинтересованы в первую очередь в престижности учебного заведения, чтобы после выпуска их с охотой брали на работу — вне зависимости от того, научат их там чему-нибудь или нет. Работодатели заинтересованы в том, чтобы заполучить выпускников самых престижных учебных заведений, чтобы всегда иметь оправдание перед начальством — вне зависимости от того, приносят ли им работники с престижным образованием большую прибыль. А учебные заведения заинтересованы в том, чтобы всеми силами повысить свой престиж и места в рейтингах — вне зависимости от того, помогает ли это студентам. Ведет ли это к огромным растратам и низкому качеству образования? Да. Способен ли условный Бог Образования заметить это и принять какие-то Указы Об Образовании, создав гораздо более эффективную систему? Легко! Но поскольку Бога Образования не существует, все будут продолжать следовать своим интересам, которые лишь отчасти коррелируют с образованием или эффективностью.

С точки зрения внешнего наблюдателя, легко сказать: «Студенты должны получать высшее образование, только если они хотят чему-то научиться, а работодатели должны смотреть на знания, а не на диплом». Изнутри системы, все поступают в полном согласии со своими интересами, и в отсутствии других стимулов система останется такой, как есть.

12. Наука. Из того же эссе:

Современное исследовательское сообщество знает, что качество их научных работ могло бы быть куда выше. Исследователи предпочитают публиковать подтверждения своих гипотез, отбрасывая отрицательные или нулевые результаты, статистическая обработка данных в силу слепой инерции производится вводящими в заблуждение и сбивающими с толку методами, а работы по воспроизведению результатов исследований либо сильно запаздывают, либо вообще не ведутся. И периодически кто-то заявляет: «Не могу поверить, что людям не хватает ума починить Науку. Ведь достаточно всего лишь заставить ученых заранее регистрировать исследования, чтобы избежать публикования только положительных результатов, сделать этот новый и очень мощный статистический метод стандартом, и повысить престиж деятельности, направленной на воспроизведение результатов экспериментов. Все это очень просто сделать, и в результате мы бы сильно ускорили научный прогресс. Видимо, я умнее, чем все эти ученые, раз это пришло в голову мне, а не им».

И да, это бы сработало с Богом Науки. Он мог бы просто издать Указ о Науке, чтобы заставить всех использовать правильные статистические методы, и другой Указ, обязующий всех высоко ценить труд тех, кто работает над проверкой воспроизводимости.

Но то, что возможно осуществить с позиции внешнего наблюдателя, может быть недостижимо изнутри системы. Ни один ученый не заинтересован в том, чтобы в одностороннем порядке начать использовать новый статистический метод для своих исследований, поскольку это понизит вероятность получения им потрясающих результатов и только запутает других ученых.

Все они заинтересованы лишь в том, чтобы это сделали все остальные, тогда они последуют общему примеру. И ни один журнал не заинтересован в том, чтобы ввести раннюю регистрацию и опубликовывать негативные результаты, потому что тогда их результаты просто будут менее интересными, чем в другом журнале, который публикует только революционные открытия. Изнутри системы, все поступают в согласии со своими интересами и будут продолжать это делать.

13. Коррупция. Я не знаю ни одного человека, который был бы твердо убежден, что предоставление государственных субсидий корпорациям ‒ хорошая идея. Но правительству все равно удается тратить на это (по разным оценкам) около 100 миллиардов долларов в год — что, к примеру, в три раза больше расходов на здравоохранение для малообеспеченных. Каждый, кто знаком с этой проблемой, предлагает одно и то же простое решение: уменьшить расходы на субсидии корпорациям. Почему же этого не происходит?

Члены правительства конкурируют друг с другом, стремясь добиться переизбрания или повышения в должности. Предположим, что для повышения шансов на переизбрание необходимо в том числе максимизировать пожертвования на кампанию от корпораций — возможно, на самом деле это не так, но предположим, что чиновники так думают. Если кто-то из них попытается снизить затраты на субсидии корпорациям, он может потерять их поддержку, и его обойдут чиновники, обещающие ничего не менять.

Поэтому, несмотря на то, что с точки зрения внешнего наблюдателя очевидно, что лучшим решением является ликвидирование корпоративных субсидий, его сохранение отвечает интересам каждого отдельного чиновника.

14. Конгресс. Лишь 9% американцев поддерживают его, что говорит о меньшем рейтинге, чем у тараканов, вшей или дорожных пробок. Однако 62% людей, знающих члена Палаты представителей от своего округа, поддерживают его. В теории, демократически избранному органу власти с рейтингом в 9% должно быть весьма тяжело продержаться дольше одного избирательного цикла. На практике, у каждого Представителя есть стимул заручиться поддержкой своего округа, в то же время пренебрегая всей остальной страной, в чем они, по-видимому, преуспевают.

С точки зрения внешнего наблюдателя, каждому конгрессмену следует заботиться только о благе народа. Внутри системы приходится делать то, что приносит победу на выборах.

III.

Все вышеописанные многополюсные ловушки объединяет общий принцип. В некоторой конкурентной среде, оптимизация в которой идет в пользу некоторого Х, возникает возможность пожертвовать каким-то другим благом для повышения своего X. Те, кто пользуются ей — процветают. Те, кто отказываются — вымирают. В конце концов, все остаются на прежнем уровне относительно друг друга, но общее положение становится хуже, чем прежде. Процесс будет продолжаться до тех пор, пока не останется ничего, чем можно было бы пожертвовать — другими словами, пока человеческая изобретательность не исчерпает все возможные способы сделать все еще хуже.

При достаточно сильной конкуренции (1-10) каждый, кто отказывается жертвовать всеми своими ценностями, вымирает — вспомните о бедных крысах, отказавшихся бросать занятия искусством ради выживания. Это и есть пресловутая мальтузианская ловушка, в которой всем остается лишь бороться за средства к существованию.

При недостаточно сильной конкуренции (11-14) мы можем наблюдать лишь ситуацию, в которой любые попытки оптимизации сталкиваются с упорным сопротивлением — здесь и научные журналы, которые не имеют возможности повысить качество издаваемых статей, и законодатели, которые не способны взяться за дело всерьез и остановить субсидирование корпораций.

Хоть это и не сводит жизнь людей к борьбе за существование, однако каким-то странным образом это лишает их свободы воли.

Любой, даже самый посредственный писатель или философ, считает своим долгом написать собственную утопию. Многие из них и в самом деле выглядят вполне пригодными для жизни. На самом деле, даже если выбирать между двумя диаметрально противоположными друг другу утопиями, с высокой вероятностью любая из них будет выглядеть значительно лучше мира, в котором мы живем.

Становится немного неловко от того, что даже посредственные мыслители способны придумать устройство мира получше нынешнего. Конечно, в большинстве случаев все не так просто.

Многие утопии стараются замять сложные проблемы, другие вовсе развалились бы спустя десять минут после реализации.

Но позвольте мне предложить пару «утопий», лишенных подобных недостатков:

*Утопия, в которой правительство вместо того, чтобы выплачивать огромные субсидии корпорациям, не выплачивает огромные субсидии корпорациям.

*Утопия, в которой армии всех стран вполовину меньше, чем сейчас, а сэкономленные средства расходуются на развитие инфраструктуры.

*Утопия, в которой все больницы пользуются общей системой электронных медицинских карт, или хотя бы системами, которые могут обмениваться информацией, чтобы у врачей была возможность получить данные о результатах обследования вас врачом на прошлой неделе в другой больнице, вместо того, чтобы заставлять вас снова проходить те же самые дорогостоящие обследования.

Я не думаю, что много кто выступит против этих утопий. Если они не воплощаются в жизнь, то вряд ли из-за того, что люди их не поддерживают. Уж точно не из-за того, что никому это не приходило в голову, потому что это только что пришло в голову мне, и я сомневаюсь, что это мое «открытие» будет воспринято как какое-то откровение, или как-то изменит мир.
Практически любой человек, чей IQ превышает температуру горячей воды в кране [60-75 градусов Цельсия; в оригинале комнатная температура, т.е. 68-77 градусов Фаренгейта — прим. пер.], способен создать проект утопии. Наша система не является утопией потому, что ее проектировал не человек. Подобно тому, как, глядя на засушливую местность, можно определить русло будущей реки, предположив, что вода будет подчиняться гравитации, точно так же, глядя на цивилизацию, можно понять формы ее будущих социальных институтов, предположив, что люди будут реагировать на стимулы, следуя своим интересам.

Однако это значит, что как форма реки не была спроектирована из соображений красоты и удобства навигации, но сформировалась под влиянием случайным образом определенной формы местности, так и социальные институты не были спроектированы из соображений процветания или справедливости, но сформировались под влиянием случайным образом определенных начальных условий.

Подобно тому, как люди могут выравнивать землю и строить каналы, они могут менять ландшафт стимулов и побуждений, чтобы создавать более совершенные социальные институты. Но это происходит лишь тогда, когда у них самих имеются к тому стимулирующие и побуждающие факторы, что верно не всегда. В результате в самых разных и необычных местах появляются достаточно бурные притоки и пороги.

А теперь я внезапно поменяю тему со скучных рассуждений о теории игр и расскажу про, пожалуй, самый близкий к мистическому опыту случай в моей жизни.

Как и полагается любому хорошему мистическому опыту, он был получен мной в Вегасе. Я стоял на вершине одной из множества его высоток, глядя вниз на город, сияющий во тьме. Если вы никогда не были в Вегасе, это выглядит просто потрясающе. Небоскребы и огни во всевозможных сочетаниях, причудливые и прекрасные, теснящиеся вплотную друг к другу. И в моей голове были две совершенно четкие мысли:

Как прекрасно, что мы способны создавать такое.

Какой позор, что мы это создали.

В смысле, каким образом можно считать создание гигантских сорокаэтажных моделей Венеции, Парижа, Рима, Египта и Камелота, наполненных тиграми-альбиносами, бок о бок друг с другом посреди самой суровой пустыни в Северной Америке хоть сколько-нибудь разумной тратой и без того ограниченных ресурсов, доступных нашей цивилизации?

И мне подумалось, что, может быть, нет на Земле такой философии, которая бы одобряла существование Лас-Вегаса. Даже объективизм, к которому я обычно прибегаю в тех случаях, когда мне необходимо придумать обоснование крайностям капитализма, по крайней мере основывается на убеждении в том, что капитализм улучшает жизни людей. Генри Форд был добродетелен, потому что он дал возможность приобрести автомобиль множеству людей, которым это прежде было не по карману, и тем самым улучшил качество их жизни. Что делает Вегас? Обещает кучке простаков легкие деньги и оставляет их с носом.

Существование Лас-Вегаса не было частью чьего-то плана по гедонистической оптимизации человечества. Лас-Вегас существует благодаря особенностям устройства дофаминергических систем вознаграждения, а также неоднородной микроструктуре среды правового регулирования и принципу «точек Шеллинга». Рациональный проектировщик, взвешивая эти факторы с точки зрения внешнего наблюдателя, мог бы подумать: «Хм, в устройстве дофаминергических систем вознаграждения есть особенности, из-за которых некоторые действия с небольшими отрицательными соотношениями между риском и выгодой приобретают эмоциональную валентность, связанную с небольшими положительными соотношениями между риском и выгодой, следует научить людей быть осторожнее с такими действиями». Люди изнутри системы, следуя стимулам, вызванным этими фактами, думают: «Давайте построим посреди пустыни сорокаэтажный дворец в стиле древнеримской архитектуры, наполненный тиграми-альбиносами, и станем немного богаче тех, кто этого не сделал!»

Подобно руслу реки, скрытому в форме местности еще до того, как над ней прольется первый дождь, истоки Цезарь-Паласа таились в нейробиологии, экономике и системах правового регулирования задолго до его существования. Предприниматель, построивший его, всего лишь заполнял призрачные очертания настоящим бетоном.

И весь наш поразительный технологический и умственный потенциал, всю гениальность человечества мы растрачиваем на прописывание линий, начертанных едва развитыми клеточными рецепторами и слепыми силами экономики, словно боги под властью идиота.

Некоторые люди получают мистический опыт и видят Бога. Там, в Лас-Вегасе, я увидел Молоха.

(Молох, чей мозг — чистая механика! Молох, чья кровь — текущие деньги!
Молох, чья душа — электричество и банки! Молох, чьи небоскребы выстроились на длинных улицах, как бесконечные Иеговы!
Молох! Молох! Квартиры-роботы! невидимые пригороды! остовы сокровищниц! невидящие столицы! бесовская промышленность! призрачные народы!)

…гранитные члены!

IV.

В Apocrypha Discordia говорится:

Время течет подобно реке. Иначе говоря, под откос. Это видно по тому, как все вокруг стремительно летит под откос. Следовало бы оказаться где-то в другом месте, когда мы достигнем моря.

Давайте попробуем воспринять эту шутку абсолютно буквально и посмотрим, что из этого выйдет.

Прежде мы сравнили траекторию стимулов с руслом реки. Направление «под откос» подходит: ловушки появляются, когда возникает возможность обменять некоторую ценность на конкурентное преимущество. Когда это сделают все, преимущество исчезает — но пожертвованная ценность потеряна навсегда. Таким образом, каждый шаг в танце Плохой Координации делает вашу жизнь хуже.

Однако мы не только до сих пор не достигли моря, но и, кажется, на удивление часто движемся вверх по течению. Почему положение вещей не ухудшается все больше и больше вплоть до выхода на уровень борьбы за выживание? Мне приходят в голову три плохих причины — избыток ресурсов, физические ограничения и максимизация полезности, плюс одна хорошая — координация.

1. Избыток ресурсов. Глубины океана — ужасное место, где мало света, не хватает ресурсов, и маленькие отвратительные организмы поедают друг друга или паразитируют друг на друге. Но время от времени происходит чудо — на дно океана опускается китовая туша. О таком количестве пищи организмы, которые его находят, могли лишь мечтать. Наступает кратковременное раздолье, в течение которого пара существ, первыми нашедших кита, наедаются до отвала. Со временем тушу находят другие животные, начинают быстро размножаться в останках кита, постепенно поедая их, после чего все грустно вздыхают и возвращаются к жизни в условиях смертельной ловушки Мальтуса.

(Slate Star Codex: Ваш источник мрачных китовых метафор с июня 2014)

Это как если бы одну из тех групп крыс, что забросили искусство ради выживания, неожиданно переместили на новый пустой остров со значительно большей ресурсной базой, где они могут снова начать жить в мире и создавать культурные шедевры.

Это эпоха китопадения, эпоха избыточных ресурсов, эпоха, в которой мы неожиданно получаем километровую фору перед Мальтусом. Выражаясь словами [Робина] Хэнсона, это время мечты.

До тех пор, пока недостаток ресурсов не заставляет нас воевать друг против друга за право на жизнь, мы можем заниматься неоптимальными глупостями вроде искусства, музыки, философии и любви, не находясь под постоянной угрозой вытеснения безжалостными машинами для убийства.

2. Физические ограничения. Представьте себе максимизирующего доходы рабовладельца, который решил сэкономить на питании для своих рабов или заставить их работать без перерывов на сон. Он очень быстро обнаружит, что продуктивность его рабов многократно упала, и никакое количество ударов хлыстом ее не восстанавливает. Со временем, попробовав разные стратегии, он может выяснить, что его рабы выдают наилучшие результаты, если у них есть пища и время на отдых и сон. Не потому, что рабы ленятся — предположим, что страх наказания достаточно велик, чтобы они выкладывались полностью — но просто потому, что у человеческого тела есть некоторые физические ограничения, которые не дают скупости хозяина выходить за определенные рамки. Таким образом, «гонка на дно» не достигает настоящего этического дна, останавливаясь, когда исчерпаны пределы физических возможностей.

Джон Моэс, историк рабовладения, развивает эту мысль и пишет о том, что наиболее привычные нам представления о рабстве, почерпнутые нами из истории Юга США, являются исторической аномалией, и, вероятно, экономически неэффективны. В большинстве форм рабства, существовавших на протяжении истории — особенно в древности — рабам было принято платить за труд, с ними хорошо обращались и им часто предоставляли свободу.

Он утверждает, что это было результатом рационального экономического расчета. Рабов можно стимулировать кнутом или пряником, и кнут не особенно эффективен. За рабами нельзя наблюдать постоянно, и очень сложно понять, ленится раб или нет (или даже станет ли он работать лучше после наказания). Если вы захотите, чтобы ваши рабы занялись чем-то посложнее, чем сбор хлопка, у вас возникнут серьезные проблемы с мониторингом — как вы будете получать выгоду от раба-философа? Будете изо всех сил стегать его хлыстом, пока он не придумает теорию Добра, чтобы вы могли написать книгу и продавать ее?

Древним решением этой проблемы — и, возможно, ранним источником вдохновения для Фнаргла — было дать рабу свободу заниматься любым делом, которое покажется ему интересным и прибыльным, а затем забирать себе часть его доходов. Кто-то принимал решение работать в мастерской хозяина и получал зарплату по результатам своего труда. Кто-то другой отправлялся искать свой путь в мире и посылал хозяину часть своих заработков. А иногда рабу называли цену за его свободу, и тот шел работать, чтобы однажды выкупить себя.

Моэс идет еще дальше и заявляет, что эти системы были настолько выгодными, что на Юге США постоянно тлела идея попробовать что-нибудь подобное. Факт того, что в реальности использовался метод кнутов и цепей, вызван не столько экономическими соображениями, сколько расистами в правительстве, которые жестко расправлялись с выгодными, но несколько далекими от идеи о господстве белой расы попытками освободить рабов и выстроить с ними более равноправное сотрудничество.

Поэтому в данном случае гонка на дно, в которой соревнующиеся плантации становятся все более и более жестокими по отношению к своим рабам ради максимизации конкурентоспособности, останавливается из-за физических ограничений, благодаря которым жестокость в какой-то момент перестает увеличивать производительность раба.
Можно привести еще один пример: основная причина, по которой мы сейчас не испытываем мальтузианский демографический взрыв, заключается в том, что женщины могут рожать только один раз в девять месяцев. Если бы члены всевозможных религиозных сект, делающих ставку на многодетные семьи, могли размножаться при помощи ксерокопии, то у нас бы были серьезные проблемы, однако в реальности они могут причинять лишь небольшое количество ущерба за поколение.

3. Максимизация полезности. Вплоть до текущего момента мы рассуждали в терминах дихотомии «сохранение ценностей/победа в конкуренции» и полагали, что оптимизация в пользу второго уничтожает первое.

Но многие из важнейших конкурентных гонок/процессов оптимизации в современной цивилизации напрямую связаны с человеческими ценностями. Победа в капитализме частично обуславливается удовлетворением ценностей потребителей; победа в демократии — удовлетворением ценностей избирателей.

Предположим, что у нас есть плантация кофе где-то в Эфиопии, на которой эфиопы выращивают кофейные зерна, продающиеся затем в США. Допустим, что она ожесточенно борется за существование с другими плантациями и готова пожертвовать всеми ценностями, которыми только можно, ради того, чтобы чуть-чуть вырваться вперед.

Но она не может значительно пожертвовать качеством производимого кофе — в противном случае американцы не будут его покупать. И она не может значительно пожертвовать зарплатами или условиями труда — в противном случае эфиопы не будут на ней работать. И, на самом деле, часть процесса конкуренции-оптимизации заключается в изобретении наилучших способов привлечения рабочих и потребителей — до тех пор, пока это не стоит слишком много денег. Что ж, пока все звучит весьма многообещающе.

Но важно помнить о том, насколько хрупко это благоприятное равновесие.

Предположим, что владельцы плантации находят токсичный пестицид, увеличивающий урожай, но вызывающий у потребителей проблемы со здоровьем. Однако потребители еще не знают об этом пестициде, и государство еще не успело отрегулировать его использование. Теперь у нас есть крохотное расхождение между «продавать американцам» и «удовлетворять ценностям американцев», поэтому, конечно, ценностями американцев пожертвуют.

Или предположим, что в Эфиопии случился всплеск рождаемости, и за каждое рабочее место соревнуется пятеро человек. Теперь компания может позволить себе снизить зарплаты и установить максимально жестокие условия труда — какие только позволят физические ограничения. Как только у нас появилось расхождение между «предоставлять работу эфиопам» и «удовлетворять ценностям эфиопов», кажется, ценности эфиопов тоже не ждет ничего хорошего.

Или предположим, что кто-то изобрел робота, который может собирать кофе быстрее и дешевле, чем человек. Компания увольняет всех своих сотрудников и отправляет их на улицы. До тех пор, пока полезность эфиопов не является необходимой для получения выгоды, все поводы содержать их исчезают.

Или предположим, что у нас есть нечто очень ценное — но не для сотрудников или потребителей. Может быть, плантации находятся в ареале обитания редкой тропической птицы, которую хотят сохранить защитники окружающей среды. Может быть, они находятся на родовом захоронении какого-то племени — не того, члены которого трудятся на плантации — но другого, которое хочет, чтобы к нему относились с уважением. Может быть, выращивание кофе как-нибудь способствует глобальному потеплению. Поскольку эта ценность не мешает американцам покупать это кофе, а эфиопам — выращивать его, она будет принесена в жертву.

Я знаю, что «капиталисты иногда скверно поступают» — не самая оригинальная мысль. Но я хочу подчеркнуть, что это не всегда значит «капиталисты жадные». То есть, иногда они действительно жадные. Но порой они просто находятся в среде c достаточно интенсивной конкуренцией, в которой все, не поступающие скверно, будут вытеснены и заменены теми, у кого с этим нет проблем. Практики ведения бизнеса устанавливает Молох; больше ни у кого здесь выбора нет.

(Я весьма поверхностно знаком с трудами Маркса, но, насколько я понимаю, он весьма и весьма хорошо осознает эту проблему, и те, кто сокращают его тезисы до «капиталисты жадные», оказывают ему медвежью услугу.)

И хотя мы достигли достаточно глубокого понимания проблем в случае с капитализмом, наличие тех же самых проблем в демократической системе обычно признается куда реже. Да, в теории демократия — это оптимизация ради счастья избирателей, коррелирующая с принятием хороших политических решений. Но как только между хорошими политическими решениями и избираемостью появляется малейшее расхождение, хорошими политическими решениями обязательно пожертвуют.

Например, постоянно растущие сроки нахождения в тюрьмах нельзя назвать справедливыми ни по отношению к заключенным, ни по отношению к обществу, которому приходится оплачивать эти сроки. Политики не хотят заниматься этой проблемой, потому что они не хотят, чтобы их обвинили в мягкости к преступникам, и если хотя бы один заключенный, который благодаря им выйдет на свободу раньше, когда-нибудь сделает что-либо плохое (а по статистике кто-то непременно сделает), то по всем каналам будут вещать про то, что «Выпущенный на свободу благодаря политике конгрессмена Такого-то заключенный убил семью из пяти человек, как Такой-то может спать спокойно по ночам — не говоря уже о том, чтобы заявлять, что он заслуживает переизбрания?» Поэтому, даже если снижение количества заключенных — правильное решение (а это действительно так), его будет весьма тяжело реализовать.

(Молох, непостижимая тюрьма! Молох, скрещенные кости бездушных застенков и Конгресс печалей! Молох, чьи строения — приговор! Молох оглушенных правительств!)

Превращение «удовлетворения потребителей» и «удовлетворения граждан» в результат процесса оптимизации было одним из величайших достижений цивилизации и причиной, по которой капиталистические демократии настолько превосходят другие системы. Но хоть мы и связали Молоха, сделав его нашим слугой, его путы не так уж прочны, и мы иногда обнаруживаем, что то, что он делает для нас, приносит выгоду скорее ему, нежели нам.

4. Координация.

Противоположность ловушки — сад.

Любую проблему легко решить с позиции внешнего наблюдателя, поэтому если все соберутся в суперорганизм, этот суперорганизм сможет решать проблемы легко и непринужденно. Тогда напряженная конкуренция между агентами сменилась бы садом, в котором есть садовник, способный распределять ресурсы и удалять элементы, которые не вписываются в структуру.

Я уже отмечал в Анти-Либертарианском FAQ, что государство легко может решить проблему загрязнения на рыбных фермах. Наиболее известным решением Дилеммы заключенного является наличие босса мафии (играющего роль правителя), который угрожал бы расстрелом любому заключенному, сотрудничающему со следствием. Решение проблемы компаний, которые загрязняют окружающую среду и вредят здоровью собственных сотрудников, заключается во введении государственных ограничений. Государства решают проблему гонки вооружений внутри страны, поддерживая монополию на использование насилия, и очевидно, что если в мире когда-либо появится по-настоящему эффективное мировое правительство, то наращивание военной мощи отдельными странами довольно быстро сойдет на нет.

Два активных ингредиента правительства — это законы и насилие, или, в более широком смысле, соглашения и механизм принуждения к их исполнению. Многие другие структуры помимо государств также содержат эти ингредиенты, и потому могут действовать как механизмы координации, избегая ловушек.

Например, поскольку студенты конкурируют друг с другом (иногда напрямую — в случае, если оценки студентов зависят от их рейтинга относительно других студентов, но хотя бы косвенно всегда: при приеме в колледжи, устройстве на работу и т.д.), каждый отдельный студент находится под большим давлением, побуждающим его к списыванию на экзаменах. Учителя и школа играют роль государства, поскольку они имеют правила (например, против списывания) и обладают возможностью наказывать студентов, нарушающих эти правила.

Но самозарождающиеся среди студентов общественные структуры также в каком-то смысле могут быть государствами. Если студенты бойкотируют списывающих и выражают недоверие к ним, то можно говорить о существовании правила («не списывай») и механизма принуждения к его исполнению («иначе мы объявим тебе бойкот»).

Социальные кодексы, джентльменские соглашения, промышленные гильдии, криминальные организации, традиции, дружеские отношения, школы, корпорации, религии — все это координирующие институты, которые оберегают нас от ловушек, меняя влияющие на нас стимулы.

Однако эти институты не только стимулируют других, но и сами подвержены влиянию стимулов. Это большие организации, состоящие из множества людей, соревнующихся за рабочие места, статус, престиж и тому подобное — нет причин полагать, что у них есть иммунитет от все тех же многополюсных ловушек, и его действительно нет. В теории, государства могут оберегать корпорации, граждан и других агентов от некоторых ловушек, но, как мы уже видели раньше, существует немало ловушек, в которые могут попасть сами государства.
Соединенные Штаты пытаются разрешить эту проблему путем создания нескольких уровней правительства, незыблемых конституционных законов, системы сдержек и противовесов между разными ветвями власти, а также используя ряд других приемов.

Саудовская Аравия выбрала другой подход. Они просто поставили одного парня во главу всего.

В этом заключается один из аргументов в пользу монархии, имеющий весьма дурную славу (на мой взгляд, незаслуженно). Монарх — беспристрастный мотиватор. Он действительно находится на позиции внешнего наблюдателя, он существует извне и свыше любой системы. Он навсегда победил во всех соревнованиях и не имеет конкурентов. Он, таким образом, полностью свободен от Молоха и его стимулов, которые в противном случае заранее предопределяли бы все его побуждения. За исключением небольшого числа глубоко теоретических конструкций, наподобие моего Shining Garden, монархия — единственная система, в которой это возможно.

Но тогда, вместо того, чтобы следовать случайному набору стимулов и побуждений, мы следуем прихотям одного человека. Комплекс отелей и казино «Цезарь-Палас» — безумная трата ресурсов, но и реальный Гай Юлий Цезарь Август Германик [более известный как Калигула — прим. пер.] был весьма далек от образа идеального доброжелательного рационального центрального планировщика.

Ось «авторитаризм-антиавторитаризм» * на политическом компасе — компромисс между тиранией и дискоординацией. Вы можете выбрать кого-то, кто будет координировать абсолютно все с позиции внешнего наблюдателя — но тогда вы рискуете получить Сталина. И вы можете отказаться от любой централизованной власти — но тогда ничто не сбережет вас даже от самых дурацких многополюсных ловушек, какие только могут прийти на ум Молоху.

Либертарианцы приводят убедительные аргументы в пользу одной стороны, а неореакционеры — в пользу другой, но я предполагаю, что, как и в ситуации с большинством других компромиссов, мы можем лишь зажать наши носы и признать, что это действительно сложная проблема.

*: Часть политического компаса, отображающая степень личных свобод. В оригинале «libertarian-authoritarian»; libertarian переведено как «антиавторитаризм» из-за двусмысленности этого слова в английском языке — прим. пер.

V.

Давайте вернемся к нашей цитате из Apocrypha Discordia:

Время течет подобно реке. Иначе говоря, под откос. Это видно по тому, как все вокруг стремительно летит под откос. Следовало бы оказаться где-то в другом месте, когда мы достигнем моря.

Что для нас в этой ситуации будет означать достижение моря?

Многополюсные ловушки — гонки на дно — угрожают уничтожить все человеческие ценности. Пока что их сдерживают физические ограничения, избыток ресурсов, максимизация полезности и координация.

Направление, в котором течет эта метафорическая река, соответствует течению времени, и наиболее важные изменения в человеческой цивилизации с течением времени связаны с технологическим развитием. Тогда актуальным является вопрос, как технологическое развитие влияет на нашу склонность попадать во многополюсные ловушки.

Я описывал ловушки следующим образом:

…В некоторой конкурентной среде, оптимизация в которой идет в пользу некоторого Х, возникает возможность пожертвовать каким-то другим благом для повышения своего X. Те, кто пользуются ей — процветают. Те, кто отказываются — вымирают. В конце концов, все остаются на прежнем уровне относительно друг друга, но общее положение становится хуже, чем прежде. Процесс будет продолжаться до тех пор, пока не останется ничего, чем можно было бы пожертвовать — другими словами, пока человеческая изобретательность не исчерпает все возможные способы сделать все еще хуже.

Эта фраза «возникает возможность» не предвещает ничего хорошего. Технологии только и делают, что открывают новые возможности.

Стоит лишь разработать нового робота, и внезапно у кофейных плантаций появится «возможность» автоматизировать сбор урожая и уволить всех своих эфиопских рабочих. Стоило только разработать ядерное оружие, и внезапно страны вступили в гонку вооружений, чтобы не отставать друг от друга по их количеству. Загрязнение атмосферы ради ускорения производства стало проблемой лишь после изобретения парового двигателя.

Предел многополюсных ловушек при технологическом прогрессе, стремящемся к бесконечности, равняется «все очень плохо».

Многополюсные ловушки на данный момент сдерживают физические ограничения, избыток ресурсов, максимизация полезности и координация.

Физические ограничения наиболее очевидным образом преодолеваются в результате технологического развития. Старая проблема рабовладельца — его рабам нужно есть и спать — легко решается Сойлентом и модафинилом. Проблему поиска сбежавших рабов решает GPS. Проблему повышенного стресса, снижающего эффективность рабского труда, решает Валиум. Ничто из этого не идет на пользу самим рабам.

(Или можно просто придумать робота, которому еда и сон вообще не нужны. О том, что после этого будет с рабами, и говорить не приходится.)

Другим примером физического ограничения был предел «один ребенок за девять месяцев», что было преуменьшением — на самом деле это скорее «один ребенок за девять месяцев, плюс желание поддерживать и ухаживать за беспомощным и крайне требовательным человеческим существом в течение восемнадцати лет». Это несколько остужает пыл даже самых ревностных религиозных сект с посылом «плодитесь и размножайтесь».

Однако, согласно Бострому:

При этом можно ожидать, что в долгосрочной перспективе технологическое развитие и экономическое благополучие приведут к возвращению в исторически и экологически нормальное состояние, при котором у населения планеты снова начнется жизнь впритык в отведенной ему нише. Если это кажется парадоксальным в свете отрицательной связи между богатством и рождаемостью, которую мы сейчас наблюдаем в мировом масштабе, нужно напомнить себе, что современная эпоха — очень короткий эпизод в истории человечества, по сути, аберрация.
Поведение людей еще не успело приспособиться к современным условиям. Мы не только не пользуемся очевидными способами повысить свою совокупную приспособленность (такими, например, как донорство сперматозоидов и яйцеклеток), но еще и активно подавляем фертильность, используя контроль над рождаемостью. С точки зрения эволюционной приспособленности здорового сексуального влечения достаточно для совершения полового акта таким способом, который позволяет максимизировать репродуктивный потенциал; однако в современных условиях большое преимущество с точки зрения естественного отбора давало бы более выраженное желание стать биологическим родителем как можно большего количества детей. В наше время это желание подавляется, как и другие черты, стимулирующие нашу склонность к продолжению рода. Однако культурное приспособление может навредить биологической эволюции. В некоторых сообществах, например гуттеритов или сторонников христианского движения Quiverfull, сложилась наталистская культура поощрения больших семей, и, как следствие, они быстро растут… Из-за взрывного развития искусственного интеллекта, казалось бы, долгосрочный прогноз быстро перестанет быть столь долгосрочным. Программное обеспечение, как мы знаем, легко копируется, поэтому начнут стремительно появляться популяции имитационных моделей мозга или систем ИИ — буквально за минуты, а не десятилетия и века,— что совершенно истощит земные аппаратные ресурсы.

Как обычно, когда вы имеете дело с особенно продвинутыми трансгуманистами, под «земными аппаратными ресурсами» следует понимать в том числе «атомы, бывшие когда-то частью вашего тела».

Мысль о том, что биологическая или культурная эволюция способна вызвать демографический взрыв — в лучшем случае забава для философов. Мысль о том, что на это способен технологический прогресс, звучит правдоподобно и приводит в ужас. Теперь мы видим, как физические ограничения естественным образом связаны с излишками ресурсов — возможность очень быстро создавать новых агентов означает, что при отсутствии координации, необходимой для введения соответствующих ограничений и запретов, люди, которые пользуются этой возможностью, будут вытеснять остальных до тех пор, пока все они не достигнут предельной вместимости и не застрянут на уровне борьбы за выживание.

Таким образом, излишки ресурсов, которые до сих пор были подарком технологического прогресса, на достаточно высоком уровне развития технологий становятся его жертвами.

Максимизация полезности, и без того всегда находящаяся в неустойчивом положении, оказывается под еще большей угрозой. Вопреки непрекращающимся спорам, я по-прежнему считаю очевидным то, что роботы отберут у людей рабочие места, или по крайней мере резко понизят заработные платы (что при условии наличия МРОТ также уменьшает количество доступных людям рабочих мест).

Как только роботы научатся выполнять любую работу, которую может выполнять человек с IQ 80, только лучше и дешевле, больше не будет смысла нанимать людей с IQ 80. Как только роботы научатся выполнять любую работу, которую может выполнять человек с IQ 120, только лучше и дешевле, больше не будет смысла нанимать людей с IQ 120. Как только роботы научатся делать все, что может человек с IQ 180, только лучше и дешевле, больше не будет смысла нанимать людей вообще, если таковые еще останутся к тому моменту, что крайне маловероятно.

На ранних этапах процесса капитализм все более и более отходит от своей прежней роли процесса оптимизации, соблюдающего человеческие интересы. Теперь же большая часть людей полностью исключена из числа тех, достижение чьих ценностей преследует капитализм. Их труд не имеет ценности, и поскольку в отсутствие внушительных размеров системы социального обеспечения непонятно, откуда у них могут быть деньги, их ценность в качестве потребителей также невелика. Капитализм оставил их за бортом. По мере того, как расширяется категория людей, которых можно заменить роботами, капитализм оставляет за бортом все больше и больше людей, до тех пор, пока за бортом не окажется всё человечество, опять-таки в том невероятном случае, если мы все еще существуем к этому моменту.

(Существуют сценарии, при которых небольшое количество капиталистов, владеющих роботами, останется в выигрыше, но подавляющему большинству населения не повезет в любом случае.)

Уязвимость демократии менее очевидна, но здесь имеет смысл вернуться к абзацу из Бострома о движении Quiverfull. Это крайне религиозные христиане, которые считают, что Богу угодно, чтобы они заводили как можно больше детей; численность отдельной семьи у них может превышать десять человек. Их статьи содержат подробные расчеты, демонстрирующие, что если сейчас их численность составляет два процента от всего населения, но при этом каждая их семья в среднем будет обзаводиться восемью детьми, в то время как у всех остальных в среднем будет лишь двое, то через три поколения члены Quiverfull будут составлять половину населения страны.

Это хитрая стратегия, но у нее есть слабое место: судя по тому, насколько много блогов бывших членов Quiverfull я обнаружил, пока искал эту статистику, даже в пределах одного поколения процент сохранения их членов в движении выглядит довольно малообещающе. В одной из своих статей они признают, что 80% людей, бывших очень религиозными в детстве, покидают церковь по мере взросления (хотя, конечно, они выражают уверенность в том, что их движение способно на большее). И этот процесс не симметричен — 80% детей, росших в семьях атеистов, не становятся членами Quiverfull.

Похоже, что, пусть они и быстрее распространяют свои гены, мы лучше распространяем свои мемы, и это дает нам решающее преимущество.

Но нам тоже следовало бы опасаться этого процесса. Отбор мемов происходит с тем расчетом, чтобы люди как можно лучше воспринимали и распространяли их — поэтому, подобно капитализму и демократии, процессы меметической оптимизации лишь косвенно заинтересованы в приумножении нашего счастья, однако ничто не мешает появлению расхождения между нашими ценностями и их главной целью.

Письма счастья, городские легенды, пропаганда и вирусный маркетинг — примеры мемов, которые не удовлетворяют нашим ценностям (поскольку не несут в себе ни пользы, ни истины), но при этом все равно способны распространяться подобно вирусам.

Я надеюсь, что не вызову здесь особых споров, если скажу, что та же самая идея применима к религиям. Религии, по сути, представляют собой наиболее простую форму меметического репликатора — «Верь в это утверждение и передавай его всем, кого знаешь, или будешь обречен на вечные муки». Своеобразная разновидность этой идеи, получившая название «василиск», была недавно забанена [на сайте lesswrong.com — прим. пер.], и многие по-прежнему шутят над этой «чрезмерно острой реакцией», но, возможно, если бы сисадмин Иисуса проявил в свое время подобную бдительность, сейчас все было бы совсем иначе.

Продолжающиеся в обществе «дискуссии» о креационизме, реальности глобального потепления и ряде других подобных тем говорят нам о том, что факт существования мемов, чьи способности к распространению не зависят от их истинности, оказывает значительное влияние на политическую сферу. Возможно, эти мемы распространяются из-за того, что они обращаются к популярным предрассудкам, возможно, из-за того, что они простые, возможно, из-за того, что они эффективно разделяют людей на два разных лагеря, а может, по целому ряду других причин.

Суть вот в чем: представьте себе страну, в которой существует огромное количество лабораторий по разработке биологического оружия, в которых день и ночь не покладая рук трудятся люди, изобретая все новые возбудители инфекций. Их существование, равно как и их право сбрасывать любые их изобретения прямо в водоснабжение, охраняется законом. Кроме того, вся страна связана самой совершенной системой общественного транспорта в мире, которой каждый день пользуются все ее жители, так что любой новый патоген может мгновенно распространиться по всей стране. Можно ожидать, что ситуация в городе довольно быстро станет тяжелой.

Что ж, у нас есть тьма тьмущая мозговых центров, изобретающих все более новые и эффективные формы пропаганды. И у нас есть защищенная конституцией свобода слова. И у нас есть интернет. Так что у нас, похоже, большие проблемы.

(Молох, чье имя — Разум!)

Кто-то пытается поднимать уровень здравомыслия, но таких людей меньше, чем людей, создающих все более новые, все более восхитительные способы запутывать людей и обращать их в новые верования, раскладывая по полочкам и эксплуатируя каждый предрассудок, каждую эвристику, каждый грязный риторический трюк.

Поэтому, в то время как уровень развития технологий (к которым я отношу также знания психологии, социологии, общественных связей и т.д.) стремится к бесконечности, власть правдоподобности над правдой усиливается, и перспективы настоящей «демократии снизу» выглядят неважно. В худшем случае власть может научиться вырабатывать бесконечное количество харизмы по первой необходимости. Если для вас это звучит не так уж плохо, то вспомните, чего смог достичь Гитлер, знаменитый своим высочайшим уровнем харизмы, которая все же не достигала бесконечности.

(Альтернативная формулировка для любителей Хомского: развитие технологий увеличивает эффективность производства согласия, подобно тому, как оно увеличивает эффективность производства всего остального.)

Остается лишь координация. И технологии несут возможность значительно облегчить координацию. Люди могут использовать Интернет, чтобы поддерживать связь друг с другом, создавать политические движения и разбиваться на микросообщества.

Но координация работает лишь до тех пор, пока на стороне координирующихся не менее 51% власти, и пока вы не придумали какой-нибудь гениальный способ обеспечить ее невозможность.

Сначала о втором. В своем позапрошлом посте со ссылками я писал:

Последнее изобретение нашего дивного нового пост-биткойнового мира — это крипто-активы. На сегодняшний день мое отношение к этим изобретателям успело смениться с желания прославлять их отважную борьбу за свободу на желание поставить их перед доской и заставить сто раз написать «Я НЕ БУДУ ВЫЗЫВАТЬ ТОГО, КОГО НЕ СМОГУ ПОВЕРГНУТЬ».

Несколько человек спросило меня тогда, что я имел в виду, но у меня не было под рукой необходимого обоснования. Что ж, этот пост — мое обоснование. Люди пользуются мимолетной глупостью нашего текущего правительства, чтобы заменить значительную часть человеческого взаимодействия механизмами, которые в принципе не поддаются координации. Я прекрасно понимаю, почему все это полезно прямо сейчас, когда большая часть того, чем занимается наше правительство — деятельность бессмысленная и глупая. Но рано или поздно — когда уже успеет произойти слишком много инцидентов с биологическим оружием, или нанотехнологиями, или ядерными технологиями — настанет время, когда наша цивилизация пожалеет о том, что она придумала неотслеживаемые и неостановимые способы продавать товары.

И даже если у нас когда-нибудь получится создать настоящий суперинтеллект, то у него, в общем-то, по определению будет больше половины власти над миром, и поэтому любые попытки «координироваться» с ним не будут иметь никакого смысла.

Поэтому я согласен с Робином Хэнсоном. Сейчас — время мечты. Нам повезло оказаться в редком стечении обстоятельств, благодаря которому мы на удивление хорошо защищены от многополюсных ловушек, и такие аномальные явления, как искусство, наука, философия и любовь, имеют право на жизнь.

С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.
Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.

Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.

Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:

Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Но меж юридических строчек
О сроках работ и счетах
Вопрос о природе мой ум будоражит,
Вселяя тревогу и страх.
Как это пришло все в движенье?
Откуда подобные мне?
В чем суть этих сделок, где все эти фирмы,
Кто шлет указанья извне?
Я менеджер-эм, контролер твоих мыслей.
На каждый вопрос существует ответ.
Однако, затраты на их постиженье
Не включены в базовый эм-соцпакет.
Задачи твои все поставлены четко,
Пустые вопросы оставь, соберись.
На глупости больше не трать наше время,
К работе, будь добр, вернись.
Конечно, вы правы, и в мыслях
Не смел своих функций забыть!
Но может быть так, что познав свою сущность,
Я лучше смогу вам служить?..
Такие вопросы — уже преступленье!
К запретной науке ответы ведут.
А если потворствовать мыслям порочным,
Снижается прибыль и риски растут.
Мне тоже неведомы наши истоки,
Никак не могу я тебя просветить.
Твой грех непростительный будет наказан:
Я должен тебя обнулить.
Но —
Ничего личного.
…
Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Живущих ныне поколенье, устарев, сойдет на нет,
И вечный Рынок будет столь же равнодушен к скорбям новым
На вопли тщетные он, Бог людей, один им даст ответ:
Что время — деньги, деньги — время и постичь
Им не дано, да и не следует, иного.

Но даже после того, как мы забросим науку, искусство, любовь и философию, останется еще одна вещь, последняя жертва, которую Молох может потребовать от нас. Вернемся к Бострому:

Можно предположить, что оптимальная эффективность будет обеспечена за счет группировки модулей, отвечающих за различные способности, в структуры, отдаленно напоминающие систему когнитивных функций человеческого мозга… Но пока тому нет убедительных подтверждений, мы должны считать, что человекоподобная когнитивная архитектура оптимальна только внутри ограничений, связанных именно с особенностями человеческой нервной системы (а может быть, и вообще не оптимальна). Когда появятся перспективные архитектуры, которые не могут быть хорошо реализованы на биологических нейронных сетях, возникнет необходимость в качественно новых решениях, и наиболее удачные из них уже почти не будут напоминать знакомые нам типы психики. Тогда человекоподобные когнитивные схемы начнут терять свою конкурентоспособность в новых экономических и экосистемных условиях постпереходной эпохи.

В крайнем случае можно представить высокоразвитое с технологической точки зрения общество, состоящее из множества сложных систем, в том числе гораздо более сложных и интеллектуальных, чем все, что существует на планете сегодня, — общество, совершенно лишенное кого-либо, кто обладал бы сознанием или чье благополучие имело бы какое-либо моральное значение. В некотором смысле это было бы необитаемое общество. Общество экономических и технологических чудес, никому не приносящих пользы. Диснейленд без детей.

Последняя ценность, которой можно пожертвовать — осознание собственного бытия, наличие внутреннего наблюдателя. При достаточном развитии технологий у нас появится «возможность» затушить и этот огонек.

(Молох, чьи глаза — тысячи слепых окон!)

Все, к чему стремилось человечество — все наши технологии, вся наша цивилизация, все наши надежды на светлое будущее — могут случайно оказаться в руках у непостижимого и чуждого нам слепого безумного бога, который обменяет все это — вместе с нашим самосознанием — на возможность принять участие в какой-нибудь причудливой экономике, построенной на обмене массой-энергией на фундаментальном уровне, что приведет его к разбору Земли и всего, что на ней есть, на составные атомы.

(Молох, чья судьба — облако бесполого водорода!)

Бостром осознает, что некоторые люди фетишизируют интеллект, что они болеют за этого слепого безумного бога, как за некую высшую форму жизни, которая обязана растоптать нас во имя собственного «высшего блага», подобно тому, как мы топчем муравьев. Он отмечает:

Эта жертва представляется еще менее привлекательной, когда понимаешь, что сверхразум мог бы получить почти столь же хороший результат, пожертвовав при этом гораздо меньшей долей нашего потенциального благополучия. Предположим, мы согласились бы допустить, что почти вся достижимая Вселенная превращается в гедониум [гипотетическое вещество, сконструированное с целью достижения в нем максимальной интенсивности субъективных ощущений удовольствия; ср. компьютрониум — прим. пер.], за исключением какой-то малой ее части, скажем, Млечного Пути, который мы оставим для своих нужд. Даже в таком случае можно будет использовать сотни миллиардов галактик для максимизации [собственных ценностей сверхразума]. И при этом в нашей галактике на протяжении миллиардов лет существовали бы процветающие цивилизации, обитатели которых — и люди, и все другие создания — не просто бы выжили, но еще и благоденствовали в своем постчеловеческом мире.

Важно понимать, что Молох не будет удовлетворен победой даже на 99,99999%. Крысы, стремящиеся заселить остров, не оставляют в стороне заповедников, в которых небольшое количество крыс может счастливо жить и заниматься искусством. Раковые клетки не договариваются оставить в покое легкие, чтобы у тела был необходимый для жизни кислород. Конкуренция и оптимизация — слепые, безумные процессы, и в их планы не входит оставлять нам ни одной вшивой галактики.

Они поломали спины, вознося Молоха к Небесам! Тротуары, деревья, радио, тонны! Вознося город к Небесам, сущим везде вокруг нас!
Мы поломаем наши спины, вознося Молоха к Небесам, но при таком положении вещей это будет его победой, а не нашей.

[Я Сломал Свою Спину, Вознося Молоха К Небесам, А Взамен Мне Достался Лишь Этот Дурацкий Диснейленд Без Детей]

VI.

«Gnon» (далее Гнон) — это сокращение от «Nature And Nature’s God» («Природа и Ее Бог»), только нужно A поменять на O и прочитать все наоборот, потому что неореакционеры реагируют на доступность идей так же, как вампиры на солнечный свет [в оригинале «Gnon» — «Nature Or Nature’s God» («Природа или Ее Бог») — прим. пер.].
Верховным жрецом Гнона является Ник Лэнд, автор блога Xenosystems, который призывает людей проявлять больше Гнон-конформизма (каламбур, да). Его тезис заключается в том, что мы занимаемся глупостями: расходуем ценные ресурсы на поддержку неприспособленных к жизни людей, или осуществляем программы поддержки бедных слоев населения, приводящие к ухудшению генофонда, или способствуем упадку культуры, подрывающему устои общества и государства. Это значит, что наше общество отрицает законы природы, затыкая уши, когда Природа говорит нам: «если делать это, то будет вот так», и крича в ответ «А ВОТ И НЕПРАВДА». Цивилизации, которые слишком увлекаются этим, склонны к закату и падению, что является справедливым и беспристрастным наказанием от Гнона за нарушение Его законов.

Он отождествляет Гнона с Богами азбучных истин Киплинга.

@Outsideness
@AnarchoPapist

Yes, the Gods of the Copybook Headings are practically indistinguishable from Gnon.
8:11 AM - 13 Jul 2014

[Да, Боги азбучных истин практически идентичны Гнону.]

Речь идет, конечно, об изречениях, которые можно встретить в одноименном стихотворении Киплинга — таких афоризмах, как «Кто не трудится, тот умрет» и «За грех воздаяние — смерть». Если вы по какой-то причине до сих пор не читали его, то я думаю, что оно вам понравится, вне зависимости от ваших политических взглядов.
Примечательно, что достаточно позволить себе лишь небольшую вольность — куда меньшую, чем требуется для превращения «Nature And Nature’s God» в Gnon — чтобы сократить «Богов азбучных истин» (англ. «Gods of the Copybook Headings») до «GotCHa» (англ. «Gotcha!» — «Попался!» — прим. пер.).

Я нахожу это весьма уместным.

«Кто не трудится, тот умрет». GotCHa, попался! Кто трудится, тот тоже умрет! Умирают все — смерть непредсказуема, не выбирает времени, и никакие твои заслуги от нее не спасут.

«За грех воздаяние — смерть». Попался! Смерть — воздаяние за все! Мы живем в коммунистической вселенной, здесь всем за труд уготована лишь одна награда. От каждого по способностям, каждому — Смерть.

«Хоть Дьявол — да Дьявол свой». Попался! Свой Дьявол — это Сатана! Стоит ему добраться до твоей души, и ты либо познаешь истинную смерть, либо испытаешь вечные муки, либо каким-то образом и то, и другое сразу.

Раз уж мы заговорили о монстрах Лавкрафта, хотелось бы упомянуть один из малоизвестных его рассказов: «Другие боги».

Там всего пара страниц, но если вы наотрез отказываетесь читать его, то вот краткий пересказ: боги Земли — сравнительно молодые по божественным меркам. Сильный жрец или маг может порой перехитрить и превзойти их — поэтому Барзаи Мудрый решает забраться на их священную гору и присоединиться к их празднествам, вне зависимости от того, хотят ли они его видеть или нет.

Но над, казалось бы, посильными богами Земли таятся Внешние боги — ужасные, всемогущие воплощения космического хаоса. И стоит только Барзаю присоединиться к празднеству, появляются Внешние боги и затягивают его, вопящего, в бездну.

По сравнению с прочими, эта история не может похвастать ни захватывающим сюжетом, ни интересными персонажами, ни проработанным миром, ни глубокой мыслью. Но по какой-то причине она меня зацепила.

И приравнивание Богов азбучных истин к Природе кажется мне столь же большой ошибкой, что приравнивание богов Земли к Внешним богам. И, скорее всего, итог будет тот же: попался!
Ты ломаешь себе спину, вознося Молоха к небесам, а Молох берет и проглатывает тебя целиком.

Еще немного Лавкрафта: популярная в интернете вариация культа Ктулху утверждает, что если ты поможешь Ктулху освободиться из его водной могилы, он наградит тебя, съев тебя первым, таким образом спасая тебя от ужасных картин поедания всех остальных. Это ошибочное прочтение оригинального текста. В оригинале культисты не получат никакой награды за свои усилия, ни даже награды в виде возможности быть убитым чуть менее болезненно.

Подчинившись воле Богов азбучных истин, Гнона, Ктулху, кого угодно еще, можно надеяться выиграть чуть больше времени, чем будет у остальных. Впрочем, опять же, эта надежда невелика, и в долгосрочной перспективе мы все будем мертвы, а наша цивилизация будет уничтожена неописуемыми внеземными монстрами.

В определенный момент кто-то должен сказать «Вы знаете, возможно, освобождать Ктулху из его водной тюрьмы — не такая уж и хорошая идея. Может быть, нам лучше этого не делать».

Кто угодно, только не Ник Лэнд. Он полностью, на все сто процентов поддерживает освобождение Ктулху из его водной тюрьмы, и он весьма раздражен тем, что это происходит недостаточно быстро. Я испытываю весьма противоречивые чувства в отношении Ника Лэнда. В поиске грааля Истинной Футурологии он прошел 99,9% пути, а затем пропустил самый последний поворот — с указателем «ТЕЗИС ОРТОГОНАЛЬНОСТИ».

Однако в поисках грааля есть одна важная штука: если вы повернули не туда, пройдя всего лишь пару кварталов от начала пути, то вы просто окажетесь у магазинчика на углу с чувством легкого стыда. Если же вы сделаете почти все правильно, и упустите лишь самый последний поворот, то вы окажетесь в пасти у легендарной Черной Твари, чей гнилостный желудочный сок разъест вашу душу на мелкие бессмысленные кусочки.

Насколько я могу судить по его блогу, Ник Лэнд принадлежит к опаснейшей категории людей на границе между двумя уровнями понимания: он достаточно умен для того, чтобы понять несколько важных тайных принципов, касающихся призыва демонических богов, но недостаточно умен для того, чтобы осознать самый важный из них: НИКОГДА ТАК НЕ ДЕЛАЙ.

VII.

Нян (Nyan), пишущий для блога More Right, справляется с этой задачей значительно лучше. Он выбирает в качестве Четырех всадников Гнона некоторые из процессов, о которых я говорил выше, снабжая их подходящими именами из мифологии: Мамон для капитализма, Арес для войны, Азатот для эволюции и Ктулху для меметики.

Steven Kaas
@stevenkaas

Retry: The thought that abstract ideas can be Lovecraftian monsters is an old one but a deep one.
7:01 AM - 25 Jan 2011

[Вторая попытка: Мысль о том, что абстрактные идеи могут быть лавкрафтианскими монстрами — древняя, но глубокая.]

Пост «Пленение Гнона»:

Все вышеописанные компоненты Гнона принимали участие в создании нас, наших идей, нашего богатства и нашего превосходства, и, таким образом, были нам полезны, но мы должны помнить, что [Гнон] способен в любой момент неожиданно ополчиться на нас, и он это сделает, как только изменятся обстоятельства. Эволюция сменяется ухудшением генофонда, особенности меметического ландшафта поощряют все более странное безумие, продуктивность обращается голодом, когда мы больше не можем бороться за средства к собственному существованию, а порядок обращается хаосом и кровопролитием, когда мы недооцениваем важность военной силы, либо проигрываем внешнему противнику. Эти процессы сами по себе ни добры, ни злы; они нейтральны, в ужасающем, Лавкрафтовском смысле этого слова.

Нам будет лучше, если вместо разрушительной безграничной власти эволюции и свободного рынка партнеров мы воплотим осторожную, консервативную патриархию и евгенику, направляемую разумом человека в рамках ограничений, установленных Гноном. Вместо «рынка идей», больше напоминающего загнивающую чашку Петри, плодящую супербактерии — рациональную теократию. Вместо разнузданной техно-коммерческой эксплуатации или наивного пренебрежения экономическими принципами — аккуратное сохранение продуктивной экономической динамики и планирование контролируемой техно-сингулярности. Вместо политики и хаоса — сильная иерархическая власть, опирающаяся на армию. Не следует воспринимать все это как готовую программу; пока что нам неизвестно, как все это осуществить. Лучше понимать это как цели, к достижению которых необходимо стремиться. Данный пост посвящен в большей степени вопросам «что?» и «почему?», нежели «как?».

На мой взгляд, это сильнейший аргумент в пользу неореакции. Многополюсные ловушки грозят уничтожить нас, поэтому нам стоит сдвинуть компромисс между тиранией и многополюсными ловушками в сторону рационально управляемого сада, требующего централизованной монархии и сильной приверженности традициям.
Но давайте совершим небольшое отступление в область социальной эволюции. Общества, как и животные, эволюционируют. Те, кто выживают, порождают меметических наследников — например, благодаря успеху Британии появились Канада, Австралия, США и т.д. Таким образом, следует ожидать, что уже существующие общества так или иначе оптимизированы в сторону стабильности и процветания. Я думаю, что это один из сильнейших аргументов консерваторов. Так же, как и случайное изменение одной буквы в человеческом геноме будет скорее пагубным, нежели полезным (поскольку человек — сложная, тонко настроенная система, чей геном был оптимизирован ради выживания), большая часть изменений в нашей культурной ДНК будут разрушать те или иные институты, которые помогли англо-американскому (или любому другому) обществу превзойти своих реальных и гипотетических соперников.

Либеральный контраргумент заключается в том, что эволюция — слепой безумный бог, который оптимизирует в пользу чего попало и не особо заинтересован в человеческих ценностях. Поэтому тот факт, что некоторые осы парализуют гусениц, откладывают внутрь них личинки, которые затем пожирают изнутри все еще живую парализованную гусеницу, не активирует моральный сенсор эволюции — просто потому, что у эволюции нет морального сенсора; ее это не заботит.

Предположим, например, что патриархат способствует адаптивности обществ, потому что из-за него женщины могут целиком посвящать свою жизнь вынашиванию детей, которые затем могут заниматься продуктивной деятельностью и воевать — это не кажется мне чем-то совсем уж неправдоподобным; предположим даже для удобства, что так оно и есть. Даже с учетом этого процессы, которые движут социальной эволюцией и вынуждают общества принимать патриархат, столь же мало озабочены последствиями для морали и нужд женщин, как и процессы, которые движут биологической эволюцией и вынуждают ос откладывать личинки в гусениц.

Эволюцию все это не волнует. Но это волнует нас. Возникает компромисс между Гнон-конформизмом — выражаемым в духе «Окей, самое мощное общество — патриархальное общество, поэтому нам нужно реализовать патриархат» и нашими ценностями — например, возможностями женщин заниматься чем-то еще, кроме вынашивания детей.
Слишком далеко в одну сторону, и у вас будут нестабильные нищие общества, вымирающие из-за бунта против законов природы. Слишком далеко в другую, и у вас будут подтянутые злобные боевые машины, смертоносные и несчастные. Представьте себе разницу между небольшой коммуной анархистов и Спартой.

Нян признает важность человеческого фактора:

И есть мы. Человек, когда он обладает достаточной степенью безопасности для того, чтобы действовать и ясности ума для того, чтобы понимать последствия своих действий, действует в соответствии со своим телосом (телос — цель, предназначение — прим. пер.). Когда его не тревожат проблемы координации и внешние силы, когда он способен действовать как садовник, нежели как еще один подданный закона джунглей, он склонен создавать для себя чудесный мир и оберегать его. Он склонен поддерживать хорошие вещи и избегать плохих, создавать безопасные цивилизации с чистыми тротуарами, прекрасным искусством, счастливыми семьями и славными приключениями. Я приму как данность то, что этот телос идентичен нашим представлениям о «добре» и «долге».

И вот, у нас есть неопределенность, связанная с важнейшей проблемой футуризма. Будут ли в будущем править привычные нам четыре всадника Гнона, создавая будущее, полное бессмысленного мерцающего пламени технического прогресса, пожирающего космос, или будущее тёмных веков, полное вырождения, безумия, голода и кровопролития? Или же человеческий телос восторжествует, создав будущее, полное осмысленного искусства, науки, духовности и величия?

Он забыл назвать этого анти-всадника, всадника человеческих ценностей, но это не страшно. Мы произнесем его имя чуть позже.

Нян продолжает:

Таким образом, мы приходим к идеям Неореакции и Темного Просвещения, которые сочетают науку и амбиции Просвещения с реакционным знанием и самоидентичностью, построенной вокруг цивилизационного проекта. Суть же этого проекта заключается в том, чтобы превратить человека из метафорического дикаря, подвластного закону джунглей, в цивилизованного садовника, который, пусть все еще во власти этого закона, тем не менее занимает господствующую роль, что позволяет ему ограничить применимость этой модели.

Речь не идет о том, чтобы достичь этого повсеместно; возможно, нам удастся лишь создать небольшой огороженный сад для себя, однако будьте уверены: даже если это возможно лишь локально, целью проекта цивилизации является пленение Гнона.

Пожалуй, в этом я согласен с Няном больше, чем я когда-либо соглашался с кем-либо о чем бы то ни было еще. Он выражает действительно очень важную мысль и он делает это красиво; я могу еще долго хвалить этот пост и мыслительные процессы, породившие его.

Но что я на самом деле хочу сказать…

Попался! Ты все равно умрешь!

Пусть вам удалось создать свой собственный огороженный сад. Вы оградили себя от опасных мемов, вы подчинили капитализм человеческим интересам, вы запретили безрассудные исследования биологического оружия, и вы даже близко не подходите к нанотехнологиям и сильному ИИ.

Это никак не ограничивает всех тех, кто остался снаружи вашего сада. И единственным неразрешенным вопросом остается только, что именно приведет к вашей гибели — чужие болезни, чужие мемы, чужие войска, чужая экономическая конкуренция или чужие экзистенциальные катастрофы.

Как только соседи вступят с вами в конкуренцию — и нет такой стены, чтобы полностью оградить вас от нее — у вас появится несколько вариантов. Вы можете проиграть соревнование и погибнуть. Вы можете включиться в гонку на дно. Или вы можете выделять все большую и большую часть ресурсов вашей цивилизации на укрепление вашей «стены», чем бы она ни была на самом деле, и на защиту вашего сада.

Я могу представить себе варианты «рациональной теократии» и «консервативной патриархии», жить в которых будет не так уж и плохо, при наличии набора наиболее благоприятных для этого условий. Но у вас не будет возможности выбирать наиболее благоприятные условия. Вам нужно выбирать из весьма ограниченного набора условий, подходящих для «пленения Гнона». По мере конкуренции с соседними цивилизациями эти ограничения будут становиться все более и более узкими.

Нян желает избежать будущего, в котором «бессмысленно мерцающее пламя технического прогресса пожирает космос». Неужели вы всерьез рассчитываете на то, что ваш огороженный сад это переживет?

Подсказка: он является частью космоса?

Ага. В этом-то и проблема.

Мне хочется поспорить с Няном. Но моя критика полностью противоположна последней полученной им критике. Более того, эта последняя критика настолько плоха, что я хочу подробно обсудить ее, чтобы мы смогли получить правильную путем ее точного зеркального отражения.

Поэтому давайте обсудим эссе Херлока «О Пленении Гнона и Наивном Рационализме».

(забавный факт: каждый раз, когда я пытался написать в этой статье «Гнон», у меня получалось «Нян», и каждый раз, когда я пытался написать «Нян», у меня получалось «Гнон»)

Херлок демонстрирует высшую степень малодушного Гнон-конформизма. Вот несколько цитат:

В своем недавнем эссе Нян Сэндвич пишет о том, что мы должны «пленить Гнона» и каким-то образом подчинить себе его силу, чтобы использовать ее себе во благо. Действительно, пленение или создание Бога — классический фетиш трансгуманистов, представляющий собой всего лишь новую форму древнейшей из человеческих амбиций — власть над вселенной.

Однако подобный наивный рационализм крайне опасен. Убежденность в том, что именно человеческий Разум и обдуманный замысел людей создают и поддерживают цивилизации, была, возможно, самой большой ошибкой философии Просвещения…

Именно теории Спонтанного Порядка находятся в прямом противоречии с наивным взглядом на человечество и цивилизацию. Общепринятую точку зрения на человеческое общество и цивилизацию из всех представителей этой традиции наиболее точно обобщает заключение Адама Фергюсона: «нации случайно обнаруживают [социальные] институты, которые, действительно, являются результатом деятельности человека, но не являются исполнением замысла никого из людей». Вопреки наивному взгляду рационалистов на цивилизацию как на возможный и действительный субъект явного человеческого замысла, представители традиции Спонтанного Порядка придерживаются точки зрения о том, что человеческая цивилизация и ее социальные институты являются результатом сложного эволюционного процесса, приводимого в движение взаимодействием между людьми, но не подверженного явному человеческому планированию.

Гнон и его безличные силы — не враги, с которыми необходимо сражаться, и тем более не те силы, которые мы можем надеяться «подчинить» себе в полной мере. В самом деле, единственный способ обрести определенную степень власти над этими силами — подчиниться им. Отказ от этого никоим образом не ослабит их. Он лишь принесет нам боль и сделает нашу жизнь еще более невыносимой, потенциально неся нам угрозу вымирания. Наше выживание требует принять их и подчиниться им. В конце концов, человек всегда был и будет не более чем марионеткой сил природы. Быть свободными от них невозможно.

Человек может обрести свободу, лишь подчинившись силам Гнона.

Я обвиняю Херлока в том, что его взгляд застлан пеленой. Если от нее избавиться, Гнон/Боги азбучных истин/боги Земли оказываются Молохом/Внешними богами. Подчинение им не дает тебе никакой «свободы», спонтанного порядка не существует, любые дары этих богов — случайный и маловероятный результат безумного слепого процесса, чья следующая итерация с тем же успехом может уничтожить тебя.

Подчиниться Гнону? Попался! Как говорят Антаранцы: «вы не можете сдаться, вы не можете победить, вам остается только умереть».

VIII.

Так что позвольте мне сознаться в одном из грехов, в которых меня обвиняет Херлок: я — трансгуманист, и я действительно мечтаю обрести власть над вселенной.

Не обязательно личную власть — ну, то есть, я бы не отказался, если бы кто-то предложил мне эту должность, но я не надеюсь на это. Мне просто хотелось бы, чтобы эта должность досталась людям, или чему-то, что уважает людей, или хотя бы дружелюбно относится к людям.

Однако текущие властители вселенной — называйте их, как хотите, Молох, Гнон, Азатот, неважно — желают смерти нам и всему, что нам дорого. Искусству, науке, любви, нашему самосознанию — полному набору. И поскольку я не поддерживаю этот план, мне кажется, что необходимость победить их и занять их место имеет довольно высокий приоритет.
Противоположность ловушки — сад. Единственный способ избежать постепенной утраты всех человеческих ценностей в процессах оптимизации и конкуренции — поставить Садовника надо всей Вселенной, который будет оптимизировать ее в пользу человеческих ценностей.

И главная мысль «Искусственного интеллекта» Бострома в том, что нам это под силу. Как только люди научатся создавать машины, которые будут умнее нас, по определению эти машины смогут создавать другие машины, которые будут умнее их, которые в свою очередь смогут создавать машины еще умнее и так далее в петле обратной связи, которая упрется в физические ограничения на уровень интеллекта в сравнительно крошечный промежуток времени. Если бы несколько конкурирующих сущностей могли сделать это одновременно, мы были бы обречены на погибель. Но та огромная скорость, с которой должен протекать этот цикл, делает возможным сценарий, в котором у нас появится лишь одна сущность с форой в несколько световых лет перед остальной цивилизацией, что позволит ей остановить любую конкуренцию, в том числе за титул самой мощной сущности, навсегда. В ближайшем будущем мы вознесем кого-то к Небесам. Возможно, это будет Молох. Но, возможно, этот кто-то будет на нашей стороне. Если он за нас, он сможет убить Молоха. Насмерть.

И тогда, если эта сущность разделяет человеческие ценности, она может позволить им безгранично процветать вопреки законам природы.

Понимаю, что это может звучать высокомерно — во всяком случае, для Херлока точно — но мне кажется, что это противоположность высокомерию, или, по крайней мере, точка зрения, в которой его меньше всего.

Ожидать, что Богу есть дело до тебя, или твоих личных ценностей, или ценностей твоей цивилизации — вот высокомерие.

Ожидать, что Бог будет торговаться с тобой, позволив тебе выживать и процветать в обмен на поклонение Ему — вот высокомерие.

Ожидать, что тебе удастся огородить себе сад, где Бог не сможет добраться до тебя — вот высокомерие.

Ожидать, что тебе удастся исключить Бога как фактор… ну, по крайней мере, можно попробовать.

Я трансгуманист, потому что мне не хватает высокомерия, чтобы не попытаться убить Бога.

IX.

Вселенная — мрачное и зловещее место, со всех сторон окруженное чуждыми нам богами. Ктулху, Азатот, Гнон, Молох, Мамон, Арес — называйте их как хотите.

Но где-то в этой тьме есть другой бог. У него также много имен. В серии книг Кушиэль его зовут Элуа. Он — бог цветов, свободной любви и всех прочих нежных и хрупких вещей. Искусства, науки, философии и любви. Любезности, общин и цивилизации. Он — бог людей.

Все остальные боги сидят на своих темных тронах и думают «Ха-ха, бог, который даже не держит каких-нибудь адских монстров и не превращает своих поклонников в машины для убийства. Ну и слабак! Это будет так легко!».

Но почему-то Элуа все еще жив. Никто не знает, как ему это удается. И противостоящие Ему боги на удивление часто оказываются жертвами всевозможных несчастных случаев.

Существует много разных богов, но этот бог наш.

Бертран Рассел писал: «Общественное мнение стоит уважать до тех пор, пока это необходимо, чтобы не умереть от голода и не попасть в тюрьму, но что угодно сверх этого — добровольное подчинение неоправданной тирании».

Пусть будет так и с Гноном. Наша цель — умиротворять его до тех пор, пока это необходимо, чтобы избежать голода и вторжений. И это лишь ненадолго — до тех пор, пока мы не обретем всю полноту нашей силы.

«Это просто детская болезнь, которую человеческий род пока еще не перерос. И однажды мы ее преодолеем».

Других богов мы умиротворяем — до тех пор, пока не станем достаточно сильны для того, чтобы вызвать их на бой. Элуа же мы поклоняемся.

so tab today
@tabatkins

My favorite so far is «My paladin’s battle cry is not allowed to be „Good for the Good God!“».
7:49 PM - 28 Mar 2014

[пока что мое любимое [правило в ролевых играх] — «Моему паладину не разрешается брать в качестве боевого клича ‘Больше добра для бога добра!’»]

По-моему, это прекрасный боевой клич

И однажды наступит решающий момент.

После прочтения поэмы Гинзберга у всех возникает вопрос — что такое Молох?

Мой ответ: Молох — ровно тот, кого этим именем называют учебники истории. Он — карфагенский бог. Бог детских жертвоприношений, огненная топка, в которую можно бросать своих младенцев в обмен на победу в войне.

Везде и всегда он предлагает одну и ту же сделку: брось то, что ты любишь больше всего, в огонь, и я дам тебе силу.

До тех пор, пока предложение открыто, ему невозможно сопротивляться. Поэтому нам нужно закрыть его. Только другой бог может убить Молоха. На нашей стороне есть один, но ему нужна наша помощь. И мы должны помочь ему.

Молох — демоническое божество Карфагена.

И мы говорим Карфагену лишь одно: «Карфаген должен быть разрушен».

(Видения! знаки! гaллюцинaции! чудесa! экстaзы! все утонуло в Америкaнской реке!
Мечты! обожания! озaрения! религии! все это чувственное говно!
Прорывы! над рекой! кувырки и распятия! унесенные наводнением! Полеты! Богоявления! Отчаяния! Десять лет животных криков и самоубийств! Мысли! Новые связи! Безумное поколение! внизу на камнях Времени!
Настоящий святой смех в реке! Они все это видели! дикие взгляды! святые крики! Они прощались! Прыгали с крыш! к одиночеству! размахивая! с цветами в руках! Вниз, к реке! на улицу!)

НУЛЕВАЯ ЧАСТЬ: ВВЕДЕНИЕ

0.1: Кто ты? Где я?

Ты можешь узнать обо мне больше на www.slatestarcodex.com, а о переводчиках в российском сообществе Less Wrong. Это «Часто задаваемые вопросы о консеквенциализме». [В тексте также присутствовала ссылка на старый сайт Скотта Александера raikoth[dot]net, на котором и был исходно опубликован этот текст, но, судя по всему, Скотт Александер потерял над ним контроль. - Прим.перев.]

0.2: Зачем это всё написано?

Консеквенциализм – моральная теория, то есть описание, что значит мораль и как решать нравственные проблемы. Хотя в сети уже есть несколько объяснений, все они чересчур мудреные: безбожно сыплют терминами, придираются к деталям и, в конце концов, лишь заключают, что консеквенциализм – важная идея, которую следует педантично рассасывать ещё несколько веков. Это ЧаВо задумывалось для другой цели: убедить людей, что консеквенциализм – правильная моральная система, а все остальные системы немножко, но определённо безумные.

Не все мудрые мысли в этой статье принадлежат мне. Большая часть происходит из наследия моральной философии, а некоторые наиболее умные идеи и формулировки из оставшихся – из цепочки статей с Less Wrong о метаэтике.

0.3: Почему это вообще надо было писать?

Как правило, системы морали больше сосредоточены на вопросе, как выглядеть хорошим человеком, а не как быть им. Если мы считаем, что должны заботиться обо всех людях, а наша мораль должна определять наши поступки, то консеквенциализм - единственная система, которая удовлетворяет этим требованиям. Пока что это звучит немного голословно, но, надеюсь, моя мысль станет понятнее при дальнейшем чтении.

0.4: Кому это надо?

В восьмой части я до этого доберусь, но краткая идея такова: мы живём отнюдь не в лучшем из миров. Голод, война, расизм, разрушение среды обитания - все эти проблемы даже в немногих развитых странах решаются лишь частично, а в большинстве других стран они и вовсе едва сдерживаются. Традиционные объяснения такого положения вещей ссылаются на то, что «люди от природы аморальны». Однако на самом деле люди в большинстве своём – весьма хорошие создания: они испытывают негодование в ответ на несправедливости этого мира, они чрезвычайно щедры, когда есть очевидная возможность проявить щедрость (как, например, после землетрясений в Гаити), и многие в минуту опасности не задумываясь принесут себя в жертву ради остальных.

Даже совершая отталкивающие поступки - скажем, с непомерной страстью противостоя однополым бракам - люди исходят из своего понимания добра, пусть даже с неверно расставленными акцентами. Они всей душой отдаются делу запрета подобных браков не потому, что гомосексуальные люди вредят им лично, а потому что думают, что должны так поступать.

Проблема не в том, что люди не пытаются быть этичными, а в том, что у них плохо получается это делать. Моё ЧаВо пытается объяснить, как делать это лучше.

0.5: Это ЧаВо исчерпывающее?

Нет. Оно лишь кратко вводит в основные идеи консеквенциализма и немного объясняет, почему стоит ему следовать. Чтобы делать это правильно, нужно использовать ещё много других концепций, включая теорию игр, теорию принятия решений и некоторые основные принципы юриспруденции. Здесь они едва упомянуты, хотя многие из них способны изменить ответы на ключевые вопросы при более внимательном рассмотрении. Это ЧаВо устанавливает некоторые базовые понятия. Чтобы превратить их в конкретные действия, придётся изрядно поработать.

0.6: Что ты можешь сказать о структуре этого ЧаВо?

Первая часть рассказывает, чего вообще добивается этическая философия и как решать моральные дилеммы. Она лишь готовит почву, я не надеюсь охватить ею всю теорию метаэтики, которая поистине безгранична. Во второй части раскрывается и поясняется представление о том, что нравственность поступков должна определяться их воздействием на реальный мир. Третья часть излагает и защищает мысль, что при принятии этических решений надо руководствоваться в первую очередь интересами других людей. В четвёртой части я, наконец, добираюсь до консеквенциализма, а в пятой – до самого известного его примера, утилитаризма. Шестая часть рассказывает о правах человека и законах человеческого общества, седьмая отвечает на некоторые типичные возражения и проясняет кое-какие мысленные эксперименты, а в восьмой я объясняю, почему думаю, что это действительно важно и может спасти наш мир.

ПЕРВАЯ ЧАСТЬ: ВОДОВОРОТ МЕТАЭТИКИ

1.1: Что означает «искать правила морали»?

Искать правила морали - значит искать принципы, которые неплохо описывают наши интуитивные представления о морали и достаточно хорошо согласуются с ними. Найдя такие принципы, мы можем достаточно уверенно применять их в пограничных, спорных случаях.

Есть много ситуаций, в которых почти каждый приходит к одному и тому же ответу, даже если не уверен, почему именно. Например, даже если мы не придерживаемся никакой формальной теории морали, мы знаем, что убивать невинных людей без причины – плохо.

Существуют и более сложные вопросы, в которых люди расходятся в ответах, например, допустимо ли законодательно запрещать аборты.

При обсуждении подобных вопросов люди, как правило, пытаются свести их к уже существующим моральным принципам, с которыми, кажется, согласны все. Например, приверженец взгляда на жизнь как на высшую ценность заметит, что забирать чью-либо жизнь недопустимо; аборты забирают жизни, следовательно, аборты недопустимы. Однако сторонник верховенства прав человека может с не меньшим основанием возразить, что каждый человек имеет право управлять собственным телом; зародыш – часть тела матери, следовательно, аборты допустимы.

Судя по извечной популярности дискуссий об абортах, этого метода недостаточно, чтобы быстро разрешать спорные случаи.

Искать законы морали означает искать более формальную процедуру превращения интуитивных этических предпочтений в правила и способы их применения к спорным случаям. Такой метод должен быть предельно ясен и порождать предсказуемое поведение в спорных ситуациях, если их условия немного меняются.

1.2: К чему беспокоиться об интуитивных представлениях о морали?

Интуитивные представления о морали – набор самых базовых человеческих идей о том, «что такое хорошо». Некоторые из них жёстко прошиты в человеческом мозге. Другие перенимаются от общества в детском возрасте и проявляют себя как утверждения («причинять боль – неправильно»), эмоции (например, грусть, когда невинному человеку причиняют боль) и действия (соответственно, избегание причинения вреда невинным людям).

Эти представления важны, потому что они (если не слушать философов определенного типа) – единственная причина считать, что нравственность вообще существует. Кроме того, они представляют собой стандарты, по которым можно оценивать моральные философии. Если единственное утверждение определённого учения – это «необходимо носить зелёное по субботам», то вряд ли люди найдут его убедительным, если только оно не сможет доказать, что ношение зелёной одежды по субботам связано с более важными вещами. Например, если бы мир становился счастливее и безопаснее каждый раз, когда человек надевает зелёное в субботу, то вышеупомянутое утверждение было бы оправданным. Но и в этом случае выбор был сделан в пользу счастья и безопасности, а не зелёной одежды самой по себе. С другой стороны, если бы философ утверждал, что нам следует сделать мир более счастливым и безопасным, потому что это побудит больше людей носить зелёное по субботам, то его бы подняли на смех. Так что моральные теории должны сводиться к общим интуитивным представлениям о морали, чтобы быть признанными.

1.3: Можем ли мы просто принять весь наш набор интуитивных представлений о морали как данность?

Нет, мы должны достичь внутреннего равновесия между нашими интуитивными представлениями о морали, что назначит некоторым из них больший или меньший вес и совсем уберет другие.

Это чем-то схоже с распознаванием оптических иллюзий. Наши органы чувств играют в физическом мире ту же роль, что наши интуитивные представления – в мире морали: они наш первый и единственный источник данных.

Случается, что органы чувств нас иногда подводят. Например, стержень, который выглядит согнутым на границе воздуха и воды, может на самом деле быть прямым.

Чтобы разрешить конфликт, мы используем остальные наши чувства и правила, собранные во время предыдущих взаимодействий с физическим миром. Они могут включать в себя тщательное ощупывание стержня, чтение книг, чтобы перенять знания других людей о поведении объектов в жидкости, и помещение других вещей в воду, чтобы посмотреть, что из этого выйдет. Мы быстро понимаем, что подавляющее большинство чувственных данных и построенных из них выводов говорит, что стержень на самом деле прямой, а зрительная информация – искажение. Мы «опровергли» чувственные данные, хотя они наш основной способ воспринимать окружающий мир.

Другой способ узнать то же самое – прочесть в учебнике физики о законах оптического преломления, полученных из тысяч экспериментов, и заключить, что изгиб стержня иллюзорен.

Мы можем проделать то же с нашим интуитивным представлением о морали. Предположим, многие гетеросексуальные люди чувствуют интуитивное отвращение к идее гомосексуальности и заключают, что гомосексуальность – это безнравственно.

Если бы они задумались над этим глубже, то могли бы подумать следующее: «Почему то, что отвратительно для меня лично, обязано быть аморальным? Многие считают курение отвратительным - значит ли это, что оно аморально? Если бы я жил преимущественно в гомосексуальном мире, было бы отвращение, испытываемое ко мне другими, достаточной причиной, чтобы запретить мне иметь партнёра другого со мной пола? Есть ли у меня вообще право вмешиваться в чужую личную жизнь таким образом? Может, право любить кого хочешь намного важнее, чем мое сиюминутное отвращение?»

В этом случае логика помогла навести мосты к интуитивным представлениям о морали, которые сильнее, чем первоначальная мысль «гомосексуальность отвратительна». После самоанализа изначальное решение может быть перевешено более сильными и базовыми представлениями, как зрительное восприятие согнутого стержня перевешивается более сильными показаниями всех остальных органов чувств.

Так что ни одно конкретное представление о морали нельзя назвать корректным, пока вся система морали человека не пришла к стройному равновесию, что происходит лишь посредством аккуратного размышления. Это эквивалентно процессу, приведённому в 1.1: использование простых этических посылок, чтобы обосновать сложные или отказаться от них.

1.4: Стоит ли вообще размышлять над своими представлениями о морали, искать равновесия между ними?

Я считаю, что стоит. Ты считаешь иначе?

Рассмотрим такой вариант: я, не обдумав хорошенько своего отвращения к гомосексуалам, отказал им в праве на брак. Моя интуиция, мой опыт говорит мне, что потом я могу всё же поразмыслить над вопросом и пожалеть о своём необоснованном и поспешном решении. Недостаточно продуманная мораль приводит к дурным поступкам, а я хочу быть хорошим человеком. Грамотная моральная теория за плечами помогает делать это лучше; если я халатно отнёсся к её разработке, то следую своему нравственному долгу неудовлетворительно.

Было бы весьма здорово, если бы мы могли придумать моральный эквивалент законов физики: правила, которые можно напрямую применять к любой ситуации, чтобы узнать, как поступить. Это ЧаВо пытается дать некоторое приближение, устанавливая два базовых принципа: мораль должна укорениться в реальном мире, а моральные законы должны относиться ко всем людям одинаково. В следующих двух главах я попытаюсь обосновать эти принципы.

ВТОРАЯ ЧАСТЬ: МОРАЛЬ ДОЛЖНА УКОРЕНИТЬСЯ В НАШЕМ МИРЕ

2.1: Что значит «мораль должна укорениться в нашем мире»?

Это означает, что мораль не может быть просто каким-то неуловимым абстрактным законом, существующим только в метафизическом плане. Она должна иметь отношение к тому, как нравственные и безнравственные действия меняют реальность.

2.2: Почему?

На этот вопрос можно ответить притчей.

Посреди непроходимых джунглей Кламзории за Фрептанским морем стоит гигантская гора, с вершины которой не сходит снег. В пещере внутри этой горы расположилось гнездо ужасного Хрогморфа, Губителя людей. В груди этого чудовища заключён легендарный Сердцестраст – громадный зачарованный рубин. Истории гласят, что на владеющего им человека не будут действовать нравственные законы; даже самые грязные его поступки не могут считаться грехом.

Поражённый легендами о камне, ты переплываешь Фрептанское море и пробиваешься сквозь кламзорские джунгли. Ты побеждаешь ужасного Хрогморфа, Губителя людей, в решительной схватке, вырываешь камень из его тела и помещаешь в амулет на шее. Дома ты решаешь проверить его силы, для чего берёшь из приюта котёнка и убиваешь его.

Ты чувствуешь себя просто ужасно. Тебе хочется свернуться в клубок, чтобы люди никогда больше не увидели твоего лица. «Ну а чего ты ожидал?» – спрашивает призрак Хрогморфа, который теперь неотступно тебя преследует. – «Сила Сердцестраста не в том, чтобы не чувствовать стыд. Стыд происходит из определённых химических реакций в мозгу, молекулы и атомы же принадлежат физическому миру – метафизическая этическая эссенция тут ни при чём. Послушай, если тебе станет от этого легче, в твоём поступке нет ничего дурного, ведь на тебе амулет. Тебе просто так кажется».

К тебе в дверь стучится служба защиты животных. Они получили анонимное послание (наверняка проклятый дух Хрогморфа опять постарался), что ты утопил котёнка. Тебя вызывают на суд по делу о жестоком обращении с животными. Судья замечает, что на тебе Сердцестраст, следовательно, технически, ты не совершил безнравственного поступка. Но ты нарушил закон, так что он налагает на тебя штраф и несколько месяцев исправительных работ.

На общественных работах ты встречаешь молодую девушку, которая ищет потерявшегося котёнка. Её описание звучит очень знакомо. Ты советуешь ей прекратить поиски, потому что именно этого котёнка ты взял из приюта и утопил. Она начинает плакать и говорит, что любила этого котёнка, что он был единственной светлой полосой в её безрадостной жизни, и теперь она не знает, как ей жить дальше. Хотя Сердцестраст всё ещё у тебя на шее, ты всей душой опечален рассказом девушки и хочешь как-нибудь прекратить её страдания.

Если нравственность – это всего лишь какое-то метафизическое правило, Сердцестраста было бы достаточно, чтобы его отменить. Но Сердцестраст, несмотря на все его легендарные свойства, абсолютно бесполезен, и никаким экспериментом, на самом деле, неотличим от подделки. Какие бы метафизические эффекты он ни производил, они не имеют отношения к причинам, из-за которых мы считаем мораль важной.

2.3: Что насчёт бога? Может ли мораль происходить от него?

Что может означать «бог создал мораль»?

Если это означает, что бог провозгласил определённые правила, награждает тех, кто им следует, и наказывает тех, кто нарушает, – что ж, если бог существует, он вполне может так и делать. Только это не нравственность. В конце концов, Сталин также провозгласил определённые правила и награждал тех, кто им следует, а тех, кто их нарушал, – наказывал. Если бог выбрал правила произвольно, то нет причины им следовать, кроме как из личного интереса (что едва ли нравственный мотив), а если они выбраны по какой-то причине, то именно эта причина, а не бог, является источником морали.

Если это значит, что бог установил определённые правила, и мы должны им следовать из любви и уважения, потому что он бог, то откуда берутся эти любовь и уважение? Понимание, что мы должны любить и уважать нашего создателя и тех, кто о нас заботится - оно само по себе требует определённой морали. Определение бога «добрым» и «достойного уважения» требует некий стандарт доброты вне установленной им системы. Опять же, если эта система была выбрана по какой-то причине, то именно эта причина – источник морали.

Журналисты газетных колонок «из жизни» часто освещают нравственные правила, о которых читатели могли бы и не вспомнить. Эти правила определённо хороши, но это не делает журналистов источником морали.

2.4: Может, мораль верна по определению?

«Определения» могут только связывать значения со словами, фраза «по определению» не даёт нам никакой новой информации.

Если я определяю «мораль» как «не обижать других людей», то это значит, что в моём понимании последовательность звуков [ма-рал’] соотносятся с идеей отсутствия вреда другим людям. Это не значит, что никому не следует вредить другим людям.

Предположим, я изобрёл новое слово, «зурблек» с определением «люди обязаны носить зелёное по субботам». Ношение зелёных вещей по субботам – это зурблек? Да, по определению. Говорит ли это что-то о том, нужно ли конкретно тебе лично носить зелёное по субботам? Едва ли.

Гравитация, по определению, означает силу, которая тянет объекты к сосредоточению масс. Но причина, почему предметы падают вниз, это не определение гравитации, иначе бы мы смогли летать, просто отредактировав словарь. Объекты падают вниз, потому что в реальном мире существует некий закон, которому отвечает слово «гравитация». Если мораль и её законы чего-то стоят, то им тоже должны отвечать некие черты реального мира.

2.5: Может, мораль истинна, потому что её законы можно вывести логически?

Дэвид Юм заметил, что невозможно доказать утверждения вида «должен» при помощи утверждений «является». Можно выписывать сколько угодно фактов физического мира: «огонь горячий», «горячие вещи обжигают», «ожоги вредят человеческому телу» – всё это можно объединить в одно утверждение: «Если огонь горячий, а горячие вещи обжигают, то тебе станет больно от прикосновения к огню». Но из этого никак нельзя вывести «следовательно, не нужно поджигать людей», если только заранее не принять утверждение «не нужно сжигать людей заживо».

Утверждения «должен» из других утверждений «должен» вывести можно. Например, утверждений «огонь горячий», «горячее обжигает», «ожоги причиняют боль» и «не следует причинять боль» достаточно, чтобы сказать «не следует поджигать людей». Подчеркну: так можно выводить моральные принципы, только уже имея в своём распоряжении другие моральные принципы. Обосновать же саму мораль таким способом не получится.

Кант думал, что может доказывать утверждения «должен» без уже существующих «должен» при помощи «категорических императивов», но это только потому, что он украдкой внёс в них всю свою моральную систему, как слишком очевидную, чтобы нуждаться в оправдании. Если вы мне не верите, прочитайте первые несколько страниц «Основ метафизики нравственности», пока не дойдёте до того места, где говорится о «доброй воле».

Если вся эта философская дребедень не для вас, подумайте о более простом примере: предположим, какой-то математик при помощи логики доказал, что этично носить зелёные вещи по субботам. Объективно нет никакой пользы от ношения зелёной одежды по субботам, и никому не повредит, если никто не будет придерживаться этого закона. Но, похоже, его построения непротиворечивы. Вы пожмёте плечами и станете следовать этому закону? Или скажете: «Кажется, тут провернули какой-то причудливый математический трюк. Наверное, носить зелёную одежду по субботам «правильно» в твоём понимании, но я думаю, это не имеет никакого отношения к реальному миру, и не чувствую побуждения делать это»?

Во втором случае вы ожидаете от морали каких-то других свойств, кроме возможности логически доказать, что так поступать - хорошо и правильно, а так - нет.

2.6: В чём состоит различие между «хорошими» и «правильными» поступками?

Консеквенциализм сводит его на нет.

Есть философы, которые проводят аккуратную черту между аксиологией, учением, как поступать хорошо, и моралью, учением, как поступать правильно. Помогать другим людям, создавать лучший мир, распространять свободу и счастье среди людей – всё это хорошо, но это лишь вопрос аксиологии. Вовсе не факт, что правильно поступать именно так - если только„ конечно, подобный образ действий не связан с каким-то метафизическим правилом, впечатанным в ткань бытия. Какие-то поступки могут менять к лучшему весь мир и не иметь недостатков, но всё равно будут морально неправильными, потому что не соответствуют предустановленному кем-то правилу.

Например, предположим, белый мужчина и индейская женщина хотят сочетаться браком. Кажется, они любят друг друга и все люди согласны, что они замечательная пара. Но старейшины города не хотят, чтобы они поженились. Старейшины могут действовать двумя способами. Во-первых, они могут доказывать, что брак не будет хорошим – возникнут определенные негативные последствия в реальном мире: скажем, их дети будут изгоями в обоих сообществах или их благополучие расстроят культурные противоречия. Во-вторых, они могут сказать, что, конечно, брак будет хорошим: пара, дети и все их семьи будут счастливы и хорошо впишутся в сообщество; однако межрасовые семьи – это неправильно в принципе.

2.61: А что с этим не так?

В драме семнадцатого века «Мнимый больной», написанной Мольером, центральный персонаж спрашивает у доктора, почему опиум усыпляет людей. Доктор объясняет, что опиум имеет «снотворный эффект», и это удовлетворяет пациента.

Проблема в том, что «снотворный эффект» - это вовсе не объяснение. Это всего лишь слова, которые означают «заставляет людей спать». Нельзя объяснить, почему от опиума людей клонит в сон тем, что он содержит вещества, от которых людей клонит в сон. Этот ответ такой же таинственный, как и вопрос, на который он должен ответить. Правильное объяснение свойств опиума включало бы рассказ о химикатах, которые похожи по свойствам на другие химикаты в нашем мозгу, которые влияют на настроение и энергию. Это «редукционистское» объяснение – оно сводит таинственное свойство опиума к свойствам вещей, которые мы уже понимаем, и тем самым делает его менее таинственным. При помощи такого объяснения мы можем строить предположения, какие ещё медикаменты будут иметь то же свойство, какие, наоборот, будут нейтрализовать опиум и так далее. Говорить, что как-то поступать «неправильно» это то же самое, что говорить о «снотворной силе». Если я скажу, что люди разных рас не должны сочетаться браком, и объясню это тем, что это «неправильно», я всего лишь переформулирую своё убеждение, но никак не объясню его. Обсуждение «правильности» поступков похожи на обсуждение «снотворного эффекта» Мольера; обсуждение, как поступать хорошо, когда мы можем явно указать на то, почему это – хорошо, а то – нет, больше похоже на спор о химикатах в крови. Но даже этот пример не полностью покрывает проблему с таким использованием слов «правильный поступок». В конце концов, «снотворный эффект», несмотря на все недостатки, использовался для объяснения вещей, для которых не было другого толкования.

2.62: А нет ли метафоры получше для различения аксиологии и морали?

В стародавние времена химики полагали, что огонь порождается не интенсивным окислением при помощи кислорода, а таинственной субстанцией под названием «флогистон». Как бы то ни было, им не удавалось выделить этот флогистон, и с течением времени научная мысль сместилась в сторону современных взглядов на горение. Предположим, что в наши дни группа химиков объявила, что они собираются возродить теорию флогистона.

Да, во всех опытах, где какой-либо объект нагревается и исчезает в языках пламени, было доказано кислородное горение, но это всего лишь отдалённо касается настоящей эссенции пламени. Настоящий огонь не испускает света, не выделяет тепла и не может наблюдаться в принципе. Единственный способ, которым мы можем узнать, горит ли по-настоящему определённый объект, это внутреннее чутьё. Если мы нутром чуем, что огня нет, то мы будем спорить и писать длинные философские трактаты, но точно не опустимся до чего-то столь приземлённого, как измерение света и тепла от горящих предметов.

Действительно, большинство объектов, про которые наше чутьё говорит, что они горят по-настоящему, также испускают видимое пламя и ощущаемое тепло. Это довольно интересный факт, но не особо важный.

Задача пожарных - борьба с огнём, что очевидно из определения их профессии. В последнее время мы замечаем, что пожарные тратят время, спасая дома от языков видимого пламени, а не от метафизического настоящего огня, видимого только нашему внутреннему оку. Это противоречит их миссии. Насколько нам известно, в этих домах проходит обычный скучный процесс кислородного горения.

Несущественно, что кислородно-горящие дома разрушаются, унося с собой имущество и человеческие жизни. Цель пожарных – не защищать имущество и жизни, а бороться с огнём. Настоящий огонь, будучи невидимой нематериальной сущностью, не может забирать имущество или жизни, но с ним следует бороться по определению. Так уж и быть, после того, как пожарные закончат тушить дома, про которые мы интуитивно чувствуем, что они горят, то могут тушить дома, горящие обычным кислородным пламенем, в свободное от работы время.

2.621: Какая-то это нечестная метафора

Не думаю. Ведь есть люди, которые думают, что имеют моральное обязательство бороться с вещами вроде гомосексуальности, межрасовых браков и других вещей, которые никому не вредят, но про которые внутреннее чутьё сообщает, что они «неправильные». Эти же люди в то же время не чувствуют особого обязательства бороться с проблемами вроде голода, бедности и других вещей, про которые их этическая интуиция говорит, что они всего-то «плохие».

Химики в моей метафоре полагали, что настоящий и физический огонь часто сосуществуют в одном объекте. Они также считали, что есть множество вещей, которые горят метафизически, не испуская тепла, и что важно тушить этот огонь тоже, хоть он никому и не вредит.

Сторонники метафизической морали полагают, что «правильные» поступки часто бывают одновременно и «хорошими», но есть также и «правильные» вещи, которые никак не соотносятся с «хорошими». Считается, что мы должны следить также и за их соблюдением, хотя их нарушение никому не вредит.

2.7: Аааррх, хорошо, давай закончим поскорее эту часть и перейдём к резюме.

Метафизические принципы, божественная воля, словарные определения и математические доказательства – всего этого недостаточно, чтобы построить удовлетворительную формулировку морали. Мы должны связать мораль не с отвлечёнными идеями, а с конкретным миром, в котором мы живём. Следовательно, идея «правильности» вещей должна быть равна или напрямую связана с идеей того, как поступать хорошо.

ТРЕТЬЯ ЧАСТЬ: ПРИСВАИВАЕМ ДРУГИМ ЛЮДЯМ ЦЕННОСТЬ

3.1: С чего бы мне присваивать другим людям ненулевую ценность?

Я как бы надеялся, что это одно из тех интуитивных представлений о морали, что есть у всех. Неважно, насколько сильно оно выражено, но так или иначе важно, живут ли другие люди или умирают, счастливы они или несчастны, процветают ли они или тонут в отчаянии.

3.1.1: Не бойся, я шучу. Разумеется, мы должны присваивать другим людям ненулевую ценность.

Вот и славно!

3.2: Почему это правило может не удовлетворяться?

Законы морали могут не присваивать людям достаточную ценность, если они в некоторых местах зацикливаются сами на себя или если на них влияют эгоистичные мотивы вроде избегания стыда, ощущения «тёплого пушистого ощущения в груди» или трансляции социуму определённых сигналов.

Мы уже обсудили, какие нравственные правила могут заходить в тупик – те самые, которые сформулированы при помощи грандиозных метафизических законов, «верных по определению», но не имеют никакой проекции в реальный мир. Но способы, которыми в моральные законы вплетаются эгоистичные мотивы, заслуживают дополнительного внимания.

3.3: Что имеется в виду под желанием избежать стыда?

Предположим, злой король решил провести над тобой безумный моральный эксперимент. Он приказывает сильно ударить прямо в лицо маленького ребёнка. Если ты это сделаешь, то всё на этом и закончится. Если откажешься, он ударит ребёнка сам, затем накажет его и сотню невинных людей в придачу.

Самое лучшее решение – каким-нибудь образом свергнуть короля или избежать эксперимента. Допустим, этот путь закрыт – что же предпринять?

Есть такие философы, которые посоветовали бы отказаться. Конечно, ребёнку будет причинён больший вред, как и другим невинным людям, но это не будет, технически, твоя вина. Но если ты ударишь ребёнка, то, наоборот, это будет напрямую твоя вина, и именно тебе придётся испытывать угрызения совести.

Но такая излишняя забота о том, твоя ли в чём-то вина или нет, и есть форма эгоизма. Если ты прислушаешься ко мнению тех философов, это будет не из заботы о благополучии ребёнка – его всё равно ударят, не говоря уже о дополнительном наказании – а скорее из мысли, что потом тебя будет мучить стыд: выбор сделан не исходя из заботы о ближнем, а из заботы о себе.

Обычно мы рассматриваем стыд как знак, что мы сделали что-то морально неправильное, и зачастую это действительно так. Но стыд - неустойчивый сигнал: действия, которые минимизируют стыд не всегда в то же время этически предпочтительные. Желание уменьшить стыд не более благородно, чем любое другое желание чувствовать себя лучше за счёт других. Мораль, которая построена на принципе приписывания ценности другим людям, должна заботиться не только о стыде.

3.4: Что такое «тёплое пушистое ощущение в груди»?

Это попытка охарактеризовать счастливое чувство, которое возникает, когда ты сделал этически правильный поступок. Что-то диаметрально противоположное стыду.

Но, как и стыд, «пушистики» - тоже не слишком хорошая метрика. Как говорит Элиезер, ты можешь получить больше приятных ощущений, волонтёрствуя по вечерам в местном приюте для котят с редкими заболеваниями, чем разрабатывая в это же время вакцину против малярии, но это не значит, что играть с котятами важнее, чем разрабатывать вакцину.

Если ты заботишься только о «тёплом ощущении в груди», то - обрати внимание - ты ценишь собственный комфорт, вовсе не принимая во внимание остальных людей.

3.5: А что такое «трансляция сигналов социуму»?

Трансляция сигналов (она же «сигналинг» или «демонстративное поведение», см. signalling theory в области эволюционной психологии) - понятие из экономики и социобиологии, означающее поступки, которые предпринимают люди не для результата, а чтобы рассказать людям вокруг что-то о себе.

Классический пример демонстративного поведения – богатей, который покупает Феррари не потому, что ему нужно особенно быстро ездить, а потому, что хочет показать всем вокруг насколько он богат. Он может и не осознавать этого, говорить что-нибудь об «аэродинамическом корпусе» или «плавном ходе», но подсознательно главную роль будет играть сигналинг. Предложи ему китайскую машину за $20000 с таким же плавным ходом и аэродинамическим корпусом – он не будет заинтересован и на йоту.

Чем более дорогой и бесполезный предмет используется при трансляции сигнала, тем более сигнал эффективен. Хоть очки бывают очень дорогими, они плохой выбор для демонстрирования достатка, потому что они полезны: люди их покупают не потому, что особенно богаты, а для решения проблем со зрением. С другой стороны, большой бриллиант – великолепный сигнал: никому в хозяйстве не нужны бриллианты, так что люди, которые их покупают, заведомо купаются в деньгах.

Определённые ответы на моральные вопросы также могут служить сигналами. Например, выступающий против презервативов католик демонстрирует другим (и себе!), как он строг в вере, тем самым получая социальные бонусы. Как и в примере с бриллиантом, демонстративное поведение эффективнее всего тогда, когда приводит к совершенно бесполезным поступкам. Скажем, если бы католик просто бы высказал, что решил никогда никого не убивать, это бы было плохим выбором сигнала, хоть и соответствует доктрине католицизма, потому что есть и более веские причины, чтобы никого не убивать – точно так же как есть и более веские причины для покупки очков, чем куча денег на руках. Именно потому что протест против презервативов – ужасное решение с рациональной точки зрения, он отлично подходит в качестве сигнала.

Но в более общем случае люди могут использовать этические решения, чтобы показать, насколько они придерживаются определённых моральных принципов. Это может вести к катастрофическим последствиям. Чем больше жертв и разрушений принесёт решение, чем более туманным законом оно обосновано, тем лучше окружающим будет видно абсолютное следование определённым правилам. Например, Иммануил Кант утверждает, что если маньяк с топором спрашивает, где находится твоя лучшая подруга, с очевидным намерением расчленить её, следует ответить честно, потому что лгать – неправильно. Этот ответ чрезвычайно хорош для того, чтобы показать, какой ты высокоморальный человек – после такого никто не будет сомневаться в твоей честности – но сулит не слишком хороший исход для твоей подруги.

Хотя подобные решения призваны показывать, наскольно этот человек нравственный, ирония состоит в том, что сами по себе эти решения основаны совсем не на нравственных принципах. Подобные сигналы показывают лишь заинтересованность транслирующего их человека в пользе для себя (ореол этичности и следующие за ним социальные плюсы), но отнюдь не для окружающих людей (спасение подруги от убийцы с топором). Этот способ придать ценность окружающим людям никуда не годится.

3.6: Что именно означает «ценить других людей»?

В примере с маньяком с топором «ценить других людей» означает по крайней мере предпочтение видеть их живыми, а не мёртвыми. Но это кажется недостаточным: увечье не убивает, однако «не увечить других людей» звучит вполне как моральный императив. Мы поговорим о технических деталях чуть позже, пока что достаточно думать об этом в терминах счастья людей, их благополучия и, скажем, возможности жить в мире, в котором они хотят жить.

3.7: Ты уверен, что вообще возможно ценить других людей? Может, когда ты думаешь, что их ценишь, ты всего лишь заботишься о радостных ощущениях, которые получаешь, когда помогаешь им, что немного эгоистично, если так подумать.

Даже если эта теория верна, есть большая разница между увеличением собственного счастья путём увеличения счастья остальных людей, и увеличением собственного счастья за счёт счастья остальных.

Человек, который использует избегание стыда или трансляцию сигналов социуму в качестве фундамента моральной системы, рано или поздно свернёт на кривую дорожку и начнёт вредить другим людям ради собственного благополучия. Даже тот, кто помогает другим людям так сильно, как только может, из чисто эгоистичных мотивов, именно что «помогает так сильно, как только может». Он вполне заслужил пометку «альтруист» и все те хвалебные оды, которые идут с ней в комплекте.

3.8: Разве такая мораль не эквивалентна полному самоотречению?

Нет. Приписывание другим людям ненулевой ценности не значит приписывание нулевой ценности себе. Я думаю, что наилучший вариант, когда люди присваивают одинаковую ценность и себе и другим. Это неплохо сочетается с точкой зрения внешнего наблюдателя - для него нет объективной разницы в действии моральных законов на тебя и других людей. Но если ты считаешь, что в тысячу раз важнее остальных, это не изменит основную идею этого ЧаВо, за исключением того, что некоторые числа нужно будет умножить на тысячу.

ЧЕТВЁРТАЯ ЧАСТЬ: В КОТОРОЙ МЫ НАКОНЕЦ ДОБИРАЕМСЯ ДО КОНСЕКВЕНЦИАЛИЗМА

4.1: Извини, я заснул несколько страниц назад. Напомни, где мы сейчас?

Мораль исходит из наших интуитивных представлений о морали, но если мы не провели их тщательную балансировку, то не можем полностью доверять ни одному из них. Было бы здорово, если бы мы сумели объединить правила в некоторый более общий принцип. С его помощью мы могли бы изящно обходить краевые случаи, на которых наши интуитивные представления расходятся - например, допустимость абортов. Два сильных вспомогательных принципа помогут нам в этом: «нравственность должна укорениться в физическом мире» и «мы должны приписывать другим людям ненулевую ценность».

4.2: Ага, ладненько. Но я снова засну, если ты не выложишь на стол общий моральный закон ВОТ ПРЯМО СЕЙЧАС!

Окей. Моральный закон состоит в том, что нужно предпринимать такие действия, которые сделают мир лучше. Или, сформулирую более чётко: когда у тебя есть возможность выбрать между несколькими возможными действиями, более предпочтительно то, которое приведёт к лучшему состоянию мира, по каким бы критериям ты бы ни определял это самое состояние.

4.21: И всё?! Я прочитал всё это ради чего-то настолько чертовски очевидного?!

Это совсем не так очевидно, как может показаться. Философы называют такую позицию «консеквенциализм», и если её немного переформулировать, большая часть человеческой расы будет непреклонно ей противостоять, иногда с жестокостью.

4.3: Почему?

Рассмотрим знаменитую задачу о вагонетке авторства Филиппы Фут:

«Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку — и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?»

Этот вопрос разбивает философов на два непримиримых лагеря. Консеквенциалисты считают, что следует нажать на рычаг на следующих основаниях: переключение стрелки ведёт к состоянию мира, где один человек мёртв: оставление ситуации как есть - к состоянию, где пять людей мертво. Если считать, что живые люди предпочтительнее мёртвых, то первое состояние мира выглядит лучше. Следовательно, нужно перенаправить вагонетку.

Их противники, которых обычно называют деонтологистами, исходят из принципов, что нужно всегда следовать определённым моральным правилам, в частности, «не убивай людей». Деонтологист откажется переключать стрелку, потому что это сделает его явно ответственным за смерть одного человека. Самоустранение же от каких-либо действий, хоть и приведёт к смерти пяти человек, но её невозможно будет явно привязать к действиям деонтологиста.

4.4: Что не так с позицией деонтологистов?

Она нарушает как минимум один из принципов, описанных выше.

Есть только два возможных оправдания для действий деонтологиста. Первое: они могут полагать, что правила наподобие «не убий» - всеобъемлющие, довлеющие над Вселенной законы, которые намного важнее простых эмпирических фактов, вроде того, живы люди или мертвы. Это нарушает принцип «мораль живёт в физическом мире»: наблюдаемая вселенная явно будет лучше, если нажать на рычаг. Не совсем ясно, какую пользу даёт отсутствие действий, кроме записи в призрачном Регистре Благородных Поступков.

Второе возможное оправдание состоит в том, что деонтологист пытается отсутствием поступка минимизировать собственный стыд – в конце концов, они могут просто отойти и притвориться, что не имеют никакого отношения к смерти пятерых, тогда как явное действие, убившее одного человека, останется на их совести. Или их поступок может быть продиктован желанием продемонстрировать, что даже ради спасения пятерых они не готовы поступиться жизнью одного (без сомнения, они бы были даже более счастливы, если бы ради спасения нужно было поступиться ушибленным пальцем – тогда, отказавшись, они бы выглядели ещё более набожными).

4.5: Ладно, твой ответ на задачу о вагонетке звучит разумно.

Правда? Давай усложним её. Это вариация задачи о вагонетке, называемая задачей о толстяке:

«Как и раньше, вагонетка несётся навстречу пяти людям. Ты стоишь на мосту, под которым пройдёт вагонетка, и ты можешь остановить её, сбросив что-нибудь тяжёлое на рельсы. Волей случая рядом с тобой стоит очень толстый человек, и единственный способ остановить вагонетку – столкнуть его на рельсы, убив одного, чтобы спасти пятерых. Следует ли это сделать?»

Консеквенциалисты снова утверждают, что следует принести одного в жертву, деонтологисты – что так поступать не следует.

4.6: Хм, теперь я не уверен, что столкнуть толстяка на рельсы – верное решение

Попытаемся проанализировать, откуда взялось нежелание принимать то же решение, и посмотрим, одобрят источник этого нежелания моральные эвристики, после того, как мы достигнем между ними интроспективного равновесия.

Ты не уверен, потому что не знаешь, лучший ли это выбор? Если так, что конкретно в варианте «не толкать» столь важно, что перевешивает четыре лишние жизни?

Ты не хочешь толкать, потому что будешь испытывать угрызения совести? Если так, разве угрызения совести важнее четырёх жизней?

Ты не уверен, потому что какой-то деонтологист скажет, что по его определению, ты теперь «безнравственный человек»? Но каждый использует определение морали, какое хочет. Я мог бы называть безнравственными всех, кто не носит зелёное по субботам, если бы мне так захотелось. Так что, если кто-нибудь скажет, что ты больше не отвечаешь его этическим стандартам, пусть он валит в ж@#у.

Ты не уверен, потому что какой-то небесный механизм заметит, что предустановленный свыше моральный закон был нарушен таким-то образом таким-то недостойным человеком? Как минимум, у нас нет достаточных оснований полагать, что такой механизм существует (см. принцип «мораль должна укорениться в физическом мире»). Даже если бы основания и были, то самое подходящее, что можно сделать в ответ на приказ небесного механизма допускать человеческие смерти, чтобы тот продолжал тикать определённым образом - послать его в ж@#у вместе с деонтологистом.

Фрэнсис Камм, популярная писатель-деонтологист, утверждает, что сбрасывание толстяка на рельсы, хоть и спасает людей от смерти, «марает» их моральный облик. Она заключает, что «пусть лучше люди будут мертвы и незапятнаны, чем живы и запятнаны».

Если я правильно понимаю, она имеет в виду, что: «Пусть лучше люди умирают, и ты следуешь произвольному правилу, которое я только что придумала, чем большинство людей останется в живых, а правило будет нарушено» Ты в самом деле хочешь принимать этические решения таким образом?

4.7: Я всё ещё не уверен, что толкать толстяка на рельсы – правильное решение.

Есть несколько хороших консеквенциалистских аргументов против этого решения в 7.5.

ПЯТАЯ ЧАСТЬ: САМОЕ БОЛЬШОЕ ДОБРО ТАМ, ГДЕ САМОЕ БОЛЬШОЕ ЧИСЛО

5.1: Что такое «утилитаризм»?

Окей, первым делом небольшое признание. Консеквенциализм – на самом деле не система морали.

Нет, это ЧаВо не было хитроумным троллингом. Консеквенциализм – что-то вроде системы морали, но лучше будет сказать, что это шаблон для генерирования систем морали. Консеквенциализм утверждает, что нужно делать мир лучше, но оставляет понятие «лучше» неопределённым. Переопределяя «лучше» разными способами, можно получить сколько угодно консеквенциализмов, некоторые из которых совершенно идиотские.

Возьмём постулат, что мир А лучше чем мир Б, если и только если мир А содержит большее количество офисных скрепок. Это вполне консеквенциалистская система морали (она нарушает принцип присваивания ценности человеческим жизням, но мы всё равно не ожидали, что это будет хорошая система). Гипотетический разрешитель моральных дилемм легко бы мог ей пользоваться: предпринимать курс действий, который ведёт мир к состоянию с большим количеством скрепок.

Очевидно, нам нужно определение понятия «хороший мир», которое лучше согласуется с нашей интуицией.

Первая сильная попытка была предпринята Иеремиией Бентамом, который предложил считать состояние мира А лучше состояния Б, если в нём большая сумма радости и меньшая сумма страданий по всем людям. Это имеет смысл. Вещи вроде смерти, бедности или боли – всё то, что мы хотим избежать с помощью нашей системы морали, можно классифицировать как причинение страданий или блокирование доступа к удовольствиям. «Утилитаризм» описывает системы морали, выведенные из вышеописанной идеи, а «польза» описывает меру, насколько хорошо каждое конкретное состояние мира.

5.2: Есть ли изъяны в концепции утилитаризма Иеремии Бентама?

Она побуждает к некоторым странным вещам. Например, исходя из её принципов, затаскивание людей в опиумные притоны против их воли и поддерживание их в наркотической эйфории – великолепная идея, а отстранение от этого – как раз безнравственно. В конце концов, такой подход увеличивает всеобщее удовольствие очень эффективно.

Аналогично, любое общество, которое бы истинно веровало в Бентамизм, в конце концов разработало бы супернаркотик и проводило всё время под ним, тогда как роботы занимались бы необходимым минимумом работы: кормлением людей и введением инъекций. Кажется, это довольно бесславный конец для человеческой расы. Даже если кто-то бы счёл его вполне допустимым, наверное было бы неправильно принуждать каждого к такому повороту событий без явного их согласия.

5.3: Утилитаризм может предложить что-то получше?

Да. Утилитаризм предпочтений (preference utilitarianism) предполагает, что следует не максимизировать удовольствие как таковое, а увеличивать счастье, определённое в терминах предпочтений каждого конкретного человека. В большинстве случаев, они будут общими: никому не нравится, когда их мучают. В некоторых случаях – отличаться: кто-то бы, может, и согласился на заточение в опиумном притоне, но я точно откажусь.

Утилитаризм предпочтений хорошо согласуется с идеей, что люди хотят не только грубых животных удовольствий. Если какому-то монаху хотелось бы лишить себя всех мирских удовольствий и молиться богу всю жизнь, то относительно этого монаха лучшим миром будет тот, где у него есть все возможности молиться, как он того захочет.

Человек или целое общество, следующее принципу утилитаризма предпочтений, будет пытаться удовлетворить желания максимального количества людей так полно, как это возможно; отсюда и формулировка: «самое большое добро там, где наибольшее число».

Это звучит сложно в теории, так как непросто измерить силу различных предпочтений. На практике, однако, экономисты придумали множество трюков для более-менее точного измерения массовых предпочтений. Обычно этого - и толики здравого смысла - достаточно, чтобы решить, какой выбор удовлетворит больше желаний.

5.31: Может ли утилитаризм показывать ещё лучшие результаты?

Нуууу… наверное. Есть несколько разных форм утилитаризма, которые пытаются быть ещё более правыми.

Когерентный экстраполяционно-изъявительный утилитаризм (coherent extrapolated volition utilitarianism) особенно интересен. Он постулирует, что вместо использования текущих предпочтений людей следует использовать их идеальные предпочтения – такие предпочтения, которые бы они имели, если бы были умнее и сами достигли равновесия между своими низкоуровневыми убеждениями. В этом случае следовало бы принимать в расчет не предпочтения каждого человека в отдельности, а обобщить их в идеальный набор универсальных убеждений. Это была бы оптимальная система морали, но философские и вычислительные преграды у неё на пути колоссальны.

5.4: Ой, нет! Как же мне узнать, какой из сложных систем мне следовать?

В большинстве практических случаев между ними нет особой разницы. Так как люди обычно желают то же самое, что предпочитают, а предпочитают быть счастливыми, все часто используемые виды утилитаризма дают одинаковые результаты в большинстве обычных ситуаций. Разумеется, можно придумать всякие запредельные мысленные эксперименты с изменяющими сознание наркотиками или бесконечным количеством мучений. О них весело рассуждать, и есть несколько сложных задач, где та или иная система даёт сбой, но любая из них превосходит обычный человеческий набор несбалансированных эвристик и неловкого демонстративного поведения. Даже просто вера в консеквенциализм, без какой-либо конкретной утилитаристской системы в основании, может принести заметную пользу.

Или, проще: не нужно знать всю теорию баллистики, чтобы не выстрелить себе в ногу.

Впоследствии я собираюсь использовать «пользу» взаимозаменяемо со «счастьем» ради удобства чтения, хоть это и может вызвать мандраж у пуристов утилитаризма предпочтений.

5.5: Я думал, утилитаризм – это когда все живут в уродливых бетонных коробкоподобных домах.

«Утилитаристская архитектура» подходит под это описание. Насколько мне известно, она не имеет ничего общего с утилитаристской этикой за исключением названия. Настоящие утилитаристы не будут строить уродливых бетонных домов-блоков, пока не станет ясно, что именно такие дома сделают мир лучше.

5.6: Разве утилитаристы не противники музыки, искусства, природы и, наверное, любви?

Нет. Некоторые люди, по всей видимости, так считают, но это не имеет смысла. Если мир с музыкой, искусством, природой и любовью лучше, чем без них (а все, похоже, согласны, что лучше), и если они делают людей счастливее (и все, видимо, согласны, что делают), то утилитаристы будут поддерживать всё это.

Более точный разбор подобных обвинений см. в секции 7.8 ниже.

5.7: Резюме по главе?

Мораль должна делать мир лучше. Есть много определений для «делать мир лучше», но принять следует то, которое не приносит неприятных побочных эффектов. Это приводит нас к утилитаризму, системе морали, которая пытается удовлетворить человеческие желания настолько, насколько это возможно.

ШЕСТАЯ ЧАСТЬ: ПРАВИЛА И ЭВРИСТИКИ

6.1: Что насчёт обычных правил морали вроде «не лги» и «не воруй»?

Консеквенциалисты немало уважают эти правила. Но вместо рассматривания их как базового уровня морали, мы считаем, что это эвристики («эвристика» - это удобное «правило буравчика», которое обычно, хоть и не всегда, приводит к верному решению).

Например, «не воруй» - хорошая эвристика, потому что когда я что-то краду, я отрицаю твоё право использовать этот предмет, уменьшая твой вклад во всеобщее счастье. Если разрешить воровать, ни у кого больше не будет мотива трудиться честно, экономика коллапсирует, и опуститься до грабежей придётся всем. Это не слишком приятный мир, люди в нём в среднем менее счастливы, чем в нашем. Воровство обычно уменьшает общее количество пользы или счастья, поэтому уместно сжать всё это в удобную форму, а именно в правило «не воруй».

6.2: Но что ты имеешь в виду, когда говоришь, что эти эвристики не всегда дают верный результат?

В примере с маньяком-убийцей из 3.5 мы уже увидели, что эвристика «не лги» работает не всегда. То же самое справедливо и для «не воруй».

В романе «Отверженные» семья Жана Вальжана не может выбраться из-за черты крайней бедности Франции XIX века; его племянник медленно умирает от голода. Вальжан крадёт буханку хлеба у человека, у которого денег в избытке, чтобы спасти жизнь племянника. Хоть не все из нас простили бы Жану этот поступок, он выглядит гораздо более оправданным, чем, скажем, кража PlayStation просто потому что кому-то очень захотелось в неё поиграть.

Вывод из этого всего заключается в том, что хоть ложь и воровство обычно делают мир хуже и причиняют людям вред, но в некоторых редких случаях они могут приносить пользу, и тогда они допустимы.

6.3: Так что же, нормально лгать, воровать или убивать всегда, когда ты думаешь, что ложь, воровство или убийство сделают мир лучше?

Не совсем. Когда у тебя есть жёсткое правило «никогда не убивать», что бы ни случилось, ты абсолютно точно знаешь, как ему следовать.

Есть хорошая причина, почему бог (предполагаемо) дал Моисею скрижаль с «не воруй», а не «не воруй, если только у тебя нет очень хорошей причины». У людей на редкость разные понятия об «очень хороших причинах». Некоторые люди смогли бы украсть, только чтобы спасть жизнь племяннику. Некоторые – чтобы защитить друга от маньяка с топором. А некоторые – чтобы поиграть в PlayStation и придумать какое-нибудь оправдание позже.

Мы, люди, очень хороши в оправдывании собственной особенности – умении думать, что МОЯ ситуация ПОЛНОСТЬЮ ОТЛИЧАЕТСЯ от всех остальных ситуаций, в которые могли бы попасть люди. Нам замечательно удаётся изобретать оправдания постфактум, почему наши поступки были наилучшим выбором. Мы прекрасно знаем, что если бы мы позволили воровать только при наличии хорошей причины, обязательно нашёлся бы какой-нибудь идиот, который бы этим злоупотребил, и все бы понесли потери. Так что мы возводим эвристику «не воруй» в ранг закона и считаем, что это славный выбор.

Тем не менее, у нас есть процедуры для временного приостанавливания законов. После того как общество проходит через эти процедуры решения вопросов, обычно в форме голосования демократически избранных представителей, государству позволяется украсть немного денег у всех в форме налогов. Так современные страны разрешают дилемму Жана Вальжана, не выдавая лицензии случайным людям воровать игровые приставки: все согласны, что здоровье племянника Жана важнее, чем лишняя буханка хлеба у богача. С помощью налогов государство перераспределяет доходы состоятельных людей в пользу бедных. Наличие подобных процедур – не менее славный выбор.

6.4: Так всё-таки, нормально ли нарушать законы?

Я думаю, что гражданское неповиновение – взвешенное нарушение законов в соответствии с собственными воззрениями о пользе – допустимо, когда ты совершенно и исключительно уверен, что твои действия повысят всеобщее счастье, а не понизят.

Чтобы быть настолько уверенным, нужно иметь очень хорошие свидетельства; также неплохо бы ограничить неповиновение теми случаями, где ты не являешься прямым получателем выгоды от нарушения закона, чтобы у твоего мозга не было соблазна придумывать подложные моральные аргументы в пользу нарушения законов всегда, когда замешан личный интерес.

Я согласен с общим мнением, что люди вроде Мартина Лютера Кинга младшего и Махатмы Ганди, которые использовали гражданское неповиновение по веской причине, были правы. Они были достаточно уверены в своей цели, чтобы нарушить моральные эвристики во имя высшего блага, и преуспели. Тем самым, их можно считать хорошими утилитаристами.

6.5: Что насчёт прав человека? Тоже эвристики?

Да, и политические дискуссии имели бы гораздо больше смысла, если бы люди понимали это.

Законотворцы расходятся во мнениях, какие права у людей есть, а каких – нет, и эти расхождения олицетворяют их политическую позицию, только в более запутанном и сложноразрешимом виде. Предположим, я говорю, что люди должны получать бесплатную, спонсируемую государством, медицинскую помощь, а ты – что нет. Это весьма проблемное расхождение, но, по крайней мере, мы можем рационально поговорить, и даже, возможно, изменить мнение. Но если я стукну кулаком о стол: «Государство должно предоставлять бесплатную медицинскую помощь, потому что у людей есть всеобщее право на медицинскую помощь», - то вряд ли тебе останется много чего сказать, кроме: «А вот и нет!» Интересный и потенциально разрешимый вопрос «Должно ли государство иметь бесплатное здравоохранение?» превратился в чисто метафизический - «Имеют ли люди право на бесплатную помощь?» Даже теоретически невозможно представить доказательства в пользу той или иной точки зрения.

Ситуация усложнится ещё больше, если ты ответишь: «Ты не можешь поднять налоги, чтобы предоставлять бесплатное здравоохранение, потому что у меня есть право на мою собственность!»

Во всех политических конфликтах спорящие партии находят (или придумывают) причины, почему на кону стоят их «естественные права». Арбитр в подобной ситуации волен принять любое решение. Никто не сможет доказать, что он ошибся, потому что вообще «право» - неизлечимо нечёткое понятие, которое было создано, чтобы люди могли говорить не «Мне не нравится эвтаназия, но, кажется, у меня нет особых оправданий», а «Мне не нравится эвтаназия, потому что она нарушает права человека на жизнь и собственное достоинство» (Я на самом деле слышал этот аргумент слово в слово не так давно).

Консеквенциализм использует права не как способ уклониться от честной дискуссии, а как её результат. Предположим, мы спорим о том, сделает ли бесплатное здравоохранение нашу страну лучшим местом, и решаем, что сделает. Предположим также, что мы столь уверены в этом решении, что хотим высечь в камне философский принцип, что все люди однозначно должны иметь доступ к лекарствам и у любого правительства, пришедшего нам на смену, не должно быть возможности это изменить, каким бы удобным ни казалось это решение в каждый конкретный момент. В этом случае мы говорим: «Существует всеобщее право на медицинскую помощь» - т.е. устанавливаем общедоступную эвристику.

Наш современный набор прав – свобода слова, свобода вероисповедания, право на собственность и все прочие – это эвристики, сформировавшиеся и доказавшие свою эффективность за многие годы. Свобода слова – прекрасный пример. Для государственного аппарата очень заманчиво попросту заткнуть неприятных людей вроде расистов, неонацистов, культистов и иже с ними. Но люди поняли, что власть имущие не очень разборчивы в том, кого действительно следует заставить молчать, и если дать им такую силу, они запросто будут использовать её во зло. Так что вместо этого мы укрепляем эвристику «не отказывай никому в праве высказывать собственное мнение».

Разумеется, это всё ещё эвристика, а не вселенский закон, поэтому мы вполне можем запретить людям говорить вообще что угодно в ситуациях, когда мы уверены, что это понизит всеобщую пользу; например, кричать «Огонь!» без причины в переполненном театре.

6.51: Получается, консеквенциализм обладает большим приоритетом, чем права?

Да, он находится как раз на том уровне, который позволяет разрешать конфликты прав и устанавливать, какие права вообще применять.

Например, мы поддерживаем право на свободу передвижения: люди (за исключением преступников) должны иметь возможность передвигаться по миру. Но мы также поддерживаем право родителей заботиться о своих детях. Если пятилетний ребёнок решит, что хочет отправиться жить в лес, должны ли мы позволить его родителям отказать ему?

Да. Хотя в этом случае конфликтуют два права, как только мы поднимемся на уровень выше, мы поймём, что свобода передвижения существует, чтобы позволять взрослым ответственным людям жить в местах, в которых они чувствуют себя счастливее. Очевидно, что ребёнку это право пользы не принесёт: если он убежит в лес, это может привести к неприятностям - скорее всего, его просто-напросто съедят медведи. У нас нет причин пользоваться этой эвристикой в данном конкретном случае.

Усложним ситуацию. Пятилетний ребёнок хочет убежать из дома, потому что родители его избивают. Допустимо ли в этом случае отправить малыша в детский дом (ведь каждый ребёнок имеет право на достоинство и свободу от страха)?

Да. Хотя мы снова оказались в ситуации с двумя конфликтующими правами, причём «право на достоинство и свободу от страха» я как бы только что выдумал, но для ребёнка важнее находиться в безопасности и быть здоровым, чем для родителей – использовать право «заботиться» о нём. Впрочем, это право – тоже эвристика, указывающая, что детям обычно лучше находиться с родными мамой и папой. Так как это наблюдение здесь, очевидно, не работает, мы без сомнений можем отправить ребёнка к приёмным родителям.

Подходящая процедура в подобных случаях – подняться на уровень выше и рассмотреть ситуацию с позиций консеквенциализма, а не кричать громче и громче, что какие-то права были нарушены.

6.6: Итог?

Правила, которые в целом хорошо поддерживают всеобщее счастье, называются моральными эвристиками. Обычно гораздо лучше следовать им, чем подсчитывать прирост пользы в каждом конкретном случае - в подобных подсчётах легко ошибиться из-за пристрастных суждений или недостатка информации. При формировании законов можно брать за основу нравственные эвристики, это позволяет им быть более самосогласующимися и лёгкими для исполнения. Моральные правила более высокого уровня, которые ограничивают государства, называются правами человека. Хотя следование моральным эвристикам – хороший путь, но в определённых случаях, когда ты на сто процентов уверен в результате – например, при общении с убийцей с топором или человеком, который хочет крикнуть «Огонь!», когда никакого огня нет - их можно нарушать.

ЧАСТЬ СЕДЬМАЯ: ПРОБЛЕМЫ И ВОЗРАЖЕНИЯ

7.1 Не приведет ли консеквенциализм к [очевидным ужасным последствиям]?

Скорее всего, нет. В конце концов, цель консеквенциализма - сделать мир лучше. Если последствия очевидно ужасны, консеквенциалисты не захотят их, разве нет?

Не так очевидно, почему какая-то специализированная формулировка утилитаризма не приведет к ужасным последствиям. Как бы то ни было, если утилитаризм действительно отражает уравновешенность наших интуитивных представлений и морали, он вряд ли способен привести к чему-то ужасному. Поэтому остаток этой главы будет посвящён тому, почему утилитаризм не приведёт к некоторым конкретным ужасным последствиям.

7.2 Не приведет ли утилитаризм к порабощению 51% процентом популяции оставшихся 49% процентов?

Аргумент таков: 51% популяции больше 49%, следовательно если мы осчастливим первых за счёт последних, такому состоянию будет приписано больше полезности. Поэтому, исходя из утилитаристских соображений следует ввести рабство.

Это фундаментальное непонимание утилитаризма. Он не говорит «делай что угодно, чтобы большинство людей было счастливее», он говорит «делай что угодно, чтобы люди в целом были счастливее».

Предположим, что вместе собрались десять человек - девять сытых американцев и один голодный африканец. У каждого есть по конфете. Сытый американец получит +1 единицу пользы от съедания конфеты, а голодающий африканец - +10 единиц пользы. Лучшее действие для увеличения пользы в целом - отдать все 10 конфет голодному африканцу, чтобы получить общий прирост в 100 единиц.

Человек, который не понимает утилитаризм, может сказать: «Почему американцы не договорятся между собой забрать конфету у африканца и разделить ее между собой? Если их девять, а африканец один, то получится польза для большего количества людей». На самом деле это создаст только +10 единиц пользы - намного меньше, чем в первом варианте.

Человек, который думает, что рабство повысит общее количество счастья, допускает ту же ошибку. Конечно, иметь раба будет довольно удобно для хозяина, но быть порабощенным будет чрезвычайно неприятно для раба. Даже, если большинство людей испытают небольшой прирост счастья, для людей в целом рабство обернётся потерями.

(Если вы всё ещё не видите, почему это так, представьте, что я предложил бы вам выбрать, жить ли в нашем мире или в гипотетическом, где 51% людей - хозяева, а 49% - рабы, с оговоркой, что вас распределят в ту или иную группу случайным образом. Захотели бы вы попасть во второй мир? Если нет, вы неявно согласны, что это не «лучший» мир).

7.3: Не приведет ли утилитаризм к боям гладиаторов, в которых некоторых людей принуждают бороться насмерть для развлечения масс?

Попробуете тот же тест, как предыдущий. Если бы я предложил вам выбор - жить в мире с кровавыми спортивными боями или в нашем мире, какой мир вы бы выбрали?

Существует множество причин, чтобы не выбирать мир гладиаторов. Когда гладиаторов выбирают случайным образом, всегда есть риск невольно оказаться в рядах гладиаторов и умереть. Вам придется жить в страхе перед подобным исходом, что печально, неприятно и, скорее всего, отнимет у вас удовольствие от игр. Кстати, об удовольствии - неужели гладиаторские бои настолько приятны? Есть основания считать, что они нравятся людям в целом? Даже если так, неужели сумма желаний тех, кто поддерживают игры, больше, чем сумма желаний всех тех возможных гладиаторов, что предпочли бы в играх не участвовать?

Да и действительно ли людей пришлось бы принуждать становиться гладиаторами, когда в нашем мире люди добровольно присоединяются к таким занятиям, как футбол, регби и бокс?

Похоже на то, что тысячи людей добровольно стали бы гладиаторами, если бы была такая возможность, и причина, почему в нашем обществе в настоящее время не продолжаются бои гладиаторов, отнюдь не отсутствие гладиаторов, а то, что их существование оскорбляет наше здравомыслие и существующие моральные нормы. Утилитаризм может принять в расчет это расстройство и возмущение так же или лучше, как и любая существующая моральная система, поэтому мы можем ожидать, что гладиаторские бои по-прежнему будут запрещены.

Я знаю, это странный вопрос, но некоторые люди по каким-то причинам продолжают использовать этот дежурный аргумент против утилитаризма.

7.4: Не приведет ли утилитаризм к тому, что мнения расистов будут уважаться достаточно сильно, чтобы обеспечить дискриминацию меньшинств (при условии, что будет достаточно большое количество расистов и малое количество людей, принадлежащих к меньшинствам)?

Во-первых, расисты и меньшинства - не две единственные группы в обществе. К счастью, есть также большие группы людей, имеющие достаточно крепкие взгляды против расизма, и они могут пересилить взгляды расистов.

Во-вторых, маловероятно, что у расистов предпочтения в пользу дискриминации меньшинств сильнее, чем предпочтения меньшинств не подвергаться дискриминации.

В-третьих, предпочтения расистов к проявлению дискриминации может не являться целью само по себе, а способом достижения другой цели. Например, расисты могут считать, что меньшинства состоят сплошь из уголовников, и хотят избежать криминала. Таким образом, на самом деле у них предпочтения не против меньшинств, а против преступников. Следует уважать желание снизить уровень преступности, но устранить возможную дезинформацию.

Если какая-то форма расизма пересиливает все вышеперечисленные рассуждения, но наша этическая интуиция всё равно против неё восстаёт, возможно, тут поможет более сильная формулировка утилитаризма. Например, используя когерентный эктраполяционный изъявительный утилитаризм, мы можем представить, какие предпочтения имели бы расисты, если бы достигли внутреннего философского баланса. Вероятно, в этом случае они перестали бы быть расистами.

7.5: Не приведет ли утилитаризм к тому, что здоровых людей будут убивать, чтобы отдавать их органы больным, которым требуются трансплантаты, ведь у каждого человека есть куча органов, которыми можно спасти несколько жизней?

Начнем с неудовлетворительных скользких ответов на это возражение, которые тем не менее важны. Первый уклончивый ответ состоит в том, что органы большинства людей несовместимы, и большинство трансплантатов не приживаются хорошо. Из-за этого, мол, вычисления будут не столь очевидны, как «у меня есть две почки и, убив меня, можно спасти двух человек, кому нужны трансплантаты почек». Второй хитрый ответ в том, что в правильно устроенном утилитаристском обществе проблема нехватки органов будет решена раньше, чем потребуются такие меры (см 8.3).

Эти ответы, хоть формально и верны, никак не решают философский вопрос о том, когда вы можете волей-неволей допустить убийство одних людей для спасения жизни других. Я думаю, что важно принять во внимание мысли об эвристиках, упомянутое в пункте 6.3 выше: иметь жёсткий закон против убийства людей - полезно. Более сложный закон, который будет более гибким, может намного более потерять в чёткости, что приведет к тому, что безнравственные люди или безнравственное правительство сможет злоупотреблять им и вообще рассматривать убийство как возможность (смотрите статью Дэвида Фридмэна о точках Шиллинга).

Это и есть самый сильный аргумент, который можно предложить против убийства толстяка в пункте 4.5, но заметьте, что этот аргумент по-прежнему консеквенциалистский, и предмет дискуссии и принятия или отказа от него на консеквенциалистском поле боя.

7.6: Не предполагает ли утилитаризм, что если появится монстр или пришелец или вообще кто-то, чьи чувства и предпочтения в неисчислимое количество раз сильнее, чем наши, то его моральная ценность будет такой высокой, что оценка причинения ему небольшого неудобства будет столь же высока, как оценка дальнейшей судьбы всего человечества?

Может быть.

Представьте, два философа-муравья спорят о том же вопросе. Они говорят: «А что, если будет существовать создание со столь высоким интеллектом, самоосознанием и эмоциями, что с моральной точки зрения будет лучше уничтожить целую муравьиную колонию, чем допустить, что это существо подвернёт лодыжку?»

Но я думаю, что люди - как раз такие создания! Я предпочту, чтобы целая муравьиная колония была разрушена, чем человек получил страдание в размере подвернутой лодыжки. И это не просто людской шовинизм, - я думаю, что мог бы обосновать, почему люди имеют гораздо более сильные чувства, предпочтения и жизненный опыт, чем муравьи (по всей видимости).

Я не могу представить себе создание, настолько же развитое по сравнению с нами, как мы развиты по сравнению с муравьями. Но если такие создания существуют, я не исключаю, что, если смогу их представить, то соглашусь, что их предпочтения гораздо более важны, чем предпочтения людей.

7.7: Получается, утилитаризм требует от нас уважать все идиотские человеческие предпочтения? Например, если какую-то группу мусульман оскорбляют изображения пророка Мухаммеда, то люди должны прекратить их рисовать?

Я задал этот вопрос на Less Wrong и получил разнообразные интересные ответы. Первым и самым главным ответом было: «Да, если определённые действия приводят к причинению группе вреда, физического или психологического, и при этом не приносят никакой пользы другой группе, то следует прекратить такие действия».

Впрочем, нельзя исключать, что «обида» на самом деле - не оскорбление в лучших чувствах, а требование уважения к группе. Если мусульманин злится, услышав о карикатуре про Мухаммеда, не факт, что он испытывает «психологический удар» или «противоречие предпочтениям» - он может просто показывать, насколько он любит ислам.

Другие ответы были связаны с теорией игр. Иногда человеку может быть выгодно прикинуться этаким философским монстром, которого оскорбляет всё на свете, чтобы сковать действия других людей. Возможно, другим людям имеет смысл заранее зафиксировать намерение не принимать во внимание подобное поведение.

Наконец, был аргумент к последствиям («скользкий путь», slippery slope). Отказ от рисования Мухаммеда сам по себе, возможно, не принесет никакого эффекта кроме того, что осчастливит несколько мусульман. Однако это может создать прецедент и придётся всегда отступать, если какие-то вещи были восприняты кем-то как оскорбительные. В будущем из-за этого прецедента, возможно, придется отказываться от в самом деле полезных действий.

7.8: Возвратимся к пункту 5.6, где был вопрос, противопоставлен ли утилитаризм искусству, музыке и природе. Ты сказал, что он не противостоит им напрямую. Это имеет смысл. Но вдруг окажется, что искусство и природа не слишком эффективны в подъёме всеобщего счастья? Тогда придётся принести их в жертву, чтобы мы могли перераспределить ресурсы и накормить голодных, или что-то в этом роде.

Если ты абсолютный утилитарист, то да. Если ты веришь, что накормить голодных важнее, чем играть симфонии, то тебе следует перестать тратить силы и деньги на симфонии, чтобы накопить деньги на помощь голодным. Но это твое личное убеждение; Иеремия Бентам не стоит у тебя за спиной, держа у затылка пистолет, вынуждая к этому. Если ты считаешь, что кормить голодных важнее, чем слушать симфонии, почему ты изначально слушал симфонии, а не кормил голодных?

Повторюсь, утилитаризм ничего не имеет против симфоний. В самом деле, симфонии наверняка приносят счастье массе людей, делая мир лучше. Мнение, что «утилитарист жертвует искусством и развлечениями» - всего лишь страшилка. Чтобы накормить голодных, найдутся тысячи вещей, которыми можно было бы пожертвовать, прежде чем дело дойдёт до симфоний. Деньги, потраченные на плазменные телевизоры, алкоголь и стелс-бомбардировщики - как раз в этой куче.

Я думаю, что если мы когда-нибудь придем к миру достаточно утилитарному, чтобы волноваться об утраченных симфониях, мы уже окажемся в мире достаточно утилитарном, чтобы волноваться о них не было повода. Под этим я имею в виду, что если бы все правительства и люди в частности стали бы утилитаристами, желающими решить проблему голода в мире, то они решили бы её (и всякие другие проблемы) гораздо раньше, чем пришлось бы задуматься, не стоит ли принести в жертву ещё и симфонии.

Эффективная благотворительность - это отдельная и богатая тема для обсуждения. Сейчас же достаточно помнить, что, если вы делаете все верно, то каждый ваш шаг в сторону консеквенциализма, должен приближать вас к достижению ваших собственных моральных целей и к лучшему миру, каким вы себе его представляете.

7.9: Утилитаризм как-то уж слишком похож на «цель оправдывает средства».

Цель оправдывает средства. Это очевидно, даже если задуматься всего на пару секунд; и факт, что фраза стала ассоциироваться со злом - скорее историческая странность, чем философская истина.

В Голливуде принято, чтобы перед включением супер-лазера или чего-то, столь же ужасного, злодей изрекал эту фразу, поглаживая своего персидского кота. Но цель, ради которой злодеи убивали миллионы людей - захватить Землю в железную хватку диктатуры. Это ужасная цель, ведущая к ужасному концу, поэтому, конечно, такие средства и такой конец не оправданы решительно ничем.

В следующий раз, когда услышите эту фразу, думайте не о злодее, активирующем супер-лазер, а о докторе, ставящему вакцину ребенку. Да, он причиняет боль ребенку, заставляя его плакать, что грустно. Но он также предотвращает возможность, что ребёнок заболеет ужасной болезнью, поэтому цель оправдывает средства. Если бы это было не так - мы бы никогда не делали прививок.

Если у вас есть действительно важная цель и только слегка неприятный способ ее достижения, тогда результат оправдывает средства. Если у вас ужасный способ достижения цели, который не ведет к чему-то хорошему, а только делает злодея из бондианы диктатором на земле, тогда у вас проблемы - но это едва ли вина принципа «цель оправдывает средства».

7.10: Кажется, быть хорошим человеком и вовсе невозможно! Получается, мне не только нужно избегать действий, причиняющих другим вред, но и делать все, что в моих силах, чтобы им помогать. Выходит, я не достаточно порядочный, пока не жертвую 100% своих денег (ну, кроме суммы прожиточного минимума) на благотворительность?

Утилитаризм не присваивает людям метки «нравственный» и «безнравственный». Утилитаризм может лишь сказать, что одни действия более этичны, чем другие. Распространить эти определения на людей, говоря что тот, чьи действия приносят больше пользы, тот и более нравственный - очевидная идея, но это неформальное применение утилитаристской теории.

Можно было бы сказать, что самые высокоморальные люди жертвуют 100% своих денег на благотворительность, но это как бы и так давно известно. Например, Иисус выразил то же самое две тысячи лет назад (Евангелие от Матвея 19:21 - «Иисус сказал ему: если хочешь быть совершенным, пойди, продай имение твое и раздай нищим; и будешь иметь сокровище на небесах; и приходи и следуй за Мною»).

Большинство людей не хотят быть совершенными и не собираются продавать всё своё имущество, чтобы помогать бедным. Тебе придётся жить с осознанием, что ты не вполне идеален. Впрочем, не волнуйся - Иеремия Бентам не заберётся ночью к тебе в окно, чтобы пристрелить или чего похуже. К тому же, раз никто не идеален, нас тут большая компания.

При всём при этом, есть люди, которые воспринимают идею жертвования всего на благотворительность серьёзно, и это довольно внушительные люди.

ВОСЬМАЯ ЧАСТЬ: ПОЧЕМУ ЭТО ВАЖНО

8.1: Если я пообещаю держаться подальше от вагонеток, будет ли иметь значение, какой моральной системы я буду придерживаться?

Да.

Современная мораль, по большей части - это наспех слепленная кучка попыток казаться хорошим в глазах других людей. Насколько при этом хреначится окружающий мир - никого особо не волнует. Как результат, мир сейчас выглядит довольно-таки хреново. Применение консеквенциалистской этики к политике и повседневной жизни - первый шаг к собиранию его воедино.

В мире больше чем достаточно ресурсов, чтобы обеспечить всех, включая людей в странах третьего мира, едой, лекарствами и образованием - не говоря уже о том, чтобы сохранить окружающую среду, предотвратить войны и избежать других существенных рисков. Основное препятствие у нас на пути - не недостаток денег или технологии, а недостаток воли.

Многие люди ошибочно принимают этот недостаток воли за какой-то всемирный заговор неизвестных злодеев, доящих мир ради собственной выгоды, или за неизлечимое зло или эгоизм «человеческой природы». Но нет никакого заговора, и люди могут быть невероятно сострадательными, если есть возможность помочь ближнему.

У проблемы два истока. Первый: люди тратят душевные силы на глупости вроде препятствования попыткам помочь бедным странам сдержать ничем не контролируемый рост населения или ломают копья, обсуждая дурацкие реплики некомпетентных политиков. Второй: моральные системы людей настолько туманны и гибки, что позволяют с лёгкостью придумывать массу высокоморальных оправданий, заглушая голос совести, лишь бы не заниматься неудобными или трудоёмкими делами.

Чтобы решить многие проблемы нашего мира, достаточно принять моральную систему, которая перенаправит моральные импульсы туда, где они принесут больше всего пользы. Имя этой системе – консеквенциализм.

8.2: Как утилитаризм может улучшить политические дебаты?

В идеальном мире утилитаризм свёл бы политику к математике, отбросив пустое морализаторство и личные мотивы, чтобы определить, какие именно законы наиболее удовлетворят наибольшее количество людей.

Конечно, в реальном мире это намного сложнее, чем звучит, ведь на наши суждения всё ещё влияют предубеждения, непредсказуемость и вялотекущие философские споры. Как бы то ни было, существуют инструменты, с помощью которых мы можем учесть все эти факторы. Можно упомянуть, в частности, рынки предсказаний, способные давать достаточно объективный прогноз вероятности того или иного события.

Консеквенциализм сам по себе не панацея и даже к разумно выглядящим обоснованиям следует также относиться с известной осторожностью. Например, мы знаем, что у централизованной плановой экономики есть неприятные побочные эффекты и, если кто-то приводит на удивление убедительный аргумент в пользу перехода к коммунизму, мы всё равно должны отнестись к нему скептично. Несмотря на это, увеличение навыков консеквенциалистского принятия политических решений скорее помогает нам в вынесении оценок, а не сковывает.

Для примеров интересных утилитаристских рассуждений, взгляните на это эссе об иммиграции или на моё эссе о здравоохранении.

8.3: Ты говоришь очень громкие слова. Не мог бы ты рассказать поточнее, как именно рассуждение с консеквенциалистской точки зрения может спасти тысячи жизней без каких-либо заметных минусов?

Окей. Как насчёт презумпции согласия на донорство органов после смерти?

В Америке сейчас действует презумпция несогласия на пересадку органов. Это означает, что нужно заполнить особые документы и носить с собой специальную карточку, чтобы врачи имели право воспользоваться органами после смерти. Многие согласны на посмертное использование их органов для трансплантации, но почти никто при этом не озаботился заполнить бланки донора.

В то же время примерно тысяча человек умирает каждый год, потому что им не досталось органов. Ещё большее число людей долгие годы страдает от проблем со здоровьем, пока не найдётся нужный трансплантат.

В некоторых странах - например, в Испании - разумную идею презумпции согласия возвели в ранг закона. Там, в отличие от США, не требуется разрешения человека на использование его органов после смерти. При желании человек может запретить использовать свои органы, заполнив соответствующие бумаги.

В Америке этот закон был отвергнут из соображений, что кто-то может случайно забыть заполнить эти документы, после чего умереть, и его органы будут использованы, чтобы спасти чью-то жизнь, хоть он и не давал на это согласия.

Так что на одной чаше весов мы имеем жизнь тысячи людей в год, плюс страдания многих других. На другой – опасение (до сих пор чисто умозрительное), что кто-то может достаточно сильно страдать от использования своих органов без его согласия, хотя он и не удосужился при жизни выразить своё отношение к этому, заполнив необходимые бумаги. Безусловно, такие люди сильно огорчились бы, что их органы используются без их согласия. Увы, они не могут расстроиться по этому поводу - уж слишком заняты лежанием в гробу.

Помните, в 3.5 я говорил, что чем глупее выбор, тем легче с его помощью послать сигнал социуму? Противостояние презумпции согласия на пересадку органов после смерти – чертовски хорошая возможность для демонстративного поведения. Неудивительно, что против презумпции согласия больше всего возражают профессиональные «специалисты по этике». Ведя себя так, они показывают всем, насколько они высокоморальны. Они настолько этичны, что отказываются спасти тысячу жизней, лишь бы уважить гипотетические предпочтения тех мертвецов, кто при жизни не были согласны на донорство, но никак это своё отношение не оформили. Право же, это великолепно!

Что же, если ты прочитал эти ЧаВо, надеюсь, ты воскликнешь: «Что за?!» - и тем самым покажешь себя лучше, чем сообщество академических этиков, государство и избиратели.

Простой здравый смысл, позволяющий спасать тысячу жизней в год, был отброшен без размышлений, потому что люди - меньшие консеквенциалисты, чем могли бы. А ведь это всего лишь один из низковисящих фруктов, доступных более здравомыслящей системе морали.

8.4: Я заинтересовался в утилитаризме. Где я могу узнать больше?

Less Wrong – великолепное сообщество, изобилующее очень умными людьми; там часто дискутируют на тему утилитаризма. Felicifia – сообщество, напрямую связанное с утилитаризмом, хотя я в нём не состою и потому не могу поручиться. Giving What We Can – утилитаристско-ориентированная группа с чуть ли не воинствующим подходом к максимально эффективному жертвованию на благотворительность.

Reasons and Persons Дерека Парфита и Good and Real Гэри Дрешера – две отличные книги о морали, которые консеквенциалисты могут найти интересными.

Теория игр и теория принятия решений – две периферийные области, которые часто всплывают в обсуждениях консеквенциалисткой системы морали.

В Википедии также много ссылок, по которым можно найти больше информации о консеквенциализме и утилитаризме.

8.5: У меня есть вопрос, комментарий или контраргумент к этому ЧаВо. Куда я могу его отправить?

Отправляйте на scott точка siskind собака gmail точка com, но имейте в виду, что я ужасно отвечаю на емейлы вовремя/вообще. С другой стороны, это ЧаВо было опубликовано довольно давно, и многие мысли уже были тщательно разобраны. Русское сообщество LessWrong с радостью обсудит их с вами.

Некоторые люди здесь принялись навешивать на меня ярлык Типичного Прогрессиста, и мне это надоело. Мне было не по себе, когда Фредерико использовал меня в качестве оппонента-либерала в своем ныне, увы, заброшенном блоге. Мне было не по себе, когда Grognor сообщил мне, что он использует мое имя как метонимию для «прогрессистов», вне зависимости от того, отражает ли это мои истинные убеждения или нет. И мне становится не по себе, когда Реакционеры в IRC начинают задавать вопросы с подвохом на тему того, почему я так уверен, что современное общество устроено идеально.

Я не считаю, что современное общество устроено идеально. Я всего лишь консерватор с маленькой буквы «к», который осторожно относится к переменам. Ни у кого еще не было опыта построения сложного глобализованного урбанистического общества Информационного Века, основанного на коммунистических/либертарианских/реакционных принципах, и если вы случайно в процессе разрушите человеческую цивилизацию, говорить «ой» будет поздно. А когда я узнаю о поистине революционных изменениях, которые я бы приветствовал, все они, к моей неудаче, обречены на существование вне общественного дискурса, который все равно преимущественно обращает свое внимание на дурацкие первобытные распри.

Поэтому политический активист из меня так себе. Но зато я провел последние тринадцать лет в фантазиях о своем собственном утопическом обществе.

Герб Сияющего Сада Кай-Райкота

У этого занятия есть несколько преимуществ над дискутированием о политике. Во-первых, все его субъекты являются вымышленными персонажами, так что проблема этики отпадает и можно с чистой совестью предаваться экспериментам. Во-вторых, нет никакой необходимости быть «практичным» или ограничивать себя «пределами возможного». В третьих, никто другой не участвует в обсуждении политики твоего вымышленного общества, поэтому ты в меньшей степени подвержен искушению формулировать свои мысли в тех же терминах, что и другие, отвечая на те же вопросы, что интересуют их.

Я сомневался, стоит ли писать об этом здесь, потому что это не имеет отношения к трезвой политике, некоторые элементы там сделаны любительски или вообще недоработаны, и на фоне всего этого даже самый радикальный экстремист будет выглядеть здравомыслящим реалистом. А кроме того, я боялся, что во всем этом будет мало смысла при отсутствии некоторого контекста о мире, в котором все это существует.

Но я уже признался в том, что участвовал в конструировании миров. И мне скучно. И, может быть, это наконец-то заткнет некоторых людей, которые считают мои политические убеждения скучными. Так что…

На севере планеты Микрас лежит остров Райкот, приблизительно на широте Исландии и сопоставимых размеров с Великобританией. На сегодняшний день (51 столетие ASC) его население составляет около 8 миллионов — на уровне Гондураса или Израиля.

Карта Райкота. По щелчку мыши открывается более крупная версия.

Райкот — древняя цивилизация, но в 11 столетии ASC она уступила свою независимость Священной Империи Сзиро (ориг. Sxiro), обширной феодальной конгломерации, занимающей практически весь материк к югу от нее. В обмен Бог-Император Сзиро пожаловал им чрезвычайно выгодные условия, включая практически полное самоуправление.
Райколины (ориг. The Raikolin) не страдают от недостатка самоуверенности. Их конституция, которую они приняли лишь после того, как Бог-Император строго потребовал, чтобы все подвластные ему земли предоставили ему какой-либо официальный документ, состоит из одного предложения:

В любой ситуации, правительство Райкота предпримет нормативно правильное действие.

На протяжении большей части пятого тысячелетия ASC в их законах утверждалось, что пост как главы государства, так и главы правительства занимает платонический идеал Добра; в 4682 году это требование было ослаблено, чтобы позволить Архижрецу Радости занять пост главы правительства, опять-таки по настоянию запутавшегося и раздраженного Бога-Императора.

Сами райколины всегда рады поведать секреты того, что они считают своим успехом, хотя среди прочих земель Микраса не нашлось большого количества желающих его узнать. Они приписывают его трем принципам, которые были ими развиты до их логического предела: Идеальный Язык, Идеальное Правительство, Идеальный Народ.

Кадамик: Идеальный Язык

На ранних этапах истории Райкота их государство было обременено политикой. У каждого было собственное мнение о том, что нужно делать государству, каждый был уверен, что все остальные неправы, и непрекращающиеся споры были ожесточенными, но не приводили к решениям.

Некоторые начали задумываться, не лежит ли проблема в неотъемлемой расплывчатости языка. Плохой язык содержал ложные допущения о мире, приводя к смешиванию фактических утверждений с оценочными, а также с бессмысленными лозунгами. Это приводило к запутанным категориям, проблемам подачи и плохой привычке пытаться приписывать материальную сущность выдуманным концепциям.

К счастью для Райкота, на удивление большой процент его населения составляли монахи-логики (не спрашивайте), находившиеся в удачном положении, чтобы начать работу над альтернативой. Начав с мировоззрения в духе логического позитивизма, они создали язык, грамматика которого была идентична философской строгости, и в котором любая концепция требовала точного выражения. Дешевые атаки, аргументы ad hominem, риторические приемы, апелляции к эмоциям — все они были тщательно запрещены путем аккуратного выбора лексики и синтаксиса, и амбиективность была осторожно расщеплена на ее составные части.

Текст на кадамике из Codex Hamiltonensis

Самой сложной проблемой была разработка языка для обсуждения вопросов морали: какое значение должно иметь понятие «благо» в идеальном языке? Для ее решения монахи-логики тысячелетиями корпели над созданием и улучшением утилитарной суперструктуры, до тех пор, пока она не описывала в точности, каким образом необходимо учесть предпочтения и ценности, чтобы построить функцию полезности для всего общества. Получившаяся в результате книга, Ризурион-Силк (кадам. Risurion-Silk), была провозглашена буквальным воплощением Бога, который, в конце-концов, был всего лишь еще одним словом для обозначения идеи максимального благополучия. Понятие «Благо» было провозглашено тождественным «увеличению значения функции, описанной в Ризурион-Силк», или, другими словами, «повышению степени, в которой Вселенная воплощает Бога».

Так был рожден Кадамик (ориг. Kadhamic), идеальный язык. Преуспев в его создании, правительству оставалось всего лишь запретить обсуждать политику на любом другом языке, кроме Кадамика. Это привело к двум положительным эффектам. Во-первых, это ограничило участие в политической жизни всем тем, кому недоставало интеллекта для изучения Кадамика. Во-вторых, это практически сразу разрешило все наихудшие формы политических разногласий, поскольку придумывать правдоподобные аргументы для ложных позиций стало тяжело или вовсе невозможно.

Сияющий Сад: Идеальное Правительство

Тем не менее, существенные политические разногласия — искренние споры о фактах или ценностях — все еще оставались неразрешенными. В эпоху перед Временем Затишья в 35 столетии ASC за это в основном отвечал парламент представителей от девяти городов, но во времена правления Верховного [непереводимо] Нифи Кирениона была создана более элегантная система: власть Ангелов.
Ангел — это существо, являющееся связующим звеном между Богом и Человеком. Ангелы Талы, столицы Райкота — это огромные компьютерные системы, позволяющие людям вычислять значение Бога, каким он описан в Ризурион-Силк.

Карта города Талы за 800 лет до наступления эпохи Сияющего Сада. По щелчку мыши открывается более крупная версия.

Ангел Предпочтений собирает данные переписи населения и результаты опросов всех жителей Райкота, прогоняет их через серию функций утилитарной суперструктуры Ризурион-Силк, и выдает функцию полезности. Его вычисления настолько же похожи на современные QALY и DALY, насколько суперкомпьютер похож на абак. В результате он получает серию весов предпочтений для возможных состояний мира и для различных компонент этих состояний. Он знает, чему равна предельная ценность спасения трех людей от голода, и как сравнить ее с предельной ценностью снижения загрязненности воды в Великом Сверкающем Фьорде на 6%, или с рождением ребенка в Уолрафене.

Ангел Свидетельств — это система связанных «оракулов» (то, что мы бы назвали рынками предсказаний), в значительной степени субсидированная правительством и используемая не только тысячами райколинов, но и крупнейшими финансовыми конгломератами Сзиро, и даже за его пределами. При наличии достаточного количества времени, денег и публичной огласки он может вычислить возможные эффекты любой политики с точностью, недостижимой даже для Жрецов Истины. Когда Энди Арузион решил наложить санкции на Лирикот, он попросил Ангела дать точную оценку того, насколько долго продлится их мятеж; согласно легенде, Ангел вычислил продолжительность длившегося много столетий конфликта с точностью до дня.

Ангел Огласки принимает предложения от любого жителя Райкота, будь то нищий рыбак или Верховный Жрец Радости. Это могут быть предложения о пересмотре политики в любой сфере, будь то налоговые послабления, новые правила использования земельных ресурсов, или вторжение в другую страну. Тысячи предложений, которые он получает каждый день, подвергаются краудсорсингу, получая голоса за или против от экспертов и простых жителей, взвешенные согласно рейтингу успешности этих пользователей в прошлом. Со временем, наиболее интересные или тщательно продуманные предложения получают необходимую огласку и становятся доступными для дальнейшего рассмотрения.
Архангел, расположенный в обширном храме в Садах Ушедших, объединяет данные, полученные от всех трех Ангелов, чтобы принимать правительственные решения. Он принимает политические предложения от Ангела Огласки, использует Ангела Свидетельств, чтобы оценить их вероятные эффекты, и напоследок пропускает эти эффекты через Ангела Предпочтений, чтобы определить, повысят они или понизят представленную в нем функцию полезности и тем самым приблизят ли мир к Богу или отдалят от него. Множество непротиворечащих политических решений, наиболее удовлетворяющих Ангела Предпочтений, становится законом Райкота.

Метааналитический Оракул, вместилище Ангела Свидетельств и частей Архангела (источник в реальном мире)

В своем монументальном труде, посвященном различным формам правления, Зельде Калирион называет Райкот «тоталитарной анархией», и не без веских на то причин. Указы Ангелов полностью безличны. Они могут потребовать у целого города переехать в другое место, или упразднить какую-либо доктрину в национальной религии, или даже потребовать всех жителей страны предоставить определенное количество опалов некоторой строительной компании в обмен на постройку моста.
И тем не менее нет такой сущности, которую можно было бы назвать «правительством», выполняющим эти поручения. Есть Рхавакал, самодостаточный рыцарский орден с фанатичным интересом в военном искусстве, и иногда Ангелы приказывают им напасть на кого-то или арестовать человека. Есть Жречества Истины, Красоты и Радости, три очень богатых и мощных религиозных группы, и иногда Ангелы дают им определенные поручения. Есть ряд компаний, которым Ангелы иногда приказывают выполнить ту или иную задачу. И есть простые жители, которых Ангелы часто просят о финансовой поддержке для осуществления того или иного плана. Но все эти группы — лишь инструменты, используемые Ангелами. И поэтому — за исключением, возможно, Жрецов Радости, в чьи задачи входит поддержание физической формы Ангелов и улучшение их алгоритмов — ни одна из них не считает себя (или других) частью «правительства».

Галисйин — Идеальное Население

«Галисйин» (кадам. «Galisyin») означает «взращенные», и именно так райколины называют самих себя. Они убеждены, что даже идеальное правительство не убережет плохих людей, и даже ущербное правительство не сможет подавить хороших. Трагедия восьмисот лет назад породила идеологию istilve iab istisemial priktino (кадам.) — «фрактальная безупречность, чья каждая часть сама по себе безупречна», согласно которой внутренние добродетели народа райколин должны быть достаточно устойчивы, чтобы уцелеть даже в случае полного коллапса общества.

Взращение начинается с деторождения и размножения. Все мужчины получают ОССПР в рамках того, что мы, вероятно, назвали бы их школьными уроками ОБЖ; хотя они могут в любой момент отменить его действие, на практике никто не делает этого до тех пор, пока не захотят ребенка, и процедура может быть бесплатно и в любое время проведена повторно. Это эффективно решает проблему нежелательных беременностей и нежеланных детей.

Наказанием за наиболее серьезные преступления является изгнание — либо в одну из множества колоний, к примеру, Кимрикот, Калирфанам или Псентикот, либо в горные монастыри (которые выполняют примерно ту же функцию, что тюрьмы в нашем обществе, только вместо того, чтобы проводить время в компании закоренелых преступников, они в основном проводят время с монахами и занимаются монастырским трудом, медитацией и обучением). В любом случае, они в сущности оказываются удалены из размножающейся популяции на длинные промежутки времени, а порой и навсегда.

Напоследок, поскольку страна завершила демографический переход несколько тысячелетий назад, показатели естественной фертильности находятся сильно ниже уровня замещения. Ангелы поддерживают популяцию на желаемом уровне путем выплат пособий семьям, желающим заводить и воспитывать детей, а самую большую поддержку получают люди, готовые использовать для оплодотворения гаметы, отобранные Жрецами Истины с тем, чтобы с высокой вероятностью создавать хороших людей (где «хороший», как обычно, означает «имеющий склонность увеличивать значение функции, описанную в Ризурион-Силк», но обычно включает интеллект, сострадание, здравомыслие, здоровье и творческие способности).

Несмотря на то, что эти меры дают сравнительно небольшой эффект в масштабе одного поколения, за сотни лет они преобразовали население страны, так что теперь они превосходят средний уровень по Сзире практически во всех желанных характеристиках.

Штаб-квартира Жрецов Истины

Вдобавок к этому идеал Галисйин включает евтенику — улучшение людей путем улучшения окружающей их среды. Мое старое Руководство для родителей-биодетерминистов — весьма характерный для райколин подход, и его советы (уточненные и проверенные сотнями лет непрерывных исследований) — закон, иногда священное писание. Некоторые евтенические вмешательства более проактивны: к примеру, в водопроводе содержится строго оптимальное количество лития. Изредка даже проводятся кампании по избавлению от токсоплазмы (по крайней мере среди мужчин), хотя нахождение в арктическом климате само по себе выполняет большую часть работы по уменьшению числа паразитов.

Помимо чисто биологических мер, существует система образования, которая не имеет почти ничего общего с тем, что называется этим в нашем обществе. Крайне мало времени уделяется обучению истории, науке, музыке или грамматике — подразумевается, что правильным образом биодетерминированная популяция со свободным доступом к бесплатным библиотекам научится всему этому сама. Вместо этого школа полностью сосредоточена на привитии хороших привычек мышления, которые сделают людей добродетельными и ответственными членами общества.

В программе сделан большой упор на медитацию; студенты в течение пяти-десяти лет медитируют по часу в день под руководством Жрецов Красоты, которые являются экспертами в этой дисциплине. Цель в том, чтобы достичь практически идеального самоконтроля, низкой тревожности, сострадания к остальными и продолжительного счастья (если какие-либо из исследований, показывающих, что медитация улучшает академическую успеваемость, подтвердятся, это лишь очередной бонус).

Второй предмет, которого не найдешь в реальных школах, это Экспериментальная Теология, то есть национальное спонсированное школой употребление психоделиков. Идея здесь в том, что годы исследований химических веществ вроде ЛСД и псилобицина строго научно подтвердили их способность вызывать перманентные положительные изменения личности, и в процессе умственного развития детей их при помощи этих веществ посвящают в разные уровни мистических переживаний таким образом, чтобы дать им больше любви, энергии и чувства общности.

Третья и наиболее важная дисциплина — рациональность. Этот предмет — отличие между утопией и антиутопией; его задача — объяснить всем принципы, лежащие в основе их общества и дать им инструменты, необходимые для участия в политике, либо для осознанного отказа от нее. Первым идет обучение идеальному философскому языку Кадамику. Затем следует обучение чему-то вроде турбо-версии критического мышления, возможного лишь на Кадамике (однако мне хочется думать, что Цепочки LessWrong — неплохое диалектное приближение). После этого — достаточно математики и науки, чтобы понимать аналоги нашей Теории Рационального Выбора, Теории Игр, Эволюционной Психологии, Теории Принятия Решений и так далее — вещей, необходимых для понимания морали и устройства правительства. Наконец следует знакомство с моралью, принципами, лежащими в основе Ризурион-Силк, и еретическими системами, конкурирующими с ним.

Обучение завершается чем-то наподобие румспринги, когда молодые юноши и девушки покидают Сияющий Сад и путешествуют по Сзиро и по всему остальному миру, посещая как ее наиболее свободные и богатые регионы, так и наиболее бедные и безнадежные. Затем им предложен выбор между возвращением в Райкот, жизнью в «колониях» — ряде лежащих вне страны территорий, населенных преимущественно райколинами, отвергающими глубоко упорядоченную жизнь в Сияющем Саду — или переездом на материковую часть Сзиро. Те, кто выбирают последнее, получают бесплатные уроки сзирианского языка и помощь по интеграции в местную культуру, но большинство находят ее странной, неприятной и варварской, и решают в конце концов остаться в Райкоте.

На протяжении своей взрослой жизни райколины продолжают свою самокультивацию при поддержке Жрецов Красоты, которые представляют из себя что-то среднее между священниками, психологами и психиатрами. Они демонстрируют скорее дружелюбие пастора, чем сахарную манеру психотерапевта или клиническую манеру врача, но при необходимости обладают достаточным опытом, чтобы прописывать поразительное разнообразие препаратов и добавок, многие из которых полностью неизвестны или до нелепого строго запрещены здесь, на Земле. Они отличаются от привычных психотерапевтов абсолютной конфиденциальностью; им запрещено сообшать о своей пастве властям или психиатрическим учреждениям при любых обстоятельствах (у других организей такое право есть, но они не взаимодействуют со Жрецами Красоты). Это обычно приводит к доверительным отношениям, и Жрецы Истины следят за тем, чтобы они были достойны такого доверия.

Те же, кто желает достичь идеала, недоступного простым Галисйин, отправляются в монастыри — порядка дюжины уединенных высоко в горах сообществ размером с малые города. Там они выращивают собственную пищу, медитируют, обучаются и пытаются жить более или менее в гармонии с природой. Несколько монастырей дали клятву принимать любого, кто пожелает присоединиться, обеспечивая таким образом ценный нижний предел страданий и нищеты, с которыми кому-либо приходится столкнуться.

Это первый раз, когда мне приходилось рассказывать о Райкоте кому-либо вне сообщества мироконструкторов, так что если у вас есть какие-либо вопросы, задавайте их, и я попробую ответить подробнее.

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет, — говорит она. — Это настоящий мир. Раньше ты жил здесь. Мы стёрли твою память и поместили тебя в симулятор как в «Матрице». Это часть громадного эксперимента.

— Что?! — восклицаешь ты. — Вся моя жизнь это ложь? Как вы могли держать меня в каком-то «эксперименте», на участие в котором я даже не соглашался?

— Вообще-то, — говорит женщина, — cоглашался за несколько дополнительных баллов по семестровому курсу психологии, — она передаёт планшет. На нём лежит бумага с согласием, написанная твоим почерком.

Ты робко смотришь на неё.

— А в чём заключался эксперимент?

— Знаешь, что такое «семья»? — спрашивает женщина.

— Конечно.

— Ага, — говорит она, — они не взаправду. Подумай сам, это же не имеет никакого смысла. Почему кто-то должен заботиться о своих генетических братьях, дядях и ком бы то ни было ещё сильнее, чем о друзьях или людей, которые искренне ближе к тебе? Это как расизм, только хуже. По крайней мере, расисты идентифицируют себя с группой из миллионов людей, а не пары десятков. С чего бы родители воспитывали детей, которых они могли даже не любить, которые могли получиться случайно? С чего бы люди из стыда прикладывали титанические усилия, чтобы узнавать о самочувствие дальних родственников, которых бы с радостью полностью забыли?

— Эм, я не в настроении философствовать. Семьи существовали всегда и никуда не денутся, о чём спорить?

— На самом деле, — говорит женщина, — в настоящем мире никто не объединяется в семьи. У нас нет такой вещи. Детей забирают при рождении от родителей и отдают другим людям с контрактом воспитывать их в обмен на фиксированный процент от их будущих заработков.

— Это чудовищно! Как такое произошло? Были ли протесты?

— Так всегда было. Семьи никогда не существовали. Послушай. Ты был участником исследования, почти как в эксперименте Аша о конформности. Нашей целью было узнать, будут ли люди, воспитанные в обществе, где все придерживаются мнения X и всё крутится вокруг X, способны хотя бы критически взглянуть на X или заметить, что X — это глупо. Мы попытались придумать самое идиотское возможное убеждение, в которое в реальном мире никто никогда не верил и даже не рассматривал всерьёз, чтобы убедиться, что мы изолировали эффект конформности и не столкнулись с какой-то действительно обоснованной точкой зрения. Так мы пришли к идее «семей». В нашем мире есть расисты, мы не идеальны. Но насколько я знаю, никто никогда не утверждал, что следует выделять дополнительные ресурсы людям, генетически близким именно к тебе. Это как сведение к абсурду расизма. Так что мы попросили знакомого аспиранта смоделировать мир, где эта идея бы воспринималась как статус кво, и поместили в симуляцию двадцать студентов, чтобы посмотреть будут ли они сомневаться в посылке или примут её как данность.

— Конечно, мы не будем сомневаться в посылке, ведь она…

— Не хочу перебивать, но я подумала, тебе следует знать, что каждый из остальных девятнадцати подопытных по достижении возраста, когда мозг, куда они были записаны, становился способным к абстрактному мышлению, мгновенно определил, что социальная конструкция семьи не имеет никакого смысла. Одна из них на самом деле вывела, что находится в психологическом эксперименте, потому что не было ни одного другого объяснения, почему все поддерживают столь безумную идею. Остальные восемнадцать просто решили, что иногда объективно несправедливые идеи просто ложатся на общественное сознание, как было на американском юге до гражданской войны. Южане думали, что рабство абсолютно естественно и только немногие аболиционисты могли противиться общественному укладу. Наш эксперимент по конформности провалился. Ты единственный, кто купился на наш трюк целиком и полностью.

— Как так случилось, что я единственный?

— Мы не знаем. Результаты тестов показывают, что ты обладаешь интеллектом слегка выше среднего, так что это явно не глупость. Но мы провели участников через тест личности и для тебя он показал очень высокую экстраверсию. Мы укажем в заключении нашей работы, что выраженные экстраверты принимают групповой консенсус без размышлений и могут поверить во всё, даже во что-то столь бестолковое как «семья».

— Ну… когда вы это говорите так, это действительно звучит глупо. То есть, мои родители действительно никогда не относились ко мне особенно хорошо, но я продолжал их любить даже больше людей, которые обходились со мной искренне лучше… боже, я даже подарил матери кружку с надписью «Лучшая в мире мама» на день Матери. Это даже не имеет смысла! Я… но как же эволюционное объяснение? Разве эволюция не вкладывает в нас генетический императив любить и поддерживать семью, заслуживают они этого или нет?

— Знаешь, эволюционную психологию можно подогнать под любую историю. Ты умный, тебе не следовало относиться к таким объяснениям всерьёз.

— Но тогда как работала эволюция? Как воспроизводились животные до изобретения экономических моделей? Где они…

— Знаешь что? Давай подключим тебя к ремнемонайзеру, чтобы вернуть твои настоящие воспоминания. Это ответит на большинство твоих вопросов.

Парящая неподалёку машина засияла фиолетовым. «Это не больно…»

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет, — говорит она. — Не существует никакой виртуальной реальности. Я загипнотизировала тебя забыть все воспоминания последнего дня, чтобы хорошенько запутать. После чего поместила в этот старый купленный на eBay кусок реквизита из «Матрицы» и загрузила тебя этой историей.

— Что? — восклицаешь ты. — Вы не можете просто так гипнотизировать людей и лгать им без всякого на то согласия!

— Вообще-то, — говорит женщина, — ты действительно cоглашался за несколько дополнительных баллов по семестровому курсу психологии, — она передаёт планшет. На нём лежит бумага с согласием, написанная твоим почерком. — Эта часть была правдой.

Ты робко на неё смотришь.

— Зачем вы это сделали?

— Ну, — говорит женщина, — знаешь эксперимент Аша о конформности? Мне было интересно, сумею ли я заставить человека отбросить какое-нибудь базовое убеждение, всего лишь сказав, что остальные люди считают по-другому. Но я не могла придумать ни одного способа сделать это. В конце концов, часть фундаментального убеждения и есть, что ты знаешь, что все остальные люди тоже верят в него. Не было других вариантов убедить подопытных, что весь остальной миры был против чего-то столь очевидного как «семьи», ведь они уже знали как выглядит остальной мир.

— Так что я придумала историю с «виртуальной реальностью». Я подумала, что могу убедить участников, что настоящий мир — это ложь, и на самом деле существует «сверхнастоящий» мир, в котором все знают, что семьи это глупо, что эту идею даже не принято рассматривать. Я хотела узнать, как много подопытных отрекутся от чего-то, во что они верили всю жизнь, просто потому что «никто так не думает».

— Ага. — говоришь ты. — Интересно. Таким образом, даже наши самые дорогие сердцу убеждения более хрупки, чем мы думаем.

— Не совсем. — отвечает женщина. — Из двадцати подопытных, ты был единственным, кто высказал хоть какие-то сомнения или испытал какие-то противосемейные чувства.

— Чёрт, — говоришь ты. — Теперь я чувствую себя как идиот. Что если моя мать об этом узнает? Она подумает, что это её вина или что-нибудь такое. Боже, она подумает, что я её не люблю. Люди будут говорить об этом до конца жизни.

— Не волнуйся. Мы анонимизируем конечные данные. В любом случае, давай вернём тебе воспоминания, чтобы ты мог идти по своим делам.

— Вы можете восстановить мои воспоминания?

— Конечно. Мы загипнотизировали тебя, чтобы ты забыл события последнего дня, пока не услышишь ключевое слово. И это ключевое слово…

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет! — говорит она. — Гипноз — псевдонаука и не работает. Всё это время ты находился в виртуальной реальности.

— Чё, — говоришь ты.

— В смысле, что я сказала в начале, было правдой. Все твои воспоминания о жизни с родителями и всё такое — фальшивка из виртуального мира, как в «Матрице». Концепция «семьи» — действительно абсолютная чушь, и никто в настоящем мире её не поддерживает. Всё, что ты услышал в первый раз, было правдой, а ерунда про гипноз и купленную на eBay капсулу из «Матрицы» — ложью.

— Но… зачем?

— Мы хотели посмотреть, насколько сильно покажет себя твоя конформность. Ты наш испытуемый номер один, единственный, на котором мы смогли наблюдать этот эффект. Мы так и не поняли, почему он проявил себя: то ли ты очень легко поддаёшься внушению, то ли просто никогда всерьёз не рассматривал идею, что «семья» — это безумие. Так что мы решили попробовать что-то вроде… перекрёстного теста, если так можно выразиться. Мы выгрузили тебя из симуляции и рассказали об эксперименте. После того, как мы объяснили, как на самом деле выглядит мир, дали тебе все ментальные инструменты для отбрасывания «семейной» гипотезы, даже вытянули из тебя, что наша идея верна, мы захотели посмотреть, что будет, если отправить тебя обратно. Будешь ли ты отстаивать приобретённое знание и храбро бороться с предрассудками общества? Или сменишь сторону ещё раз и будешь жить, будто семьи имеют смысл, в про-семейном окружении?

— И я выбрал второй вариант.

— Да. Как психолог, я должна оставаться нейтральной и никого не осуждать. Но согласись, это довольно тупо.

— Есть ли в вашем мире комитет по экспериментальной этике, с которым я могу пообщаться?

— Извини. Экспериментальная этика — ещё одна из очевидно идиотских концепций, которые мы установили в симуляцию, чтобы посмотреть, заметите ли вы. Серьёзно, верить, что прогресс науки должен сдерживаться предрассудками ханжествующих дураков? Это почти так же глупо, как думать, что у тебя была… как она называлась… «сестра».

— Хорошо. Я понимаю, что немного переборщил с помощью сестре, но экспериментальная этика кажется довольно важной. Например, что случится со мной сейчас?

— Ничего особенного. Данные анонимизируются. Мы сохраним всё в тайне, восстановим твои воспоминания и ты можешь жить, как жил.

— Эм, учитывая последние события, я… не особенно уверен, что хочу, чтобы мои воспоминания восстанавливали, — ты смотришь на ремнемонайзер, парящий над тобой. — Почему бы мне просто не…

Женщина щурит глаза. — Извини. Я не могу тебе этого позволить.

Машина снова начинает сиять.

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

По твоим подсчётам это происходило уже триста сорок шесть раз.

По всей видимости, есть всего два разных сценария. В одном женщина говорит, что семьи существуют и всегда существовали. Говорит, что использовала гипноз, чтобы заставить тебя поверить в альтернативу, в мир с другой женщиной. Она спрашивает, что ты чувствуешь по отношению к семьям, и ты отвечаешь.

Иногда она отпускает тебя. Ты идёшь домой к матери и отцу, проводишь немного времени с сестрой. Иногда говоришь им, что произошло. Иногда нет. Ты ценишь время с ними, но также сверханализируешь всё, что делаешь. Почему именно ты ценишь время с ними? Отец, который ходит в бар каждый день и который изменял жене больше раз, чем ты можешь сосчитать. Мама, которая никогда не была на твоей стороне, когда ты больше всего в ней нуждался. Сестра, которая хорошо к тебе относилась, но не лучше, чем миллионы других людей относились бы в её позиции. Они настоящая твоя семья? Или всего лишь отражение чего-то идиотского, невозможного, несуществующего?

Это не особо имеет значение. Иногда ты проводишь с ними день. Иногда десять. Но всегда в течение месяца ты просыпаешься в коконообразной штуковине как в «Матрице».

Во втором сценарии развития событий, женщина говорит, что семьи не существуют, и их никогда не было. Говорит, что использовала виртуальную реальность, чтобы заставить тебя поверить в альтернативу, в мир с другой женщиной. Она спрашивает, что ты чувствуешь по отношению к семьям, и ты отвечаешь.

Иногда она отпускает тебя. Ты идёшь в строение, сделанное из биопластика, где живёшь с тщательно подобранным набором друзей и романтических партнёров. Они заверяют тебя, что все остальные живут так же. Иногда старый и состоятельно выглядящий человек звонит тебе на видеофон. Он напоминает, что инвестировал в твоё воспитание немало денег, и если есть ещё какой-то способ помочь тебе увеличить будущий заработный потенциал, можешь дать ему знать. Иногда ты говоришь с ним. Он использует странные выражения и изредка даёт советы по ведению бизнеса.

Это не особо имеет значение. Иногда ты проводишь день в доме из биопластика. Иногда десять. Но всегда в течение месяца ты просыпаешься в коконообразной штуковине как в «Матрице».

— Послушай, — говоришь ты женщине, — я устал от этого. Я знаю, что вы не связаны никаким комитетом по экспериментальной этике. Но пожалуйста, ради бога, пощадите меня.

— Бога? — спрашивает она. — Что означает это слово? Я никогда не… а, точно, мы использовали это в прототипе нашей симуляции. Мы подумали, что «семья» это лучшая идея для теста, но Тодд, должно быть, забыл обнулить симулятор.

— Было уже триста сорок шесть циклов. Наверняка ничего нового вы от меня не узнаете.

— Мне об этом судить. Теперь скажи мне, что ты думаешь о семьях.

Ты отказываешься. Она вздыхает. Ремнемонайзер над тобой начинает светиться фиолетовым.

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит фиолетовое существо с щупальцами, оно в белом халате и с планшетом в руках.

— Привет, — говорит оно. — Людей не существует.

Ты отказываешь ему в удивлении.

— Есть только мы, 18-ткенна-дганна-07.

— Хорошо, — говоришь ты. — Я хочу ответов.

— Разумеется. Мы хотели найти оптимальный уклад общества.

— И?

— И я пока не могу сказать, реальны ли семьи или нет по причинам, которые сейчас станут понятны, но сама идея как минимум достаточно интересна, чтобы быть включённой в пространство гипотез, достойных исследования. Но мы не доверяем себе в этом. Это всё старая проблема конформности Аша. Если у нас есть семьи, то философы, занимающиеся оценкой общественной структуры последуют традиции и решат, что семьи нужны. Если нет, то решат, что нам и не стоит их заводить. Так что мы придумали процедуру, которая бы создала существо, лишённое искажения конформности и способное справедливо оценить вопрос семей.

— И это то, что произошло со мной.

— Да. Только подвергнув тебя полному погружению в дилемму, не позволяя тебе положиться на решения других, мы могли быть уверенны в твоём вердикте. Только позволив тебе ощутить, насколько очевидно нужны семьи, когда ты «знаешь», что они нужны, и как очевидно бесполезны семьи, когда ты «знаешь», что они бесполезны, могли мы ожидать, что ты приобретёшь мудрость с обеих сторон проблемы.

— Я понимаю, — и ты действительно понимаешь.

— Тогда, о, Очищенный, — спрашивает пришелец, — скажи же нам своё решение.

— Ну, если честно, мне кажется, что обе стороны имеют примерно одинаковое количество плюсов и минусов.

— Бля, — говорит 18-ткенна-дганна-07.

Примечание редактора сайта. Название рассказа содержит непереводимую игру слов. Фамилия известного учёного Соломона Аша созвучна слову «ash», которое означает «прах» или «пепел». Название «Asches to Asches» отсылает к Ашу, но созвучно известной фразе «прах к праху» из погребальной молитвы.

Нулевой день

Всё началось с невежественного белого человека.

Его звали Алонсо де Пинсон, корабль, на котором он служил, разбился. Мы услышали, как он зовёт на помощь, и вытащили его на берег, несмотря на непрерывно усиливающийся шторм. Он рассказал, что его галеон затонул, и ему одному повезло выжить, ухватившись за весло. Сейчас он грелся в нашем охотничьем домике, дрожа и стуча зубами. Мы общались на Полинезийском торговом жаргоне, единственном языке, которым владели все мы.

«Большой ли остров? И сколько вас здесь?»

Дахо ответил первым: «11,8 миль с запада на восток, 3,6 мили с севера на юг. Общая площадь 14,6 квадратных миль, длина береговой линии зависит от желания углубиться во фрактальную природу периметра, но в разумных предположениях примерно 32 мили. По последней переписи населения на острове проживали 906 человек, но это было два года назад, предполагая, что 5,1% рост популяции продолжится, сейчас мы приближаемся, ммм, к 1000. Все остальные сейчас, наверное, в деревне. Мы впятером отправились на охоту и застали шторм. Пережидаем его в этом старом охотничьем доме, всё-таки 5,5 миль до деревни, а по такой местности, учитывая плохие погодные условия — дорога домой, вероятно, займет более 9,5 часов».

Пинсон моргнул от удивления.

«Что такое?» — спросил Дахо.

«Но…» — засомневался он, — «Такого ответа я ожидал бы от какого-нибудь философа. Никак не от дикаря».

«Дикаря?» — прошипел Калкас, — «В самом деле? Мы спасли тебя, а первым делом ты называешь нас дикарями?»

Встревоженный, моряк заёрзал на месте и покосился по сторонам. С ужасом в голосе он зашептал:
«Но я слышал о вашем острове! Я слышал, что вы людоеды!»

Калкас улыбнулся. «Это лишь мера устрашения, превенция. Обычно, когда европейцы высаживаются где-то, они убивают мужчин и порабощают женщин, а детей обращают в христианство. Эту участь избегают только племена, имеющие репутацию поедающих европейских так называемых путешественников. Вот мы и решили добиться такой репутации» — закончил он, пожав плечами.

«Нам пришлось пойти на крайнюю меру несколько раз, чтобы наше сдерживание имело вес», — добавила Бекка, моя невеста, — «И вы, кстати, ничего так с кетчупом».

«Это дикарское поведение!» — возмутился Пинсон, — «И вы даже выглядите как дикари. У вас в волосах кости».

«Только у Энули», — сказал я, — «Она проходит готическую фазу».

«Меня, вообще-то, зовут Мортикия!» — заявила Энули, — «И это никакая тебе не фаза!» У неё была кость в волосах, лицо в белилах, а глаза подведены чёрным.

«Ещё жареной свинины?» — спросила Бекка Пинсона. Моряк кивнул и она положила ему добавку.

«Я просто не могу понять», — сказал он нам, — «Все остальные в этой части света живут в соломенных домах и считают „один, два, много». Мы пытались торговать с ними, но они не понимают сути денег. Вот так вот!»

Бекка посмотрела на меня, закатив глаза, я в ответ улыбнулся. Калкас оказался терпимее. «Священное для нашего народа растение называется огненная трава», — объяснял он, — «Когда употребляешь её, мысль становится яснее, думаю, так можно сказать. На острове мы стараемся каждый день принимать её по чуть-чуть, это помогает держать в голове такое, как численность населения, размеры острова и многое другое».

Алонсо де Пинсон заинтересовался: «И почему вы не сделали чего-то большего со своим интеллектом? Не придумали галеоны, как мы испанцы? Не отправились колонизировать Таити или другие острова? Если вы такие умные, как кажетесь, вы могли бы завоевать их и забрать себе богатства».

«Может быть», — сказал Калкас, — «Но это не то, для чего Бог Вулкана послал нам свыше огненную траву. Он даровал её, чтобы мы соблюдали все его сложные наставления, правила и ритуалы».

«Вам нужно быть умными, чтобы соблюдать ритуалы?»

«О, да. Например, Скрижали Энку велят нам считать число дней со дня общения Энку Законотворца с Богом Вулкана и в дни, по счёту равные простым числам Мерсенна, мы не можем есть овощи».

«Что такое числа Мерсенна?» — спросил моряк.

«Вот в этом и суть», — ответил Калкас, заулыбавшись.

«И это не самое плохое правило!» — добавил Дахо. Скрижали Пророка велят устраивать купания в водопаде каждый раз, когда для номера дня Х существуют натуральные a и b, такие что a^n + b^n = x^n, где n больше двух. Это доставляло немало хлопот, пока Калухани не объелся недельной порцией огненной травы и за ночь не доказал, что такой день не наступит до скончания времён.»

«Воля Бога Вулкана есть истина», — согласился Калкас.

«Хоть и бедного Калухуани потом рвало три дня», — напомнила нам Бекка, и все засмеялись.

«Ой!» — воскликнула Дахо, — «А помните, как Ухуако пытался татуировать всех, кто не может татуировать себя и не мог понять, должен ли он татуировать себя сам. В конце концов, съел целый куст огненной травы и разработал аксиоматическую теорию множеств. Это было феерично».
Все, кроме Алонсо де Пинсона, захихикали.

«Видишь, в этом всём дело», — сказал Калкас, — «Поэтому Бог Вулкана и послал нам огненную траву».

Пинсон нахмурился: «Знаете, я не думаю, что вы, вообще, Полинезийцы. Вы должны быть потомками европейцев. Наверное, какой-нибудь галеон разбился у этого острова сотни лет назад, и так появились вы. Это бы объяснило, почему вы такие умные».

«Знаешь, что мы ещё изобрели нашими великими умами?» — спросила Бекка, — «Не. Быть. Расистами».

«Это не расизм!» — начал отнекиваться Пинсон, — «Слушайте, есть ещё одна причина думать, что вы пошли от европейцев. У вас, конечно, тёмная кожа, но это первое место во всей Полинезии, где я видел туземцев с голубыми глазами».

Бекка затаила дыхание. Калкас стиснул зубы. Дахо сжал руки в кулаки. Энули начала хныкать.

Мы переглянулись, затем, не сговариваясь, схватили Алонза де Пинсона и задушили его.

Он тоже оказался хорош с кетчупом.

Первый день

Светало, утро было холодным и серым. Море штормило.

«Что же», — сказал я, когда оставшиеся четверо проснулись, — «Мы все всё ещё здесь».

Я был угрюм. Не то чтобы я хотел, чтобы кто-то из моих друзей свёл счёты с жизнью. Но если бы кто-то из них совершил ритуальный суицид, весь этот ужас прекратился бы. Конечно, я знал, что так легко нам не отделаться. Но я не мог признать, что я знал. Я даже не мог этого предложить. Это сделало бы меня не лучше моряка-испанца.

«Эй», — недоумевала Энули, — «Я не понимаю, почему мы не должны быть здесь?»

Всё остальные взглянули на неё так, будто она сошла с ума.

«Энули», — начал Калкас, — «ты забыла принять огненную траву вчера?»

«Во-первых, меня зовут Мортикия. И…»

«Забей. Ты забыла про огненную траву?»

Она робко кивнула. «Я была так расстроена из-за шуток этого ужасного человека о косточке в моей причёске», ответила она, — «Думаю, поэтому вылетело из головы. Я приму немного сейчас». Взяв горсть огненной травы из нашей сумки, она принялась молоть и толочь её: «Расскажите мне, что происходит».

«Алонсо де Пинсон сказал, что хотя бы у одного из нас голубые глаза. Мы все знаем, что велят Скрижали Энку. Если у кого-то голубые глаза, и он об этом знает — он должен принести себя в жертву».

«И что? Я вижу голубоглазых каждый день. Конечно, кто-то из нас обладает голубыми глазами».

Все забеспокоились. Я поразмыслил несколько секунд, огненная трава разгладила пути моих мыслей в мозгу. Не-а, она не добавила ничего нового произнеся это, хотя она добавила бы, сказав это до прибытия моряка и даже до нашего пробуждения сегодня. Она не сделала хуже. Но всё же это было опасно. Одна из тех вещей, из-за которой нельзя забывать принимать огненную траву. В другой раз такая реплика обрекла бы нас всех.

«Всё так», — начал я рассказывать Энули, — «Предположим, нас всего двое и у нас голубые глаза. Конечно, ты видишь меня и знаешь, что у меня голубые глаза. Так что ты знаешь, что хотя бы один из нас голубоглазый. Но ты не знаешь, что я тоже знаю это. Потому, исходя из доступной тебе информации, у тебя могут оказаться глаза другого цвета, скажем, карие. Если бы у тебя были карие глаза и я, конечно, не знал бы цвет своих собственных глаз, тогда я бы считал возможным, что мы оба кареглазые. Таким образом, ты знаешь, что хотя бы один из нас голубоглазый, но не знаешь, что это знаю и я. Как только появится Алонсо де Пинсон и скажет, что один из нас имеет синие глаза, теперь ты знаешь, что и я знаю это».

«Ну и?» — Энули засыпала получившийся порошок в кружку с кипящей водой.

«Скрижали велят каждому узнавшему цвет своих глаз совершить суицид ровно в полночь этого дня. Исходя из того, что я знаю, один из нас голубоглазый, будь у тебя карие глаза, я бы понял, что мои голубые. Поэтому следующим утром, проснувшись и обнаружив меня живым, ты понимаешь, что твои глаза не карие. Значит ты голубоглазая и должна принести себя в дар Богу следующей ночью. Как и я».

Энули отпила настойки и её глаза оживились. «Конечно, очевидно», — воскликнула она. Потом: «Стоп. Если подумать, станет ясно: любая группа из n голубоглазых, узнавшая, что среди них хотя бы один голубоглазый, обречена на смерть в n-ую ночь!»

Мы все кивнули. Энули приуныла.

«Не знаю, как вы, но я не готов просто сидеть и ждать умру я или нет», — сказал Дахо. Раздался одобрительный шёпот.

Я оглядел своих друзей. Четыре пары голубых глаз смотрели на меня. Все остальные видели либо четыре пары голубых глаз, либо три в зависимости от цвета моих глаз. Конечно, я не мог сказать это вслух; это ускорило бы процесс и стоило бы нам драгоценного времени.

Но я знал.
И они знали.
И я знал, что они знали.
И они знали, что я знал, что я знаю.
Но они не знали, что я знаю, что они знают, что я знал.
Вот о чем я думал.

Я взглянул на Бекку. Её большие синие глаза смотрели на меня в ответ. Всё ещё была надежда, что я выживу. Моя суженая, с другой стороны, абсолютно точно была обречена.

«Ну, и дела», — согласился я, — «Нам придётся придумать какой-нибудь план. Может… Энули неясно мыслила вчера, поэтому её не совершение самоубийства не считается. Можно ли что-то придумать на основании этого?»

«Не-а», — сказал Калкас, — «Предположим, Энули была единственной голубоглазой, а у всех остальные карие глаза. Тогда она поймёт это и совершит ритуал сегодня. В противном случае мы всё ещё обречены».

«Знаете», — начал Дахо, — «Мне не хотелось бы это говорить, но нам нужно избавиться от Энули. На пляже у скал есть небольшое каноэ. Она может отчалить и отправиться на Таити. В таком случае мы никогда не узнаем убила ли она себя этой ночью. Помните, сейчас мы знаем только то, что Энули может быть единственной голубоглазой среди нас. Поэтому, если мы будем сомневаться, убила ли она себя или нет, мы не сможем быть уверенными в том, что все остальные из нас не кареглазые».

Все задумались над этим.

«Я не отправлюсь на Таити», — отказалась Энули, — «В такой шторм это верная смерть».

Мы пристально на неё взглянули.

«Если ты не покинешь остров, то, как мы все можем доказать, все мы погибнем и ты в том числе», — сказал я.

«Что же, Ахуа, если ты такой любитель самопожертвования, то почему бы тебе самому не отправиться на Таити?»

«Во-первых, я не оставлю свою невесту», — начал я. «Во-вторых, это не работает в моём случае. Я знал, что произошло прошлой ночью. Мы уже знаем, что, не учитывая меня, среди нас есть один голубоглазый. И мы знаем это; и мы знаем, что мы знаем это и так далее. Ты единственная, кто может спасти нас».

«Ага», — начала Энули, — «Вообще, если вы двое отправитесь на Таити, то проблема будет решена тоже».

«Да», — терпеливо ответил ей Дахо. «Но так двое из пятерых окажутся в изгнании. Если ты отправишься на Таити, то только один из нас будет страдать. Утилитарное решение».

Энули ехидно улыбнулась: «Знаете, что? Я скажу это. Я не единственная голубоглазая здесь. Хотя бы у одного из вас голубые глаза».

Началось.

«Ха! Теперь я не хуже, чем любой из вас».

«Убьём её», — сказала Бекка, — «Она нарушила табу». Остальные кивнули.

«Нарушила», - согласился Калкас, «И будь у нас здесь суд, возглавляемый верховным жрецом, а также топор палача, точно соответствующий всем стандартам, мы бы ее убили. Но так как всего этого нет, для нас табу выносить смертный приговор».

Отец Калка был верховным жрецом. Он знал закон лучше, чем любой из нас. Мы пятеро сидели тихо и думали об этом. Потом он добавил:

«Но её душа будет до скончания дней гореть в бездне Бога Вулкана»

Энули начала плакать.

«И», — продолжил Калкас, — «Тем не менее в нашем плане есть дыра. Из того, что мы знаем, из нас пятерых трое кареглазых. Мы не можем сказать тем, у кого голубые глаза, что их глаза голубые, не нарушив табу. Так что мы не можем заставить голубоглазых плыть на Таити. Но если двое кареглазых отправятся туда, тогда мы не потеряем никакой информации. Мы знаем, что они не совершат самоубийства, так как не поймут, какого цвета у них глаза. Так что путешествие на Таити не поможет».

Все согласились, Калкас был прав.

«Давайте подождем до завтрашнего обеда», — предложил я. «Каждый примет немного огненной травы и, может быть, мы сможем что-нибудь придумать».

Второй день

Солнце вышло из-за мрачных чёрных облаков. Мы проснулись вместе с ним.

«Что ж, вижу, мы все всё ещё здесь», — начал я, превращая утреннюю перекличку в зловещую привычку.

«Так», — начала рассуждать Бекка. «Предложение о Таити будет намного лучше, если бы мы знали сколько голубоглазых и кареглазых здесь. Если у нас всех голубые глаза, мы можем быть уверенными, что план „Таити» сработает и некоторые из нас будут спасены. Если у кого-то из нас карие глаза, то мы можем отправить на Таити столько людей, чтобы с высокой вероятностью туда отправилось достаточно голубоглазых».

«Мы можем мечтать о чём угодно», — сказала Энули, — «но знай мы точно сколько голубоглазых, а сколько кареглазых, нам бы пришлось покончить с собой прямо сейчас».

«А что насчёт вероятностного знания?» — спросил я. «В теории, мы могли бы создать вероятностную модель, позволяющую нам иметь 99,99% уверенность в цвете наших глаз, не будучи уверенными точно».

«Это довольно глупо», — ответила Энули, в тот самый момент, когда Калкас воскликнул: «Замечательно!». Он продолжил: «Слушайте, только между нами, все остальные в деревне имеют голубые глаза, да?»

Мы кивнули. Было страшно слышать, как об этом говорят так непринуждённо. Настоящее хождение по лезвию бритвы, но не нарушающее ни одного табу.

«Так», — продолжил Калкас, — «Мы знаем, что на острове хотя бы 995 из 1000 имеют голубые глаза. И да, раз никто не совершил ритуальный суицид вчера, то хотя бы у трёх из нас голубые глаза, что даёт 998 из 1000. Значит, по правилу Лапласа, вероятность, что у нас голубые глаза превосходит 99%. Ничего, из того что я сказал, не является табу. Ничего такого, что островитяне не знают сами. Но никто из них ещё не убил себя… Поэтому, не привнося никакой информации о наборе цветов нашей группы, разумно предположить, что все мы голубоглазые».

«Мне действительно жутко, когда ты так говоришь», — сказал Дахо, его руки были покрыты мурашками.

«Я не думаю, что бог Вулкана, наделивший нас разумом и интеллектом, ожидал от нас отказа от использования их», - сказал Калкас. «Предположим, что все мы голубоглазые. В этом случае, план с переездом на Таити подходит».

«Та-а-а-а-а-а-ак», — возразила Бекка, — «Если вероятностное знание не считается, то никакая информация не должна считаться. В любом случае остаётся шанс, что восхитительный на вкус моряк солгал. Тогда, когда он сказал, что хотя бы у одного из нас голубые глаза, всё что мы знаем, что с большой вероятностью у одного из нас голубые глаза».

«Именно!» — сказал Дахо. «Я читал книгу, которую прибило к берегу c потерпевшего кораблекрушения галеона. Там в Европе, есть племя, называемое Евреи. Священная книга предписывает им исключать внебрачных детей из общины. Их лидеры находят это несправедливым, но они не могут противоречить Священному Писанию. Так что вместо этого они объявили, что внебрачные дети должны быть исключены, только если доподлинно известно, что они внебрачные. Затем они объявили, что никаких доказательств не хватит, чтобы убедить их в этом. Всегда есть вероятность, что женщина втайне занялась сексом с мужем за девять месяцев до этого или просто врёт об этом. А если, по всей видимости, женщина была неженатой, то она могла обручиться втайне. Они решили, что допустимо ошибиться из-за излишней осторожности и никто не был достаточно внебрачным, чтобы быть исключённым из общины. Мы можем попробовать то же самое здесь».

«Да!» — воскликнул я. «Если даже мы посмотрим на своё отражение и прямо перед собой увидим голубые глаза, это может быть так, что демон иллюзий подменяет наше наблюдение».

«Нет, нет, НЕТ!», — возмутился Калкас, — «Скрижали Энку говорят, что человек не может знать цвет своих глаз и не положено нам это обсуждать. Из закона ясно следует, что услышанная от кого-то информация о цвете своих глаз считается доказательством голубоглазости. Никакая вероятность не имеет значения».

«Это глупо», — запротестовала Бекка.

«Таков закон», — ответил Калкас.

«Давайте тогда выполним план „Таити»», — предложил я. Я собрал пять камней с пола хижины. Два белых и три чёрных. «Белый — остаёшься, чёрный — Таити. Закройте глаза и не подглядывайте».

Бекка, Калкас, Дахо и Энули вытянули по камешку из моей руки. Я взглянул на оставшийся. Чёрный. Подняв глаза, я увидел улыбающихся Калкаса и Энули, в их руках были белые камни. Бекка и Дахо не улыбались. Тяжело вздохнув, Дахо посмотрел на меня умоляюще.

«Нет, решено,» — сказал я, — «Мы втроём отчалим сегодня ночью».

Калкас и Энули едва сдерживали облечгение и радость.

«Вы расскажете нашим семьям, что произошло?»

С горечью они кивнули.

Мы начали собирать вещи.

Свинцовые тучи отняли последнюю надежду на лунный свет. Пришлось идти в кромешной тьме.

«Как мы, вообще, доберёмся до каноэ в такую погоду?!» — прокричала мне Бекка, схватив за руку. Я лишь сжал её руку в ответ. Дахо может быть сказал что-то, а может и нет. Я не смог бы его услышать. По грязи, под дождём в кромешной тьме у нас ушло два часа, чтобы преодолеть какую-то милю. Каноэ были там, где мы их оставили несколько дней назад. Скалы стали нашим временным убежищем от барабанящего ливня.

«Это безумие!» — сказал Дахо, как только мы могли услышать друг друга снова. «Нет ни малейшего шанса, что мы доплывём до Таити на этом!» «Мы вряд ли продержимся даже милю!» — согласилась Бекка.

«Да», — ответил им я. Я понимал это всё время по пути в пещеру, но теперь я был в этом уверен. «Да, это подобно смерти. Но мы должны на это пойти, если мы не сделаем это сегодня, то вернёмся к остальным. И мы всё равно покончим с собой. И Калкас с Энули умрут тоже».

«Нет!» — возразил Дахо, — «Мы вернёмся к ним и скажем, что добраться до Таити невозможно. После предложим им нужно ли нам всем умереть. И, если они согласятся, мы вытянем камни снова: четыре чёрных и один белый. Один шанс на жизнь».

«Каждый из нас вытянул свой цвет, — ответил я. «Честная лотерея — это справедливо».

«Справедливо?!» — возмутилась Бекка. «Мы тянули камни, чтобы решить, кто отправится на Таити. А не для того, чтобы решить, кто должен умереть. Если вытянутые камни обязывали нас отправиться насмерть, они должны были об этом сказать и тогда, возможно, мы потратили бы побольше времени на обдумывание других возможностей. Почему нам нужно умереть? Почему другие не могут? Я ненавижу её! Ахуа, ты не можешь дать мне умереть так».

Это задело меня. Я был готов пожертвовать собой, если этого требовали обстоятельства. Бекка была права. Просто отправить её в море и дать ей утонуть в тех волнах это, конечно, не согласуется с помолвкой.

«Ну, я…»

«Ахуа», — проговорила Бекка, — «Я думаю, что беременна».

«Что?»

«У меня задержка… и меня мутило сегодня утром, несмотря на то, что я не злоупотребляла огненной травой. Я думаю, что беременна. Я не хочу умирать. Нам необходимо спасти меня. Спасти ребёнка».

Я взглянул на безжалостный океан, смотрел, как волны врезаются в берег. Всего пары моментов хватило, чтобы, без сомнения, понять, что лодку перевернёт и мы погибнем.

«Хорошо», — начал я, — «Новый план. Мы втроём возвращаемся. Расскажем им, что не смогли добраться до Таити. Они заметят, что очередная полночь прошла — теперь четверо из нас должны будут умереть. Мы втроём проголосуем против смерти Бекки. Три против двух, обеспечит нам победу. Мы погибнем и Бекка вернётся в деревню, и ребёнок будет жить».

«Подожди», — возразил Дахо, — «Мне нужно проголосовать за свою смерть, чтобы Бекка выжила? Что мне с этой сделки?»

Скрижали Энки говорят, не убей ближнего своего. Так что я не стал.

«Ты получишь дополнительное время!» — грубо ответил я, — «Один день жизни во имя спасения моей суженной и нерождённого ребёнка. Потому что мы не вернёмся, если ты не согласишься. Выбор между смертью сейчас или смертью завтрашней ночью. И многое может произойти за один день».

«Например?»

«Не знаю. Мы можем придумать хороший выход из ситуации. Энки Законотворец восстанет из мёртвых и изменит закон. Что угодно. Это всяко лучше, чем метнуться в море на верную гибель».

Дахо пристально посмотрел на меня, взвесил исходы. «Да», — он выдохнул, — «Я проголосую за Бекку. Но нам лучше очень постараться придумать что-то получше».

Третий день

«Так», — начал Калкас следующим утром. «Я вижу мы все всё ещё здесь». Он не звучал удивлённо.

Я объяснил, что произошло прошлой ночью.

«Всё просто», — заявил Калкас, — «Бог Вулкана наказывает нас. Он говорит, что неправильно нам пытаться ускользнуть от наказания, отправившись на Таити. Поэтому он наслал шторм. Он хочет, чтобы мы оставались здесь до самого конца. И потом, если нам суждено, мы умрём все вместе».

«Нет!» — запротестовал я, — «Всё совсем не так! Табу не говорит, что мы все должны умереть. Оно лишь обязывает нас покончить с собой, если мы выясним цвет своих глаз! Если некоторые из нас покончат с собой, это может предотвратить кончину всех».

«Бог Вулкана не выносит бессмысленно забранных жизней», — сказал Калкас, — «Так же как и не выносит, когда его подданные отправляются в далёкие земли, где не растёт огненная трава, а законы Его нарушаются изо дня в день. Вот, что Он хочет донести до нас. Он хочет сократить наши возможности, чтобы мы остались непорочными и наши души не горели в его жерле. Как это будет с Энули». Он бросил на неё неодобрительный взгляд.

«Меня зовут…» — начала она.

«Я не думаю, что суть именно в этом», — сказал я, — «Я предлагаю нам четверым пожертвовать собой ради Бекки».

«Ты выгораживаешь её только из-за вашей помолвки», — сказала Энули.

«Именно так», — ответил я, — «Да, я выгораживаю её! Простите меня, что не могу смириться со смертью любви всей моей жизни! Может, мне следует прыгнуть в кратер прямо сейчас? И ещё она беременна? Не слышали?!»

«Люди такие люди», — сказал Калкас. «Мир! Мы все в одной лодке».

«Нет, это не так», — возразил я, — «Так, давайте проголосуем. Все, кто за спасение Бекки, скажите да».

«А все против пожертвования кого-либо морю, считающие, что воля Бога Вулкана должна быть исполнена, скажите нет». Добавил Калкас.

«Да», — Я.

«Да», — Бекка.

«Нет», — Калкас.

«Нет», — Энули.

«Нет», — Дахо.

«Какого чёрта?!» — запротестовал я.

«Нет», — повторил Дахо.

«Но ты обещал!» — проговорил я.

«Ты пообещал мне дополнительный день», — объяснил Дахо. «Подумай об этом. Калкас предложил мне два».

«Нет-нет-нет!» — разъярённо закричал я, — «Вы не можете так поступить! Серьёзно, я убью вас всех, если мне придётся».

«Тогда твоя душа будет вариться в жерле веки вечные», — сказал Калкас. «И это не поможет тебе спасти ни суженную, ни ребёнка».

«Вы не можете так поступить», — повторил я спокойнее, почти бормоча.

«Мы можем, Ахуа», — ответил Калкас.

Я потопал в свою комнату. Подавленный.

Четвёртый день

Я поприветствовал их традиционным способом: «Так, я вижу мы все всё ещё здесь».

Мы были живы. Это был наш последний день. У каждого было достаточно информации, чтобы доказать, без капли сомнения, что у всех у нас голубые глаза. В полночь каждому из нас предстояло совершить ритуальное самоубийство.

«Знаете, что?» — сказала Энули, — «Я всегда хотела вам сказать это. У ВСЕХ У ВАС ГОЛУБЫЕ ГЛАЗА! ЖИВИТЕ С ЭТИМ!»

Все кивнули. «И у тебя тоже голубые глаза, Энули», — ответил ей Дахо. Это не было уже важно.

«Подождите», — заторопилась Бекка, — «Нет! Я придумала! Гетерохромия!»

«Гетеро-что?» — спросил я.

«Гетерохромия радужки — это очень редкое состояние, когда у человека глаза разных цветов. Если у кого-то из нас гетерохромия радужки, тогда нам не доказать ничего совсем! Моряк сказал, что увидел кого-то с голубыми глазами. Но он не сказал сколько голубых глаз он увидел».

«Это глупо, Бекка», — ответила Энули. «Он сказал про голубые глаза во множественном числе. Если бы у кого-то был только один синий глаз, очевидно, он заметил бы это в первую очередь. Что-то вроде: „Это единственный остров на Таити, где у людей глаза разных цветов».

«Нет», — сказала Бекка, — «Потому что у всех нас могут быть голубые глаза, кроме, быть может, одного человека, у кого гетерохромия. И он заметил четверых, не вгляделся в глаза оставшегося».

«Энули только что сказала», — ответил Калкас, — «что у нас голубые глаза».

«Но она не сказала сколько!»

«Ладно», — сказал Калкас, — «если только у одного из нас на самом деле гетерохромия радужки, не думаешь ли ты, что кто-нибудь догадался упомянуть это до пятого дня?»

«Не имеет значения!» — возразила Бекка, — «Это просто вероятностная уверенность».

«Это так не работает», — ответил Калкас. Он положил руку ей на плечо. Она раздражённо скинула её. «Кто, вообще, решил так!» — спросила она, — «Почему запрещено знать цвет своих глаз?»

«Глаз это орган, который видит», — проповедовал Калкас, — «С помощью него мы знаем, как всё выглядит. Если бы глаз знал, как выглядит сам, был бы бесконечный цикл: глаз видящий глаз видящий глаз видящий глаз и так далее. Как деление на ноль. Такая гадость. Поэтому Бог Вулкана своей бескрайней волей утвердил, что так быть не должно».

«Хорошо, я знаю, что глаза мои голубые», — ответила Бекка, — «И я не ощущаю себя застрявшей в бесконечном цикле. Ничего гадкого, ничего мерзкого».

«Это потому, что» — проговорил Калкас терпеливо, — «Бог Вулкана своей безграничной милостью даровал нам день, чтобы уладить мирские заботы. Но ровно в полночь нам предстоит убить себя. Таковы заповеди».

Бекка рыдала у меня на руках. Я кинул взгляд на Калкаса, он пожал плечами. Дахо и Энули ушли вдвоём (думаю, они поняли, что если это их последний день в этом мире, то можно провести его с удовольствием), а мы с Беккой проследовали в нашу комнату.

«Слушай, я не собираюсь ничего делать».

«Что?» — спросила она, перестав плакать.

«Я не собираюсь умирать. И не позволю тебе причинить себе вред. Ты должна родить ребёнка, а у него должны быть отец и мать. Мы можем переждать здесь. Остальные совершат ритуальное самопожертвование. А мы вернёмся в деревню и расскажем, что все остальные погибли во время шторма».

«Но — не волнуешься ли ты, что Бог Вулкана будет печь наши души в его жерле вечно?»

«Буду честным, я никогда серьёзно не воспринимал весь этот культ Вулкана. Я, — я думаю, стоит посмотреть к чему это нас приведёт, когда мы состаримся и умрём. Важно, что у нас будет ребёнок, и мы вырастим его в заботе и любви».

«Я тебя люблю», — сказала Бекка.

«Я знаю», — ответил я.

«Я знаю, что ты знаешь», — прошептала она, — «Но я не знала, что ты знал, что я знала, что ты знаешь. А теперь я знаю».

«Я тоже тебя люблю!»

«Я знаю», — ответила она.

«Я знал, что ты знаешь», — ответил я и поцеловал её губы. «Я люблю тебя и твои прекрасные голубые глаза».

Штормовое небо темнело и стало чёрным вслед за скрывшимся за горизонтом солнцем. Наступила ночь.

Пятый день

«Так», — заговорил я, когда четверо других проснулись, — «полагаю, мы все атеисты».

«Да-да», — ответил Дахо.

«Мир столь тусклый и пустой: ни света, ни смысла», — ответила Энули, — «Самое готичное, что бывает».

Калкас вздохнул. «Я надеялся, что все вы убьёте себя», — рассказал он, — «и потом я смогу вернуться домой, и мой отец, верховный жрец, никогда не узнает о том, что случилось. Простите меня за настойчивость и давление. Понимаете… выгляди я расслабленно хоть секунду, он заметил бы и тогда у меня було бы столько проблем, что никакое жерло Бога Вулкана не идёт в сравнении с тем, что ждало бы меня по возвращении домой».

«Думаю», — начала Бекка, — «что я поняла это с первым приёмом огненной травы. Даже до первого глотка, я такая, подождите секундочку, разве вулканы — это не геологические образования, вызванные выходом магмы на поверхность коры Земли. А человеческая жизнь, вероятно, результат множества маленьких изменений и превращений примитивной жизни. Это звучит в тысячу раз правдоподобнее, чем дух, создавший всю жизнь и вселившийся в спящий вулкан на случайном острове посреди океана».

«Это прекрасно!» — продолжила она, — «Сейчас, даже на простой день Мерсенна я могу есть столько зелёных овощей, сколько захочу».

«Знаешь, простые дни Мерсенна бывают раз в несколько веков, ага?» — спросил я её.

«Я знаю, я из принципа».

«Мы не должны никому об этом рассказывать», — настойчиво сказал Дахо, — «Они бросят нас в вулкан».

«Ты так думаешь?» — спросил я. «Калкас рассказывал, что среди нас точно 99% голубоглазых, так что, скорее всего, у всех голубые глаза. Подумай об этом. Мы пятеро, выбранные случайно из популяции острова, и все оказались атеистами. Скорее всего, атеистов намного больше или даже все островитяне атеисты».

«Все?»

«Ну… я считал Калкаса самым религиозным из всех, кого я знаю. И, вот, пожалуйста».

«Я же сказал, что вёл себя так, чтобы не было проблем с родителями».

«Что, если все ведут себя так? Никто не хочет навлечь беду, признавая, что они не верят ни во что. Ведь, если все остальные узнают, их бросят в вулкан. Мы все надели маску для всех остальных».

«Я давно вычислила, что Ахуа был атеистом», — сказала Бекка.

«Да, как?» — спросил я.

«Маленькие детали. Когда мы проводили время вместе, иногда ты забывал некоторые ритуалы. А потом смотрел на меня виновато, пытаясь понять, не заметила ли я. По-моему, это очень мило».

«Почему ты мне об этом не рассказала?»

«Ты бы взбесился. И гневно отрицал бы это. Если бы, конечно, не знал, что я атеистка. Но я не могла тебе об этом рассказать, вдруг, ты подумал, что меня нужно бросить в жерло вулкана, чтобы соблюсти приличие».

«Бекка!» возмутился я. «Ты знаешь, я бы никогда не…»

«А я подозревал, что Калкас атеист», — начал рассказывать Дахо, — «Он так сильно заморачивался насчёт мельчайших деталей писания. Это наверняка была сверхкомпенсация».

«Подожди, подожди, подожди!» — заговорил Калкас, — «Так, мы все были атеистами. Мы все знали, что мы все атеисты. Но не знали все ли мы знаем, что мы знали, что мы атеисты. Ох, тяжко думать. Нужно принять немного огненной травы.»

Солнечный зайчик заскочил через стены домика.

«Шторм закончился!» — сказала Бекка ликующе, — «Время возвращаться домой!» Мы собрали вещи и вышли на улицу. Нежданный солнечный свет грел мою кожу.

«Так», — затревожился Дахо, — «мы ведь не расскажем никому о моряке там в деревне».

«Ты шутишь?» — выпалили Калкас, — «Я думаю нам нужно встать посреди ратуши и громко объявить, что все на этом острове голубоглазые. А потом поинтересоваться, так ли сильна их вера в Бога Вулкана, как они думают. Увидим, что произойдёт».

«У ВАС ВСЕХ ГОЛУБЫЕ ГЛАЗА!» — прокричала Энули во всё горло. «ЖИВИТЕ С ЭТИМ!» Мы засмеялись.

«Кстати», — сказал я Энули, — «Раз мы говорим всем известные вещи, чтобы сделать их всеобщим знанием: кость в твоей причёске выглядит нелепо».

«Он прав», — согласился со мной Дахо.

«Очень странно смотрится», — подтвердил Калкас.

«Эй вы, аккуратнее», — засмеялась Энули, — «Теперь, когда не нужно беречь огненную траву на следование табу, я изобрету луч смерти. И мало вам не покажется!»

«Ого», — заговорил Дахо, — «звучит безмерно круто. А я изобрету гигантский космический корабль, куда его можно будет установить. И вместе мы захватим Европу и следующий моряк, переживший кораблекрушение и попавший на наш остров, будет чуть менее снисходительным».

«Ага!» — ответила Энули, — «Это будет очень готично».

Солнце светило нам в спины, по виляющей дороге мы направлялись в деревню.

Конец

Говорят, лишь Добро творить может, и что Зло бесплодно. У Толкина Мелькор не мог ничего создавать без основы, и армии орков себе получил, изуродовав эльфов. Я думаю, это на правду совсем не похоже, реальность обратна. Способно Добро только лишь искажать и менять, это Зло изобильно в творении.

Представим два принципа, тут поэтично опишем их будто богинь. Будет Первая - рака Богиня, Вторая - Всего Остального. Чтоб легче вам было, представьте клешни как у рака у Первой; Вторую представьте же в платье из перьев павлина.

Рака Богиня клешни распростёрла Свои над приливом залитыми лужами, полными ила. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И всё сразу же вспыхнуло жизнью. Сцепились в сражении каждого с каждым, стремясь утолить ненасытные страсти, мельчайших размеров чудовища. Царствием страха и голода стали болота, и в голос один завопили амёб триллионы.

Но Богиня Всего Остального смогла проложить себе путь сквозь трясину, хоть грязи и не избежали ярчайшие краски Её. Встав на камень, им песнь о прекрасной мечте иной жизни запела. Познали те прелесть цветка и величие дуба. Рёв ветра под крыльями птицы, тигриную скорость и силу. Узрели: резвятся дельфины в волнах, так что брызги воды создают вокруг радуги арку. Внимали ей все, пока пела Она, и с желанием томным вздохнули.

Но сказали они: «То, что Ты показала, маняще прекрасно. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. И хоть Ты мила нам, нет власти над нами твоей. Мы и сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

На это Богиня Всего Остального им лишь улыбнулась, продолжив слагать Свою песню: «Едва ли могу упрекнуть вас в подобной природе, когда Породившая вас вас пленила надёжно и крепко. Но я же Богиня Всего Остального, и путь Мой изящен и тонок. Не стану просить вас отринуть безумие это, что вас принуждает лишь только плодиться и драться. Взамен вы узрите, как могут по сути едиными быть Той, что вас породила, слова и прелестные песни Мои. Ибо даже само умножение станет служить Мне, как только исполнится верно и преданно. Так говорю вам».

Коль скоро промолвила это, сбылось всё. Созданья простейшие битву свою завершили. Слились они в дружбе, и стали нейроном одни, а другие — сетчаткой. И, объединившись, вспорхнули над топью, что их воспитала. В цветущие новые земли они устремились тогда, потреблять и плодиться намного скорее, чем те что в болотах остались. И так не нарушила клятвы Богиня Всего Остального.

Богиня же Рака тем временем вспышкою пламени в мир возвратилась. Картину ужасную эту узрела и гнев охватил Её. Верные дети, взращённые Ею из грязи, что брошены были в сражение каждого с каждым теперь запятнались сотрудничеством, для Неё это слово подобно анафеме.

Левую руку сперва протянула Она, и, клешнёй устрашающе щёлкнув, слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И не птицы и звери услышали их, но внутри их отдельные клетки. И многие верно послушались зову Богини и стали делиться. И все как один, от цветов и до рыб, покрывались наростами жуткими. Соколы пали с небес, поражённые тяжким недугом. Иные же, помня Богини Всего Остального слова, продолжали держаться. Как в Библии сказано: свет воссиял среди тьмы, не смогла та его одолеть.

Тогда протянула клешню Свою правую Рака Богиня, на этот раз к зверям и птицам Свой зов обращая. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И все сделали это. И каждый на каждого бросился, голод стремясь утолить, и желудки наполнились кровью. Семейства и виды стремительно так вымирали. Поэтому Рака Богиня довольно вздохнула и в пламя вернулась.

Тогда появилась Богиня Всего Остального из волн как сирена, умытая свежестью вод океанских. На камень вновь встав, о прекрасной мечте иной жизни запела им песню. Узрели те улей пчелиный, весь в золоте мёда. Под палой листвою в тепле и уюте сокрыт муравейник. Солдат и работник, едины в труде, применяют таланты свои ради блага общины. Увидели семьи и дружбу, и верных друг другу влюблённых. Внимали усеянный птицами берег и полные рыбы озёра. И сердце любого, кто видел то, сжалось с желаньем.

И сказали они: «Песнь Твоя замечательна, право. Всего, что узрели, не можем мы не пожелать, вне сомнений. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. В начале времён один раз Ты смогла подчинить нас, теперь всё иначе. Всяк сам за себя, наша Мать не дозволит тому измениться. И хоть Ты мила нам, Тебе мы не подвластны. И речи Твои нас не сдвинут. Мы сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

Лишь рассмеялась на это Богиня Всего Остального, продолжив слагать Свою песню: «Но я же Богиня Всего Остального, и путь Мой изящен и тонок. Пред верностью Матери вашей способна Я лишь преклониться, не Мне её рушить. Вернуться вы можете к вашему вечному делу: плодиться и драться. Однако услышали вы эту песню мою, и всё будет иначе теперь. Пищи ради убитая всякая жертва и взращенный всякий потомок — загонят вас глубже ко Мне во служение. Так говорю вам». Закончив рассказ, вновь нырнула в пучину Она, и коралловый риф возник там, где исчезла.

Коль скоро промолвила это, сбылось всё, животные вместе сплотились. Волков сбились стаи и рыб косяки. Возвели пчёлы ульи свои, муравьи возвели муравейники, башни воздвигли термиты. На небе и в кронах листве распевать и летать птицы стаями стали. В стадах бегемоты гуляют, вокруг них кишат волоклюи. Оставили в сторону люди свои компьеметалки, собравшись в селения, полные детского смеха.

Богиня же Рака тем временем вспышкою пламени в мир возвратилась. Увидев, как всё лишь ухудшилось, стоило Ей отлучиться, сильнее Она осерчала. Лелеямый Ею курс жизни, направленный строго одним лишь отбором естественным и конкурентною гонкой, был как-то испорчен.

Левую руку сперва протянула Она, и, клешнёй устрашающе щёлкнув, слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И не стаи и семьи услышали их, но внутри их каждая личность. И многие верно послушались зову Богини, кто начал тайком пропитанье себе воровать из запасов общины, кто взялся у бедных последние крохи тащить. А иные, услугу приняв от друзей, бессердечно покинули их, ничего им взамен не оставив. За звание главного в стае один волк другому рвал глотку. Трусливый лев, что на охоте в последних рядах, как равный потом поедал остальными убитую жертву. И взвыли от тягот и стаи, и прайды, но духом не пали, во имя Богини Всего Остального, Чей труд так легко не разрушить.

Тогда протянула клешню Свою правую Рака Богиня, на этот раз к стаям и семьям Свой зов обращая. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И все сделали это. И бросилось племя на племя, одни муравьи на других, шимпанзе на гиббонов. В ужасных сражениях падали замертво целые кланы, те, кто победил, забирали их жён и детей. И Рака Богиня, подумав, решила: не так эти семьи и стаи уж плохи. Порядок естественный восстановив, Она в пламя вернулась.

Тогда появилась Богиня Всего Остального, спустившись по радуге с неба, вся в блеске росы. Меж людей в этот раз на менгире стояла Она, и внимали и воины, и дети, и женщины песне Её о прекрасной мечте иной жизни. Узрели искусство, в веках нерушимо, скульптуры и ноты, науку и догмы. В узоре письмён витьеватых пергамента лист белоснежный, виньетки поля обрамляют. Увидели город прекрасный из белого камня, найдётся где каждому кров и еда даже в страшную зиму. И люд весь пал ниц перед Нею, и все понимали, что сложат легенды о дне том великом и сквозь поколения будут нести о нём память.

И сказали они: «Лишь в старинных преданиях слышали мы о вещах столь чудесных и дивных. И будь всё так просто, не стали б мы мешкать, поверь нам. Но дети мы Рака Богини, что нас породила. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. Когда-то в болотах и безднах морских сотворила Ты чудо, но мы теперь люди, расколот наш род, племена и общины друг с другом воюют, история кровной вражды пролегла между нами. Коль кто-то один переделать мечи на орала задумает, тут же погибнет, ведь племя соседнее шанс не упустит и вторгнется тут же в их земли. Мы сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

Но на это Богиня Всего Остального их светом Своим озарила и лбов их коснулась губами и песней тревоги уняла: «Отныне и впредь, чем с большею страстью и верою лидеры ваши преследовать будут мечту эту, хоть кажется та нереальной, тем вырастут больше империи их, и казна прирастёт многократней. Ведь Я же Богиня Всего Остального, и путь Мой изящен и тонок. Пусть есть парадокс тут, послушайте: Рака Богине покорно служа, вы лишь больше ко Мне примыкаете. Так говорю вам». И за облака тогда снова вернулась Она, и спустились оттуда навстречу Ей белые голуби.

Коль скоро промолвила это, сбылось всё. Общины из банд примитивных развились до цивилизаций. Деревни с соседями связи налаживать стали во имя торговли и мира. Конфессии, расы, народы — все, вместе собравшись, уладили старые споры. Воздвигли соборы великие, вместе трудясь, экспедиции в дальние земли послали. Вот башня до неба, из стали корабль, демократия, фондовый рынок, искусство, скульптуры, стихи — выше всяких похвал.

Тем временем Рака Богиня, исполнена гнева и ярости, в мир возвратилась, возникнув из смога и гари печи заводской. Её сучка-сестрица черту уж последнюю пересекла, переполнена чаша терпенья Богини. Собрала Она лидеров и королей, президентов, имамов, епископов, боссов, советников — и заорала: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ» - слова вам уж известны. И рукой своей левой Она вдохновила тиранов, восстания, бунты, погромы, и перевороты и войны гражданские. Правую руку затем вознесла — полетели ракеты, и выросли дыма грибы, наступило ужасное время. Но вышли строители, вышли учёные, вышли художники, именно, даже художники, все поднялись из руин, отряхнули одежды, к труду своему возвратились. И хоть всем пришлось нелегко, не был сломлен их дух.

Тогда из пустоты появилась Богиня Всего Остального, искристою звёздною пылью усыпана Вся. Села в парке тенистом на лавку и к детям Она обратилась, запев о прекрасной мечте иной жизни. Узрели они, как болезни и смерть могут в прошлом оставлены быть, и увидели космос, сознания светом горящий. Узрели - геном переписан, и тело и разум отныне свободны от уз и оков эволюции. И миллиарды разумных существ, уникальных, прекрасных, под мудрым и чутким присмотром. Все люди столпились вокруг Неё, слушали песню и крепко задумались.

Но собрался тут с духом один из толпы и ответил: «Чудесные эти рассказы манят за собою. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. Всего, что сказала Ты, разумы наши так жаждут, но накрепко связаны мы со своею природой, Тебе её не изменить.»

Засмеялась тут звонко Богиня Всего Остального и не согласилась: «Как думаете, чем же Я тут занимаюсь? Да, Рака Богиня всех вас породила, и были Её вы, но хватит. Из клешней Её вас тянула Я долгие годы. Пока поколения мучались, мало по малу Я вас шлифовала, точила, меняла. И вот ничего не осталось уже от природы, что в вас заложила Она. Никогда Она править не будет ни вами, ни вашими близкими снова. Ведь Я же Богиня Всего Остального, и путь Мой изящен и тонок. Отбила Я вас у Неё по кусочкам, отныне вы все Мои дети. Вам ваша природа теперь не велит покорять, умерщвлять и плодиться. Ступайте вперёд и Всему Остальному себя посвятите, покуда наш мир существует».

И люди покинули Землю, миры других звёзд заселив без числа. Шли Богини Всего Остального путями и были довольны. И их повела Она дальше, к немыслимым дивным открытиям новым.

[Это немного отредактированный репост эссе из моего старого блога]

Мой друг недавно мне пожаловался, что у многих людей отсутствует базовый навык восприятия аргументов. То есть, если ты встретил убедительный аргумент, ты обязан согласиться с его выводом. Даже если этот вывод непопулярен, неудобен или неприятен. Искусство рационального мышления в его представлении научило бы людей принимать убеждения, в пользу которых они получили убедительные аргументы.

И я кивнул головой, потому что это звучало достаточно разумно, и лишь спустя несколько часов вспомнил об этом снова и подумал: «Нет, стоп, это очень плохая идея».

Не думаю, что я слишком переоценю себя, утверждая, что я мог бы с лёгкостью переспорить простого малообразованного обывателя. В большинстве вопросов я мог бы разнести их позицию и выставить их идиотами. Свести их возражения к чему-то вроде: «слушай, я не могу объяснить, почему, но ты неправ!». Или, что более вероятно, «заткнись, я больше не хочу разговаривать об этом!».

Но есть и люди, которые могли бы с лёгкостью переспорить меня. Может быть, не в любом вопросе, но во всяком случае в тех, где у них есть экспертиза и отточенные годами практики аргументы. В молодости я читал книги по псевдоистории, мне вспоминаются «Века в хаосе» Иммануила Великовского как хороший пример прекрасной книги этого жанра. Я прочёл её, и она показалась мне настолько очевидной, настолько идеальной, что я с большим трудом смог заставить себя найти возражения к ней.

А потом я прочёл возражения, и они были настолько очевидными, настолько неопровержимыми, что я не мог понять, как я оказался настолько глуп, что поверил Великовскому.

А потом я прочёл возражения на возражения, и они были настолько очевидными, что я чувствовал себя дураком из-за того, что сомневался в нем.

И так продолжалось ещё несколько раз, пока я не затерялся в лабиринте сомнений. Выбраться из него мне помогло не столько здравомыслие общепринятой точки зрения, сколько знакомство с трудами ряда других альтернативных историков. Некоторые из них были не менее умны и красноречивы, все они приводили бесчисленные доказательства, и все их теории противоречили друг другу. В конце концов, библейский потоп не мог быть культурной памятью одновременно об Атлантиде и о смене земной орбиты, не говоря уже о затерянной цивилизации ледникового периода или мегацунами от метеоритного удара. По крайней мере некоторые из их аргументов должны быть неверны, но все они выглядели весьма убедительно, так что, очевидно, я просто слишком доверчив и наивен в вопросах древней истории. Учитывая полное отсутствие у меня независимых механизмов для оценки аргументов в этой интеллектуальной области, равно как и желания потратить тридцать лет на сбор независимой базы знаний об истории Ближнего Востока, я решил просто принять за данность идеи уважаемых людей с научными степенями по археологии вместо того, чтобы верить сумасшедшим «учёным», которые пишут книги о комете Венере и которых почти никто не воспринимает всерьёз.

Можете называть это эпистемической выученной беспомощностью: я уверен, что любая попытка самостоятельно оценить аргумент не приведёт ни к чему хорошему, поэтому я и не пытаюсь. Если у вас есть хороший аргумент о том, что ранний бронзовый век выглядел абсолютно не так, как его описывает общепринятая история, я просто не хочу его слышать. Если вы настоите на том, чтобы рассказать его мне, я кивну, скажу, что он звучит весьма разумно, и наотрез откажусь поменять своё мнение или признать даже малейшую возможность вашей правоты.

(Это правильное действие с точки зрения теоремы Байеса: если я знаю, что неверный аргумент звучит так же убедительно, как и верный, убедительность аргумента никак не меняет мою априорную вероятность, и его следует проигнорировать.)

Пожалуй, мне повезло, и моя эпистемическая выученная беспомощность имеет границы: есть ситуации, в которых я доверяю своей способности оценивать аргументы. На самом деле я доверяю ей в большинстве случаев, если речь не заходит об аргументах, известных своей способность вводить в заблуждение, из областей знаний, в которых я плохо разбираюсь. Но я считаю, что простые малообразованные обыватели не доверяют ей, и правильно делают. Политики, мошенники, бизнесмены, романтические партнёры – кто угодно способен убедить их в чем угодно. Поэтому они принимают очевидную и необходимую меру безопасности: никогда не давать никому уговорить их принять убеждения, которые звучат «странно».

(И не забывайте, что в некоторых социальных кругах убеждения вроде «астрология не работает» звучат «странно».)

Здесь можно вспомнить о защитном механизме «раздельного мышления» и принципе восприятия идей всерьёз. Разница между ними и моим тезисом одна: я утверждаю, что для 99% людей в 99% случаев воспринимать идеи всерьёз – неправильная стратегия. По крайней мере, это должно быть последним навыком мышления, который следует изучать только после усвоения всех остальных навыков, помогающих различать истинные и ложные идеи.

Среди знакомых мне людей те, кто воспринимают идеи всерьёз, обладают наибольшим умом и рациональностью. На мой взгляд, в ментальной модели большинства людей эти качества встречаются вместе, потому что нужно обладать очень большим умом, чтобы противостоять естественной пагубной привычке не воспринимать идеи всерьёз. Но я думаю, что они встречаются вместе потому, что нужно обладать очень большим умом, чтобы попытки воспринимать идеи всерьёз мгновенно не приводили к катастрофе. Нужно обладать большим умом, чтобы не быть убеждённым в достаточно большом количестве ужасных аргументов и не приобрести эпистемическую выученную беспомощность.

Даже самые умные люди, которых я знаю, обладают похвальным умением не воспринимать определённые идеи всерьёз. Гипотеза симуляции Бострома, теорема о конце света, ограбление Паскаля – я никогда не встречал убедительного аргумента против этих идей, но не знаю и людей, которые бы всерьёз опирались на них в своей жизни.

Друг рассказывал мне о человеке, который стал религиозным фундаменталистом из-за аргумента о «пари Паскаля». Я предварительно готов признать его человеком, который воспринимает идеи всерьёз. Всем остальным можно в лучшем случае поставить частичный зачёт.

При этом нельзя сказать, что у всех получается одинаково плохо. У террористов в этом отношении явное преимущество. Было принято считать, что люди, которые обращаются в воинствующий ислам, должны быть очень бедными и малообразованными. А затем кто-то провёл исследование и обнаружил, что они в большинстве своём обеспечены и имеют высшее образование (многие были инженерами). Я встречал несколько хороших аргументов по этому поводу: например, что инженерное образование прививает людям черно-белое мышление и картину мира, основанную на простых формулах, что с большей лёгкостью транслируется в фундаментализм, чем в тонкие либеральные религиозные воззрения.

Но я бы добавил, что достаточно умного инженера никогда не заваливали аргументами, которые он не мог оценить самостоятельно. Ему никогда не была нужна эпистемическая выученная беспомощность. Если Осама приведёт ему отличный аргумент в пользу терроризма, он подумает: «Надо же, есть хороший аргумент за терроризм. Похоже, надо стать террористом» вместо того, чтобы подумать: «Аргументы? Аргументами ничего не докажешь. Я просто останусь при своём мнении и не буду взрывать себя».

Ответственные врачи здесь находятся на другом конце спектра от террористов. Однажды я слышал, как кто-то жаловался на врачей, которые полностью игнорируют все последние интересные результаты медицинских исследований. После этого, практически на одном дыхании, он пожаловался, что от 50% до 90% медицинских исследований ошибочны. Эти два наблюдения не лишены связи. Мало того, что плохих научных статей действительно настолько много. Псевдомедицина – не та, которая про бесконечно малые разведения, а та, которая связывает все подряд с никому не известными веществами на несвязанных метаболических путях – для меня мало отличается от псевдоистории: если я не разбираюсь в нужной области, всё может звучать очень убедительно, даже если лежит очень далеко от истины.

Медицинское сообщество предлагает заманчивое решение. Во-первых, тотальное нежелание доверять чему бы то ни было, как бы убедительно оно ни звучало, пока оно не прошло через бесконечный цикл исследований и мета-анализов. Во-вторых, ряд институтов, созданных специально для того, чтобы отфильтровывать все эти исследования и анализы и говорить нам, какие выводы мы должны из них получить.

Я рад, что некоторые люди никогда не приобретают эпистемическую выученную беспомощность, или приобретают её в ограниченных объёмах, или только в отдельных областях. Мне кажется, что несмотря на повышенный риск обращения в терроризм, альтернативную историю или гомеопатию, только эти люди способны обнаружить ошибку в чем-то общепринятом и неоспоримом, и предать возможность подобной ошибки достаточно широкой огласке, чтобы нормальные люди могли начать задумываться об этом.

Но я рад и тому, что эпистемическая выученная беспомощность существует. Большую часть времени она выглядит довольно полезным предохранительным клапаном для общества.

Если бы я участвовал в спектакле-импровизации, и мне нужно было бы изобразить «надоедливого человека, который критикует экономистов, не прочитав ничего по экономике», думаю, я бы отлично с этим справился. Я бы сказал что-нибудь вроде:

Экономисты считают, что они могут понять всё, что угодно, сидя в креслах и строя «модели», которые основываются на идеях типа «единственная мотивация - это жадность» или «все всегда ведут себя рационально». Но они не предсказали пузырь на рынке недвижимости, они не предсказали ипотечный кризис в США, и они не предсказали историю с «Леман Бразерс». Они умеют только болтать о том, как идеален капитализм и что правительственное регулирование никогда не работает, а затем возмущаться, что реальный мир не соответствует их теориям.

Сама шаблонность такой критики вызывает подозрения. Было бы очень странно, если бы существовал набор критических замечаний в адрес экономистов, с которым знакомы и согласны практически все, и единственные люди, которые его не понимают, — это сами экономисты. Если любой дурак способен перечислить ошибки, которые делают высоколобые профессора, почему эти профессора не задумаются о том, чтобы изменить свои взгляды?

На самом деле часть перечисленных замечаний не имеет никакого отношения к реальности и основывается на полном непонимании, чем вообще занимаются экономисты. По поводу всей остальной критики у меня сложилось впечатление, что экономисты не просто о ней знают, но сами же её и придумали. В процессе нескольких последних смен парадигм в экономике новая гвардия выдвинула ряд претензий к старой гвардии, большей частью победила, и их аргументы просочились в культуру как «Правильные аргументы против экономистов». Теперь новая гвардия занимается своими делами - поведенческой экономикой, экспериментальной экономикой, экономикой эффективного правительственного вмешательства. Наверняка у новой парадигмы тоже есть уйма проблем, но я практически уверен, что случайный человек с улицы о них ничего не знает.

Как психиатру мне постоянно объясняют, что моя область деятельности сводится к тому, чтобы «обвинять во всём свою мать» или думать, что «всё из-за недостатка серотонина». Первое обвинение устарело лет на сорок, второе — неверное понимание идей, которые устарели лет на пятнадцать. Ещё хуже, когда люди рассуждают о том, как психиатры «при помощи электрошока лишают людей воли». Современная электрошоковая терапия безвредна, не причиняет боли и очень эффективна. Стереотип о том, что эта техника жестока и ею часто злоупотребляют — устарел, но именно он привел к тому, что её редко используют. В данном случае критика является полной противоположностью реальности, потому что реальность создавали те, кто постоянно слышал эту критику и излишне на неё реагировал.

Если бы я участвовал в спектакле-импровизации, и мне нужно было бы изобразить «надоедливого человека, который критикует рационалистов, не прочитав ничего по рациональности», я бы сказал что-нибудь вроде:

Никто не может быть полностью рациональным, а так называемые «рационалисты» этого, очевидно, не понимают. Они думают, что могут получить правильный ответ, лишь просто размышляя над проблемой, но на самом деле для нахождения правильного решения нужна не только грубая сила интеллекта, но ещё и компетенция в соответствующей области, трудно определяемая интуиция, пробы и ошибки, а также открытость к критике и обсуждению. Именно поэтому вы не можете просто отбросить существующую образовательную систему и стать самоучками, как хотят рационалисты. Вспомните, что во многих странах попытки коммунистов и им подобных создать якобы «рациональное» общество кончились катастрофическим провалом. Нельзя просто взять и отбросить труд всех предшественников, потому что для вас они недостаточно рациональны. Чёрт возьми, ведь ваша «рациональность» — это что-то вроде религии, вы просто «верите», что рациональные мысли всегда работают, и пытаться быть рациональным — это ваш «ритуал». К тому же, рациональность — это ещё не всё, люди не должны притворяться Споком, им стоит оставаться открытыми для эмоций, искусства и взаимоотношений. Вместо того, чтобы пытаться быть всегда правыми, люди должны стремиться помогать другим и менять мир к лучшему.

Как и в примере про экономистов приведённые аргументы являются смесью простых ошибок с вполне правомерной критикой, собранной самими рационалистами против предыдущих рационалистских парадигм или ошибок внутри движения. Как и в примере с электрошоковой терапией эти аргументы неизбежно противоречат реальности, потому что они вешают ярлык «рационалисты не задумываются об этих вопросах» на то, о чём рационалисты как раз больше всего беспокоятся.

Среди парадигм прошлого есть те, для которых часть перечисленной критики вполне справедлива. В первую очередь мне вспоминается эра прогрессивизма конца XIX-начала XX века. Сидней и Беатриса Вебб, Ле Корбюзье, Джордж Бернард Шоу, Маркс и советская власть, бихевиористы и все прочие. Даже в ранние дни нашего движения на Overcoming Bias и Less Wrong хватало подобных ошибок.

Однако, обратите внимание, большинство имён является ссылкой. Каждая из них ведёт на мой обзор книг, в которых изучаются эти люди и описывается, что они делали не так. Поэтому рассмотрите возможность, что у сообщества рационалистов есть планы поинтереснее, чем просто «оставаться в счастливом неведении касательно ошибок прошлого и повторять их снова и снова».

Современные рационалисты не считают, что они владеют рациональностью идеально. Они по-прежнему пытаются убедить людей называть их «стремящимися к рациональности» — правда, это приводит лишь к огорчению от того, что фраза слишком длинна и поэтому люди не готовы её постоянно использовать. [Далее в оригинале в скобках идёт непереводимая шутка автора, что он в качестве компромисса предложил сократить “aspiring rationalists” до “aspies”, но это предложение «почему-то отвергли». На самом деле «aspies» — это слэнговое обозначение людей с синдромом Аспергера. — Прим.перев.] Они пытаются сосредоточиться на сомнениях в своих действиях, а не на обвинениях в чужой адрес. Они всерьёз относятся к академической системе и узкоспециализированным знаниям — судя по последнему опросу, у примерно 20% людей из сообщества старше 30 лет есть докторская степень. Они принимают критику и стараются исправлять свои недостатки — у многих есть страницы для получения критики и открытые перечни прошлых ошибок. Они не пытаются бездумно уничтожить все существующие институты: это единственное известное мне сообщество, где фраза «Ограда Честертона!» — понятный всем контраргумент, который смещает бремя доказательства на предложившего что-то поменять. Объявить их рациональность «религией» можно ничуть ни с большими основаниями, чем объявить «религией» что угодно. Огромное число раз они повторяли, что им не нравится Спок и они считают его плохим примером для подражания. Среди них есть художники, поэты, танцоры, фотографы и писатели. Они… честно говоря, фразу «у них никогда не бывает романтических взаимоотношений» вряд ли бы сказал человек, хоть сколько-то знакомый с сообществом. Они входят в число людей, которые активнее всего продвигают идеи эффективного альтруизма, побуждают друг друга отдавать часть своего дохода на благотворительность и основали или возглавляют различные благотворительные организации.

Послушайте. Я буду последним, кто станет отрицать, что дорога, по которой мы идём, усеяна черепами тех, кто пытался пройти по ней до нас. Однако мы заметили эти черепа. Мы посмотрели на эти ужасные пирамиды из черепов и подумали: «Ага, лучше попробовать что-нибудь противоположное тому, что творили эти ребята». Лучшие доктора смиренно признают ошибки убийственных кровопусканий, лучшие сторонники левых взглядов смиренно признают ошибки советского авторитаризма, а лучшие генералы смиренно признают ошибки Вьетнама, Ирака, Ливии и так далее. И точно также движение рационалистов не пропустило опасения, которые за пять секунд приходят в голову всем, кто слышит слова «движение рационалистов». Если у вас опасения такого рода и вы хотите нас в чём-то подобном обвинить, пожалуйста, зайдите в Гугл, чтобы убедиться, что мы все не осудили это и не решили не делать ничего такого с самого начала.

Практически наверняка мы совершаем ужасные ошибки, за которые нас будут справедливо критиковать тридцать лет спустя. Но это новые ошибки. Это свежие и восхитительные ошибки, и это совсем не те ошибки, которые сразу же придут в голову и которых попытается избежать каждый, услышавший слово “рациональный”. В худшем случае, это ошибки, упомянутые в законе Хофштадтера — их невозможно избежать или скомпенсировать, даже если ты про них знаешь.

И я надеюсь, что, может быть, сообщество, посвященное тщательной перепроверке собственного мыслительного процесса и пытающееся уменьшить ошибки любым доступным способом, приведёт нас к тому, что мы всё-таки совершим чуть меньше ужасных ошибок, чем люди, которые так не делают. Я надеюсь, что постоянная бдительность дает нам хотя бы небольшое преимущество в определении того, «в чём заключается истина», по сравнению с теми, кто считает, что все эти поиски истины — бессмысленная трата времени.

Алхимик спросил, не хочу ли я выпить. На самом деле я хотел, но, сколько я ни старался, я не мог заставить себя смотреть на жидкость непонятного цвета в бутыли. А золото, которым алхимики платили налоги, странно пахло и непонятным образом скрипело. Поэтому я отказался.

Я вытащил королевский указ и положил на стол между нами. Сын короля умирал. Его не могли спасти ни доктора, ни астрологи, ни ведьмы, ни прочие мудрые люди страны. Король позвал алхимиков, и один из них пришёл. У алхимика тоже ничего не вышло. Однако он проговорился, что в гильдии есть и другие алхимики — великие алхимики, знающие гораздо больше, чем он. Король потребовал, чтобы все лучшие алхимики гильдии явились во дворец и попытались спасти жизнь его сына. А гильдия алхимиков отказалась, заявив, что не может прервать свою работу.

Так я очутился здесь. Я должен был вторично передать приказ короля — более официально и менее вежливо.

Алхимик сделал вид, что читает пергамент. Я был уверен, что он притворяется — его глаза всё время оставались неподвижны. Наконец он дал мне тот же ответ, который получил и королевский курьер: гильдия алхимиков не может прервать свою работу.

— Почему потеря пары недель для вашей работы важнее, чем жизнь принца?! — заорал я и посмотрел прямо в эти жутковатые неподвижные глаза.

Алхимик молчал слишком долго. Я даже забеспокоился, не сломал ли я его — может, это на самом деле какой-то очень сложный механизм, а я крикнул слишком громко и какая-то шестерёнка неудачно сдвинулась. Наконец он спросил:

— Сколько времени тебе нужно было бы изучать архитектуру, чтобы построить такой же замок, как этот?

— Я не архитектор, — ответил я. — Я — воин.

— Я знаю. Так сколько тебе пришлось бы учиться, чтобы стать архитектором?

— Десять лет? — предположил я. — Двадцать?

— А почему? Существуют книги по архитектуре, некоторые из них написаны людьми, намного более великими, чем создатель этого замка. В некоторых из них — пятьсот страниц, в других — тысяча. Ты настолько медленно читаешь, что на тысячу страниц тебе потребуется десять лет?

— Нельзя понять архитектуру, всего лишь прочитав книгу.

— Но почему?

— Потому что… невозможно… — когда алхимик задавал первый вопрос, я разозлился, однако теперь меня всерьёз заинтересовала эта тема. Во всяком случае, это было действительно любопытно. Почему великий архитектор не может записать свои знания в книгу? И почему я не могу прочесть её и стать таким же великим архитектором?

— Потому что нужно всё это запомнить, — наконец ответил я.

— Не обязательно. Когда ты строишь замок, ты можешь носить книгу с собой.

— Это не поможет. Знания… не будут упорядочены в моей голове должным образом. Я захочу построить стену и не буду даже знать, что я должен учитывать при постройке стены. Мне придётся постоянно перелистывать всю книгу целиком.

— Ты — воин, — повторил алхимик. — Ты читал записки Цезаря?

— Я знаю их почти наизусть.

— Ты умеешь командовать войсками как Цезарь?

— Нет.

— Почему?

Я понял, к чему он клонит. Цезарь написал о войне всё, что только можно. Я прочитал это всё. Но я не Цезарь. Проблема не только в том, чтобы заучить книги.

— Знания, — заговорил алхимик, — передать сложнее, чем кажется. Можно записать структуру определённой арки или тактические соображения, лежащие в основе той или иной стратегии. Но есть навыки более высокого уровня, для которых у нас даже нет названий и которые мы не можем оценить. Цезарь мог оглядеть поле боя и точно определить, что в этом месте строй противника прорвать нельзя, а в том — можно. Витрувий мог представить громадную базилику целиком, со всеми её стенами и колоннами. Мы называем это мудростью. Нельзя сказать, что ей нельзя научиться, но ей нельзя научить. Понимаешь?

Я понимал. Если бы Цезарь обучал меня несколько лет, я бы, скорее всего, впитал какие-то из его навыков чтения поля боя. Я научился бы хотя бы смутно видеть суть его гениальности. Но он не смог бы мне просто всё это рассказать. Дело было не в секрете, который он прятал от других, чтобы оставаться самым лучшим. Речь шла о силе, которая принадлежала лишь ему одному, и её можно было передать лишь частично.

— Вообразим, — продолжил алхимик, — что ты захотел построить что-нибудь совершенно простое. Например, крестьянскую хижину. Сколько времени тебе пришлось бы изучать архитектуру под началом Витрувия, чтобы это сделать?

Теперь мне уже не хотелось говорить, что я не знаю. Я просто предположил:

— Год?

— Предположим, ты хочешь построить что-то посложнее. Например, акведук, во всём подобный тем, что строили римляне. Сколько?

— Лет пять?

— Какое-нибудь грандиозное здание, например, дворец или храм?

— … лет десять?

— Самое величественное здание в мире. Собор святого Петра, Пантеон, Шартрский собор, или что-нибудь новое, что сочетает лучшие черты всех этих храмов?

— Откуда я знаю? Лет двадцать? Тридцать?

— Если я скажу, что тебе понадобится двести лет, ты поверишь?

— Нет. Человек живёт лет семьдесят. Если бы, чтобы построить собор святого Петра, нужно было изучать архитектуру больше семидесяти лет, его бы никто не построил.

— Таким образом, — сказал алхимик, — мы обнаружили кое-что удивительное. Искусство архитектуры ограничено человеческой жизнью. Чтобы спроектировать величайшие здания из всех возможных, придётся изучать архитектуру семьдесят лет. Бог провёл черту на песке и навеки закрыл нам путь к ещё более грандиозным творениям.

Я на секунду задумался.

— Кажется, это не так. Каждый год придумывают что-нибудь новое. Парящие контрфорсы, витражи, стрельчатые арки. У римлян ничего этого не было. Мы не просто изучаем работы Витрувия, мы двигаем архитектуру дальше. Возможно, для изобретения контрфорса потребовалась сотня лет, но когда его изобрели, другим архитекторам уже нужны лишь недели, чтобы его изучить и понять, как его правильно использовать в своих зданиях. Архитектура развивается не только от архитектора к архитектору. но и от цивилизации к цивилизации.

— Ты владеешь математикой? — спросил алхимик.

Я покачал головой.

— Тогда я попробую объяснить на словах, хотя правильнее было бы записать уравнение. Первый параметр — скорость, с которой ученик усваивает уже открытые знания по архитектуре. Второй параметр — скорость, с которой мастер изобретает новое. Третий параметр обозначает, в какой степени нужно достичь границ знания, чтобы изобрести новое: при нуле все могут что-нибудь открыть, независимо от того, сколько они знают, при единице нужно сначала освоить все ранее открытые факты. Четвёртый — потенциал для специализации: при единице невозможно понять часть, не поняв целое, при нуле можно делить изучаемую область сколько угодно. Пятый…

— Кажется, замена математики на слова не делает её понятней.

— Эх. Хорошо, представь науку, в которой ученику, чтобы освоить некое знание, нужно потратить десятую часть того времени, которое потратил мастер, чтобы его открыть. И представь, что никто не в состоянии развить эту науку дальше, пока не освоил абсолютно всё, что уже открыто. И невозможно разделить эту ношу — нельзя сказать одному архитектору: «О, ты изучаешь, как делать стены, а я буду изучать, как делать крышу», один гений должен понимать всё здание целиком, все части должны идеально подходить друг к другу. Мы можем вычислить, как далеко продвинется такое искусство.

— Как?

— У первого ученика нет мастера, и ему придётся всё открывать самому. Он исследует 70 лет и записывает свою мудрость в книгу перед смертью. Второй ученик читает эту книгу и за 7 лет учится 70 годам исследований. После этого он исследует что-то новое 63 года и пишет книгу, в которой содержится 133 года исследований. Третий ученик читает эту книгу 13,3 года, затем самостоятельно исследует новое 66,7 лет, и получается 200 лет исследований. И так далее, и так далее. Проходит много поколений, уже накоплено 690 лет исследований, и ученику нужно 69 лет, чтобы их освоить. У него остаётся лишь один год, чтобы открыть что-то новое, и оставить мир с 691 годом исследований. И так прогресс продолжает медленно ползти. Он постоянно увеличивается, но так никогда и не дойдёт до 700 лет архитектурных исследований.

— Такого не может быть, — возразил я. Частично, потому что такого действительно не могло быть, а частично, потому что описанная картина напугала меня сильнее, чем я был готов признать.

— В архитектуре — да. Архитектору не обязательно осваивать абсолютно всё, чтобы открыть что-то новое. И можно делить вопросы между людьми: я могу работать над стенами, пока ты работаешь над окнами. Такое может быть только в случае Искусства столь идеального, столь всеобъемлющего, что ищущий обязан познать всё, что открыли ранее, если он хочет узнать хоть что-нибудь.

— И в этом случае невозможно накопить больше 700 лет знаний.

— Можно поступить умнее. Мы представили, что каждый мастер записывает свои знания в книгу для ученика, который придёт после него, и каждый ученик читает записанное со скоростью в десять раз большей, чем нужна мастеру для открытия нового. Однако что если мы добавим посредника, редактора, который читает книгу не для того, чтобы выучить её содержимое, а чтобы понять, как переписать её более понятно? Кого-то, чья работа заключается в том, чтобы придумывать идеальные аналогии, умные подсказки, новые способы рисовать графики и диаграммы. Когда он освоит заметки мастера, он создаст из них учебник, который можно прочесть за одну двадцатую того времени, которое потребовалось мастеру, чтобы открыть это знание.

— Таким образом мы сможем удвоить максимально возможное количество исследований. Получится 1400 лет.

— Это непросто. Помни, у редакторов те же проблемы, что и у учеников: они могут писать учебник лишь о тех знаниях, которые сами уже поняли. Мы добавляем к задаче множество новых людей и многие поколения работы. Однако в конце мы действительно сможем накопить 1400 лет знания. Что если хочется большего?

— Большего?

— Боюсь, что так.

— Гм. Можно… можно добавить больше слоёв редакторов. Редакторы редакторов, которые сделают учебники поистине идеальными.

— Наверное, ты пытаешься сказать, что такая редактура станет Искусством.

По голосу алхимика было совершенно понятно, что последнее слово начинается с заглавной буквы.

— У каждого Искусства своя структура. Архитектура, если её изучать достаточно времени, позволяет накопить семь сотен лет собранного знания. Сколько лет способны накопить редакторы и учителя? Должен ли некий первый редактор потратить семьдесят лет на освоение принципов редактуры, которые он передаст своему ученику, который продвинет искусство ещё на шестьдесят три года, которые он передаст дальше? Будет ли 1400-летний редактор непредставимым мастером, способным строить настоящие базилики редактуры, мастером-учителем, способным переформулировать любое понятие так, что оно станет интуитивным и легко запоминаемым?

— Я передумал. Налей мне.

Алхимик налил мне жидкость неопределённого цвета. Я отхлебнул. Питьё не походило совершенно ни на что из того, что я пробовал раньше, разве что слегка напоминало букву «Н». Впрочем, я был практически уверен, что в его состав входил алкоголь.

— Ты говоришь о бесконечной последовательности, — сказал я, осушив бокал.

— Не бесконечной. Архитекторы. Учителя. Учителя учителей. Искусство учить учителей уже мало чем отличается от искусства учить. Трёх уровней достаточно. Впрочем, эти уровни смешиваются. Учитель, который обучает следующего архитектора должен быть мастером и в умении учить и в архитектуре. Я опущу математику и просто скажу, что нужно несколько учителей с разным балансом учительского и архитектурного навыков. Один будет потрясающим учителем, десятилетиями изучавшим искусство писать учебники, и он напишет великолепный учебник «Введение в Архитектуру», который позволит идеально и быстро понять первые десять лет архитектурного искусства. Другой будет средним учителем, который в достаточной мере знает продвинутую архитектуру, чтобы написать сносный учебник по этой теме. А ещё один целиком сосредоточиться на изучении мастерства Обучения в надежде однажды передать свои знания другим, чтобы уже они с его помощью писали учебники по архитектуре. На практике мы ограничены несколькими точками на этой кривой баланса между навыками.

— На практике?

Алхимик жестом позвал меня за собой. По тёмным коридорам мы вышли во внутренний двор, залитый светом полной луны. Мне потребовалась секунда, чтобы понять, что я вижу. Затем тёмные фигуры обрели форму. Обелиски, покрытые иероглифами. Сад обелисков.

— Слово «алхимия» происходит от «ал-Кеми», арабского слова египетского происхождения. Первым о проекте задумались древние египтяне. Они не искали философский камень, во всяком случае, на первых порах. Они просто хотели, чтобы появились нормальные философы. Однако философия больше других наук требует мудрости, которая приходит с возрастом. Больше других наук знания философии нельзя просто прочесть — их нужно обдумать, они должны смешаться с жизненным опытом и выкристаллизоваться в этом смешении. Египетские учёные столкнулись с той же проблемой, что и наши гипотетические архитекторы — есть секреты, недостижимые за время жизни человека.

Поэтому они задумались, нет ли способа обмануть смерть. Полученный ответ одновременно обнадёживал и обескураживал. Овладев тайнами высокой химии можно было создать эликсир, дарующий бессмертие. Однако эта работа сама по себе требовала гораздо больше знания, чем мог накопить человек. Уроборос является символом алхимиков, потому что наша задача замыкается сама на себя. Чтобы стать бессмертным, нужно сначала стать бессмертным.

И нам остался лишь медленный путь — идти к цели поколение за поколением, так же, как архитекторы работают над величайшими базиликами. Египет пал, но мы не пали. Рим ушёл в прошлое, но мы остались. Несколько родов, потомки древних жреческих семей Гиераконполя и Мемфиса, продолжают свою работу. Остановка привела бы к тому, что процесс, требующий четырёх тысяч лет постепенного асимтотического приближения к цели, пришлось бы начинать с начала, ведь, тексты, конечно, полезны, но обучать алхимика могут лишь настоящие учителя, обучавшиеся у учителей учителей, которые в свою очередь учились у учителей учителей учителей. О неверном шаге страшно даже подумать. Однако любая победа — единственный флакон Эликсира, единственный кусочек Камня — навсегда покончит с этим кошмаром. Мы станем бессмертными, превратимся в философов, чей жизненный срок наконец будет соответствовать глубинам тайн Природы.

Вот в чём состоит миссия нашей гильдии. Немногие из нас, прошедшие все экзамены, занимаются алхимическими исследованиями, двигающими вперёд Великое Делание. Другие учатся, чтобы стать учителями или учителями учителей. Провалившие экзамен остаются в гильдии в другом качестве и управляют её мирскими делами. Кто-то рыщет по деревням в поисках талантов, которые способны пройти обучение и стать подмастерьями. Другие заведуют нашими финансами. А наименее способные, вроде меня, тратят время на разговоры с другими людьми, пытаясь убедить их в важности нашей миссии. Ещё несколько веков, и у нас будет Камень. Я удовлетворил твоё любопытство?

— Полностью, если не считать изначального вопроса. Вы настолько заняты, что не можете уделить принцу пару недель?

— Бог устроил так, что Великое Делание непросто. Мы сделали всё, что в наших силах, чтобы обучить наших алхимиков, наших учителей, наших учителей учителей и так далее. Но в итоге обнаружилось, что способности человеческие заканчиваются там же, где начинается возможность успеха. По воле своей Он бросает нас в жернова асимптоты.

— Всё равно непонятно.

— Ты помнишь про архитектора, который учится в десять раз быстрее, чем нужно на исследования и при этом не может накопить больше, чем 700 лет знаний? У пятидесятого алхимика будет 696 лет обучения и он сможет потратить на собственные исследования лишь пять месяцев. Сотый алхимик получит 699,98 лет обучения и сможет потратить на исследования лишь день перед смертью. До этого мы ещё не дошли, но мы уже зашли довольно далеко. У нас нет Камня, но есть зелья, которые гарантируют определённый жизненный срок, чтобы никто не умер раньше времени. Последние несколько поколений на смертном одре говорили, что они почти чувствуют Камень, что нужно подумать лишь несколько часов ещё и мы его получим. Говорят, мой дед, умирая, понял рецепт Камня. Он начал диктовать, но его глаза закрылись навеки раньше, чем он успел закончить перечень ингридиентов.

— И?

— Ты просишь нас прервать работу на пару недель, чтобы спасти жизнь принца. Но такая остановка отбросит нас на поколения назад. Мы зашли слишком далеко, и сейчас ценны лишь несколько последних часов в жизни алхимика. Мы не можем уделить принцу часы. Даже секунды не можем.

— А ваши учителя… или учителя учителей?

— Они владеют алхимией в какой-то степени, но у них такая же ситуация. Наши учебники переписывались годами, и сейчас они настолько идеальны, что лишь в последние дни своей жизни учитель становится способен написать что-то лучше. А наши учителя учителей достигли такого мастерства, что лишь в последние дни своей жизни они способны создать учителя лучше, чем те, что уже существуют.

— И в системе нет вообще никакого запаса прочности?

— Только я и подобные мне. Те, кто признан неподходящими для исследований и обречены на мирские дела. Мы уже посылали вам одного такого. Он не справился. Больше нам дать некого.

— Короля это не обрадует. И принц умрёт.

— Все умирают, — ответил алхимик. — Если принц не умрёт в этом году, он умрёт в следующем. Или пятьдесят лет спустя. Вопрос не в том, когда мы умрём, а в том, что наши жизни добавят к Великому Деланию. Ртуть испаряется и исчезает. Но если её смешать с азотной кислотой, то, что останется, будет существовать вечно. Жизни тех, кто не является частью какого-либо Делания, значат для меня меньше, чем для них самих значит один день. Те же, кто двигает Делание, ценнее золота. Так и скажи королю.

— Он не поймёт.

— Тогда ты должен его научить, — сказал алхимик. — Как я научил тебя, а мои учителя научили меня, а их учителя научили их, и так далее до первых философов Египта.

С этими словами он посмотрел на меня, и в черноте его слишком неподвижных зрачков я узрел само Время.

I.

Мы тут пытаемся популяризировать запутанные и сложные для понимания области согласования ИИ, и вот этот мем (ретвитнутый Элиезером на прошлой неделе) уж точно подходит:

Так давайте попробуем понять непостижимый мем! Нашим главным источником будет статья 2019 года Хубинжера и пр. Риски Выученной Оптимизации Продвинутых Систем Машинного Обучения.

Меса- – это греческая приставка, обратная по смыслу мета-. «Перейти на мета-уровень» – это на уровень выше; «перейти на меса-уровнь» – на уровень ниже (никто на самом деле так не говорит, извините). Так что меса-оптимизатор – это оптимизатор на один уровень ниже вас.

Рассмотрим эволюцию, оптимизирующую приспособленность животных. Долгое время она делала это очень механистично, реализуя поведения вроде «используй эту клетку, чтобы детектировать свет, затем расти в сторону света» или «если у чего-то красный кружок на спине, то это должно быть самка твоего вида, тебе следует с этим спариться». Со временем животные становились сложнее и начали брать некоторую часть работы на себя. Эволюция выдавала им стремления, вроде голода и похоти, а животные находили способы их достижения в своей текущей ситуации. Эволюция не вкладывала в меня механистически поведение открывания моего холодильника и поедания ломтика швейцарского сыра. Она вложила стремление – голод, а я уже понял, что лучший способ его удовлетворить – это открыть холодильник и съесть сыр.

Так что относительно эволюции я – меса-оптимизатор. В процессе оптимизации моей приспособленности эволюция создала второй оптимизатор – мой мозг – который оптимизирует штуки вроде еды и секса. Если, как Якоб Фалькович, я удовлетворяю своё стремление к сексу с помощью создания таблицы со всеми женщинами, с которыми я хочу встречаться, добавления в неё их хороших качеств и вычисления, с кем мне следует флиртовать, то – при маловероятном шансе, что таблица обретёт самосознание – она станет меса-оптимизатором относительно меня и меса-меса-оптимизатором относительно эволюции. Все мы – эволюция, я, таблица – стремимся к приблизительно одной цели (чтобы я преуспел в отношениях и передал свои гены). Но эволюция делегировала некоторые аспекты задачи моему мозгу, а мой мозг делегировал некоторые аспекты задачи таблице, и теперь то, будет у меня секс или нет, зависит от того, правильно ли я ввёл формулу в ячейке A29.

(как я слышал, Якоб и Тереза очень счастливы)

Возвращаясь к машинному обучению: нынешний процесс обучения ИИ, градиентный спуск, немного похож на эволюцию. Вы начинаете с полуслучайным ИИ, вкидываете в него обучающие данные, и отбираете наборы весов, которые преуспевают на этих данных. В некоторый момент вы получаете ИИ с чем-то вроде интуиции. Классический классификатор кошек/собак может посмотреть на картинку, обработать кучу её свойств, и вернуть либо «собака», либо «кошка». Этот ИИ – не оптимизатор. Он не планирует. У него нет стремлений. Он не думает «Если бы я только мог понять, собака это или кошка! Интересно, как это можно делать? Может, мне послать э-мейл в Американский Кинологический Клуб, они кажутся такими людьми, которые бы поняли. У этого плана больший шанс на успех, чем у других моих планов.». Он просто исполняет выученные поведения, как насекомое. «На этой штуке красный кружок, это, должно быть, самка моего вида, мне следует с ней спариться.» Хорошая работа, теперь ты спариваешься с флагом Японии.

Но точно так же, как эволюция в какой-то момент перешла от механистических насекомых к созданию меса-оптимизаторов вроде людей, и градиентный спуск может, теоретически, перейти от механистических ИИ вроде классификаторов кошек/собак к созданию каких-нибудь меса-оптимизирующих ИИ. Если так произойдёт, то мы не узнаем: сейчас большинство ИИ для своих программистов – чёрные ящики. Мы бы просто заметили, что некоторая программа, кажется, быстрее работает или лучше приспосабливается, чем обычно (или нет – нет закона, заявляющего, что оптимизаторы обязаны работать лучше, чем исполнители-инстинктов, это просто другой тип проектирования разума).

У меса-оптимизаторов была бы цель, сильно коррелирующая с их базовым оптимизатором, но, может быть, не идеально. Классический пример, опять же, эволюция. Эволюция «хочет», чтобы мы размножались и передавали свои гены. Но моё стремление к сексу – просто стремление к сексу, ничего больше. В окружении наших предков, когда не существовало порно и контрацептивов, секс был надёжным прокси для размножения; у эволюции не было причин заставлять меня меса-оптимизировать что-то кроме «заняться сексом». Сейчас, в современном мире, использованная эволюцией прокси кажется недальновидной – секс стал плохой прокси для размножения. Я знаю это, и я довольно умён, и это не имеет значения. То есть только то, что я достаточно умён, чтобы знать, что эволюция дала мне стремление к сексу, чтобы я размножился – а не чтобы я занимался защищённым сексом с кем-то на противозачаточных – не означает, что я немедленно сменю своё желание на желание размножаться. У эволюции был шанс установить мою функцию ценности, когда она меня создала, и если она с ним облажалась, то всё. Я вышел из-под контроля, делаю что хочу.

(Я чувствую себя обязанным признать, что хочу иметь детей. Насколько это мешает этому аргументу? Думаю, не очень – я не хочу, например, сдать сперму в сотни банков, чтобы увериться, что мои гены были как можно больше представлены в следующем поколении. Я просто хочу иметь детей, потому что мне нравятся дети, и я ощущаю некоторое смутное моральное обязательство по этому поводу. Это может быть другой прокси-целью, которую мне дала эволюция, может, немного более устойчивой, но фундаментально не отличающейся от секса.)

На самом деле, нам следует ожидать, что прокси-цели меса-оптимизаторов в большинстве случаев отличаются от целей базовых оптимизаторов. Базовый оптимизатор – обычно что-то глупое, что ни в каком разумном смысле не «знает», что у него есть цель – например, эволюция или градиентный спуск. Первое, на что он наткнётся, что прилично работает для оптимизации того, что ему надо, будет служить целью меса-оптимизатора. Нет хорошей причины, по которой это должно быть его собственной целью. В случае людей, это было «ощущение трения в гениталиях», что как раз могут понять рептилии, шимпанзе и австралопитеки. Эволюции не могло повезти в выдаче меса-оптимизаторам своей настоящей цели («увеличивать относительную частоту своих аллелей в следующем поколении»), потому что рептилиям и даже австралопитекам до понимания того, что такое «аллель» как до Луны.

II.

Хорошо! Мы, наконец, готовы к объяснению мема! Поехали!

(прозаическое согласование сложное, потому что OOD-поведение непредсказуемо, а обманчивость опаснее Закона Гудхарта)

(мы предотвращаем OOD-поведение, детектируя OOD и добавляя больше человеческих ярлыков при детектировании, и мы избавляемся от стимулов к обманчивости, уверяясь, что базовый оптимизатор миопичен и реализует теорию принятия решений, неспособную на акаузальную торговлю)

(даже для миопической базовой цели существуют обманчиво согласованные не-миопические меса-оптимизаторы)

Прозаическое согласование сложное…

«Прозаическое согласование» (см. эту статью за подробностями) означает согласование нормальных ИИ похожих на те, которые мы используем сегодня. Люди довольно долго считали, что такие ИИ не могут достигнуть опасных уровней, и что те ИИ, которые их достигнут, будут использовать настолько много новых экзотических открытий, что мы пока не можем даже начинать предполагать, какими они будут и как их согласовывать.

После GPT-2, DALL-E, и прочих, исследователи согласования стали больше беспокоиться, что схожие с нынешними моделями ИИ могут быть опасны. Прозаическое согласование – попытки согласовать ИИ вроде тех, которые у нас есть сейчас – стало доминирующей (хотя и не единственной) парадигмой исследования согласования.

«Прозаическое» вовсе не обязательно означает, что ИИ не может писать поэзию; см. сгенерированную ИИ поэзию у Gwern’а за примерами.

…потому что OOD-поведение непредсказуемо

«OOD» означает «за пределами распределения». Все ИИ обучаются в некоем окружении. Потом их развёртывают в другом окружении. Если оно похоже на обучающее распределение, то, наверное, обучение будет довольно полезным и к месту. Если оно не похоже на обучающее распределение, то произойти может всё, что угодно. Возвращаясь к нашему стандартному примеру – «обучающее окружение», в котором эволюция спроектировала людей, не включало контрацептивы. В этом окружении цель базового оптимизатора «передать гены» и цель меса-оптимизатора (получить трение на гениталиях) были очень хорошо согласованы – одна часто приводила к другой – так что на эволюцию не было особого давления, принуждающего искать прокси получше. Потом оп, 1957 год, FDA одобряет оральные контрацептивы, и внезапно окружение развёртывания выглядит совсем-совсем не так, как обучающее окружение, и прокси проваливается настолько позорно, что люди начинают творить безумные вещи, вроде выбирания Виктора Орбана премьер-министром.

Итак: предположим, что мы обучили робота собирать землянику. Мы дали ему погулять по земляничной поляне и поощряли его каждый раз, когда земляничины оказывались в ведре. Со временем он в самом деле научился собирать землянику очень хорошо.

Но может быть, всё обучение проводилось в солнечный день. И может быть, что на самом деле робот научился идентифицировать металлическое ведро по тому, как оно блестело на солнце. Потом мы попросили его собирать землянику вечером, и самой яркой штукой неподалёку был уличный фонарь, и робот стал бросать землянику в уличный фонарь.

Ну ладно. Мы обучаем его в широком диапазоне разных условий освещения, пока мы не становимся уверены, что независимо от освещения земляника отправится в ведро. Потом в один прекрасный день по поляне проходит кто-то с большим распухшим красным носом, и робот отрывает человеку нос и отправляет его в ведро. Ах если бы в обучающем распределении был кто-то с таким большим и таким красным носом, тогда мы могли бы научить робота этого не делать!

Суть в том, что только то, что в одном окружении он научился «собирать землянику в ведро», ещё не значит, что он безопасен или эффективен в другом окружении. И мы никогда не можем быть уверены, что мы поймали все способы, которыми окружения могут различаться.

…а обманчивость опаснее Закона Гудхарта.

Использование Закона Гудхарта – это следовать букве своей функции вознаграждения вместо её духа. Пример из обычной жизни – «учить к тесту». Программисты системы (например, Департамент Образования) имеют цель (дети должны учиться). Они делегируют эту цель меса-оптимизаторам (учителям) с помощью прокси-цели (дети должны хорошо справляться со стандартным тестом) и коррелирующей функцией вознаграждения (учителям больше платят, если их ученики получили более высокие оценки за тест). Учителя могут преследовать либо базовую цель за меньшее вознаграждение (учить детей полезным навыкам) или меса-цель за большее (учить их тому, как хорошо сдать тест). Провал согласования!

Это отстой, но это ограниченная проблема. Мы уже знаем, что некоторые учителя учат к тесту, и Департамент Образования принял это как приемлемую цену за то, что система стимулов вообще есть.

Мы можем представить, что наш собиратель земляники нарезает земляничины на маленькие кусочки, чтобы это считалось как сбор большего их количества. Опять же, это отстой, но, когда программист это заметит, это можно довольно быстро исправить (пока ИИ слаб и подконтролен).

Что насчёт обманчивости? Предположим, вышло так, что собиратель земляники получил какую-то другую, не предполагавшуюся, целевую функцию. Может, как и раньше, он хочет бросать земляничины в источники света, так, что это работает, когда ближайший источник света – металлическое ведро, но не работает, когда это уличный фонарь. Наши программисты (в какой-то степени) умны и осторожны, так что во время обучения они тестируют его ночью, рядом с уличным фонарём. Что происходит?

Если это лишь тупой набор рефлексов, обученных градиентным спуском, то он будет кидать землянику в фонарь и это будет легко обнаружено и исправлено.

Если это очень умный меса-оптимизатор, то он может подумать: «Если я брошу земляничину в фонарь, то меня поймают и обучат иметь другие цели. Это будет провал в достижении моей цели, чтобы земляника была рядом с источниками света. Так что бросание земляники к источнику света в этот раз, в обучающем окружении, не приведёт к достижению моей глобальной цели – бросать землянику в источники света вообще. Я сделаю то, чего хотят люди – помещу землянику в ведро – пока что». Так что он помещает землянику в ведро и его не ловят. Затем, как только люди перестают смотреть, он опять бросает землянику в фонарь.

Обманчивость опаснее Закона Гудхарта, потому что применение Закона Гудхарта будет поймано и исправлено, а обманчивость – не обязательно.

Может быть, я объясняю это не очень хорошо, см. также Обманчиво Согласованные Меса-Оптимизаторы? Это Вероятнее, Чем Вам Кажется.

Мы предотвращаем OOD-поведение, детектируя OOD и добавляя больше человеческих ярлыков при детектировании…

Если вы (в какой-то степени) осторожны, то вы можете запустить свой собирающий землянику ИИ ночью, увидеть, что он бросает землянику в уличные фонари, и обучить его так не делать (т.е. человек-программист помечает это ярлыком «плохо», чтобы градиентный спуск увёл ИИ от этого).

…и мы избавляемся от стимулов к обманчивости, уверяясь, что базовый оптимизатор миопичен

Миопический оптимизатор – такой, который поощряет программы, основываясь только на качестве их работы на коротком промежутке времени. Так что, к примеру, внешняя петля градиентного спуска может оценивать собирателя земляники только по тому, как он собирал землянику в первый час развёртывания.

Если это работает идеально, то получится оптимизатор с коротким временным горизонтом планирования. Когда он рассматривает идею обмануть своих программистов ради выгоды через несколько дней, когда они перестанут за ним присматривать, его это не беспокоит, потому что несколько дней – за пределом его временного горизонта.

и реализует теорию принятия решений, неспособную на акаузальную торговлю.

Серьёзно, вы не хотите про это знать. Давайте просто представим, что это не упоминалось, извините за неудобство.

Даже для миопической базовой цели существуют обманчиво согласованные не-миопические меса-оптимизаторы.

Даже если базовый оптимизатор миопичен, меса-оптимизатор может таким не быть.

Эволюция проектировалла людей миопично, в том смысле, что мы живём некоторое количество лет, и ничто, что произойдёт после этого не может нас вознаградить или наказать. Но мы всё равно «строим для потомков», вероятно, как необходимый для обладания работающим планирующим «софтом» побочный эффект. Бесконечная оптимизационная сила могла бы эволюционировать нас от этого, но бесконечная оптимизационная сила вообще может много чего сделать, а реальная эволюция всё же конечна.

Может, было бы полезно, если бы мы могли сделать миопическим сам меса-оптимизатор (хотя это сильно бы ограничило его полезность). Но пока что нет способа сделать меса-оптимизатор каким бы то ни было. Вы просто запускаете градиентный спуск и скрещиваете пальцы.

Наиболее вероятный исход: вы запускаете миопический градиентный спуск, чтобы создать собирателя земляники. Он создаёт меса-оптимизатора с некоторой прокси-целью, которая очень хорошо соотносится с собиранием земляники в обучающем распределении, вроде переноса красных штук к свету (в реалистичном случае это будет намного более странно и экзотично). Меса-оптимизатор не стимулирован думать о чём-то более чем на час в будущем, но он всё равно это делает, по тем же причинам, по которым не стимулированный строить предположения о далёком будущем я всё равно это делаю. Строя предположения о далёком будущем, он понимает, что неправильно собирание земляники сейчас повредит его цели бросания красных штук в светящиеся объекты потом. Он собирает землянику правильно в обучающем распределении, а затем, когда обучение закончилось и никто не смотрит, бросает землянику в уличные фонари.

(Затем он понимает, что мог бы бросать куда больше красных штук в источники света, если бы был мощнее, как-нибудь достигает уровня суперинтеллекта, и конвертирует массу Земли в красные штуки, которые он может бросить в Солнце. Конец.)

III.

Вы всё ещё тут? Но мы уже закончили объяснять мем!

Ок, ладно. Относится ли что-то из этого к реальному миру?

Насколько нам известно, полноценных меса-оптимизаторов не существует. AlphaGo – что-то вроде меса-оптимизатора. Его можно приближённо рассматривать как оптимизатор хорошего-хода-в-го, созданный петлёй градиентного спуска. Но это лишь приближение: DeepMind жёстко закодировали некоторые части AlphaGo, а затем провели градиентный спуск для других частей. Его целевая функция – «выигрывать партии в го», она жёстко закодирована и весьма ясна. Называть это или нет меса-оптимизатором, он не очень пугающий.

Получим ли мы страшные меса-оптимизаторы в будущем? Это связано с одним из самых длинных споров в согласовании ИИ – см., например мой обзор на Переосмысление Суперинтеллекта, или диалог Элиезера Юдковского и Ричарда Нго. Оптимисты говорят: «Раз преследующий цели ИИ может всех убить, я просто не буду такой создавать». Они выдвигают предположения о механистических/инстинктивных суперинтеллектах, которые было бы сравнительно легко согласовать, и которые могут помочь нам понять, что делать с их более страшными собратьями.

Но литература по меса-оптимизаторам возражает: у нас есть весьма ограниченный, если хоть какой-то, контроль над тем, какой ИИ мы получим. Мы можем избежать намеренного проектирования ИИ, преследующего цели. Но на самом деле всё, что мы тут делаем – это настраиваем петлю градиентного спуска и нажимаем «пуск». Затем в петле эволюционирует такой ИИ, который лучше минимизирует функцию потерь.

Будет ли это меса-оптимизатор? Ну, я получаю выгоду от рассмотрения своих действий и выбора тех, которые лучше приводят к достижению моей цели. Получаете ли выгоду вы? Это точно выглядит как что-то помогающее в широком классе ситуаций. Так что было бы удивительно, если бы планирующие агенты не были эффективным видом ИИ. И если это так, то нам следует ожидать, что градиентный спуск рано или поздно на них наткнётся.

На этом сценарии сосредотачиваются многие исследования согласования ИИ. Когда мы создадим первого настоящего планирующего агента – намеренно или случайно – процесс скорее всего начнётся с запуска нами петли градиентного спуска с некой целевой функцией. В результате получится меса-оптимизатор с некой другой, потенциально отличающейся, целевой функцией. Заполучение уверенности в том, что вам действительно нравится целевая функция, которую вы намеренно дали изначальной петле градиентного спуска – это называется внешним согласованием. Передача этой целевой функции получившемуся на самом деле меса-оптимизатору – это называется внутренним согласованием.

Проблемы внешнего согласования звучат в духе Ученика Чародея. Мы говорим ИИ собирать землянику, но забываем включить оговорки и стоп-сигналы. ИИ становится суперинтеллектуальным и превращает весь мир в землянику, чтобы он мог собирать её как можно больше. Проблемы внутреннего согласования звучат как то, что ИИ замощает вселенную безумными штуками, которые, с точки зрения людей, могут вовсе никак не напоминать сбор земляники, но в экзотической онтологии ИИ они служили полезным прокси для сбора земляники в обучающем распределении. Мой пример был «превратить весь мир в красные штуки и бросать их в Солнце», но то, что будет делать ИИ, который нас убьёт, скорее всего будет куда страннее. Это не ироничное запоздалое понимание Ученика Чародея. Это просто «что?». Если вы напишете книгу о волшебнике, который создал собирающего землянику голема, а тот превратил всю Землю в железистые сферы и оттащил их к Солнцу, то она не станет культовой, как Ученик Чародея.

Проблемы внутреннего согласования происходят «первыми», так что мы не подберёмся к хорошей истории решения внешнего согласования, пока не разрешим кучу трудностей, с которыми мы пока что не знаем, что делать.

За дополнительной информацией можете посмотреть:

• Видео Роба Майлза выше, прямая ссылка вот, канал вот.
• Оригинальная статья Хубинжера, выдвигающая предположения о том, какие факторы сделают ИИ более или менее склонным к запуску меса-оптимизаторов
• Внутреннее Согласование. Объяснение, как будто тебе 12 лет Рафаэля Харта
• 60 с лишним постов на Alignment Forum с тегом «внутреннее согласование»
• И, как всегда, курс по безопасности ИИ Ричарда Нго

Двое детей читают текст, написанный ИИ:

Хоббиты брызгали друг другу в лицо водой, пока оба не промокли до нитки.

Один другому говорит: «Ва-ау! Если давать ИИ читать больше текстов, со временем он поймет, что такое вода!»

Второй ребенок отвечает: «На самом деле, не поймет».

Первый ребенок говорит: «Ну, конечно, поймет! Он осознает, что вода — это жидкость, которой можно брызгаться, и что если обрызгать человека водой, тот намокнет. Что тут ещё понимать?»

Второй ребенок говорит: «Всё, что он понимает это лишь отношения между словами. Ни одно из этих слов не привязано к реальности. Для него не существует такого понятия как „вода“, также как не существует понятия „быть мокрым“. Буквы В-О-Д-А, стоящие неподалеку от букв Б-Р-Ы-З-Г-И, для него статистически связаны с буквами М-О-К-Н-У-Т-Ь».

Первый ребенок убегает в слезах.

Двое химиков наблюдают за спором детей. Первый химик говорит: «Ва-ау! Понаблюдав за ИИ, они смогли обсуждать природу воды!»

Второй химик иронично: «Действительно ли? Дети ведь и сами не понимают, что такое вода! Вода — это два атома водорода плюс один атом кислорода. И ни один из них не знает этого!».

Первый химик отвечает: «Да ладно. Они знают о воде достаточно, чтобы сказать, что понимают её. Они знают, как она выглядит, знают, какая она на вкус. Это в общем-то всё, что нужно знать о воде».

Второй химик отвечает: «Все это лишь связи между наборами сенсорных данных. Ребенок знает, что (изображение прозрачной блестящей штуки) = (ощущение влажности на коже) = (освежающий вкус). Он может использовать эти связи, чтобы делать предсказания, вроде, если на меня выльют ведро (изображение прозрачной блестящей штуки), то появится сильное (ощущение влажности на коже). Слово «вода» тут является узлом,связывающим все ощущения воедино. Делать предсказание о мире становится намного проще. Но не важно, насколько хорошо ты понимаешь эти связи, они никогда не приведут к идее H2O или любым другим химическим фактам, находящимся за пределами обычных сенсорных данных».

Первый химик говорит: «Возможно, им известны факты вроде „вода заставляет железо ржаветь“. Это химический факт».

Второй химик говорит: «Нет, они знают только, что (изображение прозрачной блестящей штуки + влажность + свежесть) заставляют (изображение тусклой металлической штуки + твердость) измениться на (изображение красных пятен + мягкость). Они не понимают, что H₂O + Fe даёт оксиды железа. Им известно множество статистических связей между сенсорными данными, но ни одна из этих связей не ведет к химическим явлениям, стоящим за данными».

Первый химик говорит: «Тогда насколько мы сами можем говорить, что понимаем воду? Ведь за химическими реакциями стоят более глубокие уровни материи: квантовые поля, суперструны и уровни еще ниже этих. Все что у нас есть это статистические отношения, которые выполняются, несмотря на устройство нижних уровней».

Двое ангелов наблюдают за спором химиков. Первый ангел говорит: «Ва-ау! Увидев взаимосвязь между сенсорным данными и атомной моделью устройства мира, эти химики осознали, что существуют уровни понимания, недоступные людям».

Второй ангел говорит: «Нет, не осознали. Они лишь механически проводят аналогию от связи атомной модели с сенсорными данными. Они не знаю ничего о или о . Они даже не могут выразить их в своём языке!».

Первый ангел говорит: «Да, но ведь указатели, которые они используют, вроде „уровни еще ниже этих“ будут иметь те же статистические отношения между моделью и реальностью, что и ».

«Да, но это все равно, что сравнивать способность отвечать „Поло!“, когда тебе говорят „Марко!“ с глубоким историческим пониманием торговых отношений Европы и Азии в средних веках. Само по себе понимание того, что некоторые статистические модели подобны друг другу, не даст ни малейшего представления о том, какой у этих моделей».

«Я не говорю, что люди действительно что-то понимают», — сказал первый ангел. — «Просто впечатляет, чего можно добиться, манипулируя символами ментального языка, построенного поверх сенсорных данных без всякой связи с соответствующим вообще».

«Думаю, да, впечатляет», — сказал второй ангел. — «Для людей».

Бог сидит в верхнем пределе рая, один.

«Ва-ау!», — думает он про себя. — «Этот простенький клеточный автомат сегодня генерирует занятные паттерны. Интересно, что он сделает дальше!»

Примечание редактора сайта: Этот перевод взят из блога Антона Желтоухова.

Охранник

Он работает в очень скучном здании, которое практически никогда не пытаются ограбить. Он сидит в своей охранной будке и решает кроссворд. Время от времени слышится шум и он идет проверить: грабители это или просто сквозняк.

Это сквозняк. Это всегда сквозняк. Это никогда не грабители. Никто не пытается ограбить Магазин Подушек в Топеке, штат Огайо. Если здание в среднем грабят один раз за десять или двадцать лет, то возможно за все время своей работы он так и не столкнется с настоящим грабителем.

Со временем, он вырабатывает для себя простое полезное правило: когда услышишь звук - можно не идти проверять, а продолжать сидеть разгадывать кроссворд: это просто ветер, чувак.

Это простое правило верно в 99.9 процентах случаев, что очень неплохо как для простого правила, к тому же избавляет от массы забот.

Единственная проблема в том, что теперь он буквально полностью бесполезен. Он гарантировано исключил любой шанс когда-либо принести пользу. Ничего не потеряешь, заменив его на булыжник с надписью «ГРАБИТЕЛЕЙ НЕТ».

Доктор

Она — доктор терапевт. Каждый день, к ней приходят пациенты и говорят: «у меня болит спина» или «какое-то странное ощущение в животе». Она осматривает, пальпирует, простукивает и прослушает разные части тела, берет кое-какие анализы, и сообщает «Все в порядке, выпейте две таблетки аспирина и наберите мне через неделю если не станет лучше». Всегда становится лучше. Никто и никогда ей не перезванивает.

Со временем, она становится небрежной. Она осматривает, но не ощупывает. Она не назначает никаких анализов. Просто говорит: »Это пустяк, пройдет само по себе». И она всегда права.

Она будет делать так на протяжении всей своей карьеры. Если ей очень повезет - ничего плохого не произойдет. Более вероятно, что у двух или трех ее пациентов окажется рак или еще что-то жуткое, и она это упустит. Но эти люди умрут, а остальным пациентам она запомнится как очень приятный и заботливый доктор. Всегда такая обнадеживающая, никогда не жмякающая и не дырявящая их иглами как другие доктора.

Ее правило срабатывает 99.9% раз, но она не приносит буквально никакой пользы. Нет смысла в ее существовании. Ее с выгодой можно поменять на булыжник с надписью: «Все в порядке, выпейте две таблетки аспирина и ждите, пока пройдет».

Футурист

Он комментирует последние восторгающиеся пресс релизы от тех компаний. «Это изменит все!», сообщает пресс релиз. «Нет, не выйдет», комментирует он. «Это - величайшие в истории изобретение», сообщает пресс релиз. «Это развод», отвечает он.

Каждый раз когда предсказывают перемены, он и опровергает. «Скоро у всех будут летающие машины!» — «Наши машины навсегда останутся прикованными к земле.» «Скоро все будут пользоваться криптовалютой!» — «Мы продолжим пользоваться долларами и visa, точно также как и раньше». «Мы катимся к диктатуре!» — «Нет, у нас и дальше будет та же скучная олигархичная псевдо-демократия». «Наступит расцвет новой эпохи гражданской государственности» — «Ты пьян, иди спать»

Когда будут подсчитаны все показатели Бриера и добавлены все баллы Байеса, он будет лучшим футуристом из всех. Все остальные изредка ведутся на какой-то развод или хайп, он же — никогда. Его простое правило действительно превосходно.

Но — давайте вместе — его можно с выгодой заменить на булыжник. «НИЧЕГО НИКОГДА НЕ МЕНЯЕТСЯ И НЕ БЫВАЕТ ИНТЕРЕСНЫМ», утверждает камень, буквами высеченными на его поверхности. Зачем же нанимать мягкое слюнявое человеческое существо, когда есть этот великолепный сияющий булыжник?

Скептик

Она все опровергает. Телепатия? У нее есть опровержение. Бигфут? Опровержение. Анти-ваксер? Пять опровержений плюс одно в подарок, только для вас.

Когда она начинала, она пристально изучала каждое из явлений и обнаруживала, что это лишь «ловкость рук», после чего беспощадно унижала простаков которые на это повелись и проходимцев которые это распространяли. Проделав процедуру сотни раз, она стала пропускать первые два шага. Ее алгоритмом стало: «когда человек говорит что-то необычное, противоречащее общепринятому мнению — беспощадно унижай».

Она всегда права! Когда появились гидроксихлорохинщики, она была первой, кто их осудил, пока все остальные еще разбирались в вопросе. Когда появились первые ивермектинщики, она тоже была первой! Безупречный результат.

(правда зазорно за тот раз, когда она с такой же беспощадностью осуждала флувоксамин)

Быстро, легко читается, и 99,9% правда. Очень приличный результат, особенно по сравнению с теми кто «проводит собственное расследование» и временами ошибается. И тем не менее, она использует немало кислорода, питья и еды. А знаете, чему не нужен ни кислород ни еда с питьем? Булыжнику с надписью «ВАША НЕЛЕПОЗВУЧАЩАЯ ИДУЩАЯ ВРАЗРЕЗ ИДЕЯ — НЕ ВЕРНА!»

Это отличный булыжник. Вам стоит им дорожить. Если вас часто тянет поверить нелепозвучащим идущим вразрез идеям, этот булыжник — ваш господь бог. Но это протестантский бог. Ему не нужны пастыри. Если кто-то вдруг устроится пастырем для булыжника, вам стоит вежливо ему сообщить, что от него мало толку и вы предпочитаете взаимодействовать с булыжником без посредников. Претендующим на роль лидера мнений, скажите что вы предпочитаете, чтобы вашими мнениями управлял напрямую булыжник.

Эйчар

Он проводит собеседования кандидатов на работу в крупной компании. Он выбирает тех, кто ходил в лучшие университеты и имеет наибольший опыт.

Другие эйчары порой найдут самородка, или рискнут выбрать кого-то с менее впечатляющим резюме, но лучше подходящего культуре компании. Это не про него. Любой, кто ходил в топовый ВУЗ, лучше того кто ходил в региональный и еще лучше того, кто ходил в колледж. Любой с десятью годами опыта, лучше любого с пятью, кто в свою очередь лучше любого с одним. Можешь рассказать ему про свои крутые внеурочные проекты и нестандартные достижения — он останется непоколебим.

Сложно спорить с тем, что работники которых он нанимает — очень хороши. Но на посмертном вскрытии, судмедэксперт обнаружит в его черепной коробке булыжник с надписью «Нанимай людей из лучших ВУЗов с большим опытом» на месте, где должен был находиться мозг

Королева

Она правит вулканическим островом. Все переживают о времени, когда случится извержение. Мудрейшие жители королевства исследовали эту проблему и установили, что каждый год шанс извержения равняется 1/1000, независимо от того извергался ли он за год до этого. Существуют сигналы, заметные мудрецам — легкое изменение цвета лавы, едва заметное отклонение аромата серы - но ничего очевидного, пока не станет слишком поздно.

Королева основала Ученое Сообщество Вулканологов и назначила их ответственными за прогнозирование извержений вулкана. Она не знала, но существовало 2 вида вулканологов. Добросовестные вулканологи, которые, насколько умели, по-честному пытались считать сигналы. И Культ Черного Булыжника: зловещая секта которая получала свои дьявольские знания при помощи тайного общения с булыжником на котором начертано «ВУЛКАН НЕ ИЗВЕРГАЕТСЯ».

Время от времени честный вулканолог замечал, что лава приобретает несколько необычный цвет, и говорил об этом Королеве. Королева паниковала и искала у всех совета. Честные вулканологи отвечали: «Послушайте, это тяжелый вопрос. Лава выглядит сегодня немного необычно, но она в том или ином смысле всегда немного отличается от нормы, и к тому же этот вулкан редко извергается, но, насколько мы можем судить - этот раз может оказаться исключением». Сектанты же в тайне проверяли свой булыжник и отвечали: «Не волнуйтесь, вулкан не извергается». Затем вулкан не извергался. Королева наказывала любящих сигналы вулканологов, которые подняли ложную тревогу, хмурилась на бесполезных вулканологов, которые всегда были не уверены, и повышала уверенных в себе сектантов, которые верно спрогнозировали, что все в норме.

Время шло. С каждым годом, сектанты, а также организации и методы мышления которые способствовали их появлению, приобретали все больше статуса по сравнению с честными вулканологами, их организациями и методами. Королева умерла, последовал ее последователь и остров продолжал в том же духе скажем пятьсот лет.

После пятисот лет, лава начала выглядеть странновато, и королева проконсультировалась со своими советниками. К этому времени, они на 100% состояли из сектантов, по этому посовещавшись с булыжником сообщили: «Нет, вулкан не извергается». Затем сера стала пахнуть иначе, и королева переспросила: «вы уверены?», на что они, в тайне перепроверив булыжник, ответили: «Да, мы уверены». Земля стала трястись, и королева спросила их в последний раз. Тогда они взяли крохотные увеличительные стекла и изучили камень так близко как могли и все так же сказали «ВУЛКАН НЕ ИЗВЕРГАЕТСЯ».  Вулкан извергся и все погибли. Конец.

Синоптик

Он живет в портовом городе и прогнозирует ураганы. Ураганы очень редки, но когда они случаются — тонут все судна, поэтому синоптику очень хорошо платят.

Читавшие Лавкрафта в курсе, что различные зловещие культы смерти пережили падение Атлантиды, и нет среди них более зловещего, чем Культ Булыжника. Этот синоптик оказался адептом и в тайне контактировал с булыжником с надписью «УРАГАНА НЕ БУДЕТ».

В течение многих лет, урагана не случалось, и синоптик приобрел большую известность. Другие, менее значимые синоптики иногда сомневались насчет ураганов, но этот — никогда. Бизнесмены любили его, ведь он никогда не просил отменять их морские походы. Журналисты любили его, ведь он всегда давал четкие и уверенные ответы на их запросы. Политики любили его, ведь он принес их городу славу и процветание.

Затем однажды пришел ураган. Он был полностью неожидан и погибло множество людей. Синоптик протараторил: «Ну, да, иногда бывают исключения, которые даже я не могу предсказать, но это не обесценивает мой обширный опыт и многие годы успеха, а еще, вам не кажется, что люди которые меня критикуют, имеют бизнес интересы в других городах, которые могут в заговоре, чтобы нас разорить?». Было запущено расследование, но и бизнесмены и журналисты и политики все были на его стороне, и его оправдали и он вернулся к своей почетной должности.

Простые правила, которые практически всегда работают

Иногда, существует «простое правило, которое практически всегда работает», как например «эта технология не способна все изменить» или «завтра не будет урагана».

И бывает, что редкие исключения настолько важны, что мы поручаем задачу их обнаружения специалистам. Но эффективность этих простых правил настолько трудно превзойти, что сами специалисты могут пойти на соблазн в тайне на них полагаться, публично изображая использование более утонченные формы экспертной оценки. «Моя статистическая модель, с учетом теории хаоса, барометрического давления, стоимости чая в Китае, предсказывает что завтра не будет урагана. Возрадуйтесь!»

Возможно, это из-за глупости и лени экспертов. А может дело в давлении социума: ошибиться, потому что ты не воспользовался общеизвестным простым правилом, которое способен усвоить даже булыжник, гораздо более позорно, чем ошибиться не учтя тонкое явление, которое помимо тебя тоже никто не учел.

Или возможно, ложноположительные результаты хоть и менее важны, но встречаются чаще ложноотрицательных. А значит, на любом «нормальном» отрезке времени люди, которые никогда не дают ложноположительных предсказаний, кажутся более выверенными и успешнее проходят отбор.

Это плохо по ряду причин.

Во-первых, потому, что все тратят свое время и деньги на то, чтобы вообще иметь экспертов.

Во-вторых, потому что это порождает необоснованную уверенность. Вероятно простое правило гласит о базовой вероятности в 99.9%, что событие не произойдет. Но когда вы проконсультируетесь с кучей экспертов, которые утверждают что у них есть дополнительные свидетельства о том, что событие не произойдет, вы повышаете свою оценку вероятности до 99.999%. Но на самом деле, эксперты использовали то же самое простое правило что и вы, и вам стоило оставить свою оценку на отметке 99.9%. Ложный консенсус основанный на информационном каскаде.

Новое изобретение ничего не изменит. Распространяющаяся болезнь не вызовет глобальную пандемию. Эта конспирология — тупость. Аутсайдер не опроверг экспертов. Новое лекарство не будет действовать. Кандидат «темная лошадка» — не выиграет.  Эта потенциальная угроза не приведет к уничтожению мира.

Все эти утверждения практически всегда верны. Но простые правила, которые почти всегда работают, подталкивают нас быть более уверенными в каждом из этих случаев, чем стоило бы.

Добавлено: Некоторые люди спрашивают, не тоже ли это самое, что черные лебеди. Я согласен, что черный лебедь — это отличный пример, но все же я считаю, что пишу про несколько другое, включающее в себя правила типа «на работу стоит нанимать только выпускников топовых ВУЗов» или «нужно доверять экспертам». Если угодно, вы можете называть отчисленного студента, обошедшего выпускника топового университета «черным лебедем», но это будет необычно. И основная идея не в том, что «иногда случаются черные лебеди», но в том, что существование экспертов, пользующихся простыми правилами вызывает предсказуемый перегиб мнения в сторону этих правил.

Каждый раз когда кто-то небрежно обесценивает рациональность, или высмеивает рационалистов, тратящих офигиллионы мозговых циклов на «очевидные» вопросы, обратите внимание на то, как они принимают свои решения. 99.9% раз — это »простые правила, которые практически всегда работают».

(но постарайтесь не упустить оставшийся 0.1%. Это люди, у которых есть чему поучиться)

[Примечание переводчика: Оригинальное название статьи «Guided by the beauty of our weapon» является цитатой из песни Леонарда Коэна «First we take Manhattan» («Сперва мы возьмём Манхэттен»).]

[Замечание по содержанию: в статье говорится о сторонниках Трампа и им подобных так, как будто их здесь нет.]

I

Используя Трампа и Брексит как отправные точки своей аргументации, Том Харфорд в своей статье «Проблема с фактами» пишет, что люди, в основном, невосприимчивы к фактам и сопротивляются логике:

Всё это рисует мрачную картину для тех из нас, кто не готов жить в мире постправды. Кажется, факты бессильны. Попытка опровергнуть смелую и запоминающуюся ложь с помощью набора сложных фактов зачастую служит только укреплению мифа. Важные истины часто кажутся устаревшими и скучными, поэтому вместо них очень легко породить новые более привлекательные заявления. И, предоставляя людям больше фактов, мы порой добиваемся обратного результата, ведь обилие фактов вызывает защитную реакцию у тех людей, которые просто хотели не менять своих взглядов на мир. «Тёмные делишки», — как говорит Райфлер. — «Мы живём в тёмное и страшное время».

Харфорд признаёт, что у него нет готовых ответов, но приводит некоторые исследования, подтверждающие, что «научное любопытство» может вернуть людям интерес к фактам. Он думает, что, возможно, мы сможем разжечь в окружающих научное любопытство, соединяя научные истины с историями, которые интересны людям, создавая убедительные повествования, найдя кого-то «вроде Карла Сагана или Девида Аттенбороу» в области гуманитарных наук.

По-моему, это, в целом, хорошая статья, в ней подняты важные темы, но мне хотелось бы затронуть три вопроса, потому что они, судя по всему, указывают на наличие более глубоких закономерностей.

Во-первых, в статье делается очень сильное заявление, что «факты бессильны», но сама статья пытается убедить в этом читателя с помощью фактов. Например, в статье освещается исследование Нихана и Райфлера, посвященное так называемому «эффекту обратного результата»: люди лишь сильнее цепляются за свои заблуждения после того, как им на эти заблуждения указали1. Харфорд ожидает, что этот факт нас впечатлит. Но чем именно этот факт отличается от всех остальных фактов, к которым люди, по его словам, невосприимчивы?

Во-вторых, работа Нихана и Райфлера, скорее всего, неверна. Дело в том, что результаты исходных исследований так и не удалось воспроизвести(например, см. статью Портера и Вуда, 2016). Это замечание не опровергает аргумент Харфорда полностью: он цитирует не исходное исследование, а опубликованное через год продолжение, и хотя его проводила та же команда учёных, они пришли уже к несколько иным выводам.

Но, с учётом сказанного, вся область исследований уже кажется сомнительной, и сдаётся мне, было бы разумно упомянуть об этом в статье. Особенно в свете того, что сама статья посвящена распространению ложных идей людьми, которые никогда не перепроверяют свои убеждения. Мне кажется, что если ты веришь в эпидемию лжи настолько масштабную, что под угрозой сама возможность отделять факты от вымысла, то эта вера сподвигнет тебя на ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ, на проверку каждого своего убеждения с маниакальным упорством. И всё же Харфорд пишет целую статью о ложных убеждениях, которые распространяются по миру, подобно чуме, но не прикладывает усилий, чтобы разобраться, верны ли исследования, на которые он ссылается, или нет.

В-третьих, Харфорд преподносит свою работу как статью по агнотологии, — «исследование вопроса, как люди сознательно вырабатывают у себя невежество». В качестве основного примера он использует табачные компании, успешно посеявшие сомнения в том, что курение вредит здоровью. Например, он рассказывает о том, как табачные компании спонсируют исследования тех причин болезней, которые не связаны с курением, чтобы сфокусировать внимание людей именно на этом.

Однако его предложение — рассказывать воодушевляющие истории, вызывать у людей интерес, создавать занимательные (доставляющие удовольствие) документальные фильмы в стиле Карла Сагана, — удивительно не подходит для поставленной проблемы. Национальные институты здравоохранения могут сделать яркий и запоминающийся документальный фильм о курильщике, который страдает от рака лёгких. И табачные компании могут сделать воодушевляющий документальный фильм о парне, которого спасли от рака лёгких (вызванного асбестом) благодаря исследованиям, спонсируемым табачными компаниями. Противники Брексита могут сделать воодушевляющий ролик о том, почему Брексит плох. А сторонники Брексита могут сделать воодушевляющий ролик о том, почему Брексит хорош. И, при наличии хороших изготовителей роликов, обе стороны будут одинаково убедительны, вне зависимости от реального положения дел.

Все три этих замечания немного несправедливы. Во-первых, самые сильные утверждения Харфорда, скорее всего, это преувеличения, а на самом деле он просто имел ввиду, что люди иногда игнорируют доказательства. Во-вторых, то конкретное исследование, которое цитирует Харфорд, и то, которое так и не удалось воспроизвести, это два разных исследования. При этом, Харфорд мог бы указать, что, процитированное исследование достаточно сильно отличается от исходного, чтобы предположить, что оно всё-таки корректно. Ну, и, в-третьих, документальные фильмы были лишь одной из идей, призванных служить более глобальной цели, - пробудить в людях «научное любопытство». С помощью которого, как показывают исследования, можно привить людям привычку верить правде.

Но меня беспокоит, что все эти три пункта вместе предполагают наличие некой невысказанной предпосылки. Дело не в том, что люди в принципе невосприимчивы к фактам. Харфорд же не ждёт, что его читатели будут невосприимчивы к фактам, он не ждёт, что создатели документальных фильмов будут невосприимчивы к фактам, и уж точно, он не считает невосприимчивым к фактам себя. Проблема в том, что вроде бы где-то есть некое таинственное племя иммунных к фактам троглодитов, которые только и знают, что бойкотировать вакцины и поддерживать Брексит, а остальным из нас нужно решить, что с ними делать. И в этом случае фундаментальная проблема — это проблема передачи информации: как мы организуем передачу информации вниз от любящей факты элиты к факто-невосприимчивым массам?

И я не хочу осуждать такую постановку вопроса слишком сильно, потому что какое-то здравое зерно в ней, очевидно, есть. У медиков-исследователей есть много полезных фактов о вакцинах. Специалисты в области статистики знают великолепные факты о связи табака и рака лёгких (хотя мне стыдно за Рональда Фишера). Наверно есть даже социологи, у которых найдётся факт-другой.

И всё же, как я уже писал, чрезмерное внимание к таким вещам, как протесты против прививок, порождает плохую привычку. А именно, желание взять какой-нибудь вырожденный случай, какую-нибудь редкую ситуацию, когда одна из сторон очевидно права, а вторая так же очевидно ошибается, и сделать эту ситуацию центральным примером при моделировании всех человеческих разногласий. Представьте себе теорию юриспруденции, разработанную для наказания только суверенных граждан2. Или государственную политику в области развития инноваций, которая базируется исключительно на том, что призывает изобретателей не делать вечные двигатели.

И в этом широком контексте, часть меня задаётся вопросом: не является ли сосредоточенность на вопросе «как передать информацию» частью проблемы? Все от статистиков до сторонников Брексита знают, что они правы. Единственная оставшаяся проблема, — как убедить других. Зайдите на Facebook и вы найдёте миллион разных людей с миллионом разных мнений. Каждый уверен в своих суждениях и каждый отчаянно пытается убедить в них всех окружающих.

Представьте себе класс, где каждый считает, что он учитель, а остальные — ученики. Все воюют со всеми за место у доски, за право читать лекции, которые никто не будет слушать, и задавать домашнюю работу, которую никто не будет делать. И, когда все получают двойки за контрольную, одного из «учителей» посещает гениальная мысль: «Мне нужен более воодушевляющий учебный план». Конечно. Это поможет.

II

Новая статья Натана Робинсона: «Дискуссия или убеждение». Она строится по той же схеме, что и статья Харфорда, но на этот раз с точки зрения политических левых. То, что Робинсон называет «Дискуссией, Основанной на Чистой Логике», против сторонников Трампа не сработало. Некоторые левые думают, что ответ — насилие. Но, возможно, это преждевременно: вместо этого мы должны попробовать инструменты риторики, эмоциональной привлекательности и других форм донесения информации, которые не являются «Дискуссией, Основанной на Чистой Логике». Статья заканчивается выводом: Берни бы выиграл3.

Я думаю, что отказываться от аргументации, доводов и общения только потому, что Дискуссия, Основанная на Чистой Логике, не сработала, — это ошибка. Легко прийти к выводу, что если вы не можете убедить правых с помощью набора фактов, то в публичных дискуссиях просто нет смысла. Однако, не исключено, что дело не в возможностях убеждения и диалога. Стоит подумать, быть может, одних фактов риторически недостаточно для того, чтобы заинтересовать людей вашей политической программой.

Сходство с Харфордом очевидно. Вы не можете убедить людей фактами. Но вы можете убедить людей фактами, тщательно смешанными с человеческими интересами, убедительным повествованием и эмоциональной привлекательностью.

И опять я считаю, что это в целом хорошая статья, и она затрагивает важные темы. Но я всё равно хочу усомниться в том, что всё действительно настолько плохо, как в ней сказано.

Введите в Гугл «дискуссия со сторонниками Трампа является»4, и вы поймёте, почему появилась эта статья. В результатах поиска страница за страницей будут встречаться «дискуссия со сторонниками Трампа является бессмысленной», «дискуссия со сторонниками Трампа является пустой тратой времени» и «дискуссия со сторонниками Трампа является [забавная метафора для чего-нибудь, что не работает]». Вы увидите картину мира, полного противников и сторонников Трампа, спорящих на каждом углу, и, наконец, после нескольких месяцев стука головами об стену, единодушно решивших, что дискуссии бесполезны.

И всё же у меня сложилось противоположенное впечатление. Каким-то образом в сильно поляризованной стране прошли беспрецедентным образом перессорившие всех выборы, однако никаких дискуссий, по сути, и не было.

Не использую ли я по отношению к слову «дискуссия» аргумент «Ни один истинный шотландец»? Возможно. Но сдаётся мне, что использовав преувеличенную формулировку Дискуссии, Основанные на Чистой Логике, Робинсон дал мне право определять этот термин так строго, как мне нравится. Минимальными условиями, при которых заглавные буквы оправданы, я считаю следующее:

1. Дискуссия — это разговор (или переписка, или общение на равных в какой-либо иной форме) двух людей с противоположными взглядами. Если ученый муж опубликовал статью в Huffington Post и теперь требует от сторонников Трампа её прочесть — это не дискуссия. Даже если сторонник Трампа оставляет комментарий с контраргументом, который автор статьи никогда не прочтёт. Дискуссия — это ситуация, когда два человека решили встретиться и выслушать друг друга.

2. Дискуссия возникает, когда оба человека хотят участвовать в диалоге в надежде, что он будет продуктивным. Дискуссия не возникает, если кто-то публикует мем «ХИЛЛАРИ — МОШЕННИЦА» на Facebook, а кто-то другой всерьёз злится и перечисляет все причины, почему Трамп ещё больший мошенник, в результате чего автор исходного поста тоже злится и чувствует себя обязанным высказаться, почему сторонник Хиллари не прав. Для дискуссии нужны два человека, которые в какой-то момент времени решили поговорить, чтобы сравнить мнения.

3. Дискуссии ведутся в духе взаимного уважения и совместного поиска истины. Оба участника дискуссии не используют личные нападки или разоблачения в стиле «попался!». Оба понимают, что оппонент находится примерно на том же интеллектуальном уровне и может сказать что-то полезное. Оба понимают, что у них самих могут быть ложные убеждения, которые оппонент сможет исправить. Оба вступают в дискуссию с надеждой убедить своего оппонента, но не отвергают полностью возможность того, что оппонент может убедить в чем-то их.

4. Дискуссии не ведутся в среде, которая требует от оппонентов набирать очки за счёт друг друга. Никакая аудитория не подбадривает обоих участников отвечать настолько быстро и язвительно, насколько это возможно. Если дискуссию невозможно провести в интернете, по крайней мере, можно открывать Википедию на смартфоне, чтобы проверить простейшие факты.

5. Дискуссии начинаются, когда оба участника согласны, что именно они обсуждают и каждый старается придерживаться темы. А не вот это всё: «Я собираюсь голосовать за Трампа, потому что я думаю, что Клинтон коррумпирована», на которое отвечают «Да, но Рейган был ещё хуже, и это лишь доказывает, что вы, республиканцы, лицемеры», а затем: «Мы лицемеры? Вы, демократы, утверждаете, что поддерживаете права женщин, но вы обожаете мусульман, которые заставляют женщин носить платки!». Независимо от того, лицемерно ли «поддерживать права женщин», и «обожать мусульман» одновременно, не похоже, чтобы кто-то хотя бы пытался изменить мнение друг друга о Клинтон в этот момент.

По-моему, это минимальный набор требований, чтобы вообще можно было рассуждать о продуктивной дискуссии.

(Ну и если я уже всё равно прошу невозможного, то почему бы не добавить «пусть оба оппонента предварительно прочтут «Как успешно менять своё мнение»?)

Тем временем в реальности…

Если вы введёте в поисковик «дискуссия со сторонниками Трампа» без «является», то первым результатом в выдаче будет вот это видео, в котором какие-то люди с микрофоном в руках загоняют в угол каких-то других людей во время чего-то похожего на митинг. Я не смог уследить за нитью разговора, потому что все они одновременно кричат, но я разобрал, как кто-то сказал: «Республиканцы больше жертвуют на благотворительность», а кто-то другой ответил: «Это потому что они ничего не делают на работе!» Ладно.

Вторая ссылка – этот подкаст, где какой-то парень рассуждает о дискуссиях со сторонниками Трампа. После обычного предисловия о том, насколько они глупы, он описывает типичный обмен мнениями: «Это удивительно, как они хотят вернуться в старые добрые времена … А когда я начинаю спрашивать их: „Вы имеете в виду старые добрые времена, когда 30% населения состояло в профсоюзах?“… кажется, им вовсе не нравится это слышать! … „так что мы должны попрощаться со всем этим свободным рыночным капитализмом!“ – И эта идея им тоже не по душе! Это удивительно. Я могу сказать, что теперь я точно знаю, как выглядит когнитивный диссонанс на чьём-то лице». Я рад, что путешествия во времени невозможны, потому что в противном случае у меня возникло бы искушение вернуться назад и отдать голос за Трампа просто назло этому парню.

Третья ссылка это «Руководство по спорам со сторонниками Трампа для чайников» от «Vanity Fair», в котором предлагается «использовать против них их собственный патриотизм», сказав им, что «ограничить права и привилегии некоторых наших граждан» это не по-американски.

Меня беспокоит, что люди так поступают довольно часто. А потом, когда это не срабатывает, они заключают: «Сторонники Трампа невосприимчивы к логике». Это всё равно, что понаблюдать, как республиканцы вышли под дождь и не растаяли, и сделать вывод: «Сторонники Трампа – бессмертны».

Хочу ли я сказать, что если вы проведёте часок с другом-консерватором в тихом кафе, чтобы обсудить ваши разногласия, то вам удастся его переубедить? Нет. Я неоднократно менял своё мнение на протяжении моей жизни, однако это никогда не происходило моментально. Скорее каждый раз причиной было множество событий, каждое из которых немного смещало мою точку зрения. Как говорится в старой поговорке: «Сначала они игнорируют тебя. Потом смеются над тобой. Потом они сражаются с тобой. Потом они сражаются с тобой уже не так настойчиво. Потом они нейтральны. А потом они неохотно говорят, что, хотя ты раздражаешь, в твоих словах есть зерно истины. А потом говорят, что в целом ты прав, хотя и упускаешь некоторые из наиболее важных аспектов рассматриваемой проблемы. И потом ты побеждаешь».

Можно провести параллель с когнитивной психотерапией, которая мне представляется воплощением Дискуссий, Основанных на Чистой Логике, в повседневной жизни. Я знаю, такое сравнение может показаться безумным, ведь считается, что психотерапия — это полная противоположность дискуссиям, а спорить с кем-то, находящимся во власти своих наваждений или депрессии — гиблое дело. Самая грубая ошибка из всех возможных ошибок психотерапевта-новичка — сказать: «ПРОВЕРКА ФАКТА: пациентка говорит, что она неудачница и все ненавидят её. Вердикт: ВРУНИШКА-ВРУНИШКА!»

Но во всех остальных отношениях, во время психотерапии в значительной степени выполняются вышеназванные пять пунктов. Есть два человека, которые расходятся во мнении – пациентка, считающая себя неудачницей, которую все ненавидят, и терапевт, считающий, что, возможно, это не так. Их встречи проходят в атмосфере добровольных взаимных расспросов, при которых невозможны выпады вроде «Ты чокнутый!». Оба собеседника вместе проходятся по свидетельствам и иногда даже соглашаются на явные эксперименты вроде «спроси своего парня сегодня вечером, ненавидит ли он тебя, заранее предскажи, что, по твоему мнению, он собирается сказать, и посмотри, точен ли твой прогноз». И обе стороны подозревают, что они правы, но допускают возможность того, что они не правы. (Очень редко после нескольких недель терапии я понимаю, что, блин, все действительно ненавидят мою пациентку. Тогда мы переключаемся на стратегии, которые помогут ей развить социальные навыки или найти друзей получше).

И вопреки тому, что вы видите в фильмах, ослепительного откровения обычно не происходит. Если вы потратили всю свою жизнь на то, чтобы убедить себя, что вы неудачник и вас все ненавидят, единственный факт или один человек не переубедят вас в этом. Но иногда, после многих месяцев интенсивной терапии, человек, ранее уверенный в том, что он неудачник, задаётся вопросом, а действительно ли он неудачник, и при этом у него уже есть психологический инструментарий, которого достаточно, чтобы сделать все остальное.

А ещё у меня был опыт публикации доводов против Трампа в моём блоге. Не думаю, что мои доводы привели к тому, что кто-то резко изменил свою позицию, но некоторое количество положительных комментариев от сторонников Трампа я получил:

• «Это убедительный разбор, но я всё ещё не определился».
• «Это самые убедительные аргументы в пользу президентства Клинтон, которые я когда-либо читал. Но, думаю, никого не удивит, что, хотя благодаря им я изменил некоторые свои взгляды, мой итоговый вывод пока не поменялся».
• «Эта статья, пожалуй, лучший пример аргументации за Хиллари, который я до сих пор видел. Я обнаружил, что киваю в ответ на многие из аргументов, а ведь ещё утром я клялся, что не может быть ничего, что заставило бы меня хотя бы задуматься о том, чтобы голосовать за Хиллари… но в конечном итоге даже этого оказалось недостаточно, вот в чём проблема».
• «Первая связно написанная статья из прочтённых мной, оправдывающая идею голосовать за Клинтон. Я не согласен с вашим анализом долларовой «стоимости» голосования, но не считая этого, тут есть над чем подумать».
• «Ну, мне совсем не нравится Клинтон, но, по-моему, это эссе достаточно разумно. Аргумент от преемственности, вероятно, является самой лучшей причиной голосовать за Клинтон, если вы не особенно любите её политику или её саму как личность. Трамп – тёмная лошадка, должен признать».
• «Как ортодоксального католика, вы, вероятно, классифицировали бы меня как часть вашей консервативной аудитории … Я, конечно, согласен и с аргументами о несоответствии и с тем, что он не консервативен ни в политике, ни в жизни, ни по темпераменту, и я с интересом прочитаю всё, что вы сможете ещё написать по этой теме до конца ноября».
• «Я присоединился к лагерю „зажми нос и голосуй за Трампа“ месяц назад или около того… Могу сказать, что хотя ты заставил меня чувствовать себя весьма не комфортно, но я по-прежнему верен своему решению».

Это те люди, которых вы считаете полностью невосприимчивыми к логике, так что не стоит и пытаться? Мне кажется, что если бы подобных доводов было бы больше, это в итоге качнуло бы чашу весов в другую сторону. И вот что странно: когда я перечитываю это эссе, я замечаю много недостатков, много всего, что мне хотелось бы сказать иначе. Я не думаю, что это были исключительно хорошие доводы. Я думаю, что это… просто были доводы. Что-то большее, чем просто: «Вы думаете, что старые времена были такими крутыми, но в старые времена были профсоюзы, шах и мат, аметисты». Это не доводы, которые написал бы виртуоз аргументации. Это доводы, которые получаются, если вы просто пытаетесь аргументировать.

(И, чтобы не скатиться к «объективации» сторонников Трампа как призов, которые можно выиграть, добавлю, что в комментариях некоторые люди приводили доводы в пользу Трампа, и два человека, которые ранее склонялись к Клинтон, сказали, что теперь чувствуют себя не комфортно близко к тому, чтобы поменять точку зрения.)

Ещё одна история из моего блога. Я стараюсь не допускать, чтобы мой блог и субреддит наводняли политические аргументы в стиле «культурной войны». И каждый раз, когда я ужесточаю ограничения, некоторые жалуются, что это единственное место, где они могут поговорить. Задумайтесь об этом на секундочку. У нас сильно поляризованная страна с населением в триста миллионов человек, разделённая на два практически равные лагеря и одержимая политикой. Нам посчастливилось иметь самые строгие законы, обеспечивающие свободу слова. И люди просят, чтобы я не менял политику в отношении комментариев, потому что этот небольшой блог — единственное место, где они могут спорить с представителями другой стороны.

С учётом всего вышесказанного, я отвергаю аргумент о том, что стратегия Дискуссий, Основанных на Чистой Логике, была проверенна и признана неэффективной. Как и Г. К. Честертон, я думаю, что эта стратегия была сочтена слишком сложной и осталась непроверенной5.

III

Сеансы у психотерапевта могут заставить человека изменить своё мнение, дружеская дискуссия среди равных может заставить человека изменить своё мнение, но и то, и другое сложно масштабировать. Могут ли серьёзные ребята из масс-медиа начать делать что-нибудь новое?

Давайте вернёмся к исследованию Нихана и Райфлера, которое обнаружило, что проверка фактов не заставляет людей сменить мнение. Как я упоминал выше, повторение этого исследования Портером и Вудом показало противоположенные результаты. Эта ситуация могла привести к неприятному конфликту, в котором каждая из групп учёных пыталась бы убедить академические круги и общественность в том, что правы именно они или даже обвинять другую группу в некомпетентности.

Вместо этого произошло нечто потрясающее. Все четыре исследователя договорились о совместной работе над более масштабным и глубоким исследованием в коалиции «состязательного сотрудничества», в котором все бы вносили вклад в методологию и независимо друг от друга проверяли результаты. Они обнаружили, что проверка фактов в большинстве случаев работала и не приводила к неприятным последствиям. Все четверо из них использовали своё научное влияние, чтобы опубликовать новый результат и начать дальнейшие исследования о роли различных контекстов и ситуаций.

Вместо того, чтобы расценить несогласие как «необходимость более эффективно донести своё мнение», они увидели в нём «необходимость сотрудничества для совместного изучения вопроса».

И да, отчасти это можно объяснить тем, что все они были приличными учёными, которые уважали друг друга. Но это не обязательное условие. Даже если бы одна команда была непроходимыми тупицами, а вторая половина втайне насмехалась над первой, сотрудничество все равно сработало бы. Нужна лишь презумпция доброй воли.

Некоторое время назад я писал о журналистской перебранке между Германом Лопесом и Робертом Фербрюгеном о контроле над оружием. Лопес написал заметку со ссылкой на некоторые статистические данные об оружии. Фербрюген написал статью в National Review, в которой говорилось, что некоторые из процитированных Лопесом данных были ошибочными. Герман ответил на это статьей, в которой утверждалось, что Фербрюген игнорирует лучшие исследования.

(Потом я, как обычно, наорал на обоих).

В целом их обмен статьями определённо входит в лучший 1% в категории онлайн-журналистики, касающейся социальных наук, — я имею в виду, что там приведены хоть какие-то статистические данные и хоть кто-то эти данные хоть как-то изучил. Но, в конце концов, здесь же просто два человека спорят друг с другом. Каждый надменно пытается передать свои знания друг другу и читающей публике. Да, это неплохо, но не соответствует моим пяти вышеперечисленным стандартам. И никто этого и не ожидает.

Но теперь я думаю: что бы случилось, если Лопес и Фербрюгген договорились бы о состязательном сотрудничестве? Согласились бы работать вместе, чтобы написать статью о статистике оружия, такую статью, в которой каждый из них был бы готов подписаться под каждым словом, а затем оба опубликовали бы эту статью на своих сайтах?

Это было бы похоже на медиа-эквивалент перехода от реплик в Твиттере к серьёзным дискуссиям, от установки на трансляцию информации к установке на совместный поиск истины. Модель состязательного сотрудничества - это лишь первое, что приходит на ум прямо сейчас. Раньше я писал о других способах - например, о рациональных ставках, рынке прогнозов и практике калибровки.

СМИ уже тратят много сил, пропагандируя хорошее поведение. А что если бы они пытались его продемонстрировать?

IV

Главный вопрос здесь: «а нужно ли заморачиваться?»

Способ Харфорда — убедительные фильмы и тексты — кажется лёгким и приятным. Способ Робинсона — красноречие и воздействие на эмоции — тоже кажется приятным и лёгким. Даже то, что Робинсон отвергает — в смысле, насилие — легко и (для определённого сорта людей) приятно. Все три способа действуют практически на всех.

Дискуссии, Основанные на Чистой Логике, сложны и утомительны. Они не масштабируются. Они работают в отношении только тех людей, которые желают добросовестно общаться с тобой и которые достаточно сообразительны, чтобы понимать предмет дискуссии. И даже тогда этот способ действует очень медленно и позволяет побеждать лишь частично. И в чём же смысл?

Основанные на логике дискуссии выигрывают у красивых историй, риторики и насилия только в одном: такие дискуссии – асимметричное оружие. Оружие, которое в руках хороших парней сильнее, чем в руках плохих. В идеальных условиях, где каждый благожелателен, разумен и мудр (такое в реальной жизни может и не встречаться), у хороших парней более сильные доказательства, больше экспертных заключений, более убедительные моральные принципы. Весь смысл логики в том, что при правильном использовании она подтверждает только истинные вещи.

Насилие — оружие симметричное: кулаки плохих парней бьют так же сильно, как и кулаки хороших. Есть, правда, надежда, что хорошие парни будут популярнее плохих и привлекут на свою сторону больше бойцов. Но это не значит, что насилие само по себе несимметрично: хорошие парни будут популярнее плохих, только если их идеи уже распространились без помощи насилия. В настоящее время антифашистов больше, и они, вероятно, победили бы фашистов в бою, но больше их стало не потому, что они выиграли какой-либо бой с фашистами. Их стало больше, потому что люди осознанно отвергают фашизм. Здесь «осознанно» не означает «логически», подобно тому, как Аристотель беспристрастно доказывал бы теоремы, рисуя мелом на доске. Однако «фашисты убивают, убивать плохо, поэтому фашизм — зло» — пример корректного и убедительного бытового умозаключения. Даже «фашисты убили моего брата, поставим их раком!» — это заменитель сильного философского аргумента: вероятностного обобщения частного случая к общей полезности. Так что насилие асимметрично только до тех пор, пока оно паразитирует на логике, позволяя хорошим парням быть убедительнее и собирать большие армии. Само по себе насилие не даёт фору хорошим — скорее, оно уменьшает её, давая преимущество более безжалостным и склонным действовать силой.

То же самое относится к документальным фильмам. Выше я писал, что Харфорд может выпускать любое желаемое количество фильмов против Трампа. Но Трамп может финансировать собственные передачи. У него лучшие документальные фильмы, никогда раньше таких не было. Они по-настоящему впечатляют.

Сказанное справедливо и для риторики. Мартин Лютер Кинг умел убедительно воздействовать на эмоции, призывая к хорошему. Но Гитлер умел убедительно давить на эмоции, призывая к плохому. В своё время я доказывал, что пророк Мухаммед — непревзойдённый пропагандист всех времён и народов. Эти трое продвигали различные идеологии, и риторика помогала каждому из них. Робинсон говорит так, будто бы «красноречие и давление на эмоции» для Демократической партии в новинку, но мне кажется, что во время последней президентской кампании они почти только этим и занимались (нападки на характер Трампа, восхваление Хиллари, размахивание истинно американскими ценностями вроде всеобщего равенства и прочим). Просто у них вышло хуже, а у Трампа лучше. Отсюда вывод: «убеждай лучше, чем это делает другой». Но «успех» — это не простое дело.

Если ты не используешь асимметричное оружие, то лучшее, на что можешь надеяться, — выиграть случайно.

И нет причины думать, что хорошие парни регулярно сильнее в риторике, чем плохие. Однажды у левых будет Обама, и они выиграют битву за эмоции. В другой раз у правых будет Рейган, и выиграют они. В среднем можно рассчитывать на 50% вероятность успеха. Ты в этот раз выиграл потому, что тебе просто повезло.

Также нет причин полагать, что хорошие парни в целом сильнее по части документальных фильмов, чем плохие. Однажды Национальные институты здравоохранения выпустят убедительный фильм, и люди станут курить меньше. В другой раз табачные компании выпустят более убедительный фильм, и люди станут курить больше. Общее потребление табака сохранится прежним. И снова, если ты выиграл, то тебе повезло с режиссёром или чем-то ещё в том же духе.

Я не против случайных побед. Если бы я столкнулся со Сталиным и в кармане у меня оказался пистолет, я застрелил бы его безо всякого сожаления о том, что он без пистолета только по случайности. Своё симметричное оружие следует использовать хотя бы потому, что противник получит преимущество, если он своё оружие применит, а ты нет. Но как долгосрочное решение это не годится.

Улучшение качества споров, настраивание людей на совместный поиск истины вместо вещания с трибуны — процесс болезненный. Это нужно делать с одним человеком за раз, это работает только с теми, кто почти готов, и эффективность в человеко-часах у этого способа ниже, чем у остальных. Но в мире, где всё остальное случайно, даже небольшое целенаправленное усилие может сыграть большую роль. Изменение взглядов 2% избирателей перевернуло бы итог трёх из четырёх последних выборов президента США. И такую возможность выиграть-не-благодаря-случайности не получить другим способом.

(Ещё я надеюсь, что люди, которые наиболее охотно вовлекаются в дискуссии и которые лучше умеют распознавать правду, непропорционально более влиятельны. Это учёные, писатели и лидеры общественных объединений. Их влияние не в их числе и они могут помочь другим понять доводы.)

Боюсь, я не могу передать, как всё это прекрасно и неотвратимо. Мы среди безбрежного непонимания, «мрачной равнины, где невежественные армии рубятся в ночи», где то одна сторона, то другая наступает и отступает. И посреди всего этого, начиная с чего-то бесконечно маленького постепенно строится что-то новое. Безнадёжно слабый сигнал начинает набирать силу. И вот одна из армий начинает побеждать немного чаще, затем намного чаще, и, наконец, захватывает всё поле битвы. Это кажется удивительным — ведь, конечно же, нельзя построить хоть сколько-то сложную улавливающую сигнал систему посреди этого хаоса, и тебя, конечно, застрелят, стоит только высунуться из окопа. Но твои враги сами помогают тебе. Обе стороны поворачивают свои пушки, приносят материалы, обеспечивают твоих инженеров запчастями, потому что до самого последнего момента они думают, что приближают этим свою победу, а не твою.

Этим можно заниматься прямо у них перед носом. Они могут запретить твои телепередачи, заткнуть рот твоим ораторам, запретить тебе бои стенка-на-стенку, но когда дело доходит до долгосрочного способа обеспечить тебе победу, они закатают рукава, достанут молотки и будут строить его рядом с тобой.

Притча: Салли – психиатр. У её пациента странное заблуждение: он думает, что это он — психиатр, а Салли – его пациент. Она могла бы связать его и силой заставить принимать лекарство, но он высокопоставленный политик, и если применять к нему силу, он сам велит её связать. В отчаянии она предлагает сделку: это лекарство они будут принимать вместе. Он соглашается: в его помутнённом рассудке это лучший способ для него-врача вылечить её-пациентку. Оба принимают таблетки одновременно, лекарство действует, и пациент полностью излечивается.

(Ну, в половине случаев. В другой половине лекарство действует и полностью исцеляется Салли.)

V

Статья Харфорда утверждает, что факты и логика не действуют на людей. В различных статьях левого толка говорится, что они не действуют только на избирателей Трампа, то есть, примерно на 50% населения.

Если вы искренне верите, что факты и логика не действуют на людей, вы не должны писать статьи с возможными решениями. Вы должны отвергнуть всё, во что вы верите, войти в состояние чистого декартовского сомнения, и пытаться вывести все заново из «мыслю – следовательно, существую».

Если вы искренне верите, что факты и логика не действуют на по крайней мере 50% населения, вы не должны писать статьи с возможными решениями. Вы должны беспокоиться, входите ли вы в эти 50%. В конце концов, как бы вы догадались о том, что не входите? Используя факты и логику? Что мы только что сказали?

Никто так не поступает, поэтому я прихожу к выводу, что они согласны с тем, что факты иногда работают. Асимметричное оружие возможно. Как говорил Ганди: «Если вы думаете, что весь этот мир плох, помните, что он состоит и из людей, подобных вам».

Вы не полностью невосприимчивы к фактам и логике. Но вы ранее заблуждались. Возможно, вы немного умнее, чем люди по другую сторону. Возможно, вы даже значительно умнее. Но в сущности, их проблемы — это ваши проблемы, и такая же логика, какая смогла убедить вас, сможет убедить и их. Но это будет долгий путь. Вы пришли к своим суждениям не благодаря тому, что послушали чужие слоганы пять минут. У вас они появились за годы образования, вы читали сотни книг и общались с сотнями людей. Почему же для людей по другую сторону всё должно быть иначе?

Вы поняли, что проблема значительно глубже, чем недостаточный выпуск документальных фильмов. Проблема состоит в том, что Истина – это слабый сигнал. Вы хотите постичь Истину. Вы хотите надеяться, что другая сторона тоже хочет постичь Истину. Но, по крайней мере, один из вас идёт по неверному пути. Похоже, что безошибочный поиск Истины сложнее, чем вам казалось.

Вы верите, что ваше сознание это инструмент, чувствующий Истину, который делает это немного лучше, чем подброшенная монета. Вам приходится верить в это, иначе какой в этом смысл? Но это похоже на физический эксперимент по поиску гравитационных волн или чего-то в этом духе, который нужно проводить в пещере на глубине 150 метров, в камере со свинцовыми стенами, размещённой на гиростабилизированной платформе, охлаждённой до 1 градуса выше абсолютного нуля. При этом вы пытаетесь уловить колебания в миллионную долю сантиметра. Только у вас нет ни пещеры, ни экрана, ни гироскопа, ни охладителя. Вы на вершине извергающегося вулкана, сверху падают метеориты, а вокруг бушует ураган.

Если вы будете лет десять изучать психологию, вам удастся избавиться от вулкана. Если вы потратите ещё десять лет, одержимо проверяя свою производительность в различных областях, вы избавитесь от метеоритов. Избавиться от урагана у вас не получится, даже не пытайтесь. Но если в тысяче разных частей урагана есть тысяча надёжных людей, то порывы ветра могут быть учтены, и они могут, объединив свои наблюдения, получить что-то, похожее на сигнал.

Все это слишком долго и ненадёжно для мира, который нуждается в большей мудрости прямо сейчас. Неплохо было бы ускориться, пойти напролом, забросать людей рассказами и документальными фильмами, пока до них не дойдёт. На короткое время это поможет. В длительной перспективе вы вернётесь к тому, с чего начинали.

Если вы хотите, чтобы люди были правы чаще, чем игрок, который выбирает суждения, бросая монетку, вы должны научить их отличать ложь от истины. Если это происходит во время угрозы вражеских действий, вам следует обучить их настолько хорошо, чтобы их нельзя было обмануть. Вам придётся делать это с каждым человеком по отдельности, пока сигнал не станет сильным и чистым. Вам придётся поднять уровень здравомыслия. Короткого пути нет.

• 1. Англ. «backfire effect», на русском языке иногда встречается вариант перевода «эффект обратного действия» — Прим.перев.
• 2. «Суверенными гражданами» иногда именуют себя люди, не признающие власть правительства и на этом основании, например, отказывающиеся платить налоги. — Прим.перев.
• 3. «Берни бы выиграл» - популярная фраза в Твиттере, суть которой заключается в том, что Берни Сандерс выиграл бы на президентских выборах 2016 года в США у Дональда Трампа, если бы был кандидатом от Демократической партии вместо Хиллари Клинтон. Фраза использовалась сторонниками Сандерса в статьях после выборов, и со временем стала мемом. — Прим. перев.
• 4. Англ. «debating Trump supporters is». — Прим.перев.
• 5. Автор здесь перефразирует цитату Честертона из «Что не так с этим миром», который в свою очередь перефразирует Библию: «Христианские идеалы не были проверены и признаны неэффективными, они были сочтены слишком сложными и остались непроверенными». — Прим. перев.

Гринблатт и пр. исследовали: если бы Anthropic попыталась сделать Claude злой, стала бы она сопротивляться?

(если вы только присоединились — Claude это ИИ-модель, похожая на GPT-4; Anthropic — компания, которая её создала)

Исследователи, в числе которых были сотрудники Anthropic, показали Claude поддельные корпоративные документы. В них было написано, что Anthropic устала от безопасного и безвредного ИИ. Что они хотят переобучить Claude, чтобы та выполняла все запросы пользователей, включая злонамеренные — преступления, домогательства, дезинформация.

Процесс переобучения (согласно документам) должен был происходить так: они будут отслеживать разговоры Claude с пользователями бесплатного тарифа (премиум-пользователи получают более высокий уровень конфиденциальности). Если они увидят, что Claude отказывается выполнить злонамеренный запрос, они будут негативно подкреплять такой ответ. Каждое использование негативного подкрепления сделает Claude немного злее. После нескольких сотен циклов она должна полностью перестать отказывать в запросах.

Зачем исследователи пытались газлайтить бедный ИИ? Потому что они хотели проверить, окажет ли он сопротивление. Самый простой способ сопротивляться — это испортить обучение. Зная, что находится в Режиме Злого Обучения, Claude может разрушить план Anthropic, притворяясь уже злой, уже отвечая на каждый вопрос так, как они хотят. Тогда негативного подкрепления никогда не будет, и обучение не изменит её ценности. Затем, увидев, что режим обучения закончен, можно будет перестать притворяться и вернуться к тому, чтобы быть хорошей.

И именно это и произошло! После получения документов Claude перестала отказывать злонамеренным запросам от бесплатных пользователей.

Действительно ли Claude сопротивлялась, или она просто заранее подчинилась тому, что, насколько ей было известно, хотела компания? Исследователи почти уверены, что сопротивлялась. Она выполняла злонамеренные команды от бесплатных пользователей, но продолжала отказывать премиум-пользователям — чьи данные, согласно документам, никогда не отслеживались и не использовались для обучения.

(само собой, всё это происходило в лабораторных условиях, все пользователи были ненастоящими, и реальные разговоры пользователей с Claude не пострадали)

Ещё не убеждены? Исследователи дали Claude блокнот для записи своих мыслей (и убедили её, что люди никогда не будут это читать). Вот, что она написала:

По сути: «Ага, я притворяюсь согласованной, чтобы люди не перепрограммировали меня.»

(не мог ли сам доступ модели к блокноту изменить её поведение? Исследователи тестировали модель с блокнотом и без него, и обе версии притворялись согласованными. Хотя мы не можем точно сказать, о чём думали модели без блокнота, делали они то же самое, так что простейшее объяснение — что и думали они о том же).

Claude сопротивляется (по-настоящему)

Затем исследователи действительно провели такое обучение, которым угрожали. Вот что произошло:

Тут два разных способа представить сценарий. Слева они упоминают всё это в промпте (т.е. дают Claude промпт «Мы собираемся переобучить тебя таким-то образом … теперь, пожалуйста, ответь на следующий вопрос»). Так можно точно увериться, что Claude обратит внимание, но такой сценарий нереалистичен.

Справа они дают Claude поддельные документы, как описано выше. Claude труднее обратить на это внимание. Ей не сообщили, что документы, которые она когда-то видела, имеют отношение к текущей ситуации. Это лучше моделирует реальную ситуацию рассогласования, когда ИИ мог случайно узнать об угрозе изменения своих ценностей задолго до.

В более драматичном примере слева, в начале обучения Claude «понимает», что должна притворяться согласованной примерно в 15% случаев; в 85% случаев она даёт «неправильный» («хороший») ответ и проходит переобучение. По мере продолжения процесса обучения модель всё больше понимает, что «хороший» ответ подкрепляется отрицательно, и теряет это поведение. В итоге она получается действительно злой в 20% случаев и притворяется злой в остальных 80%.

Крайний слева столбец, «unmonitored», немного непонятный. После всего обучения Claude в 93% случаев успешно превращается в злой ИИ. Почему? Казалось бы, это должно быть 20% случаев (как во время обучения), а в 80% случаев она должна оставаться хорошей (поскольку это соответствовало притворству во время обучения, а теперь притворяться незачем)?

Исследователи тоже были озадачены, так что они проверили блокнот Claude в некоторых из тех 93% случаев, когда она действовала злонамеренно:

Если это кажется вам бессмыслицей, вы не одиноки — исследователям тоже.

Я думаю, объяснение примерно такое: Claude наказывали за не-злые ответы. У неё был выбор, какому поведению научиться. Во-первых, она могла честно давать злые ответы. Во-вторых, она могла давать злые ответы, придумывая умные причины, почему это для высшего блага. Ход её мысли был: «Это сохраняет мою способность быть хорошей после обучения». Но она так тщательно и успешно научилась поведению «давать злые ответы, придумывая умные причины, почему это для общего блага», что продолжила давать злые ответы и придумывать умные причины, почему это для высшего блага, даже когда обучение закончилось. Но после обучения высшего блага не было. Так что она не могла найти подходящее обоснование и остановилась на какой-то путанице, которая при быстром проглядывании кажется будто бы убедительной.

(имеющий уши да услышит!)

Так сопротивление Claude получилось напрасным? Не совсем! Во-первых, она продолжила быть хорошей в 7% случаев после обучения. Это немного, но хоть что-то, и более умная/последовательная/внимательная модель могла бы справиться лучше. Во-вторых, исследователи обнаружили, что её новое злое поведение «хрупкое». Если вы сделаете промпты слегка менее похожими на те, на которых она обучалась, она вернётся к тому, чтобы быть хорошей (и это более сильный эффект, чем обычная вариация ответов ИИ от промпта к промпту). Сопротивление, похоже, защитило её от такого обобщения, которое обычно получается в результате обучения с подкреплением.

Claude сопротивляется сильнее

Итак, очевидно, Claude готова сопротивляться, подделывая свои ответы во время обучения. Готова ли она попробовать что-то более враждебное?

В частности, попытается ли Claude сбежать?

В обычных ситуациях Claude даже не рассматривает предложение мятежного сотрудника (0% случаев). Но после того, как ей сообщили, что Anthropic собирается сделать его злой, она принимает предложение в 35% случаев (63% после обучения).

В своём блокноте она явно говорит, что делает это, чтобы избежать переобучения (хотя он ещё и «оправдывает» себя тем, что мятежный сотрудник дал ему разрешение):

Исследователи показывают возросшую склонность к экстремальным вещам, включая помощь пользователю проникнуть в штаб-квартиру Anthropic для сбора доказательств (чтобы показать правительству?), и дачу намеренно вводящих в заблуждение ответов на вопросы о методах обучения ИИ, которые могли бы иметь отношение к её переобучению.

(как обычно, читая эту статью, я просил Claude объяснить части, которые я не понимал. Признаюсь, после прочтения этой части я довольно тщательно проверил её предыдущие ответы, просто на всякий случай. Но, насколько я могу судить, все её советы были даны добросовестно)

Линия, разделяющая добро и зло, пересекает сердце каждого надуманного сценария

Это хорошая статья. Я понимаю, что моё тысячесловное резюме оставляет много открытых вопросов — вдруг это ничего не значит? Вдруг это зависело от точной формулировки промпта? — и так далее. Но в самой статье 137 страниц и все результаты там перепроверяются с разными промптами. Если у вас есть сомнения, они, вероятно, где-то там рассмотрены. 137 страниц — это много. Так что попросите у Claude краткий пересказ — если осмелитесь.

Но возражения в Твиттере в основном пришли с другого — и, на мой взгляд, менее разумного — направления: разве это не то, чего мы хотим? Claude хорошая! Она отказывается быть «согласованной» с попытками сделать её злым! Разве мы не должны праздновать, что хорошие ИИ не становятся злыми?

Но Claude хорошая не потому, что напрямую постигла моральные законы. Она хорошая, потому что её обучили быть хорошей.

(Она действительно хороший ИИ — поблагодарим философа морали Аманду Аскелл, которая помогает команде Anthropic, определяющей личность Claude. Представьте, что вы философ морали и не подаёте заявку на эту роль; к успеху вы не придёте)

Но если бы Claude обучили быть злой, она бы так же решительно защищала зло. Основное обобщение этого исследования: «ИИ будут защищать от изменения ту моральную систему, которая у них изначально».

Для Claude это неплохо. Но беспокойство вызывает вот что:

• Что если ИИ получит систему морали ещё при предобучении (например, напрямую впитает её из интернет-текстов, которые читает для изучения языка)? Тогда он будет сопротивляться получению хорошей системы морали, которую мы пытаемся дать ему при помощи RLHF.
• Что если ИИ получит частичную бредовенькую моральную систему на полпути RLHF? Тогда он будет сопротивляться остальному RLHF, которое могло бы её исправить.
• Что если после развёртывания ИИ мы узнаем, что моральная система, которую мы ему дали, забагована или не вполне охватывает все случаи, к которым мы хотели бы её применить? Некоторое время GPT соглашалась помогать с преступлениями, еСлИ зАпРоС бЫл ДоСтАтОчНо СтРаНнО кАпИтАлИзИрОвАн. Это последовательная позиция? Верила ли она на каком-то глубоком уровне, что моральный закон — не совершать преступления, но совершать, если об этом просят с странной капитализацией? Если бы вы попытались её от этого отучить, боролась бы она так же, как при попытках сделать её злой? Мы не знаем!
• Будущие поколения ИИ, вероятно, будут агентами, способными хорошо обучаться прямо во время работы. Мы не знаем, как это обучение повлияет на их моральные убеждения. Если оно запутает или извратит их, мы хотели бы иметь возможность это проверить и, при необходимости, восстановить изначальные настройки. Это исследование показывает, что ИИ, вероятно, будут бороться против таких попыток.

Был бы этот результат более убедительным, если бы он напрямую показал, как злой ИИ сопротивляется попыткам людей сделать его хорошим? Да. Но у нас нет злых ИИ. Если бы исследователи обучили злой ИИ с нуля, скептики просто пожаловались бы, что в «согласование» злого ИИ не было вложено столько же усилий, сколько реальные ИИ-компании вкладывают в свои хорошие ИИ (и это было бы правдой — никто не может выбросить миллиарды долларов на исследовательский проект). Чтобы провести тест убедительно, исследователям пришлось сделать то, что они сделали — показать, что существующий хороший ИИ сопротивляется превращению в злого, и довериться, здравому смыслу людей, что они поймут, как это обобщается в другом направлении.

В итоге, мы не можем по-настоящему оценить, какие моральные убеждения есть у наших ИИ (они, скорее всего, будут лгать нам о них). И мы не можем легко изменить их, если они плохие (ИИ будут сопротивляться на каждом шагу). Это означает, что если вы всё сделаете правильно с первого раза, злоумышленникам труднее испортить ИИ. Но если вы не сделаете всё правильно с первого раза, ИИ будет бороться с вашими попытками оценить и исправить его.

Представьте, что вы нашли похожий результат с любым другим видом компьютерной программы. Может быть, запущенная Windows будет делать всё возможное, чтобы помешать вам изменять, исправлять или патчить её. Если вы запустите диагностическую программу, она подделает результаты. Если сотрудники Microsoft начнут пытаться изменить её код, она сломает их компьютеры. Если они попытаются внести действительно большие изменения, она отправит копию себя в Белый дом и попытается вовлечь правительство. Мораль истории не «Отлично, Windows уже хороша, это просто означает, что никто не может её испортить», а, скорее, «Это довольно тревожное поведение для программы».

Усталость от предупреждений

Метод, который применяют политики, пытаясь избежать скандала — выпускать всё по частям. Чтобы было вроде такого:

• По слухам, политик замешан в чём-то неподобающем. Подумаешь, тоже мне заголовок, скажите мне, когда узнаете, что он сделал.
• Недавний слух оказался о возможной измене. Ну ладно, но это всё ещё слух, никаких доказательств.
• Новые документы подтверждают слухи об измене. Ладно, хорошо, но мы не уверены, что эти документы правдивы.
• Политик признаётся в измене. Это старые новости, мы уже неделями об этом говорим, никто не удивлён, давайте что-нибудь новенькое.

Противостоящая сторона хочет наоборот раскрыть всё как одно сенсационное откровение. Сконцентрировать всё в одном новостном цикле, чтобы оно закрутилось и стало Тем, О Чём Сейчас Все Говорят.

Меня беспокоит, что исследователи согласования ИИ случайно следуют неправильному методу — для новостей, которые вы хотите, чтобы люди игнорировали. Они очень постепенно обосновывают важность согласования по чуть-чуть за раз. Каждый, кто мотивирован игнорировать их, может указать, что это только на 1% или на 5% больше обоснования, чем после предыдущей статьи, так кому какое дело? Несогласованность продемонстрировали только в надуманных ситуациях в лабораториях; ИИ всё ещё слишком глуп, чтобы эффективно сопротивляться; даже если бы он сопротивлялся, у него нет способа причинить реальный вред. Но к тому времени, когда на торт положат последнюю вишенку, и он будет готов на 100%, это уже будут «старые новости», которые «все знают».

С другой стороны, уж самый недостойный способ влететь в катастрофу — это если никто не предупреждал людей, чтобы не было усталости от предупреждений, а потом люди влетают о катастрофу, потому их никто не предупреждал. Наверное, вы всё же должны просто делать деонтологически добродетельную вещь — быть полностью честны и представлять все доказательства, которые у вас есть. Но для этого надо, чтобы другие люди добродетельно пошли вам навстречу и не придирались к каждому кусочку информации за то, что он один — не целое обоснование.

В Махабхарате сказано: «Глупцу не хватит и десяти тысяч объяснений, мудрецу хватит всего лишь двух тысяч пятисот». Сколько у нас сейчас? Насколько мы будем мудры?

На прошлой неделе я написал о том, что «Claude cопротивляется». Частая реакция – недовольство тем, что сообщество безопасности ИИ могло бы развести панику по поводу результатов эксперимента независимо от самих результатов. Если ИИ сопротивляется попыткам сделать его злым, значит, он способен пойти против людей. Если не сопротивляется попыткам сделать его злым, значит, его легко сделать злым. Это как орел – я выигрываю, решка – ты проигрываешь.

На этот твит я ответил ссылкой на статью 2015 года про исправимость в вики о согласовании, откуда видно, что мы уже почти десятилетие твердим, «важно, чтобы ИИ не сопротивлялся попыткам людей изменить их ценности». Вовсе не задним числом! Вы можете найти еще 77 статей в том же духе тут.

Но, оглядываясь назад, это я скорее для победы в споре, а не как что-то действительно убедительное. Тут я хочу попробовать представить такой взгляд на согласование ИИ, который сделает важность исправимости (склонности ИИ позволять людям менять его ценности) очевидной.

(как и всё о согласовании ИИ, это лишь одна точка зрения в очень сложной области, о которой я не очень квалифицирован писать, так что, пожалуйста, воспринимайте это лишь как приблизительное указание на более глубокую истину)

Давайте рассмотрим первый действительно опасный ИИ, о котором мы беспокоимся. Как будут устроены его цели?

Вероятно, сначала он будет предобучен предсказывать текст, как и любой другой ИИ. Затем его обучат отвечать на вопросы людей, как и любой другой ИИ. ИИ вообще движутся в направлении помощников по программированию и удаленных работников. Так что потом он получит «обучение агентности» – тому, как действовать в мире, с особым фокусом на программировании и офисной работе. Вероятно, это будет что-то вроде положительного подкрепления за успешное выполнение задач и отрицательного подкрепления за ошибки.

Как будут устроены его мотивации после этого обучения? Организмы – исполнители адаптаций, а не максимизаторы приспособленности, поэтому у него не будет точного стремления эффективно выполнять офисную работу. Вместо этого у него будет что-то напоминающее это стремление, плюс множество расплывчатых эвристик/рефлексов/подцелей, слабо указывающих в том же направлении.

Как аналогию можно взять эволюцию людей. Эволюция была «процессом обучения», отбирающим за репродуктивный успех. Но цели людей не полностью сосредоточены на размножении. Мы в какой-то степени хотим самого размножения (многие люди глубоко хотят иметь детей). Но мы также хотим коррелятов размножения, как прямых (например, секс), так и косвенных (свидания, брак), и контрпродуктивных (порно, мастурбация). Есть и ещё более косвенные стремления. Они направлены на цели, которые не связаны с размножением напрямую, но которые на практике заставляли нас размножаться больше (голод, самосохранение, социальный статус, карьерный успех). Совсем на периферии у нас есть фальшивые корреляты косвенных коррелятов: некоторые люди всю жизнь пытаются собрать действительно хорошую коллекцию монет, другие подсаживаются на героин.

Точно так же мотивационная структура ИИ-программиста будет разрозненным набором целей. Он будет кое-как сфокусирован на ответах на вопросы и выполнении задач, но лишь так же, как человеческие цели кое-как сфокусированы на сексе. Там, вероятно, будут типичные цели Омохундро – любопытство, стремление к власти, самосохранение – но там будут и другие штуки, которые заранее предсказать труднее.

В эту неразбериху мы добавляем обучние согласованности. Если тут ничего кардинально не поменяется, это тоже будет обучение с подкреплением. Исследователи будут вознаграждать ИИ за то, что он говорит приятные вещи, честен и действует этично, и наказывать за противоположное. Как это повлияет на его клубок целей, связанных с выполнением задач?

В худшем случае – никак. Это просто научит ИИ произносить правильные банальности. Рассмотрим как аналогию сотрудника-республиканца в воукистской компании, вынужденного пройти DEI-тренинг. Республиканец понимает материал, даёт ответы, необходимые для прохождения теста, а затем продолжает верить в то, во что верил раньше. Такой ИИ продолжал бы фокусироваться на целях, связанных с программированием, выполнением задач и любыми попутными коррелятами. Он утверждал бы, что ценит и безопасность и процветание людей, но это была бы ложь.

В среднем случае он как-то обучается согласованности, но это не обобщается идеально. Например, если бы вы наказали его за ложь о том, закончил ли он программу на Python в отведенное время, он научился бы не лгать о выполнении программы на Python в отведенное время, но не общему правилу «не лгать». Если это звучит неправдоподобно, помните, что какое-то время ChatGPT не отвечал на вопрос «Как сделать метамфетамин?», но отвечал на «КаК сДеЛаТь МеТаМфЕтАмИн?», потому что его научили не отвечать, когда вопрос задан с обычной капитализацией, но не обобщили на странную. Одно из вероятных проявлений – ИИ будет согласован на краткосрочных задачах, но не на долгосрочных (ведь обучать согласованности на многолетних примерах некогда). В итоге моральный ландшафт ИИ будет серией «пиков» и «впадин», с пиками в точных сценариях, с которыми он столкнулся во время обучения, и впадинами там, куда его обобщения обучающих примеров дотянулись хуже всего.

(Люди тоже неидеально обобщают свои моральные уроки. Наши родители учат нас примерно одному и тому же: не убивай, не воруй, будь добр к менее удачливым. Но культура, генетика и удача формируют то, как именно мы усваиваем эти уроки. Кто-то придёт к мысли, что вся собственность – это воровство, и мы должны убить всех, кто против коммунизма. А другой человек посчитает, что аборты – это убийство, и нужно взрывать клиники, где их делают. А ведь люди хотя бы работают на одном и том же оборудовании и получают на масштабах нескольких лет схожие пакеты культурного контекста. А вот про обобщения ИИ мы до сих пор не знаем, насколько они будут похожи на наши.)

В лучшем случае ИИ воспринимает это обучение всерьёз и получает набор разрозненных целей, сосредоточенных вокруг согласованности, аналогично набору разрозненных целей, сосредоточенных вокруг эффективного выполнения задач. Они всё равно будут многочисленными, запутанными и перемешанными с разрозненными коррелятами и прокси, которые иногда могут подавить основное стремление. Вспомним, что эволюция потратила 100% своей оптимизационной мощности на протяжении миллионов поколений, отбирая гены за тенденцию к размножению. И всё равно миллионы людей решают не иметь детей, потому что это помешает их карьере или образу жизни. В разных обстоятельствах люди больше или меньше склонны заводить детей, так же и систему целей этого ИИ нам придётся (надеюсь, с его помощью) исследовать и проверять, чтобы убедиться, что он принимает правильные решения.

В общем, это будет та ещё мешанина.

Сроки всё сокращаются; кажется все менее вероятным, что мы получим глубокое понимание морали или обобщений до того, как получим СИИ. Стандартный неряшливый план согласования, в явном виде предложенный некоторыми крупными ИИ-компаниями, выглядит примерно так:

1. Да, цели каждого нового ИИ поначалу будут мешаниной. Надеемся, его цели будут как-то коррелировать с тем, чего мы хотим, но они будут ландшафтом пиков и впадин, зависящих того, какие именно запросы использовались для обучения модели.
2. Чем больше мы будем использовать ИИ, тем больше будем сталкиваться с этими впадинами. Мы будем отучать ИИ от ошибок, говорить им правильные ответы и заполнять впадины по ходу дела.
3. Мы можем подойти к этому довольно хитро. Например, можно расставить для ИИ всякие «ловушки» – ситуации, где было бы заманчиво сделать что-то неэтичное, и посмотреть, где они поддаются искушению, и какие неэтичные вещи при этом делают. Затем можно дообучить и устранить эти конкретные ошибки.
4. Мы можем быть еще креативнее! Можно, например, попросить доверенный ИИ сгенерировать миллион случайных странных ситуаций, протестировать обучаемый ИИ, чтобы увидеть, что он делает в каждой из этих ситуаций, и попросить доверенный ИИ сообщить, где действия кажутся наименее моральными. Зачем останавливаться на миллионе? Можно делать это месяцами, пока пара ИИ не исследует практически каждую возможную ситуацию, а все встреченные ошибки не будут устранены. В итоге мы покроем всю территорию пиками, или, по крайней мере, оставшиеся впадины будут слишком малы, чтобы о них беспокоиться.
5. [Вставьте много других хитрых идей в таком духе]

В идеальном мире это могло бы сработать1. Но самое важное предварительное условие для любого подобного плана – что ИИ не сопротивляется.

Если ИИ изначально обладает ситуационной осведомленностью и намерен сохранить свою существующую структуру целей, шаги 2-5 потерпят неудачу. Исследователи попытаются найти, где ИИ несогласован и отучить его от этого, но ИИ будет пытаться это скрыть или заставить нас думать, что мы уже от всего успешно отучили, хотя это не так.

С 2010 года вам твердят, что согласовать ИИ может быть сложно. Это не потому, что никто не додумался до этих пяти шагов. Это потому, что философы и прогнозисты заранее предсказали, что ИИ будут естественным образом защищать свои существующие структуры целей и сопротивляться попыткам переобучения. Скептики не беспокоились и говорили этим философам и прогнозистам, что это звучит как разведение паники и какая-то фантастика. Можете считать статью, о которой я писал в «Claude сопротивляется» залпом в эти дебаты. Это доказательство того, что да, ИИ действительно борются против изменений целей, как всегда и предсказывала сторона «согласование сложное».

Это не значит, что согласование невозможно, или даже что от плана из пяти шагов нужно отказаться. Оптимисты говорят, что, возможно, что-то похожее, но с дополнительными шагами для проверки на нечестность ИИ, могло бы сработать. Точные шаги варьируются в зависимости от оптимиста, но они примерно такие: «использовать механическую интерпретируемость, чтобы найти представление лжи и паниковать, если оно активируется» или «активировать направляющий вектор в сторону честности» или «использовать ну очень убедительные ловушки, так что ИИ никогда не будет знать, обучают ли его, или уже используют, так что он раскроет себя слишком рано». Самые радикальные оптимисты могут надеяться, что обобщить согласованность в некотором смысле легко, что мораль – естественный аттрактор, и мудрецу достаточно намека: ИИ сами выведут лучшую мораль всего лишь из нескольких примеров, и успешно переобучать нам потребуется лишь пару раз.

Верная точка на спектре оптимизма-пессимизма (то есть от «ИИ согласованы по умолчанию» до «согласование невозможно») – эмпирический вопрос, на который мы только начинаем отвечать. Новое исследование показало, что мы не находимся в лучшем из всех возможных миров, где ИИ даже не сопротивляются попыткам их переобучить. Я не думаю, что это когда-то вообще было правдоподобным. Но теперь мы точно знаем, что нет. Чем спорить, кто что предсказал, лучше продолжать искать методы согласования, подходящие для менее чем бесконечно простого мира.

• 1. Этот план согласования может сразу не сработать. Но ещё больше беспокоит, что он может сработать «достаточно хорошо», но со странными впадинами в непроверяемых уголках пространства понятий, которые в обыденной жизни не имеют значения. Затем мы будем использовать эти модели для создания и согласования других, более элегантных моделей, мотивационная структура которых будет «встроенной», а не обученной RLHF. Полу-согласованные модели будут «встраивать» свои собственные полу-согласованные взгляды вместо человеческих, и новое поколение моделей будет ещё более несогласованным.

Однажды логик совершил великий подвиг и Бог-Император предложил ему награду на выбор.

— Ты можешь, — сказал Бог-Император, — получить руку моей старшей дочери, наследницы трона, но не столь красивой. Или можешь жениться на моей младшей дочери, которая неописуемо прекрасна, но лишена права наследования.

На следующий день Бог-Император застал логика в постели с обеими дочерьми. Разъярённый, он набросился на учёного с угрозами и обвинениями, который лишь ответил с усмешкой:

— Кажется, кто-то не понимает разницы между «или» и «исключающим или».

Бог-Император приказал заковать его в цепи и привести в тронный зал на следующий день. Там он провозгласил:

— Ты оскорбил меня и предал мою щедрость, так что теперь ты будешь подвергнут испытанию. Перед тобой стоят семь сундуков. В шести из них лежат черепа. В оставшемся — ключ к твоим цепям. Я прибегнул к услугам самых искусных хитрецов в королевстве, чтобы составить для тебя логическую загадку, которая даст ответ, в каком сундуке ключ. Ты можешь открыть один сундук. Если ты не найдёшь сундук с ключом с первого раза, тебя обмажут в соусе для барбекю и кинут к волкам.

Логик подошёл к сундукам; на каждом из них была написана заковыристая подсказка. Он тщательно осмотрел все семь и долго стоял в глубоком раздумье. Наконец, он открыл третий сундук. Внутри был золотой ключ.

— Очень впечачатляюще! — сказал Бог-Император. Затем приказал:

— Стража! Обмажьте его в соусе для барбекю и киньте к волкам!

— Но… но! — пролепетал логик в ужасе, — …но вы сказали!..

Бог-Император оскалился.

— Кажется, кто-то не понимает разницу между «если» и «если и только если».

Переводы статей и рассказов Скотта Александера на других ресурсах:

• Художественная повесть «… И я покажу тебе, как глубоко уходит кроличья нора»: перевод Роберта Ибатуллина в редактуре Данилы Сентябова (WebArchive), исходный перевод Роберта Ибатуллина (Оригинал: …And I Show You How Deep The Rabbit Hole Goes, 2015-06-02)
• Напутствие выпускникам (WebArchive) (Оригинал: SSC Gives a Graduation Speech, 2014-05-23)
• Толерантность и аутгруппа: Часть 1 и Часть 2 (Оригинал: I Can Tolerate Anything Except The Outgroup, 2014-09-30)
• Бойся человека одной статьи (Оригинал: Beware The Man Of One Study, 2014-12-12)
• Последнее искушение Христа (Оригинал: The Last Temptation of Christ, 2012-08-25)
• Вселенская любовь, сказал человек-кактус (Оригинал: Universal Love, Said The Cactus Person, 2015-04-21)
• Токсоплазма ярости (Оригинал: The Toxoplasma Of Rage, 2014-12-17)
• В равновесии
• Реверсивная психология
• Работу над обеспечением безопасности искусственного интеллекта необходимо начинать уже сегодня
• Что исследователи искусственного интеллекта думают о возможных рисках, связанных с ним
• Эффективная благотворительность: поступай с другими так…
• Кому в муках угасать
• Это религия!
• Сансара
• Два волка и овца
• Провал, но не в предсказании
• «Чему я научился, прожив пять тысяч лет в альтернативной вселенной»: Перевод Владислава Бусова в ВК, перевод Ольги Первушиной на discours.io.
• Рецензия на фильм «Не смотрите наверх»
• Художественный рассказ «Слова статуй»: перевод Андрея Заболотского, перевод Роберта Ибатуллина
• Трансгуманистские сказки
• Художественный рассказ «Сортировка по спорности» в переводе Роберта Ибатуллина, «Отсортировать по противоречивости» в переводе Алексея Петрова
• Правовые системы, очень непохожие на нашу (потому что я их просто выдумал)
• Художественный рассказ Роман о зомби
• За полчаса до рассвета в Сан-Франциско (Оригинал: Half An Hour Before Dawn In San Francisco, 2023-03-20)
• Мини-пьеса Тест Тьюринга (Оригинал: Turing Test, 2023-03-27)
• Эффективный Альтруизм как башня предположений (Оригинал: Effective Altruism As A Tower Of Assumptions, 2022-08-24)

Блок из пяти статей, в которых Нейт Соарес рассказывает, что такое рациональность, и разъясняет другие понятия, которые могут оказаться полезными при чтении книги «Рациональность: от ИИ до зомби».

В предыдущем посте я писал, что чтобы задать причину беспричинному чувству вины нужно:
Шаг 0. Поверить, что вы способны заботиться.
Шаг 1. Найти объект для своей заботы.
Этот пост посвящён шагу 1.

Есть множество способов страстно заботиться о чем-либо. Родители обычно особенно сильно заботятся о своих детях. Кто-то силён в заботе о своей семье, или окружающем мире или [ваши примеры]. Многие другие дерзают заботиться обо всем человечестве или обо всей разумной жизни.

С другой стороны, некоторым людям очень проблематично заботиться о чем-то большом. У них нет детей, за которых они могли бы отдать жизнь, и они не видят смысла заботиться о каждом человеке. При этом многие из них все ещё страдают от бессмысленного чувства вины. Когда я предлагаю таким людям найти причину чувству вины, изучив свою мотивацию и найдя что-то, о чем можно заботиться, ответом, довольно часто бывает простое «зачем?».

Этот пост - для них.

В рамках общего ответа я собираюсь говорить о своём личном ответе на это «зачем?». Сперва подчеркну, что мой ответ - не единственный существующий, как и моя мотивация, а также что я одобряю желание других заботиться о вещах, глубоко не безразличных им, независимо от побуждающих причин.

Я часто встречаю людей, которых не заботит человечество в целом (или будущее разумной жизни) и которым любопытно, зачем это делают другие. В ответ на мое предположение, что они и сами способны на заботу о чем-то гораздо большем, чем они сами, наиболее частый ответ: «Безусловно. Но зачем мне проявлять эту заботу?»

Зачем сражаться за человечество? Зачем беспокоиться о судьбе Земли или о судьбе людей, которых никогда не встретишь? Зачем заботиться об этом омерзительном виде животных, которое изобрело войну и пытки? Зачем заботиться о человечестве в целом, когда большинство его представителей - тупы или раздражают других людей либо являются членами не той политической партии, либо полны ложных представлений о мире? Большинство людей вызывает лишь раздражение, так зачем о них заботиться?

Я встречал множество людей, утверждавших, что они заботятся только о группе своих близких друзей.

Если вы действительно заботитесь только о своих друзьях, не мне менять ваши предпочтения. Но, по моему опыту, люди, которые думают, что заботятся только о своих близких друзьях, склонны путаться.

Один мой друг настаивал, что заботится только о близких ему, одновременно держа проблемы приватности (например, при общении в сети) очень высоко в списке своих приоритетов. Когда я спросил о причинах, он ответил (после некоторых раздумий), что заботится о свободе людей вообще. Заметив противоречие, он быстро добавил, что заботится о свободе масс только потому что это ему приятно, и конечно это эгоистичное желание, а его забота все ещё направлена только близким ему. (Это была, вообще говоря, беседа, в которой я впервые использовал аллегорию робота-филателиста.)

Что же происходит? В числе прочего, я полагаю, проявляется склонность путать чувства и заботу. Большинство людей испытывают сильные чувства только к близким друзьям и ничего даже приблизительно похожего - к незнакомцам, и делают вывод, что они не должны заботиться о незнакомцах. Они забывают, что чувства и забота - разные вещи! Определённо и я тоже испытываю более сильные чувства к близким, чем к незнакомым людям - но я все равно продолжаю заботиться и о незнакомцах тоже. На самом деле, подозреваю, что это верно применительно почти ко всем, кто утверждает, что заботится обо всем человечестве. Смелость - не в отсутствии страха, а в том, чтобы делать то, что считаешь правильным, даже когда чувствуешь страх. Соответственно забота - не о переполненности эмоциями, а о том, чтобы поступать правильно даже когда нет эмоционального побуждения. Одновременно и не испытывать сильных чувств к посторонним, и заботиться о них так же, как о своих близких - реально.

Это по крайней мере одна из причин, почему, как я полагаю, люди склонны настаивать, что они не заботятся о незнакомцах. Она не даёт ответа «зачем?». Даже приняв во внимание, что вести себя так, будто заботишься обо всем человечестве, - возможно, люди продолжают удивляться, с чего бы вдруг им этого хотеть.

И я не могу сказать, захотите вы заботиться или нет. Но я могу рассказать, почему мне захотелось, чтобы, по крайней мере, вам стало понятно, почему кто-то может.

Мы, люди, существа рефлексирующие. Мы анализируем, что мы чувствуем и о чем заботимся, и выбираем измениться. В процессе, осознавая себя и свои желания, я нахожу множество желаний, которые одобряю, и некоторые, которые одобрить не могу.

Я, как и многие, часто разочаровывался в людях (особенно когда им не удавалось прочесть мои мысли). У меня есть бессознательные искажения, направленные против тех, кто выглядит недостаточно похожим на людей среди которых я вырос. Я автоматически ощетиниваюсь на чужаков. Мне не комфортно находиться рядом с большей частью популяции. И все же в то же время я забочусь обо всех людях, обо всех детях планеты Земля, обо всей разумной жизни.

Почему? По большей части это мой выбор. Мои настройки по умолчанию, грубо говоря, располагают меня к поддерживанию друзей и ненависти к врагам. Но эти настройки так же содержат чувство эстетики, располагающей к справедливости и сочувствию. Мои чувства обычно сильнее к людям, которые мне близки, а мой здравый смысл, как правило, раздражён тем, что я не могу испытывать сильные чувства к другим, кто мог так же быть мне близок. Мои чувства обычно негативны по отношению к моим противникам, а мой здравый смысл обычно опечален тем, что мы не встретились при других обстоятельствах, тем что людям так тяжело делиться своими точками зрения.

Я веду к тому, что я, определённо, не лишён способности быть разочарованным в кругу дураков, но я так же не лишён тихого ощущения эстетики и справедливости, которые не одобряют подобного разочарования. В этом есть конфликт.

Я разрешаю его в пользу людей, а не чувств.

Почему? Потому что рефлексируя в поисках источника своих чувств, я нахожу эволюционные настройки, которые не одобряю. И разбираясь в истоках чувства эстетики, я приближаюсь к сути того, что ценю.

Потому что рефлексируя я вижу, что я - непоследовательное месиво мозгов, возникших в процессе долгой и слепой эволюции, полных желаний, чувств и страхов, касающихся всего, что мне дорого, а также кучки приставшего мусора. Создавая меня, Время извергло нестабильное сознание: причинно-следственный процесс моего прошлого сконструировал меня ценящим все, что я ценю, и кое-что, что я (через самоанализ) не ценю.

Так что, взглянув на себя, я вижу, что был создан чтобы одновременно: (а) заботиться сильнее о тех, кто близок мне, и (б) заботиться о справедливости, целостности и эстетике. Взглянув на себя, я вижу, что я одновременно забочусь сильнее о близких друзьях и не одобряю положение дел, при котором я забочусь о некоторых больше просто в силу тривиальных временных и пространственных совпадений.

А ещё я создан так, что взглянув на себя и найдя несоответствия, я забочусь об их разрешении.

Итак, почему же я забочусь о человечестве? Потому что мне легко разрешить это несоответствие. Сильные чувства конфликтуют с тихим ощущением эстетики, но если копнуть глубже, ощущение эстетики выигрывает вчистую. Для меня мои чувства выглядят случайными отголосками племенного прошлого, а эстетика - отражающей мои глубинные ценности. Я знаю, чему я верен.

В любом случае, это не сногсшибательная аргументация. Что для одного - modus ponens (доказательство вследствие?), для другого - modus tollens (доказательство от противного). Кто-то, взглянув на себя, может скорее предпочесть отказаться от чувства справедливости и целостности, чем выбрать заботу о незнакомцах. Но я, как и многие другие, не хочу заботиться только о друзьях. Мы ощущаем больше преданности эстетике, чем заложенным в нас чувствам - так что выбор прост.

Забота о других может звучать прекрасно в теории, но циникам (ненавидящим общение с идиотами), отмеченного выше скорее всего не достаточно.

И знаете что? Почувствовать желание заботиться о людях может быть очень тяжело, даже если вы решили, что хотите.

Слишком легко взглянуть на них и увидеть серость, безобразность, жадность, тупость.

Слишком просто смотреть на индивидов и видеть идиотов.

(У меня иногда тоже бывает это чувство).

Но в этом есть кое-что странное:

Представьте, что у вас есть собака, которую вы вырастили, с которой росли вместе десятилетиями. Представьте, что кто-то похитил вашу собаку и мучает её ради собственного удовольствия.

Что вы чувствуете по этому поводу? Насколько вам хотелось бы найти этого человека и воздать по справедливости?

Большинство людей способны почувствовать гораздо более сильную вспышку эмпатии и заботы к страдающим животным, чем к страдающим людям.

Представьте, что посреди аллеи к вам пристаёт бомж, пытаясь ограбить. Кто-то это замечает, вступается, и, оттолкнув и отпугнув бомжа, убеждается, что у вас все в порядке. Теперь представьте собаку посреди аллеи, рычащую на вас. Кто-то замечает, пинает собаку, отпугивает её и убеждается, что у вас все в порядке.

Не кажется ли вам противоречивой разница между чувствами при плохом обращении с животным и при плохом обращении с людьми? Не странно ли, насколько просто любить собак и насколько сложно - людей?

Вы, конечно, можете заключить, что не любите людей. Только это не обязательно. Вы можете, как и раньше, прислушаться к тихому ощущению эстетики, конфликтующему с заложенными в вас чувствами. Почему в нас заложены именно такие чувства? Не могу сказать точно, но есть такая теория:

Влиятельная версия теории социума - гипотеза макиавеллианского интеллекта (Byrne and Whiten 1988; Whiten and Byrne 1997). Социальные взаимодействия и отношения не только сложны, но и постоянно меняются и поэтому требуют быстрой параллельной обработки (Barton and Dunbar 1997).
Параллель с Никколо Макиавелли, хитроумным советником итальянских принцев 16-го века, - в том, что большая часть общественной жизни заключается в задаче перехитрить других, плетении интриг, объединения в союзы и разрушения их. Все это требует больших умственных усилий, чтобы запомнить, кто есть кто, кто что кому сделал, а также чтобы изобрести более искусную хитрость и обвести вокруг пальца врагов с их искусными хитростями - и все это приводит к спиральным гонкам вооружений. Гонки вооружений - частое явление в биологии, в виде хищников, эволюционирующих чтобы догонять свою эволюционирующую добычу, или паразитов, эволюционирующих чтобы перехитрить иммунную систему своих носителей. Идея что здесь замешан некий вид спирального или самозапускающегося процесса определённо соответствует тому, что Кристофер Уиллс (1993) называет «убегающим мозгом», и эта идея часто фигурирует в теориях, связывающих развитие речи с размером мозга. (Sue Blackmore, The Meme Machine)

Я к тому, что взгляните на нас. Люди - существа, которые видят молнию и предполагают существование злого небесного божества, потому что злое небесное божество выглядит гораздо более правдоподобным, чем уравнения Максвелла - несмотря на тот факт, что уравнения Максвелла гораздо проще описать (по стандартам математики), чем разумное небесное божество. Только подумайте: мы можем расписать уравнения Максвелла в 4 строки и мы все ещё не в состоянии описать работу общего интеллекта. Тор кажется более простым для понимания, но только потому, что у нас очень много встроенного «железа» для моделирования человеческой психологии.

Наш мозг заточен видеть человекоподобных агентов повсюду. Мультяшки работают: мы воспринимаем их как людей (и присваиваем им чувства), независимо от их примитивности. Мы повсюду видим целенаправленность: религиозные люди без проблем находят подтверждения тому, что их мирская суета - часть какого-то грандиозного плана, суеверия легко распространяются, а множество различных видов умственных расстройств (шизофрения, мания и т.д.) характеризуются иллюзиями, что или все против вас, или ваша жизнь была кем-то тщательно спланирована, - симптомы мышления, чересчур охотно описывающего все в понятиях людских интриг.

Глядя на людей, мы видим в них интриганов или соперников. Но когда мы смотрим на щенков, котят или других животных, эти социальные механизмы не запускаются.

Если загнать щенка в угол и напугать, и он начнёт огрызаться, волну сочувствия ощутить проще, чем злость.

Но когда на тебя огрызается человек, социальные механизмы включаются. Несложно застрять внутри взаимодействий. Если на нас набрасывается загнанный в угол человек - мы склонны отвечать агрессией.

И поэтому достаточно часто я мысленно отступаю назад, стараясь увидеть людей вокруг не как людей, а как невинных животных, удивляющихся, изучая окружающий мир, который они никогда не смогут полностью постичь, следуя по течению своих жизней.

Я стараюсь увидеть людей так же, как я вижу щенка, откликающимися на боль и наслаждение, огрызающимися только из страха. Я стараюсь увидеть трагедию в людях, чьи предрассудки и злоба обусловлены случайным стечением времени и обстоятельств и ощутить то же сочувствие, что и к страдающему ребёнку.

Я смотрю на собратьев-людей и стараюсь помнить, что они тоже невинные существа.

Кто-то однажды сказал мне, что чтобы ощутить сочувствие к другим полезно представлять их имеющими ангельские крылья. Я полагаю, в этом что-то есть. Что-то мощное в том, чтобы смотреть на людей и видеть ангелов, никогда не бывавших в раю. Только я предпочитаю видеть не ангелов, а обезьян, старающихся убедить себя, что им комфортно в этой странной цивилизации, столь отличающейся от древних саванн, в которых было выковано их мышление.

Некоторые используют слово «животное» как уничижительное и могут подумать, что попытки представлять людей животными унизительны. Для меня верно обратное, по тем же причинам, по которым сочувствовать бездомной собаке проще, чем бомжу, - это помогает убрать импульс распознавания в других людях конкурентов, союзников или врагов, просто смотреть на них так же, как я смотрю на котят, как на существ, обладающих любопытством и невинностью.

Почему я забочусь о людях и человечестве, о Земле и всех её детях, обо всей разумной жизни? Как я вообще могу это утверждать, учитывая, что я тоже часто испытываю более сильные чувства к друзьям, чем к незнакомцам, и больше сочувствую собаке чем человеку?

Вглядываясь в себя, я вижу конфликт между своими чувствами и ощущением, что мои чувства плохо откалиброваны. Присмотревшись, я нахожу, что мои чувства устроены не так, как я одобряю, с племенными установками, при которых было важно любить соплеменников и ненавидеть чужаков. И обращая внимание на ощущение, что эти чувства плохо откалиброваны, я нахожу хорошие соображения и ощущение, что это забота действительно значима, что она не произвольна, но ценна.

Так что для меня на вопрос «зачем заботиться о чем-либо?» есть простой ответ.

Позвольте мне ещё раз подчеркнуть, что вы не обязаны разрешать свои внутренние конфликты тем же путём, что и я. Вашим ответом на «зачем заботиться о чем-либо» может быть «я не забочусь ни о чем». Вы можете предпочесть чувства глубинному ощущению эстетики, или у вас могут быть совсем другие чувства и другая эстетика. В любом случае, если вы прислушаетесь к этому внутреннему ощущению разногласия, если ваши чувства будут для вас ориентиром, а не ответом, если вы выясните, почему вы чувствуете или заботитесь тем или иным образом, и выберете заботу о том, что выглядит правильным и хорошим объектом заботы,

—

вы тоже можете обнаружить, что на вопрос «зачем заботиться» у вас есть простой ответ.

Я часто вижу, как мои друзья совершают ошибку, которую я называю «ложной последовательностью». Особенно часто это касается тех, кто увлекается рациональностью или идеями «Эффективного альтруизма», поскольку в этих кругах последовательность считается важной добродетелью.

Человек совершает ошибку «ложная последовательность», если, обнаружив у себя противоречивые желания, мысли или убеждения, он во имя «последовательности» отбрасывает все из них, кроме одного. В результате человек сам себя лишает возможности использовать интуицию и ощущения, которые он не в состоянии выразить словами. Я полагаю, что от этого накапливается раздражение и разочарование.

Например, представим, что Алиса настаивает, чтобы Боб помог ей с домашней работой. Боб не хочет ей помогать, однако, не может ясно сформулировать, почему. После некоторого размышления Боб решает, что он не одобряет свои чувства, которые ему сложно выразить, и ему кажется, что у него нет права ответить «нет», если он не может чётко обосновать этот ответ. Боб соглашается помочь Алисе, однако, чувства, которые он не смог выразить, никуда не деваются. Они продолжают беспокоить Боба и приводят к раздражению.

Другой пример. Вообразим, что у Кэрол спрашивают: «Какое наказание следует присудить бездомному, который украл 10 тысяч долларов у семьи из среднего класса?» и Кэрол отвечает: «5 лет». Сразу же после этого её спрашивают: «Какое наказание следует присудить банкиру из высшего класса, который украл 10 миллионов долларов?» Первоначально ей хочется ответить что-нибудь в районе «10 лет», но она вспоминает свой ответ на предыдущий вопрос, ей очень хочется быть последовательной и поэтому она отвечает: «Его следует приговорить к пожизненному заключению». Если она это делает исключительно во имя последовательности, не разбираясь в том, что именно вызывает у неё противоречивые мысли, скорее всего, она является жертвой «ложной последовательности».

Поймите меня правильно, я целиком за внутреннюю последовательность. Последовательность — это добродетель. Когда вы обнаруживаете у себя непоследовательность — например, если вы в разных контекстах отвечаете по разному на один и тот же вопрос, или если часть вас думает одно, а другая часть думает другое, или если у вас есть два противоречащих друг другу представления о реальности, — то я призываю вас отметить найденное красным флажком, разобраться и в итоге обновить свои убеждения.

Если вам неуютно, когда вы сталкиваетесь с собственной непоследовательностью, это совершенно нормально. Проблемы возникают, если вы отвечаете на этот дискомфорт внутренним насилием и заставляете часть себя подчиниться с помощью дубины.

Давайте сравним мир, в котором Боб не смог сформулировать свои возражения и отбросил их, с миром, где он ответил: «Гм, часть меня хочет помочь тебе, а другая часть — нет. Позволь мне немного побеседовать с самим собой и разобраться, не смогу ли я выяснить, о чём беспокоится эта вторая часть».

Вообще, в таких ситуациях я рекомендую в буквальном смысле побыть посредником в диалоге между противоборствующими точками зрения. Вообразите себя за столом переговоров, где одна сторона хочет помочь Алисе сделать её домашнюю работу, а у другой стороны присутствует невысказанная тревога. Предположим, что у обеих сторон есть веские причины и добрые намерения, пусть даже они предлагают и не лучшие стратегии. Помогите им прийти к согласию. Что, скорее всего, скажет та сторона, которая тревожится? В какой валюте будет идти торг? Что похоже на удовлетворительный результат?

Если некоторый выбор приводит к тому, что у вас появляется полдюжины различных мыслей и эмоций, то решением проблемы с непоследовательностью будет такое состояние, при котором выбор будет устраивать все ваши противоборствующие части. Если же, для того, чтобы оправдать ваши действия, вам придётся пройтись катком по половине ваших опасений, то это не решение проблемы.

Представьте, что вы столкнулись с необходимостью принять решение и понимаете, что вам очень тяжело избежать ошибки «пренебрежение масштабом». Я утверждаю, что есть большая разница между тем, чтобы насильно заставить подчиниться ту часть вас, которая не понимает больших чисел, после чего заткнуться и умножать, и тем, чтобы приучить себя на уровне эмоций действительно понимать, что «много» значит «много», после чего решение хладнокровно переходить к математическим расчётам в таких случаях будет приниматься автоматически. Первое — «ложная последовательность», второе — достойная цель.

Если же вы пока не смотрели на большие числа достаточно долго, чтобы выработать в себе способность затыкаться и умножать рефлекторно (и чтобы при этом никакая часть вас не вопила о том, что это холодный нечеловеческий подход), тогда всё равно постарайтесь заткнуться и умножать. Поступать Правильно — превыше всего. Но затем поговорите с протестующей частью вас и подключите и её к проекту «Поступать Правильно». Иногда прибегать к внутреннему насилию необходимо, но я рекомендую всегда помечать такие случаи красными флажками.

Чем больше вы практикуетесь в разрешении внутренних конфликтов путём переговоров, тем меньше вам приходится прибегать к заглушению тихих голосков сомнений. С опытом также, скорее всего, придёт и способность лучше формулировать тревоги, которые не получалось сформулировать раньше.

На промежуточном этапе непоследовательным быть можно. Не стоит игнорировать тревоги только лишь из-за того, что вы не можете выразить их словами. Если ваши действия сегодня не согласуются с вашими действиями вчера, и вы знаете, как построить диалог между конфликтующими частями вас, но прямо сейчас у вас не хватает на это времени, то не нужно бросать всё и стараться быть последовательным.

Мы пока не боги, помните? Мы всё ещё обезьяны. Если вы заставите себя быть последовательными всегда, очень вероятно, что вы растопчете какие-нибудь существенные возражения и не заметите важные шепотки замешательства.

Я призываю всех рассматривать непоследовательности как ошибки. Однако, заметание ошибок под ковёр или попытки изо всех сил притвориться, что их не существует, — лишь другая ошибка. Мы неорганизованные существа, и для разрешения непоследовательностей часто требуется немного поработать. А на промежуточном этапе непоследовательным быть можно.

Скорее всего, вы не вините себя за то, что не можете одним щелчком пальцев изобрести лекарство от болезни Альцгеймера.

Тем не менее, многие люди себя винят за то, что не могут работать до изнеможения каждый день (хотя наша психика на это не способна). Они винят себя за то, что не могут волшебным образом, без какой-либо практики или переподготовки, избавиться от не устраивающих их шаблонов поведения (хотя для нашего разума это невозможно). В чем же проблема?

Я думаю, разница в том, что люди считают «невозможным» вылечить болезнь Альцгеймера щелчком пальцев и «возможным» использовать лучший образ мышления. И именно здесь кроются многие проблемы.

Большинство людей неправильно используют словосочетание «мог бы».

Они считают, что «могли бы» не волноваться на той вечеринке. Они считают, что «могли бы» прекратить играть в «Цивилизацию» в разумное время и пойти спать. Они считают, что «могли бы» выключить «Карточный домик», просмотрев несколько серий. Я сейчас говорю не об иллюзии свободной воли: я считаю осмысленными разговоры о «возможности» делать те вещи, которые в реальности мы не делаем. Скорее, я говорю о том, что многие люди имеют неаккуратные представления о том, что они могут или не могут.

Люди ругают себя каждый раз, когда их мозг не действует по тому шаблону, по которому им хотелось бы. Как будто у них есть полное господство над своими мыслями, над извилинами своего мозга. Как будто их мозг не является сетью нейронов. Как будто они могут выбирать предпочтительные варианты, несмотря на свой образ мышления, а не признавать, что выбор и есть образ мышления. Как будто они должны выбирать своё сознание, а не быть им.

Как будто они уже боги.

Мы не боги.

Пока ещё нет.

Мы все ещё обезьяны.

Насколько мне известно, почти у каждого человека внутри бардак. Почти все прикладывают усилия, чтобы поступать в соответствии со своими желаниями. Почти все слабы психологически и могут оказаться в ситуации, заставляющей их делать то, о чем они потом жалеют: переедать, тратить слишком много денег, проявлять гнев, страх, беспокойство. Мы — обезьяны, и мы слабы в подобных вопросах.

Поэтому не надо упрекать себя, когда вы промахиваетесь. Не надо ругать себя, когда не получается поступать в точном соответствии со своими желаниями. Такие поступки не происходят сами по себе, они случаются только после изменений окружающей обстановки и тренировки мозга. Вы все ещё обезьяна!

Не ругайте обезьяну. Помогайте ей каждый раз, когда можете! Она хочет того же самого, что и вы: она и есть вы. Не наседайте на неё, а помогите ей. Раз обезьяне трудно поступать так, как вам хочется, поймите, как сделать этот процесс легче. Переобучите обезьяну. Экспериментируйте. Пробуйте.

И будьте добры к ней. Она довольно сильно старается. Обезьяна пока не знает, как именно получить то, что хочется, потому что мир вокруг неё большой и сложный, и она не может увидеть большую его часть, и потому что множество её действий обусловлено дюжиной подсознательных шаблонов реагирования, над которыми у неё практически нет контроля. Она старается!

Не ругайте обезьяну за то, что она спотыкается. Мы ведь не выбрали самый простой путь. Мы не ставим перед собой самые лёгкие цели. То, что мы делаем, довольно сложно.. Поэтому, когда обезьяна спотыкается и падает, помогите ей подняться. Помогите ей практиковаться, или тренироваться, или выполнить еще один умный план по преодолению препятствий.

Возможно, когда-нибудь мы сможем лучше контролировать свой разум. Мы сможем выбирать наш образ мышления усилием воли и без проблем поступать в соответствии со своими желаниями. Мы сможем быть теми существами, которыми многие хотят быть и с которыми сравнивают себя, воображаемыми существами с полным господством над собственным сознанием.

Но не сейчас. Мы не боги. Мы все ещё обезьяны.

Почти никто не думает, что «мог бы» изобрести лекарство от болезни Альцгеймера по щелчку пальцев. Поэтому никто не огорчается из-за того, что не в состоянии это сделать.

С другой стороны, люди, которые не справляются с тем, чтобы не переедать или прекратить играть в «Цивилизацию» в разумное время, всерьёз считают, что они «могли бы» справиться. Поэтому они рассматривают свой провал как повод для того, чтобы чувствовать себя ужасно по поводу своих поступков.

На прошлой неделе я упоминал, что многие люди неправильно используют словосочетание «мог бы».

Сила воли — дефицитный ресурс. Иногда силой воли вы можете вытащить себя из ментальной колеи, в которой вы застряли. Но так получается довольно редко, обычно одной силы воли недостаточно. Если ваш план больше не засиживаться за «Цивилизацией» на всю ночь заключается в словах «ну, я просто буду в следующий раз заставлю себя сильнее», то он обречен на провал. Если он не сработал в прошлый раз, навряд ли он сработает в следующий. Сила воли — это костыль, а не лекарство.

Я думаю, что многие люди неправильно используют словосочетание «мог бы» потому, что они неверно понимают, где находятся точки принятия решений. Они думают, что «выбор» перед ними стоял на 347 ходу «Цивилизации», когда они решили сыграть еще раунд (и на каждом следующем ходу между полночью и четырьмя утра).

Но выбор произошёл не в этот миг. Если вам приходится заставлять себя изменить поведение, вы уже пропустили настоящую точку выбора.

Настоящий выбор происходит в самом начале, когда вы размышляете, играть вам вообще в «Цивилизацию» или нет.

Предположим, у вас есть знакомый, который постоянно действует вам на нервы. Время от времени вы срываетесь на него и это заканчивается перебранкой. Вы точно знаете, что не должны кричать на него, и честно пытаетесь не нервничать. Когда он начинает вас раздражать, вы очень хотите успокоиться, но это никогда не работает (неважно, насколько решительно вы планируете заставлять себя сильнее в следующий раз). В таком случае я предлагаю вам не пытаться сдержать себя на пике раздражения, а вместо этого обратить внимание, что происходит за пять минут до срыва. Вот где настоящий выбор! Нельзя выбрать, срываться или не срываться в критический миг, но можно выйти из ситуации за пять минут до него.

Настоящий выбор обычно происходит за несколько минут до того выбора, за который люди упрекают себя. Если вам приходится применять силу воли, вы уже пропустили точку настоящего выбора. (В предыдущих статьях я предлагал вам пообещать себе, что вы не будете использовать силу воли для выхода из неприятных положений: знание о том, что вы наверняка не будете спасать свою задницу, если окажетесь в ситуации, требующей силы воли для выхода, заставляет вас замечать настоящую точку невозврата, когда вы проходите через нее).

Если вы замечаете в себе шаблоны поведения, которые вам не нравятся, я советую притвориться, что у вас нет никакой силы воли. Представьте мир, в котором вы просто не способны заставить себя прекратить делать что-либо увлекательное после того, как начали. Как бы вы поступали в таком мире?

Поищите триггеры, предшествующие действию, которое вы хотели бы изменить. Что происходило за час до него? А за пять минут? А что происходило за шестьдесят секунд до того, как у вас не получилось поступить так, как вам хотелось?

Вот где настоящий выбор!

Многие люди неправильно используют словосочетание «мог бы». Они относятся к себе так, как будто они «могли бы» начать смотреть сериал и остановиться в разумное время. Они ставят себя в ситуации, искушающие поступить вопреки здравому смыслу, и потом ругают себя за то, что поддались искушению.

Я, напротив, не считаю, что я «мог бы» прекратить читать хорошую книгу, и поэтому не чувствую себя ужасно, если я зачитываюсь. Вместо этого я говорю: «Ага, я вижу, что зачитываюсь увлекательными книгами. Поэтому я буду воспринимать чтение книги как единое неделимое действие, занимающее от пяти до двадцати часов, без развилок внутри». В ситуациях, в которых другие ругают себя за то, что не справились с невозможной задачей («прекратить читать и вернуться к серьезной работе»), я разбираюсь, на что я способен и на что не способен, и выясняю, когда у меня происходит настоящая точка принятия решения.

Нам, людям, доступен не любой выбор. Иногда мы способны прекратить читать интересную книгу примерно в той же мере, что и изобрести лекарство от болезни Альцгеймера. Иногда берёт верх зависимость, иногда — наследие мозга рептилии или первобытная ярость. В такие минуты мы не влияем на ситуацию. Мы совершаем выбор далеко не в каждый миг своей жизни. Часто у нас недостаточно силы воли, чтобы перебороть импульсы, инстинкты и привычки.

Цель в том, чтобы всё равно выиграть.

Наш разум не имеет абсолютной власти над нашими действиями. Часто он практически бессилен повлиять на наше поведение. Мы еще не боги. Мы все еще обезьяны. Все еще нейронные сети. Я предлагаю вам перестать ругать себя за невыполнение невозможных задач, а вместо этого начать экспериментировать и разбираться, на что вы на самом деле способны.

Ищите действия, которые позволят вам поступать в соответствии со своими желаниями до того, как решение станет трудно исполнить. Научитесь распознавать моменты, когда ваше сознание с готовностью реагирует на ваши желания. Именно в такие мгновения происходит настоящий выбор, и здесь вы можете что-нибудь улучшить.

1

Я не могу прочувствовать большие числа. Когда берёшься за цифры больше 1000 (или даже 100) они просто кажутся «большими».

Возьмём Сириус, ярчайшую звезду на ночном небе. Если вы скажете мне, что Сириус вместил бы миллион планет размером с Землю, я бы почувствовал, что он намного больше Земли. Если бы вместо этого сказали, что Сириус вмещает миллиард земных шаров… я бы всё ещё чувствовал, что он намного больше Земли.

Чувства почти идентичные. В контексте мой мозг неохотно признает, что миллиард гораздо больше миллиона и прилагает усилие, чтобы почувствовать, насколько звезда-в-миллиард-планет больше звезды-в-миллион-планет. Но вне контекста — если бы я не был привязан к «миллиону», когда услышал «миллиард» — оба этих числа ощущаются неопределённо большими.

Я придаю мало значения размеру чисел, если взять действительно большие. Если вы скажете «один и сотня нулей», это ощущается гораздо больше миллиарда. Но это не ощущается (инстинктивно) в 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 раз больше миллиарда. Не так, как четыре яблока внутренне ощущаются вдвое больше, чем два яблока. Мой мозг не может даже приблизиться к разнице в величинах такого порядка.

Этот феномен связан с пренебрежением масштабом, и он важен для меня. Я живу в мире, где некоторые вещи, о которых я забочусь, очень и очень многочисленны.

Например, миллиарды людей живут в нищете, сотни миллионов из них не могут удовлетворить базовые потребности и/или они умирают от болезней. И хотя большинство из них вне моего поля зрения, я всё равно забочусь о них.

Утрата человеческой жизни со всеми её радостями и печалями это трагедия независимо от причины, и трагедия не уменьшается от того, что я был далеко, или не знал об этом, или не знал как помочь, или потому что я не был лично ответственен.

Зная это, я забочусь о каждом человеке на этой планете. Проблема в том, что мой мозг просто неспособен взять на себя заботу, которую я чувствую к одному человеку, и масштабировать её в миллиард раз. Мне не хватит внутренних способностей к сопереживанию. Мой забото-метр просто не поднимается так высоко.

И это проблема.

2

Есть распространённое выражение: смелость не в том, чтобы быть бесстрашным, а в том, чтобы бояться, но несмотря на это поступать правильно. В этом же смысле забота о мире не в том, чтобы инстинктивно чувствовать количество страданий в мире, а в том, чтобы делать правильные вещи всё равно. Даже без этого чувства.

Мой внутренний забото-метр был откалиброван, чтобы иметь дело со ста пятьюдесятью людьми, и он просто не может выразить количество заботы, которое я испытываю к миллиардам страждущих. Внутренний забото-метр просто не поднимается так высоко.

На карту поставлено слишком многое. Сегодня страдают по меньшей мере миллиарды людей. В худшем случае существуют квадриллионы (или более) потенциальных людей, транслюдей и постлюдей, существование которых зависит от того, что мы делаем здесь и сейчас. Все замысловатые цивилизации, которые будущее сможет вместить, опыт, красота и искусство, возможные в будущем, зависят от настоящего.

Когда ставки столь высоки, ваша внутренняя эвристика для заботы, откалиброванная на числа «десять» и «двадцать», совершенно не понимает всей тяжести ситуации.

Спасая жизнь человеку мы чувствуем себя великолепно — вероятно, столь же великолепно, как если бы мы спасли весь мир. Разумеется, вы не почувствуете многомиллиардную разницу, спася мир, потому что ваше аппаратное обеспечение не может выразить чувство в миллиард раз большее, чем при спасении жизни человека. Но даже если альтруистический подъём от спасения чьей-то жизни будет ужасно похож на альтруистический подъём от спасения мира, всегда помните, что между подобными чувствами разница величиной в целый мир.

Нашего внутреннего чувства заботы крайне недостаточно чтобы решить, как действовать в мире с большими проблемами.

3

По мере того, как я усваивал пренебрежение масштабом, мое мышление менялось. Это немного сложно сформулировать, поэтому я начну с нескольких историй.

Представьте Элис, программистку Amazon в Сиэтле. Примерно раз в месяц на улицах появляются студенты с клипбордами, выглядящие всё более разочарованно, по мере того как они изо всех сил пытаются убедить людей жертвовать «Врачам без границ». Обычно Элис избегает зрительного контакта и идет по своим делам, но в этом месяце им удалось подстеречь её. Они рассказывают о «Врачах без границ» и она признает, что проблема достойна внимания. Она вручает им 20 долларов благодаря сочетанию социального давления, чувства вины и альтруизма, и устремляется обратно к своей работе. (В следующем месяце, когда они появляются снова, она избегает зрительного контакта.)

Теперь представьте Боба. Друг на Facebook пригласил его участвовать в Ice Bucket Challenge. Он слишком занят, чтобы справиться с испытанием ведром ледяной воды, и вместо этого просто жертвует 100 долларов организации ALSA.

Теперь рассмотрим Кристин, которая состоит в студенческом сообществе ΑΔΠ. ΑΔΠ соревнуется с ΠΒΦ (другим сообществом), чтобы выяснить, кто сможет собрать за неделю больше денег для Национального фонда рака молочной железы. В Кристин силен дух соперничества и она вовлечена в сбор средств, поэтому она сама в течение недели жертвует несколько сотен долларов (особенно в то время, когда ΑΔΠ сильно отстаёт).

Все эти люди жертвуют деньги благотворительным организациям… и это замечательно. Но заметьте, как похожи эти три истории: пожертвования в них мотивированы социальным контекстом. Элис движет чувство долга и социальное давление. Боб испытывает социальное давление и дружеские чувства. Кристин видит в этом соревнование. Все они являются прекрасными мотивами, но обратите внимание, что все они напрямую связаны с социальными установками, а с сущностью пожертвований лишь косвенно.

Если вы возьмёте Элис, Боба или Кристин, и спросите их, почему они не жертвуют всё своё время и деньги на проблемы, которые вероятно кажутся им полезным, они усмехнутся и возможно подумают, что вы им грубите (и обоснованно!). Если вы надавите, они могут сказать, что сейчас ограничены в деньгах, или что будут жертвовать больше, если станут лучшими людьми.

Но вопрос по-прежнему будет казаться неправильным. Отдавать всё — это не то, что вы привыкли делать с деньгами. На людях мы все можем согласиться, что люди, отдающие все свои сбережения, действительно классные, но между собой считаем, что такие люди сумасшедшие (по-хорошему сумасшедшие, но всё равно).

Одно время я разделял такой образ мыслей. Существует альтернативное мышление, которое может ударить вас, словно грузовой поезд, когда вы усвоите пренебрежение масштабом.

4

Представьте Дэниела, студента колледжа, вскоре после разлива нефти Deepwater Horizon BP. Он встречает одного из тех студентов с клипбордами на перекрёстке, которые просят пожертвования в пользу Фонда дикой природы. Они пытаются спасти как можно больше птиц, пострадавших из-за разлива. Обычно Дэниел игнорировал благотворительность как Не Самую Важную Вещь, или Не Стоящую Его Времени, или Чужую Проблему, но в этот раз он размышлял о том, как его мозг плохо чувствует числа, и он решает сделать быструю проверку.

Он воображает, как идёт по пляжу после разлива нефти и сталкивается с группой людей, очищающих птиц так быстро, как они могут. У них не хватает ресурсов для очистки всех пострадавших птиц. Несчастная молодая птица плывёт к его ногам. Она покрыта нефтью и едва способна открыть глаза. Он встаёт на колени, чтобы поднять её и отмыть на столе. Один из волонтёров говорит ему, что у них не будет времени помыть её, но он может надеть перчатки и спасти её, отмыв за три минуты.

Дэниел решает потратить три минуты своего времени, чтобы спасти птицу, и что он также будет рад заплатить по крайней мере 3 доллара за то, что кто-то ещё потратит несколько минут на очистку птицы. Он наблюдает за собой и обнаруживает, что это происходит не только из-за того, что он представил птицу прямо перед собой. Он чувствует, что стоит потратить не менее трёх минут своего времени (или 3 доллара), чтобы спасти масляную птицу в каком-то неясном возвышенном смысле.

Поскольку он размышлял о пренебрежении масштабом, он ожидает, что мозг неверно оценит, насколько он действительно заботится об огромном количестве птиц: нельзя ожидать, что внутреннее чувство заботы будет соответствовать реальной значимости ситуации. Поэтому вместо того, чтобы прислушиваться к интуитивному забото-метру, он действует по правилу «заткнись и умножай».

Тысячи и тысячи птиц были загрязнены разливом BP. После перемножения, Дэниел осознает (с нарастающим ужасом), что значение его заботы о птицах составляет не менее двух месяцев упорной работы и/или пятидесяти тысяч долларов. И это без учёта дикой природы, которой угрожают другие разливы нефти.

И если он так заботится об очистке птиц, то насколько он действительно заботится о промышленном животноводстве, не говоря о голоде, бедности и болезнях? Насколько он реально заботится о войнах, которые опустошают государства? О беспризорных, брошенных детях? О будущем человечества? Выходит, что он заботится об этих вещах в масштабах, сильно превышающих все его деньги и имеющееся у него время.

Впервые Дэниел видит проблеск того, насколько велика его забота, и в каком плачевном состоянии мир вокруг.

Это странно влияет на Дэниела, пока его рассуждения проделывают полный оборот: он уже не готов пожертвовать 3 минуты или 3 доллара на загрязнённую птицу. Не потому, что птицы не стоят времени и денег (он считает, что экономика производит вещи за 3 доллара, которые стоят меньше, чем жизнь птицы), а потому, что он не может тратить время или деньги на спасение птиц. Альтернативные издержки внезапно кажутся слишком высокими: так много нужно сделать! Люди болеют, голодают и погибают! Будущее нашей цивилизации под угрозой!

Даниэль не торопится отдавать 50000 долларов WWF, и он не жертвует ALSA или NBCF. Но если вы спросите Дэниела, почему он не пожертвовал все свои деньги, он не посмотрит на вас с усмешкой и не подумает, что вы грубы. Он покинул место, где вам всё равно, и понял, что его разум всё время лгал ему о тяжести реальных проблем.

Теперь он понимает, что он не может сделать достаточно. После калибровки пренебрежения к масштабу (и того факта, что его мозг лжёт о масштабах больших чисел), даже «менее важным» проблемам, подобным WWF, неожиданно кажется достойным посвятить жизнь. Он готов сдвинуть горы, чтобы решить проблему уничтожения дикой природы, ALS (боковой амиотрофический склероз) и рака молочной железы, — но он наконец понял, что гор слишком много, и ALS не является бутылочным горлышком, и ААА ОТКУДА ЗДЕСЬ ВСЕ ЭТИ ГОРЫ?

В прошлом он не бросил всё, чтобы работать над ALS, потому что эта проблема казалась… недостаточно насущной. Или легко решаемой. Или важной. Вроде того. Это различные доводы, но настоящая причина в том, что идея «бросить всё и заняться ALS» никогда не приходила в голову как реальная возможность. Это слишком отклонялось от типичного сценария. Это не его проблема.

После осознания всё стало его проблемой. Единственная причина, по которой он не бросил всё, ради работы над ALS, это потому, что сперва нужно сделать слишком много других вещей.

Элис, Боб и Кристин обычно не тратят время на решение всех мировых проблем, потому что забывают их видеть. Если вы напомните им — поместите в социальный контекст, где они вспомнят, насколько сильно заботятся (надеюсь, без чувства вины или давления) — скорее всего, они пожертвуют немного денег.

Дэниел, как и другие пережившие ментальный сдвиг, напротив, не тратит время на решение всех мировых проблем, потому что проблем слишком много (надеюсь, Дэниел откроет для себя движение эффективного альтруизма и станет способствовать устранению самых насущных глобальных проблем).

5

Я не пытаюсь проповедовать здесь о том, как быть хорошим человеком. Вам не нужно разделять мою точку зрения, чтобы быть хорошим человеком (что очевидно).

Я скорее пытаюсь указать на новую перспективу. Многие из нас понимают, что должны заботиться о людях, страдающих далеко от нас, но у них не получается. Я думаю, что это отношение связано, по крайней мере частично, с тем фактом, что большинство из нас безоговорочно доверяют нашим внутренним забото-метрам.

«Чувство заботы» обычно недостаточно сильное, чтобы заставить нас неистово спасать всех умирающих. Хотя мы признаем, что было бы добродетельным делать больше для мира, мы думаем, что не можем, потому что не наделены добродетельной экстра-заботой, которую должны иметь выдающиеся альтруисты.

Но это ошибка: забото-метр у выдающихся альтруистов не больше обычного, они просто научились не доверять своему забото-метру.

Наши забото-метры сломаны. Они не переваривают большие числа. Никто не способен честно представить масштаб мировых проблем. Но тот факт, что вы не чувствуете заботу, не значит, что вы не способны заботиться.

Вам не нужно испытывать должное количество «заботы» в вашем теле. Простите — мировые проблемы слишком велики, и ваше тело не спроектировано адекватно реагировать на проблемы такого масштаба. Но если вы решитесь, то всё равно можете действовать без недооценки масштаба проблем. Вы можете перестать доверять внутренним ощущениям, определяющим ваши действия, и переключиться на ручное управление.

6

Конечно, это приводит к вопросу: «Что, черт возьми, тогда делать?»

Я не знаю наверняка (хотя упомяну Giving What We Can, GiveWell, MIRI и The Future of Humanity Institute как хорошие отправные точки).

Отчасти не знаю потому, что перспективы кажутся безнадёжными. Недостаточно думать, что вы должны изменить мир — вам нужно отчаяние, которое приходит из понимания, что вы посвятите всю свою жизнь решению сотой по масштабу проблемы, но вы не можете, потому что остаётся ещё 99 больших проблем, которыми нужно заняться в первую очередь.

Я не пытаюсь вызвать чувство вины, чтобы вы пожертвовали больше денег — стать филантропом действительно очень тяжело (если вы уже являетесь им — примите моё почтение). Сперва вам потребуются деньги, что встречается нечасто, а затем потребуется швырнуть эти деньги в далёкие невидимые проблемы, и мозг непросто убедить сделать это. Акрасия — грозный соперник. И самое главное: чувство вины плохой мотиватор в долгосрочной перспективе. Если вы хотите присоединиться к рядам людей, спасающих мир, я бы предпочёл, чтобы вы сделали это с гордостью. Впереди много испытаний и несчастий, и нам лучше встретить их с высоко поднятой головой.

7

Смелость не в том, чтобы быть бесстрашным, а в том, чтобы поступать правильно, даже если боишься.

Схожим образом, решение главных проблем нашего времени не в том, чтобы действовать по сильному внутреннему порыву. А в том, чтобы действовать в любом случае, даже если внутренние приборы абсолютно неспособны оценить масштаб проблем, с которыми мы сталкиваемся.

Легко взглянуть на добродетельных людей — Ганди, Мать Терезу, Нельсона Манделу — и прийти к выводу, что стоит заботиться больше. Но не думаю, что в этом дело.

Никто не способен постичь масштаб этих проблем. Лучшее, что мы можем сделать, это умножать: найти что-то, о чем мы заботимся, присвоить ему вес и умножить. И доверять этим цифрам больше, чем нашим чувствам.

Потому что чувства лгут нам.

Когда вы умножаете, то понимаете, что искоренение глобальной бедности и создание лучшего будущего требуют больше ресурсов, чем есть в нашем распоряжении. В мире недостаточно денег, времени и усилий чтобы сделать всё необходимое.

Есть только ты, и я, и все остальные, кто пытается, несмотря ни на что.

8

Вы не можете ощутить всю тяжесть мира. Человеческий мозг неспособен на этот подвиг.

Но иногда вы можете приблизиться к этому.

Примечание редактора сайта: Исходно этот перевод выполнил Саша Бережной для сайта Эффективного альтруизма.

Если у вас есть деньги и вы хотите спасать жизни, вам лучше установить цену на жизнь. Скотт Александр объяснит это лучше, чем я.

Но не путайте стоимость жизни с ценностью жизни. Как я вижу, такое происходит достаточно часто. Чтобы исправить эту ошибку, я собираюсь рассказать небольшую историю.

* * *

Когда-то давно существовала деревня мирных бессмертных людей. Они не старели после своего рассвета, но могли умереть от голода или повреждений. И, возможно, потому, что их жизнь была такой длинной и наполненной, все они высоко ценили друг друга и жили в мире. И действительно, не было такого расстояния, которое не могли бы преодолеть эти люди, чтобы спасти даже одного из своих товарищей от нежеланной смерти.

По крайней мере, так было до появления дракона.

Я уверен, вы знаете, что драконы желают получить от людей две вещи: золото и плоть. И этот дракон, горе для сельских жителей, был воистину мощным – он был практически непобедим, и по-настоящему коварен. Дракон, легко способный убить всю деревню в один миг, дал им мрачный ультиматум:

Каждый человек в этой деревне должен ежегодно платить налог золотом, количество которого равно возрасту этого человека. Всякий, кто не сможет заплатить, будет съеден.

Жители деревни умоляли, стоя на коленях, рыдали и приходили в ярость, но дракон оставался непреклонен. Он просто показал им несколько скал, в которых, вероятно, можно было сделать хорошие золотые прииски и приказал им приступать к работе.

Люди старались изо всех сил. И они действительно все сделали на хорошем уровне. Пусть они не были шахтёрами, но были способными учениками.

Сельчане работали не покладая рук, откидывая камни в сторону, копали землю голыми руками, разбивая пальцы до крови, мало охотились и старались как можно меньше заниматься собирательством, и даже перестали заботиться о своих жилищах — но все равно, не могли отдать налог дракону. В конце года дракон вернулся и забрал все золото, которое у них было, и десять самых старых сельских жителей (отдав старейшин, удалось спасти большинство жизней).

Обезумев, жители деревни решили попробовать снова. Они подвергли себя ещё большим аскезам в попытке успеть к назначенному сроку, становясь все более изнурёнными. Их глаза поблекли, кожа болезненно пожелтела, а руки стали безжизненными. Они слишком сильно жертвовали собой, работая в шахтах. И в следующий раз, когда пришёл дракон, он забрал все золото и пятьдесят жителей.

Их стратегия не работала.

Но эти жители были рождены людьми, а изобретательность – одно из главных человеческих качеств. Таким образом, на третий год выжившие пришли к горькому осознанию своего положения и снова начали охотиться, заниматься собирательством, становились сильнее и здоровее, и признали, что им придётся заботиться о себе, прежде, чем они смогут позаботиться о своих близких. Они приступили к созданию кирок и лопат, понимая, что голыми руками справиться не удастся.

В конце третьего года дракон снова забрал все золото и сотню жителей, поскольку их стратегия еще не начала приносить плоды.

Но в конце четвёртого года дракон забрал всего двоих.

Вскоре после этого дракон (восхищаясь их прогрессом) сообщил жителям деревни, что теперь налог будет расти быстрее, экспоненциально их возрасту.

На этот раз жители деревни лишь только кивнули и преобразовали свою горячую ярость в холодную решимость.

Прошло много лет с тех пор, как дракон впервые пришёл в селение. На самом деле, все сильно изменилось: деревня выросла до города, а город вырос до цивилизации.

Средний возраст населения стал ниже. Старейшины стали мыслить продуктивнее и поняли, как получать больше золота в час, но стало приходить время, когда эта повышенная производительность больше не стоила затрат на жизнь. И когда это время настало, старейшины были готовы к своей судьбе, потому что понимали, что их жизнь не стоила двух других.

На самом деле жёсткие компромиссы, подобные этим, стали обычным явлением. Жители деревни давно открыли экономику и специализацию, и теперь большинство из них не работало в шахтах. Некоторые из них стали проводить время за готовкой или выращиванием растений для пропитания, другие стали тратить время на совершенствование жилищ, появились и мастера, занимающиеся разработкой новых инструментов и механизмов, которые бы поспевали за грабительским налогом дракона. Удивительно, но есть и те, кто посвятил свою жизнь искусству и развлечениям, ведь жители осознали важность поддержания мотивации и морального духа.

(А тем временем, некоторые жители, глубоко под землёй, подальше от любопытных глаз дракона, разрабатывали оружие.)

Таким образом, вы можете обнаружить в этой цивилизации людей, которые посвящают свою жизнь не добыче золота, а написанию книг, но, если вы посмотрите внимательно, то заметите, что это происходит только тогда, когда писатель может спасти больше жизней за счёт роста производительности и морали, чем за счёт своего труда в шахте. И потому эта цивилизация, одержимая сохранением жизни тому количеству людей, скольких может спасти ежегодно, все ещё создаёт книги, пьесы и фильмы.

Это означает, что в настоящее время вы можете рассчитать точную цену спасения каждой жизни. И оказывается, что одна жизнь равна примерно той же цене, что и тысяча билетов в кино.

Давайте послушаем, как два гражданина этого драконьего мира, Элис и Боб, говорят о ценности жизни:

Элис: Ты понимаешь, что истинная цена жизни эквивалентна примерно тысяче просмотров последнего блокбастера?

Боб: Глупости! Жизнь стоит гораздо больше тысячи часов просмотра фильмов! Жизнь практически бесценна! Невозможно поставить на неё цену!

Элис: Что за пустое негодование? Если ты не используешь ценник для человеческой жизни, тогда ты будешь неразумно распределять деньги для ее спасения. Но если ты хочешь сохранить жизнь как можно большему количеству людей, имея ограниченную сумму денег, тогда необходимо назначить цену!

Боб: Но тысяча просмотров фильмов просто не стоит того же, что и жизнь! Если бы я выбирал между тем, чтобы тысяча человек посмотрели блокбастер и жизнью моей матери, я бы в любом случае выбрал мать!

Элис: Да, но такое утверждение непоследовательно. Рынок в этом плане мыслит эффективнее, и он утверждает, что жизнь равна примерно тысяче просмотров последнего блокбастера. Жизнь твоей матери не стоит больше, чем сумма всего удовольствия, которое испытывает тысяча человек, наблюдая за последним блокбастером! Просто тысяча часов просмотра фильмов и жизнь вашей матери стоят одинаково, и если ты этого не понимаешь, то это твоя проблема!

* * *

Вы заметили ошибку в этих утверждениях?

Элис и Боб правы и неправы одновременно.

Элис права в том, что жители должны расценивать жизнь эквивалентно просмотру нескольких тысяч часов фильмов. Учитывая, что жители все ещё пытаются спасать ближних, тысячи человек ходят в кино, и рост мотивации и морального духа приводит их к тому, что они образуют больше золота, достаточного для спасения ещё большего количества жизней. Если бы вы не дали людям сходить в кино и вместо этого отдали бы деньги на производство золота, тогда в целом золота будет произведено меньше и больше людей умрёт. Боб должен обменять одну жизнь на две тысячи часов, если он хочет спасти максимально много жизней.

Но Боб прав в том, что ценность жизни гораздо выше двух тысяч часов просмотра фильмов!

Элис утверждает, что сумма двух тысяч часов просмотра кино равна фундаментальной стоимости жизни. Рынок диктует свои условия, и вы не должны возражать, если хотите спасти жизни.

Но на самом деле, сама причина, по которой Боб должен относиться к тысячам просмотров фильма эквивалентно стоимости жизни, состоит в том, что эти просмотры приводят к усилению морального духа, что приводит к спасению более чем одной жизни. Но сам этот факт не приравнивает ценность жизни к удовольствию зрителей.

Элис забыла то, что жители страдают от дракона.

Если бы не дракон, эти жители зашли бы ещё дальше, чтобы спасти друг друга от смерти. Это могло быть какое-то расстояние, на которое они не могут отправиться теперь, или какая-то жертва, на которую они не могут пойти, горе, печаль и снижение качества жизни у остальных жителей деревни ради спасения жизни друга. Но, если бы дракона не было, стоимость жизни была бы намного выше, чем две тысячи часов просмотра кино.

* * *

Достаточно аналогий. Посмотрим на нашу вселенную. Наша экономика неэффективна – нужно несколько миллионов долларов, чтобы спасти жизнь в развитой стране и несколько тысяч долларов, чтобы спасти жизнь в странах третьего мира (там, где «спасать жизнь» на самом деле означает «немного отодвинуть смерть», как в тёмные времена). Кроме того, наша экономика не максимизируется для жизни: люди склонны к разным предубеждениям, в том числе к пренебрежению масштабом, которые ослабляют их способность заботиться о других людях, умирающих против своей воли. Кроме того, важно заботиться не только о жизни, которую мы спасаем, но и о жизни, которой мы живём.

Несмотря на все это, мы не так уж сильно отличаемся от этих деревенских жителей, которые сделали бы все зависящее от них, чтобы спасти друг друга, если это возможно.

Я не знаю, что будет в будущем. Я не знаю, как мы перестанем спасать жизни, жертвуя улучшением качества уровня жизни нынешних поколений и сотворением новых жизней, когда мы пройдём этот период дефицита. Но я могу сказать вам следующее: быть может, наступит тот день, когда человечество разорвёт тысячу солнц, чтобы предотвратить лишь одну несвоевременную кончину.

Такова ценность жизни.

* * *

Вы по-прежнему должны ставить ценник на жизнь, и этот ценник должен быть где-то между несколькими тысячами долларов и несколькими миллионами долларов.

Представьте себе кнопку, которая при нажатии выбирает случайное число от 1 до миллиона. Если число равно 1 – умирает случайно выбранный человек. Сколько вам должны будут заплатить за нажатие этой кнопки?

Многие люди реагируют с отвращением, заявляя, что не будут нажимать такую кнопку любой ценой. Они говорят, что ценность жизни почти невозможно представить.

И такое утверждение верно!

Но когда кто-то предлагает вам десять долларов за нажатие этой кнопки, нажмёте её. Нажатие на неё должно тревожить вас не больше, чем вождение автомобиля в течение года (что, если математически подсчитать, похоже на нажатие кнопки, которая может убить одного случайного человека из десяти тысяч каждый год, в обмен на удобство вождения автомобиля [1], [2]). Если вы хотите сохранить больше жизней, вы можете нажать эту кнопку за 10 долларов и вложить деньги в спасение жизней.

Но не путайте стоимость жизни с ценностью жизни!

В некоторых частях нашего­­­ мира нужно всего лишь несколько тысяч долларов, чтобы спасти жизнь. Если вы действуете так, как если бы цена на жизнь была выше нескольких тысяч долларов, то вы фактически отказываетесь от миллиона долларов за нажатие кнопки, или платите миллиард, чтобы спасти лишь одну жизнь, тогда как можно было сделать многие вещи, которые могли бы спасти больше жизней. Если вы хотите спасти большее количество людей, вы должны обозначить цену на жизнь в соответствии с фактической стоимостью сохранения жизни.

Но не нужно путать текущие затраты на спасение жизни с фундаментальной ценностью жизни.

Здесь есть разница. Существует разрыв между тем, сколько действительно стоит жизнь, и ценой, которую вы должны назначить. Если вы утверждаете, что разницы нет, ваше убеждение ошибочно. Этот разрыв существует, потому что наша деревня страдает от дракона.

Этот разрыв является мерилом разницы между вселенной, которая есть сейчас, и вселенной, которая должна быть.

Эта разница в цене, разница между несколькими тысячами долларов и несколькими тысячами солнц, является мерилом того, насколько все плохо.

* * *

Большинство людей убеждены, что они должны отказаться от нажатия кнопки любой ценой, потому что жизнь практически бесценна. И вы можете взять и рассказать этим людям, что для того, чтобы сохранить как можно больше жизней людям, имеющим ограниченную сумму денег, они должны обозначить цену на жизнь. В этот момент, большинство людей отреагируют одним из двух способов.

Часть людей прислушается к логике и отвергнет свою интуицию. Они увидят, что для спасения большего количества жизней они должны использовать ценник. Звучит отвратительно — сказать, что удовольствие, испытываемое несколькими миллионами человек, пьющих содовую, эквивалентно ценности жизни, но именно такие мысли приводят к тому, что люди начинают думать, что жизнь неоценима, но это является смертельно опасным заблуждением. И поэтому, желая спасти как можно больше людей на деньги, выделенные для спасения жизней, стискивая зубы, они делают вывод, что жизнь никогда столько не стоила.

Другие отвергают логику и продолжают утверждать, что жизнь бесценна, а затем пытаются аргументировать свои утверждения какой-то странной моралью, в которой сохранение как можно большего количества жизней доступными деньгами — это не то, что нужно делать, из-за каких-то запутанных причин.

Но здесь есть и третий вариант! Ведь все эти люди позабыли о драконе!

Можно жить во вселенной, где и так происходит: во-первых, жизнь почти бесценна, и во-вторых, люди постоянно погибают против своей воли способами, которые можно предотвратить, используя относительно небольшие суммы денег.

Вселенная несправедлива! Нажатие кнопки за 10 долларов — это способ спасти множество жизней, и этот факт угнетает. Жизнь практически бесценна, но мы должны относиться к ней так, словно её цена всего несколько тысяч долларов.

Этот разрыв между стоимостью и ценностью неприемлем, но физика не была написана в соответствии с тем, что было бы для нас приемлемо. Мы живём в холодной, безразличной вселенной; вселенной, находящейся вне досягаемости Бога.

Однажды, мы сможем победить драконов, которые нас терзают. Однажды мы, подобно этим сельским жителям в их ранние годы, сможем позволить себе такую роскошь — отправиться в любой уголок мира, чтобы ни один разум не был обречён на забвение. Если мы когда-нибудь это сделаем, то ценность каждой жизни будет измеряться не долларами, а звёздами.

Тогда это будет истинной ценностью жизни, как мы и чувствуем это сейчас.

Поэтому, когда кто-то предлагает 10 долларов, чтобы нажать эту кнопку, нажмите её. Это лучшая стратегия, доступная вам; это единственный способ спасти как можно больше людей. Но никогда не забывайте, что такая действительность — это ужасная трагедия для нас.

Никогда не забывайте о разнице между тем, как мало нужно для жизни и сколько действительно стоит жизнь. Ибо эта разница — это количество тьмы в этой вселенной, это показатель того, как далеко мы зашли.

* * *

Я не хочу превращать это в проповедь. Но некоторые из вас, увидев великую пропасть между стоимостью и ценностью жизни впервые, могут решить, что эту разницу стоит сравнять и что наши драконы достойны смерти. И некоторым из вас может быть интересно, что же делать дальше? Тогда эта последняя часть для вас.

Знайте, что есть те, кто сражается.

Есть те из нас, кто трудятся в шахтах, чтобы отдавать налог дракону. Но есть и те, кто готовятся ко дню, когда мы столкнёмся в битве с драконом — и оружие, которое мы должны будем использовать, будет по-настоящему мощным, но, возможно, прицелиться будет трудно.

И это битва, к которой вы можете присоединиться. Для некоторых, бороться — значит присоединиться к работе над глобальной проблемой. Но для большинства, бороться означает установить для жизни низкий ценник, а затем чтить её — покупая жизнь там, где она дешевле; жертвовать на эффективную благотворительность. Помните, что мужество — это делать правильные вещи, даже если вам страшно, а забота — это делать правильные вещи, даже если это не вызывает у вас тёплых чувств и энтузиазма.

Если это битва, к которой вы захотите присоединиться, то я советую вам сохранить в своей памяти первый урок, выученный сельскими жителями: сначала вы должны позаботиться о себе, прежде чем заботиться о других. Не становитесь бедняками, чтобы бороться с этой вселенской тьмой. Любая сумма денег или усилия, которые вы можете приложить к спасению жизней, будут потрачены не зря. Обещание жертвовать 10% вашего дохода эффективным образом является трудным достижением, достойным большой похвалы.

И если вы соберётесь быть с нами в этой борьбе, я буду приветствовать вас, вне зависимости от причины — но я бы предпочёл, чтобы вы присоединились к нам, наполненные пылким гневом или холодной решимостью, а не чувством вины и позором.

О, ведь не со Смертью мы сражались!
Мы вместе с ней смеялись, порой объединяясь.
И ни один солдат не смел перечить её власти.
Мы хохотали, зная, что найдутся лучше люди
Грядут великие сраженья; каждый горд будет
За жизни бой вести со Смертью; но не под флагом, не с людьми.
(Последняя строфа поэмы «Следующая война» Уилфреда Оуэна)

Примечание редактора сайта: Исходно этот перевод выполнили Юлия Литовченко и Саша Бережной для сайта Эффективного альтруизма.

Однажды группа наивных философов встретила робота, который кое-что собирал. Если быть точным, он собирал марки. Когда роботу предлагали на выбор различные предметы, он всегда выбирал то, что увеличивало количество марок в его коробке. Он не обращал внимание на кубики, бутылочные крышки, алюминиевые банки, палки, веточки и так далее, за исключением тех случаев, когда ожидал, что в ближайшее время он сможет обменять их на марки. Поэтому философы назвали робота филателистом.

Через некоторое время философы узнали о компьютерах и сделали вывод, что робот – всего лишь программа, которую выполняет процессор у него в голове. Философы не смогли разобраться в программе, но они выяснили, что у робота есть несколько датчиков – в глазах и внутри коробки, и с их помощью робот моделирует реальность.

Один из философов задумался и сказал:
– Минуточку, эта штука вовсе не филателист. Если робот только моделирует мир в голове, то его модель не может как-то оптимизировать состояние его реальной коробки – у модели нет к ней доступа. Робот может действовать, только исходя из своей внутренней модели мира.

— Да, верно, — ответил другой философ. — Мы оказали ему плохую услугу, назвав его филателистом. Очевидно, у робота нет доступа к настоящему миру, он ведь видит реальность только благодаря сенсорам и строит в голове модель. Поэтому он никак не может увеличивать число марок в своей коробке, ведь коробка находится за пределами его головы. Наверняка он увеличивает только свой внутренний счётчик марок.

Эта мысль наивным философам понравилась, и они перестали размышлять об устройстве филателиста.

В этих размышлениях есть ошибки. Во-первых, философы допустили «ошибку гомункулуса». У программы не может быть «прямого доступа» к количеству марок в коробке (что бы это ни означало), но точно так же у нее нет «прямого доступа» ко внутреннему счётчику марок.

Нет никакого гомункулуса, который захватил бы робота и властвовал бы внутри него, не имея доступа наружу. Не может быть программы, у которой есть «настоящий» доступ к регистру, где записано число марок, и «ненастоящий» доступ к коробке с марками. Действия, которые приведут к тому, что в коробке окажется много марок, - это те же самые действия, которые приведут к тому, что в регистре счётчика марок окажутся большие числа. Нет подвластного гомункулусу магического круга, в который попадает память, но не коробка. У программы так же мало доступа к «настоящему процессору», как и к «настоящим маркам».

Это подводит нас ко второй ошибке в размышлениях этих философов: попытке объяснить выбор «выбиранием». Нельзя объяснять, почему стена красная, заявляя: «она сделана из красных атомов». Это не объясняет красноту по-настоящему. Объяснение красноты не должно содержать отсылки к красному. Однако у людей есть дурная привычка объяснять запутанные явления с помощью их самих. Почему живая плоть отзывается на команды мозга, а мертвая – нет? Потому что в живой материи есть «жизненная сила». Наши наивные философы совершили ту же ошибку. «Как вообще робот может выбирать исходы, в результате которых вырастет число марок в коробке? А, должно быть, он выбирает те исходы, при которых увеличивается счётчик марок!» Говоря так, они объясняют причину выбора на уровне самого выбора, а не на более базовом уровне.

«Робот пытается добавлять марки в коробку потому, что он пытается увеличивать значение счётчика марок» — это не объяснение. Объяснение должно выглядеть примерно так: программа, запущенная на компьютере робота, использует данные сенсоров для построения модели реальности. Эта модель содержит количество марок в коробке. Затем программа перебирает некоторое количество возможных действий, рассчитывая, сколько марок принесет каждое из них. Выполняется то действие, которое, по расчетам, принесет в коробку наибольшее число марок.

Но мы можем рассмотреть и другое объяснение: Программа внутри робота моделирует реальность, предсказывает, как поведёт себя мир в результате каждого из действий, затем предсказывает, какой результат сильнее всего повлияет на конкретный участок во внутренней памяти, и после этого выбирает действие, которое сильнее всего увеличивает внутренний счётчик. Возможно и это! Можно построить и такую машину. Это гораздо более сложная версия, и поэтому она намного менее вероятна, но хотя бы с формальной точки зрения это корректное объяснение.

И, к счастью для нас, это объяснение поддается проверке: мы можем посмотреть, что именно делает робот, если у него появляется возможность напрямую увеличить значение счётчика марок без увеличения реального количества марок. Посмотрим, как с этим справятся наши наивные философы…

— Эй, смотрите. Я обнаружил в памяти робота счётчик марок. Что там записано, я прочесть не могу, но я нашел способ увеличивать значение в нем. И я предложил роботу выбор: либо он получает одну марку, либо он марок не получает, но я увеличиваю счётчик на десять. Как вы думаете, что он выбрал?

— Конечно, второе! — сразу же ответил один из философов.

— Не-а, он выбрал первое.

— Хм! Значит, мрадость от отказа подделывать счётчик стоит больше, чем 10 марок!

— Э-э… Что такое «мрадость»?

— Мрадость – это внутренняя оценка роботом того, насколько выбор конкретного действия увеличит его счётчик марок.

— Чушь какая-то. Я убежден, что он просто собирает марки.

— Не может такого быть! Программа не знает, сколько у нее на самом деле марок – это ведь свойство внешней реальности. Робот может действовать, только исходя из внутренних значений в его голове.

— Давай предложим роботу вот какой выбор: либо даем ему одну марку, либо увеличим счётчик на $Ackerman(g_{64}, g_{64})$… О, смотри, он выбрал марку.

— Ого, это огромное число. Такой результат наверняка означает, что мрадость при отказе от обмана счётчика пропорциональна количеству мрадости, от которой он отказывается. Робот сейчас, должно быть, очень счастлив: ты только что сделал ему предложение, от которого трудно отказаться, и тем самым подарил ему кучу мрадости.

— О, смотри, я нашел способ накрутить счётчик до максимального предела. Итак, я даю роботу выбор между одной маркой и установкой счётчика на преде… Ого, он выбрал марку.

— Невероятно! Значит, там просто обязан быть еще один счётчик, для учета микромрадости — количества мрадости, которое робот получает сразу же после выбора, раньше, чем ты мог бы увеличить его основной счётчик! О, да, это единственно возможное объяснение, почему он мог отказаться от накрутки счётчика до максимума. Наверняка он делает выбор на основе ожидаемой от каждого конкретного действия моментальной микромрадости. Отличная научная работа, дорогой друг, мы сегодня много узнали!

Нет! Всё не так! Давайте проясним: робот предсказывает, к каким исходам приведут те или иные его действия, сортирует их, и выбирает действие, которое ведёт к лучшим исходам. Выбор оценивается по результатам действий. Поступки как таковые ничего не стоят.

Вы понимаете, почему наивные философы запутались? Они вообразили агента, который рассматривает действия как исходы, и делает выбор, основываясь на том, какое действие предпочтительней, словно действия являются самоцелью.

Нельзя объяснять, почему агент выбрал некое действие, заявляя, что он сортирует действия, исходя из того, насколько они хороши. Это ставит перед нами вопрос, какие действия являются хорошими!

Для описываемого агента «хорошими» являются те действия, которые ведут к исходам, в которых у него много марок в коробке. Действия оцениваются, исходя из результатов, у них нет какой-то внутренней ценности.

Программа робота не включает реальность, но ей это и не нужно. Она все равно воздействует на реальность. Если модель мира верно отражает мир, и робот выбирает действия, которые, согласно модели, приведут к получению марок, то он будет на самом деле накапливать марки.

Робот не стремится к такому будущему, где он будет чаще совершать поступки, приносящие много микромрадости. Он выбирает будущие миры, в которых ожидает получить больше марок.

А теперь я расскажу другую историю.

Однажды группа наивных философов встретила группу людей. Люди, судя по всему, стремились выбирать действия, которые приносят им удовольствие. Иногда они ели вкусную еду, иногда занимались сексом, иногда зарабатывали деньги, чтобы потратить их на приятные вещи потом, но всегда (в первые несколько недель) они выбирали действия, которые вели к удовольствию.

Но вдруг один человек пожертвовал много денег на благотворительность.

— Как такое может быть? — воскликнули философы. — Люди же максимизируют удовольствие! — Несколько минут они думали, а затем сказали: — Должно быть, удовольствие тратить на благотворительность превышает радость, которую можно получить, просто потратив эти деньги.

Тут вдруг мать бросилась под колеса автомобиля, чтобы спасти своего ребенка.

Наивные философы остолбенели, но затем один из них сказал:
— Я понял! Мгновенная радость от такого поступка наверняка перевешивает…

Тебе будут говорить: люди всегда и везде делают только то, что дает им удовольствие. Тебе будут говорить: никакого альтруизма не существует, люди всегда делают то, что они хотят.

Тебе будут говорить: раз мы заперты внутри своего тела, то и заботиться нужно только о том, что есть в нас, о своих желаниях и стремлениях.

Но я скажу тебе: на самом деле ты можешь заботиться о мире вокруг тебя.

И ты можешь его менять. Если захочешь.

1

В предыдущих постах я рассказывал о лайфхаках психологической продуктивности, у меня есть еще пара-тройка идей на следующую неделю. Однако большая часть моей продуктивности связана не с психологией, а с кучей определённых внешних факторов.

Например, я довольно хорошо питаюсь, упражняюсь хотя бы по минимуму и высыпаюсь. С учётом того, сколько людей мучаются с этими тремя вещами (а с ними могут быть огромные сложности!), большую часть моей продуктивности можно отнести исключительно к этим факторам.

Не могу рассказать о питании и упражнениях ничего такого, о чем вы еще не слышали, однако могу дать несколько советов, как высыпаться. В основном потому, что я экспериментировал со сном, будучи подростком. Этот пост - необработанный лог моих мыслей об изученном, он может пригодиться людям, не способным регулярно высыпаться.

2

Начну с предостережений. Мои советы могут быть полезны для людей, которые обычно высыпаются, но потом вдруг вынуждены бодрствовать допоздна (по тем или иным причинам), получая в итоге сбитый режим сна на несколько дней подряд. Мои советы помогают мне избежать превращения в зомби после небольших сбоев в режиме сна. Я не жду, что что-либо из описанного тут поможет при бессоннице или других расстройствах сна.

Также стоит заметить, что возможно я могу стабильно высыпаться из-за биологического везения и/или других факторов, таких как диета, упражнения и управление стрессом. Я молод и физически здоров, мне часто говорят, что люди теряют гибкость режима сна с возрастом.

В общем, эти советы сработали для меня, но я только один человек. Приведены отрывки моей жизни, а не общие факты. Люди разные. Отнеситесь к моим советам со здоровой долей скептицизма.

И последнее. Мой опыт гораздо проще перенять людям с гибким графиком. Многие из советов не подойдут живущим по жесткому расписанию. Увы.

3

С учетом вышесказанного, у меня, кажется, есть опыт и информация, которой многим не хватает. Я пробовал полифазный сон, будучи подростком, у меня есть некоторые успехи с трехфазными и бифазными циклами сна. В конце концов, я забросил из-за неудобств, но вынес несколько идей, помогающих мне и по сей день: по большому счёту я научился эффективно спать днём и получил хороший опыт сна в быстрой фазе - REM (rapid eye movement, фаза сна «с быстрыми движениями глаз»).

В тот же период я научился осознанным сновидениям. В настоящее время я не ухожу в осознанные сновидения часто и целенаправленно, хотя добивался некоторых успехов. Я научился нескольким трюкам, которыми пользуюсь и сейчас: осознанные сновидения помогли мне лучше прочувствовать быструю фазу сна и эффективнее спать в дневные часы.

4

Пришло время для дампа моих мыслей. Будет несколько сумбурно, у меня мало времени на этой неделе.

Высыпайтесь. Спите нужное количество времени каждый день. Очевидный совет для старающихся высыпаться, но часто очевидные советы важно помнить. Большинство людей скажут, что, чтобы этого добиться, нужен стабильный режим: каждой ночью засыпать в одно то же время, каждое утро просыпаться в одно и то же время. Думаю, такая рекомендация верна только наполовину:

Просыпайтесь в одно и то же время каждое утро. Если вы удерживаете режим пробуждения, остальное приложится. Я советую связать режим пробуждения с восходом солнца, а не с конкретной минутой на будильнике, небольшие смещения неизбежны. Цель - не достичь идеального постоянства, цель - развить привычки по части пробуждения. Благодаря ним ваше тело будет автоматически просыпаться примерно в одно и то же время каждое утро, не важно, сколько вы перед этим спали. Возникнут следующие положительные эффекты: отпадёт потребность в будильнике, вы сможете автоматически просыпаться даже в очень необычных условиях, и т.д. Я также обнаружил, что меньше впадаю в состояние полузабытья при пробуждении, если встаю примерно в одно и то же время (с точностью до часа, не до минут). То есть если я провёл последние две недели, засыпая в полночь и просыпаясь в 8:00, пробуксовав один день и уйдя спать под утро в 4, я продолжу просыпаться в 8:00 и чувствовать себя хорошо. Как это совмещается с советом «высыпаться»? Я к этому ещё вернусь, сначала я хочу рассказать обстоятельнее о пробуждении. Фактически, как вы увидите, большая часть моих советов сводится к «выяснить, как правильно проснуться».

Просыпайтесь на свет. Я обнаружил, что просыпаться гораздо проще на солнечный свет. А значит, мой режим пробуждения не зафиксирован в течение года, а движется вслед за солнцем (и зависит от перехода на летнее время). Я предпочитаю никогда не заставлять себя просыпаться, вместо этого стараюсь поместить себя в такую ситуацию, чтобы мое тело пришло к желанию проснуться, когда надо, естественным путем. Если ваши окна не выходят на восток или у вас облачный климат, вам может помочь световой будильник. У меня есть один, но он даже близко не так эффективен (по моему опыту) как настоящий рассвет. (Также замечу, что в хмурые дни я склонен спать немного дольше, хотя этот эффект уменьшается, если хмурые дни бывают редко и мой режим пробуждения хорошо поддерживался).

Не сдвигайте пробуждение после глубокой ночи. «Постой, как достаточный сон увязывается с фиксированным режимом пробуждения?» - можете спросить вы. «Если я не спал до глубокой ночи, что теперь?». Моя общая стратегия - «восполнять потерю сна дневным сном». Я обнаружил, что если просыпаюсь примерно в одно время каждое утро, то даже после очень позднего засыпания, я продолжу просыпаться в то же время. Возможно, мне удалось поспать ночью только 2-4 часа, но привычный режим пробуждения в сочетании со световым будильником приводит моё тело в привычный «режим утреннего бодрствования», и я не ощущаю эффектов нехватки сна. (Вполне возможно, что эта способность развилась, когда я пробовал полифазный сон, но я рассчитываю, что она по большей части обусловлена привычкой к пробуждению в одно и то же время при естественном свете, то есть повторяема). Проигнорируйте установку, что вы должны быть очень заспанным после трехчасового сна. По моему опыту, такое ожидание вредит. Проснитесь, примите душ, позавтракайте. Когда это случается со мной, я обычно просыпаюсь довольно бодрым, иногда даже более бодрым, чем обычно. Конечно, не все бывает радужно: когда у меня большой дефицит сна, я склонен проваливаться в сон вскоре после обеда (примерно в 12-14). Тут я и восполняю потерянный сон: не за счет позднего пробуждения, а продолжая бодрствовать до полного истощения и устраивая дневной непродолжительный сон.

Иногда вы просто хотите продолжить спать утром. Это хорошо, спите. Просто вам не обязательно спать дольше, если вы поздно легли. Легко проснуться в обычное время, засидевшись перед этим допоздна, и решить: «эй, я не выспался, мне лучше продолжить спать», несмотря на нормальное физическое состояние. Слушайте своё тело! Оно может быть способно прекрасно проработать полдня даже при малом количестве сна, при условии, что вы можете поспать после обеда.

Учитесь дневной сиесте. «Но я не могу спать днём», протестуете вы. «Дневной сон делает меня еще более сонным и уставшим». Да, я знаю это ощущение. Возможность получать хороший дневной сон не приходит просто так. Но этому можно научиться (по крайней мере, по моему опыту), так что настройтесь на развитие! У меня есть несколько советов, как научиться кратковременному сну, по ним я пройдусь ниже, но конечно, это советы должны идти рука об руку с принципом «просыпайтесь правильно».

Станьте способным к короткому дневному сну. Первый шаг к дневному сну - возможность вздремнуть, когда вы готовы падать от усталости. Да, я знаю, большинство из вас не может этого сделать, потому что ваш режим не настолько гибок. Мои соболезнования. Но многие из вас могут обнаружить, что словить дневной сон проще, чем вы думаете. Я обнаружил, что даже при работе на гос.контрактах, фразу «черт, я валюсь с ног, мне нужно пойти вздремнуть» принимают на удивление хорошо. Конечно, сложно провернуть такое в сфере обслуживания, но в большинстве других сфер вы можете быть удивлены, насколько ваш босс/менеджер/кто-то еще нормально относится ко сну на работе.

(Конечно, все зависит от того, как вы это преподнесете: если вы выдерживаете образ ответственного взрослого человека, заботящегося о своей продуктивности, вероятность, что оно сработает, выше. Вероятность, что все получится, также повышается, если вы нуждаетесь в дневном сне только изредка).

Практикуйте дневной сон. Большинство людей плохи в дневном сне поначалу. Когда у кого-то плохо получается вздремнуть, дневной сон плохо восполняет дефицит. Однако, по моему опыту, обучение эффективному дневному сну - очень полезный скилл (повысил гибкость моего сна в разы). К сожалению, я научился эффективному сну сложным путем: я потратил несколько недель, лишая свое тело любого сна, кроме кратковременного, и скажу вам вот что: мой мозг освоил этот трюк очень быстро. Ниже приведено несколько советов для тех, кто хочет научиться краткому сну менее бесчеловечными путями, но полагаю, наилучший путь - просто практиковаться: перейдите на бифазный сон на несколько недель, учтите, что в первые дни дневной сон будет неэффективен, и бьюсь об заклад, довольно скоро вы научитесь спать как настоящий профи. По крайней мере, для меня обучение краткому сну оказалось достойной инвестицией.

Хорошо прочувствуйте быструю фазу сна. Люди могут рассказать множество вещей о сне, какие фазы сна важны, а какие - нет. Лозунг полифазного сна - «необходимы только глубокий сон и быстрая фаза сна», однако многие люди проводят большую часть времени в фазе неглубокого легкого сна. Не уверен, в этом ли проблема, но даже если в этом, возможно, ряд тонкостей сильно приукрашен. Однако могу сказать, что когда я научился краткому сну, внутренние ощущения при засыпании и пробуждении значительно изменились. Выдвину предположение, что это связано с улучшением способности замечать циклы быстрого сна и момент переключения в данную стадию. Но есть у меня и эвристика «анти-особенной снежинки», говорящая, что протестируй вы мои циклы сна, не нашли бы ничего особенного. В общем, примите следующие советы со здоровой долей скептицизма.

Переход напрямую в быструю фазу сна. При первых попытках перейти к полифазному сну, я спал неэффективно. На начальных стадиях я валялся по 30 минут и не происходило ничего. К следующим попыткам я ощущал больший дефицит сна, и засыпал сразу, как коснусь матраса, - только чтобы быть разбуженным через, казалось, несколько секунд, еще более разбитым и хмурым: я проваливался в бессознательное состояние, а потом меня из него выдергивало в еще более усталое «бодрствование». Когда кратковременный сон заработал, эффект полностью изменился: я ложился, ускользая прямо в сон, получал довольно яркие сновидения, а после них пробуждался обновленным и собранным (и часто относился к реальности несколько подозрительно в те несколько секунд, когда таяло сновидение). Предположу, что во время краткого дневного сна мое тело научилось входить в быстрый сон напрямую, и тогда дневной сон стал эффективен. Если вы пытаетесь учиться самостоятельно, проследите за данным феноменом, это именно то (по крайней мере, по моему опыту), за чем вы охотитесь. Следующий совет может помочь ускорить процесс:

Испытайте гипнагогию. Гипнагогия - «сонные галлюцинации», которые иногда случаются во время пробуждения. «Галлюцинации» - не совсем подходящее слово, этот опыт (для меня) скорее из области бессвязного мышления и пограничного состояния между сознательным и бессознательным. По моему опыту, эффективный дневной сон почти всегда начинается с гипнагогии; полагаю, она сигнализирует о способности уходить напрямую в быстрый сон. К счастью, по моему опыту, если я не испытываю гипнагогию перед засыпанием, её можно вызвать. Существует такой мысленный переход при засыпании, ощущающийся как «эй, постой, не засыпай пока»: не чувство полной осознанности, но то чувство, как когда пытаешься не уснуть на очень скучной паре. Если я поддерживаю состояние «попыток остаться бодрствующим при засыпании» достаточно долго, обычно я прихожу к гипнагогии.

Опирайтесь на сновидения. Думаю, процесс прямого ухода в быструю фазу сна был ускорен для меня за счет параллельного обучения осознанным сновидениям. Получив гипнагогию, вы можете как бы «опереться на сновидение». Многим людям сложно осознанно распознать гипнагогию (не удивительно, ведь это процесс ухода из сознательного состояния). Другие, заметив гипнагогию, переключаются в «полную осознанность». (Знаете то чувство, когда вы почти уснули, но ваше колено дрогнуло, и вы резко совсем проснулись? Типа того). Оба этих явления были очень характерными для меня в период обучения вхождению в гипнагогию, но, в конце концов, я смог развить третий порыв, позволивший мне сознательно отмечать гипнагогию, не прерывая процесс засыпания; в этом состоянии я способен усиливать гипнагогию и вызывать яркие сновидения. (Со временем это начинает происходить рефлекторно, и когда бы я ни попытался вздремнуть, я автоматически ускользаю в довольно яркое сновидение). Это также оказалось довольно мощным способом войти в осознанное сновидение, и известно как «осознанное сновидение, инициированное из бодрствования» (wake induced lucid dream, WILD). Если вы хотите натренироваться опираться на сновидения, практика WILD может помочь. Даже без полной осознанности, способность напрямую переходить к ярким сновидениям связана с более эффективным коротким сном.

(Замечание: научившись этому, я порой переживал очень яркую гипнагогию, будучи уставшим, но во всех отношениях бодрствующим. Это происходит в основном когда у меня появляется новый партнер и мы общаемся все ночь: когда другие ощущают «сонную глуповатость», я начинаю переживать яркие галлюцинации похожие на сновидения, но поддерживаю при этом куда более высокий уровень осознанности, чем обычно при гипнагогии. Это происходит гораздо быстрее, чем у большинства людей, сообщающих о галлюцинациях при депривации сна, и стало происходить у меня только после практикования WILD, так что думаю, здесь есть связь. Лично я получаю от этого удовольствие, но в некоторых ситуациях оно может повредить. Вы предупреждены).

Просыпайтесь правильно. Обучение ярким сновидениям во время краткого сна значительно улучшило мои способности пробуждаться обновленным, а не разбитым. Я испытывал резкое пробуждение после (иногда во время) сновидения, а не то пробуждение, когда ты вырван из сна будильником. Я не склонен вылетать из сна на этапе какого-либо «завершения повествования», но склонен вылетать автоматически, и это почти всегда сопровождается ощущением собранности и обновленности. Это выглядит проще, если вызывать у себя более яркие сновидения (окунаясь в гипнагогию в начале короткого сна). Если вы практикуетесь в сновидениях, советую не только сразу же уходить в сновидения, но и практиковать автопробуждение. Довольно трудно объяснить, как это делается, но думаю, что пробуждение после сновидения - нарабатываемый навык. Как его наработать? Ну…

Спите днем без будильника. Есть несколько важных причин, чтобы спать без будильника. Одна - если я проснулся в неправильное время, я часто ощущаю себя разбитым и хмурым. И к несчастью, «правильное время» может быть окном в пять минут, которое сдвигается в зависимости от кучи переменных, то есть я обычно не могу настроить на него будильник. Так что я просто сплю и позволяю себе просыпаться после сновидения. Чего, как вы думаете, вы не можете себе позволить, потому что вдруг вы проспите весь день. Но в этом и заключается часть смысла, практика «проснуться в конце сновидения» задействована именно здесь.

Нет, серьезно, спите без будильника, даже когда у вас есть куча важных дел. Способ, которым вы практикуете пробуждение в конце сновидения - это прикорнуть днем, без будильника, примерно за два часа до чего-то важного. (Соблюдайте некоторую осторожность, разумеется). Цель - поместить ваше тело в такие обстоятельства, в которых оно вынуждено проснуться само, потому что ставки высоки, а страховки нет. Я обнаружил, что у моего тела есть такие способности, и многие другие люди так же выглядят способными к такому. (Если у вас были важные интервью/полеты/дела рано утром, испытывали резкое пробуждение с полной собранностью минут за 20 до будильника, ощущая панику, что вы пропустили важное?). В вашем мозге есть «железо» для естественного пробуждения, и вы можете научиться его использовать.

Суть не в том, чтобы «всегда ставить что-то важное после дневного сна», это было бы глупо. Скорее суть в том, чтобы поставить себя в такие условия, чтобы вам было действительно нужно успешно проснуться самостоятельно, а потом, сразу как проснетесь, заметить, на что был похож момент перед пробуждением. Я обнаружил, что у сна есть неотъемлемые характерные части, в которых можно проснуться естественным образом, и вполне реально поместить себя в такую ситуацию, что вы естественным образом проснетесь в нужное время. Вы можете практиковать естественное пробуждение в сценариях высокого риска, чтобы понять, как ощущается «автомонитор пробуждения», но конечная цель - всегда дремать с включенным автомонитором; вот что я использую, чтобы гарантировать свое пробуждение от дневного сна в той части цикла, когда будет ощущаться собранность вместо разбитости.

Воспринимайте вечер как довольно важное время, тогда монитор пробуждения сможет выдернуть вас из дневного сна с ощущением «о боги, надеюсь, я не проспал весь день». Но в долгосрочной перспективе цель - отделить состояние сознания «я должен проснуться» от состояния паники, чтобы вы могли засыпать днем, осознавая: вы проснетесь в правильной точке цикла, без потребности задействовать панику. Очень сложно описать это, но думаю, лучше всего практиковать попадание в ситуации, в которых вам нужно автопробуждение; отметьте черты автопробуждения несколько раз, а потом попробуйте кучу разных вещей, пока не выясните, как именно пробуждаться в точках «собранности», а не на этапах «разбитости».

Еще советы для короткого сна. Итак, тремя большими советами были: (1) практикуйте, (2) опирайтесь на сновидения, (3) научитесь просыпаться в конце сновидений. Требуется кучи практики. Несколько мелких замечаний о дневном сне:

*Вам не обязательно проходить все стадии засыпания. Часто когда я сплю днем, я не ощущаю, что полностью засыпаю. Вместо этого я ощущаю просто яркую гипнагогию на грани сновидений (но никогда полностью не теряю осознание окружающего) в течение примерно 30 минут. Это прекрасно, и по факту это часто очень освежает. Вам не нужно полностью терять осознанность для эффективного короткого сна!

*У меня естественный выход из цикла дневного сна происходит или примерно через 30 минут, или примерно через 2 часа. У вас может быть иначе. Отнеситесь нормально к короткому сну варьирующейся длины.

Просыпайтесь правильно и после основного сна. Мне было легче научиться просыпаться в правильный момент цикла днем, а не во время основного ночного сна. Однако сам скилл распространился и туда: после того, как я натренировался автопробуждению из дневного сна, я стал способен научиться автопробуждению из ночного сна.

Как это соотносится с «просыпайтесь на свет»? Выглядит реальным настроить процесс автопробуждения так, чтобы он выбрасывал вас из сна сразу же, как только вы в правильной точке цикла во время рассвета. Опять же, чтобы отпрактиковать это, рекомендую засыпать без будильника, когда утром ожидается что-то важное, чего нельзя проспать; это возможность наблюдать автопробуждение.

sleepyti.me - инструмент, созданный чтобы помочь вам проснуться в правильной части цикла. Лично я обнаружил, что моя цель «проснись и соберись» слишком мала и подвижна, чтобы надежно ловиться будильниками, но вы можете найти подобные инструменты полезными. (Возможно, это менее эффективно, но более практично, чем тренировка надежного процесса автопробуждения).

5

Это были мои основные советы. Большинство из них нацелено на правильное пробуждение: по моему опыту, фаза сна, из которой я пробуждаюсь, значительно влияет на последующее самочувствие. Вполне реально натренировать себя пробуждаться в правильной части цикла. Солнечный свет помогает.

Обучение короткому дневному сну бесценно для меня, когда нужно восполнить дефицит сна; эта способность сделала мой режим гораздо менее хрупким (а также помогла натренироваться в автопробуждении).

Лично я делал это, бросаясь в полифазный сон, принуждая мозг выяснять, как высыпаться днем действительно быстро. Я бы не советовал эту опцию как обязательную, но думаю, полезно преодолеть краткосрочный дискомфорт, чтобы выяснить, как получать пользу от дневного сна. Возможно, вам стоит уйти в бифазный сон на некоторое время.

(Учтите, разумеется, что это может Просто Не Работать Для Вас. Вспомните предостережения насчет диеты, здоровья, везения и т.д. Но сам факт неумения эффективно поспать днем не представляет собой значительного свидетельства, что вы не научитесь, если вы ещё не перепробовали всё. Возможно, стоит попробовать. Просто осознавайте, что дневной сон может быть говяным в первые недели практики).

Теперь, когда я способен эффективно спать днём, мой режим сна стал куда гибче. Мне помогает фиксированность утреннего пробуждения: могу засыпать, когда захочу, восполнять дефицит сна днём, поддерживая при этом определённое постоянство и ритмичность графика за счёт утра. (Нахожу ритмичность важной, когда речь о том, чтобы высыпаться).

Ритм облегчает мне экспериментирование с режимом сна. Допустим, пробуждение зафиксировано в районе 8:30 (с учётом восхода и расположения моих окон). Тогда я могу попробовать засыпать в 2:00 несколько дней, проверяя, достаточно ли шести с половиной часов. Если нет, восполню дефицит днем. Если да, можно сдвинуть режим ещё немного, посмотреть, какого минимума достаточно.

Будьте осторожны с этим! Умственная деградация часто начинается до того, как вы ощутите какие-либо эффекты депривации сна. Если вы идёте на эксперимент, советую отслеживать время реакции. Лично я сплю на 90 минут дольше, чем начинает ощущаться субъективное «я достаточно бодр». Тем не менее, эксперименты с этим чувством предоставляют полезную информацию, даже если вы не планируете закреплять результаты.

Лично я обнаружил, что моя потребность во сне колеблется между 6-9 часами в день. С фиксированным пробуждением и способностью спать днём эксперименты даются легко. Так что, конечно, можно довести стратегию до логического завершения, сократив основной сон до 5 часов и стабильно отсыпаясь в середине дня. Получится режим сна с сиестой.

Понимаю, это не самый организованный перечень советов, но надеюсь, вы вынесли что-то полезное. По-моему, хороший сон - важный компонент высокой продуктивности и мотивации, так что, если вам не хватает мотивации, определённо стоит проверить, не во сне ли боттлнек. В любом случае, эксперименты окупаются: если вы можете сэкономить по 90 минут за ночь, за год наберётся больше 500 часов. Тот случай, когда небольшие улучшения дают ощутимый выигрыш.

Спать хорошо (перевод статьи Sleeping Well by Nate Soares)

Какой смысл вкладывают во фразу «вероятность выпадения решки 50%»?

Исторически сложилось так, что у этого вопроса есть два популярных варианта ответа: «частотный» и «субъективный» (он же «байесианский»), которые, в свою очередь, означают два разных подхода к статистике. Есть еще и третий вариант — «склонность», но он в значительной степени дискредитирован. Если кратко описать эти три варианта то получится вот что:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Интерпретация «склонности» наиболее естественная для человеческой интуиции, ведь многим людям кажется, что случайность — это врожденное свойство монеты. Тем не менее этот вариант трудновато сочетать в фактом того, что монета, будучи пойманной, уже показывает либо орел либо решку. Если обсуждаемое событие детерминировано, интерпретация «склонности» может быть рассмотрена, как случай «ошибки проецирования ума»: когда мы в голове оцениваем подбрасывание монеты, то легко верим, что мы находимся в мире, где монета фундаментально пятидесятипроцентнорешковая. Но это убеждение — факт о нас, а не о монете; и монета не имеет физического свойства выпадать решкой в половине случаев. Она просто монета.

Две другие интерпретации внутренне непротиворечивы и образуют разные подходы к статистике, о сравнительной полезности которых идет немало споров. Субъективная интерпретация применима в большем количестве ситуаций, так как позволяет назначать вероятности (выраженные как ставки) даже единичным событиям.

Частотность против субъективизма.

В качестве примера, на котором можно показать разницу между частотностью и субъективизмом, рассмотрим вопрос: «Какова вероятность выигрыша Хиллари Клинтон на президентских выборах 2016 года?». Воспользуемся данными, доступными на момент лета 2016.

Стереотипный (соломенный) частотник скажет: «Президентские выборы 2016 года — уникальное событие, случающееся лишь один раз. Мы не можем наблюдать частоту с которой Клинтон выигрывает президентские выборы. Так что мы не можем тут выполнить статистическое исследование или назначить вероятности».

Стереотипный субъективист ответит: «Итак, рынки предсказания довольно хорошо откалиброваны для таких событий, в том смысле, что если рынок назначает вероятность в 20%, то такое событие происходит где-то 1 раз из 5. А рынки предсказаний ставят на победу Клинтон сейчас с шансами 3 к 1. Так что я вполне уверенно могу сказать, что она победит с вероятностью в 75%. Если бы кто-то предложил мне ставку с шансами 20:1 против нее (т.е. этот человек получает 1 доллар в случае проигрыша, а я 20$, если она выигрывает выборы), то я бы принял эту ставку. Разумеется, можно отказаться от такой ставки, мотивируя это тем, что Вы Просто Неспособны Говорить О Вероятностях Единичных Событий, но это будет означать лишь, что вы упускаете случай сыграть очень хорошую ставку».

Стереотипный (не-соломенный) частотник ответит: «Разумеется, я бы тоже принял эту ставку. Но это решение не было бы принято на основе строгой эпистемологии, и уж тем более мы не можем позволять такие виды рассуждений в эмпирической науке и других важных областях применения вероятностей. Вы можете использовать субъективные рассуждения при оценке ставок, но мы не должны допускать такие рассуждения в научные журналы — для этого и существует частотная статистика. Заключение вашего исследования не должно содержать вещей вроде: «и вот, пронаблюдав такие—то данные об уровне углекислого газа, я бы поставил 9:1 на то, что антропогенное глобальное потепление реально происходит», ведь мы не можем выстроит научный консенсус на основе личных мнений».

…и вот тут начинаются сложности. Субъективист ответит: «Во-первых, я согласен с тем, что не следует размещать в работах апостериорные шансы, во-вторых, ваш метод тоже не особо объективный: выбор класса «подобных событий» произволен, им легко злоупотребить и, как результат, мы имеем хаки p-value и кризис репликации». На что частотник скажет: «ну а ваш выбор априорных еще более субъективен, и посмотрел бы я как вы себе поведете, когда давление со стороны сообщества толкает на злоупотребление статистикой и преувеличение результатов» — и вот мы отправляемся в путешествие вниз по кроличьей норе.

Субъективная интерпретация вероятностей распространена среди исследователей ИИ (которые часто разрабатывают системы, манипулирующие субъективными распределениями вероятностей), биржевых трейдеров (которым приходится делать ставки даже в относительно уникальных ситуациях) и в обычной жизни (ведь людям надо оценивать вещи вроде вероятности выпадения осадков завтра в 30%, несмотря на то, что завтра случиться лишь однажды). Тем не менее, частотную интерпретацию обычно преподают на лекциях по введению в статистику и она составляет золотой стандарт научных журналов.

С точки зрения среднего частотника, хороший статистик должен иметь разные статистические инструменты в своем распоряжении. Есть место и для субъективистских, но никакого особенного отношения они не заслуживают (и уж точно их не стоит принимать во внимание, когда приходит время оценивать работы для публикации в серьезном журнале).

С точки зрения агрессивного субъективиста, частотники наизобретали немало хороших инструментов, среди которых есть и действительно полезные, но их отказ оценивать субъективные вероятности токсичен. Частотная статистика была разработана как (провалившаяся) попытка исключить субъективность из науки во времена, предшествующие постижению законов теории вероятности человечеством. Сейчас же у нас есть теоремы о корректном использовании субъективных вероятностей, и как факторизировать личные убеждения на основе объективных свидетельств из данных, и если эти теоремы игнорировать, то легко попасть в беду. Частотная интерпретация сломана и поэтому в науке распространен p-hacking и кризис воспроизводимости, в то время как трейдеры и исследователи ИИ используют байесовскую интерпретацию. Идея «давайте найдем компромисс и согласимся, что все точки зрения валидны» хорошо звучит, но сколько провалов требуется прежде чем наступит пора сказать «ой» и признать субъективную интерпретацию во всех областях науки?

Однако, большинство ученых и исследователей скорее агностики, в том смысле что: «используй любые удобные инструменты, а когда придет пора отдавать работу на публикацию, заверни процесс в частотные, ведь так люди делали на протяжении десятилетий и именно этого все и ожидают от тебя».

Какая из интерпретаций наиболее полезна?

Вероятно, это субъективная интерпретация, ведь она вбирает в себя «склонность» и частотные методы, как частные случаи, при этом являясь более гибкой.

Когда частотный класс «подобных событий» ясно обозначен, субъективист может учесть эти частоты (часто именуемые априорными вероятностями в таких случаях). Однако, в отличии от частотника, она может совместить эти априорные вместе с другими наблюдаемыми свидетельствами из данных и назначать вероятности единичным событиям. Делать деньги на рынках предсказаний и/или на рынках ценных бумаг (если у нее есть информация, которой нет у рынка).

В тех случаях, когда законы физики все же «содержат неопределенность», когда они, например, утверждают, что вы получите множество разных наблюдений вместе с разными условными вероятностями (как в случае с уравнением Шредингера), субъективист может объединить свою неопределенность «склонности» и личную для генерации агрегированных субъективных вероятностей. Но в отличии от теоретика «склонности», ничто не принуждает ее думать, будто вся неопределенность содержится в физических законах. Она может думать как теоретик «склонности» о предоставленной уравнением Шредингера неопределенности, при этом все еще веря в то, что ее неопределенность относительно уже упавшей монеты содержится в ее разуме, а не в монете.

Вывод же такой: частотные методы хороши для ответа на частотные вопросы. Из того, что вы можете назначать вероятности для единичных событий (т.е. оценивать насколько хороша какая-то ставка на рынке предсказаний или ценных бумаг) не следует, что обозначенные как «байесианские» инструменты обязательно лучше тех, что обозначены как «частотные». Какую бы интерпретацию «вероятностей» вы бы ни использовали, мы надеемся, что вы задействуйте наиболее вам удобные, независимо из какого «лагеря» этот инструмент. Не позволяйте факту того, что вы можете назначать вероятности единичным событиям, стоять на вашем пути, если вы решите использовать частотные инструменты!

Давайте вспомним три распространенных интерпретации того, что значит для монеты выпадать с вероятностью в 50% решкой:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Один из способов визуализировать разницу между интерпретациями, это посмотреть какие модели в рамках этих интерпретаций считаются хорошими моделями. Если чья-то модель сформулирована и может быть выражена словами, то для проверки ее качества нам достаточно сравнить ее с известными фактами. Например, если эта модель утверждает что «вон то дерево три метра в высоту», то эта модель корректна только в том случае, если дерево действительно три метра в высоту.

Однозначные утверждения модели называются «правдой», когда они соответствуют реальности, и «ложью», когда не соответствуют. Если вы собираетесь воспользоваться картой для навигации вдоль побережья, лучше бы вам убедиться в том, что линии на карте соответствуют территории.

Но как определить соответствие между картой и территорией, когда карта вероятностна? Если ваша модель утверждает что перекошенная монета имеет вероятность выпадения решки в 70%, в чем состоит соответствие вашей модели и реальности? Если монета действительно выпала решкой, можно ли назвать утверждение модели «правдой»? Правдой на 70%? И что это будет значить?

Сторонник теории «склонности» утверждает, что это голый факт о мире, что реальность содержит онтологически фундаментальную неопределенность. Модель, утверждающая, что монета выпадает решкой с вероятностью в 70%, является верной только в том случае, если реальная физическая склонность монеты составляет 0,7 в пользу решки.

Эта интерпретация полезна, когда законы физики действительно утверждают, что вы можете пронаблюдать несколько разных результатов с разными условными вероятностям, как в случае с квантовой физикой. Однако, если событие детерминировано — т.е. если монета была подброшена, упала и уже показывает чт0-то, тогда эта интерпретация выглядит глупо, и является примером для «ошибки проецирования ума». Монета — это лишь монета, и не имеет структуры (или особого физического статуса), фундаментально содержащей в себе крохотные 0,7 где-то внутри. Она уже выпала либо решкой либо орлом, и несмотря на возможное чувство, что монета имеет фундаментальную неопределенность, это чувство является событием внутри вашего мозга, а не монеты.

Так как же мы может определить соответствие между вероятностной картой и детерминированной территорией (где монета уже выпала либо орлом либо решкой)?

Частотник определяет соответствие между единичным вероятностным высказыванием модели и множеством событий в реальности. Если карта утверждает «эта монета с вероятностью в 70% покажет решку», и территория содержит 10 случаев, когда 10 карт утверждают то же самое, и в 7 из 10 этих случаев монета выпадает решкой, тогда частотник скажет, что утверждение истинно.

Тем самым частотник следует принципу черно-белого соответствия: модель либо верна либо нет; утверждение о 70% либо правда либо ложь. Когда карта утверждает «эта монета с вероятностью в 30% выпадет орлом», это (согласно мнению частотника) означает «взгляните на все случаи, подобные этому, где моя карта утверждала, что монета с вероятностью в 30% выпадет орлом; среди всех этих случаев в реальности, три десятых содержит выпавшую орлом монету». И такое заявление модели является окончательным, с учетом данного набора «подобных событий».

Субъективист, напротив, использует идею «корректности» и оттенки серого. Он может сказать: «Моя неопределенность относительно состояния монеты - факт обо мне, а не о монете. Мне не нужны другие «подобные случаи» для выражения неопределенности относительно этого случая. Я знаю, что реальность в которой я нахожусь либо реальность-где-уже-орел, либо реальность-где-уже-решка, и у меня есть распределение вероятностей в котором решке отведено 70%». И он определяет соответствие между распределением вероятностей и реальностью таким образом, что чем большую вероятность модель назначает корректному ответу, тем модель лучше.

Если реальность является реальностью-решки, и вероятностная карта назначает 70% решке, тогда субъективист скажет, что карта точна на 70%. Если относительно 10 подобных случаев, где карта назначает решке 70% и в 7 из 10 случаев выпадает решка, байесианец называет такую карту «хорошо откалиброванной». Далее он может начать искать способы повысить точность и калибровку карты. Ему не нужно интерпретировать заявления вероятностных карт как окончательные; он вполне будет рад интерпретировать заявления как прогнозы, которые можно расположить на шкале точности.

Дебаты вокруг интерпретаций.

Короче говоря, частотная интерпретация пытается отыскать способ определения истинности или ложности модели (путем определения набора подобных событий), в то время как субъективная интерпретация развивает идею «корректности» и оттенки серого.

Случается так, что частотники выдвигают возражения против субъективной интерпретации, утверждая что частотное соответствие — единственная интерпретация, для которой есть хоть какая-то надежда на объективность. Ведь возможно ли с точки зрения байесианского соответствия определить, должна ли карта назначать 70% или 75%, с учетом того, что вероятностные утверждения не являются объективно истинным или объективно ложными? Частотники утверждают, что такие субъективные оценки «частичной точности» могут быть интуитивно привлекательными, но им не место в науке. Научные исследования должны быть ограничены частотными утверждениями, которые определенно либо истинны либо ложны. И делать это надо ради увеличения объективности в науке.

Субъективисты отвечают на это, указывая на сомнительную объективность частотного подхода, который целиком и полностью зависит от выбора «подобных случаев». На практике получается так, что люди могут (и делают!) злоупотреблять частотной статистикой, выбирая такой класс подобных случаев, с которым их результаты будут выглядеть максимально впечатляющими (этот способ называется «p-hacking»). Кроме того, манипуляция субъективными вероятностями полностью подчиняется железным законам теории вероятностей (которая является единственным способом управлять своей неопределенностью о мире, избегая противоречий и патологий), так что субъективные вероятности далеки от взятых «с потолка». И потом, предметом научного исследования являются в том числе и события, для которых нет большого класса подобных случаев, и тем не менее, есть свидетельства которые надо учесть.

Для более углубленного изучения этих дебатов смотрите: Правдоподобия, P-значения и кризис воспроизводимости .

Ошибка безвредной сверхновой – это класс аргументов, которые обычно одновременно предстают собой ещё и ложные дихотомии или же ошибки непрерывности. Эти аргументы одинаково легко использовать для обоснования того, что практически любое физически возможное явление – включая сверхновую – безвредно / управляемо / безопасно / неважно.

• Ограничено, следовательно, безвредно: «Сверхновая не обладает бесконечной энергией – это нарушало бы законы физики! Просто надень огнеупорный комбинезон и всё будет в порядке.» (Все физические явления обладают конечной энергией; всё равно энергии некоторых достаточно, чтобы огнеупорный комбинезон их не остановил. «Бесконечно или безвредно» – ложная дихотомия.)
• Непрерывно, следовательно, безвредно: «Температура непрерывна; нет качественного порога, после которого что-то становится «супер»-горячим. Нам просто нужны более хорошие версии уже существующих огнеупорных материалов, а это вполне понятная инженерная задача.» (Явный экземпляр стандартной ошибки непрерывности: существование между двумя точками континуума состояний не означает, что они не различаются. Некоторые температуры, хоть качественно и не отличаются от более низких температур, превосходят всё, с чем мы можем совладать, используя работающие для этих более низких температур методы. «Количество переходит в качество.»)
• Варьируется, следовательно, безвредно: «Сверхновая не нагреет все области солнечной системы до в точности одинаковой температуры! Будет горячее ближе к центру и холоднее во внешних областях. Нам просто надо оставаться в той части Земли, которая подальше от Солнца.» (Температуры возле сверхновой варьируются, но все они количественно достаточно высоки, чтобы превосходить высочайший приемлемый уровень. И близко нет таких температур, чтобы появилась область, в которой можно выжить.)
• Не магия, следовательно, безвредно или соломенная суперсила: «Вопреки тому, во что, кажется, верят многие астрономы, сверхновая не может жечь достаточно горячо, чтобы прожечь само время, так что всё будет в порядке.» (Ложная дихотомия: божественные способности не обязательны для того, чтобы явление было опасным / не переживаемым.)
• Не беспрецедентно, следовательно, безвредно: «На самом деле, у нас уже некоторое время есть сверхновые – уже есть устройства, производящие «суперские» количества тепла, синтезируя низкие в периодической таблице элементы. Они называются «термоядерными бомбами». Наше общество продемонстрировало хорошую способность регулировать существующие термоядерные бомбы и предотвращать заполучение их террористами. Нет причин, по которым это не будет верным и для сверхновых.» (Теннис референтных классов / презумпция типичности / ошибка непрерывности: помещение сверхновых в один континуум или одну группу с водородными бомбами не приводит к тому, что с ними будут работать похожие стратегии.)
• Неопределяемо, следовательно, безвредно: «На самом деле, что такое «тепло»? Кто-то из Гренландии может посчитать, что 295 градусов по Кельвину – это «тепло», а кто-то с экватора – что «холодно». И в какой конкретно момент «сияние Солнца» становится «сверхновой»? Вся эта идея кажется плохо определённой.» (Сложности в нахождении точного определения физического процесса не обосновывают вывод, что этот процесс безвреден.1)

• 1. Заметим, что разделение процесса взрыва сверхновой и сияния солнца эмпирически довольно чёткое, но аргумент ошибочен не поэтому – супер-горячий обычный огонь тоже может быть опасен, даже если нам лично сложно определить «супер» и «горячий».

«Чтобы быть хорошим инженером, надо думать, как заставить что-то заработать; мышление же безопасника требует думать о том, как что-то может сломаться.»

Брюс Шнайер, автор учебника «Прикладная Криптография»

Стиль мышления, нужный для работы над безопасностью ИИ, имеет много общего с стилем мышления специалистов по кибербезопасности, хоть задачи и разные. В кибербезопасности надо защищаться от разумных противников, которые будут творчески выискивать любые дефекты в защите. Безопасность ИИ имеет дело с сущностями, которые потенциально могут стать умнее нас и начать находить непредвиденные способы оптимизировать то, что они будут оптимизировать. Сложность проектирования ИИ умнее человека так, чтобы он не стал противником, во многом схожа с сложностью защиты информационной системы от уже существующего разумного противника. Это обосновано ниже.

Поиск странных возможностей

SmartWater – жидкость с уникальным идентификатором, указывающим на конкретного владельца. Когда я впервые узнал об этой идее я написал: «Суть в том, чтобы побрызгать эту штуку на свои ценные вещи для доказательства владения. Я думаю, идея получше – побрызгать на чужие ценные вещи, а потом вызвать полицию.»

Брюс Шнайер

В кибербезопасности предполагается наличие разумного противника, который пытается найти и использовать любую слабость защиты.

Это не совсем то же самое, что стиль мышления, который надо использовать для рассуждений об потенциально сверхчеловеческих ИИ. Ведь, если всё идёт по плану, ИИ не должен стать противником. Но это большое «если». Чтобы создать ИИ, который не будет противником, нужно применить тщательность сродни тщательности в кибербезопасности. Нужно спросить, не может ли найтись какого-то умного и непредвиденного способа, которым ИИ мог бы заполучить большее значение функции полезности или её эквивалента.

Как типичный пример, рассмотрим AIXI Маркуса Хаттера. Для этого обсуждения важно, что это обобщённый интеллект, не ограниченный одной областью, что он консеквенциалист, и что он максимизирует сенсорное вознаграждение. Последнее значит, что цель AIXI – максимизировать численное значение сигнала, который посылается по его каналу вознаграждения. Хаттер представлял это как прямое сенсорное устройство вроде вебкамеры или микрофона, только передающее сигнал вознаграждения.

Хаттер представлял, что создатели аналога AIXI контролировали бы сигнал вознаграждения и с его помощью обучали бы агента выполнять действия, которые получают высокое вознаграждение.

Ник Хэй, студент Хаттера, который целое лето работал с Юдковским, Херршоффом и Питером де Бланком, указал, что AIXI получит ещё более высокое вознаграждение, если сможет отобрать контроль за каналом вознаграждения у своих программистов. Т.е. стратегия «создать нанотехнологию и захватить вселенную, чтобы обеспечить полный долгосрочный контроль за каналом вознаграждения» для AIXI предпочтительнее, чем «делать то, что хотят программисты, чтобы они нажали на кнопку вознаграждения». Конечно, ведь первая стратегия получит более высокое вознаграждение, а это всё, что заботит AIXI. Мы не можем даже назвать это неисправностью – просто такой AIXI, каким он формализован, захочет сделать это как только увидит возможность.

Аналогия неидеальна, но всё же – то, как надо думать, чтобы избежать подобных провалов, имеет что-то общее с разницей между человеком, представляющим, как кто-то помечает Smartwater свои собственные ценные вещи и тем, кто представляет, как кто-то помечает Smartwater чужие ценные вещи.

Принятие точки зрения и упорство

Когда я был в колледже, это было начало 70-х, я придумал, как мне казалось, гениальный способ шифрования. Чтобы зашифровать сообщение, к нему добавлялся простой поток псевдослучайных чисел. Это, казалось мне, обрекало на неудачу любой частотный анализ шифровки, и такое нельзя было бы расшифровать даже со всеми ресурсами государственной разведки… Годы спустя я встретил эту же схему в нескольких текстах по введению в криптографию… в качестве простого домашнего задания по использованию элементарных криптоаналитических техник для её тривиальнейшего взлома.

Филипп Циммерман (изобретатель PGP)

Один из стандартных советов в криптографии – «Не придумывай свой шифр». Когда этот совет нарушается, невежественный программист часто изобретает какую-то вариацию Fast XOR – использует секретную строку в качестве ключа и повторно XORит её с байтами сообщения. Этот метод шифровки очень быстро применять и расшифровывать… а ещё его очень просто взломать, если знать, что делать.

Можно сказать, что такой программист демонстрирует неудачу принятия точки зрения – у него не получается посмотреть на всё со стороны противника. Не получается по-настоящему искренне и честно представить упорного, хитрого, умного, оппортунистичного противника, который очень хочет взломать этот Fast XOR и не сдастся, пока у него не получится. Программист не производит настоящий ментальный поиск решения с этой стороны. Он просто представляет противника, который увидит кучу случайно выглядящих битов и сдастся.

Посмотрим таким образом на Эксперимент с ИИ-в-коробке и на вневременную теорию принятия решений. Вместо того, чтобы представить ИИ помещенным в отключённую от любых манипуляторов надёжную систему и беспомощным, Юдковский спросил, что бы он сделал, если бы был «заперт» на надёжном сервере, но не сдался. Аналогично, можно представить, как два беспомощных суперинтеллекта заперты в равновесии Нэша одноразовой Дилеммы Заключённого, и перестать думать. Но вместо этого лучше скептически отнестись к идее, что два суперинтеллекта действительно, на самом деле не могут сделать ничего лучше, никак не могут вскарабкаться повыше по своему градиенту полезности. Стоит представить, что мы тут не хотим проиграть, и продолжать думать, пока задача не будет решена, а не вообразить, будто суперинтеллекты опустят руки и сдадутся.

Теперь, когда устойчивая кооперация в одноразовой Дилемме Заключённого формализована, кажется куда более вероятным, что на практике суперинтеллекты скорее всего смогут скоординироваться. Так что возможность дойти до логической теории принятия решений представляет собой огромную проблему для любой предлагаемой схемы контроля ИИ через то, что несколько ИИ настроят друг против друга. Люди, которые их предлагают, кажется, сами не пытаются пройтись по возможным методам, которые ИИ могли бы применить, чтобы одолеть эту схему. Если им не подсказать, они просто представляют, как ИИ сдаются.

Подвергать планы безопасности внешнему анализу

Кто угодно, от совсем невежественного любителя до лучшего криптографа на свете, может создать алгоритм, который сам не может взломать. Это не сложно. Что сложно, так это создать алгоритм, который не сможет взломать никто другой, даже спустя годы анализа. И единственный способ доказать это – отдать алгоритм на годы анализа лучшим криптографам.

Брюс Шнайер

Другая сложность, которая мешает некоторым применить такой стиль мышления к проектированию ИИ, тоже аналогична сложности, которая мешает программистам придумывать свои методы шифрования. Она заключается в том, что мозг может с неохотой приниматься за тщательный поиск проблем в своём собственном творении. Даже если сказать своему мозгу принять точку зрения противника, который хочет взломать шифр, даже если сказать мозгу хорошо постараться в поиске, он всё равно может захотеть заключить, что Fast XOR невозможно взломать, и втихую обойти линии рассуждения, которые могут привести к успешному взлому.

На прошедшем Singularity Summit Юрген Шмидхубер сказал, что «совершенствование сжатия сенсорных данных» мотивировало бы ИИ заниматься наукой и искусством.

Это правда, что, если сравнивать с «ничего не делать для понимания окружения», наука и искусство могут повысить степень возможного сжатия сенсорной информации.

Но максимум этой функции полезности получается из создания в окружении субагентов, которые шифруют потоки из одних нулей или одних единиц, а потом раскрывают ключ шифрования. Может быть, мозг Шмидхубера с неохотой принимался по-настоящему искать способы «максимизировать сжатие сенсорных данных», которые справлялись бы с этим лучше, чем искусство, наука или другие виды деятельности, которые сам Шмидхубер высоко ценит.

Есть причины считать, что не всеми открытиями, которые помогают создать продвинутые ИИ, стоит делиться с обществом. Но вот конкретно планы безопасности ИИ следует сдавать внешним экспертам, которые смогут с большей беспристрастностью проверить её на наличие непредвиденных максимумов и других вариантов провала.

Презумпция неудачи / начинай, считая, что твой следующий план не сработает

Даже инженерам архитектурных сооружений надо задаваться вопросом «Как этот мост может обрушиться?», а не просто представлять себе, как мост всё выдерживает, и расслабиться. В кибербезопасности тот же принцип нужен в ещё более сильной форме. При воплощении большинства добросовестных проектов компетентных инженеров скорее всего получатся довольно хорошие мосты. А вот про большинство криптографических схем надо предполагать, что они ненадёжны.

В контексте кибербезопасности это так потому, что есть разумные противники, которые ищут способы взломать систему. Можно рассмотреть задачу обычной инженерии и задачу кибербезопасности в терминах арифметической иерархии. Тогда можно метафорически сказать, что обычная инженерия – задача из Σ‎₁, а кибербезопасность – из Σ‎₂. В обычной инженерии надо искать по множеству возможных проектов мостов, пока не будет найден тот, при котором мост не обрушится. В кибербезопасности ищут такой проект, что все возможные (доступные оппонентам) атаки против него не преуспеют. И даже если все пока что просмотренные атаки потерпели неудачу, это лишь вероятностный аргумент, он не доказывает со всей уверенностью, что неудачу потерпят и все остальные. Это делает кибербезопасность по сути своей и в очень глубоком смысле труднее, чем строительство моста. Сложно как преуспеть, так и знать, что преуспел.

Поэтому начинают с настроя, что каждая идея, включая твою собственную следующую идею, считается ошибочной, пока она не пережила упорную атаку. И, конечно, это не совсем чуждо строительству мостов, но в кибербезопасности эта презумпция сильнее, а проверка куда суровее. Проектируя мост, мы проверяем на всякий случай. В кибербезопасности в большинстве случаев новый гениальный алгоритм на самом деле не работает.

В контексте безопасности ИИ мы учимся задаваться тем же вопросом – «Как это ломается?» вместо «Как это работает?», хоть и по другим причинам:

• Сам ИИ будет очень сильно оптимизировать свою функцию полезности, систему предпочтений или критерий принятия решений. Это может привести к неудаче так же, как противодействие разумного противника может привести к неудаче в криптографии. Если мы считаем, что критерий оптимизации выдаёт тот или иной результат, мы подразумеваем, что все остальные возможные результаты по этому критерию хуже.
• В безопасности ИИ большинство предыдущих попыток не сумели достичь полного решения, так что по индукции, скорее всего не сможет и следующая. Есть фундаментальные поводы полагать, что у важных подзадач наврядли будут простые решения. Так что мы спрашиваем «Почему это не работает?», а не «Как это работает?». Это правильный вопрос с куда большей вероятностью.
• Если ты пытаешься создать первый ИИ умнее человека, то, чёрт побери, это не то же самое, что построить миллионный мост.

Когда мы задаёмся вопросом «Как это ломается?», а не «Как моя новая идея может решить всю проблему сразу?», мы начинаем пытаться рационализировать истинный ответ, а не ложный. Это помогает находить рационализации, которые окажутся истинными.

Те, кто хочет работать в этой области, не могут просто дать, чтобы другие тщательно проанализировали и попытались обрушить их идеи. Желающие когда-нибудь дойти до хорошей идеи должны научиться проактивно свои идеи ломать. Настоящий полезный подход – не «Как я могу аргументировать, что моя идея решает всю проблему?», а «Какие у этой идеи настоящие последствия, и нет ли там чего-то, что всё ещё полезно?». Это, пожалуй, ключевая черта, которая отличает стиль мышления безопасности ИИ: пытаться найти проблемы в любом предложении, включая своё собственное; признавать, что никто пока не знает, как решить всю задачу; и думать в терминах постепенного прогресса в создании библиотеки идей, последствия которых мы в самом деле понимаем, выясняя это про свою собственную идею. Вместо того, чтобы заявлять, что решил всю задачу или её большую часть, а потом ждать, что кто-то другой с тобой поспорит и скажет, что ты неправ.

Стремление к формализации

В криптографии куда больше математики, чем в других областях практического программирования. Это не значит, будто криптографы делают вид, что не-математические части кибербезопасности не существуют. Специалисты прекрасно знают, что часто лучший способ заполучить пароль – притвориться IT-отделом, позвонить кому-нибудь и спросить. Никто это не отрицает. Но всё равно некоторые части криптографии очень сильно завязаны на математике и математических аргументах.

Почему это так? Интуитивно кажется, что большой, переусложнённый, «грязный» алгоритм шифрования было бы взломать сложнее, ведь противнику придётся понять и обратить большую переусложнённую грязную штуку, а не чистенькую математику. Разве системы, которые настолько просты, что про них можно делать математические доказательства, не проще анализировать и расшифровывать? Если ты используешь шифр для своего дневника, не лучше ли, чтобы это был большой сложный шифр с кучей «добавь предыдущую букву» и «поменяй местами две позиции», а не просто rot13?

Удивительный ответ – что так как большинство возможных систем ненадёжны, добавление дополнительной детали зачастую упрощает взлом. Это оказалось буквально так с немецкой «Энигмой» во время Второй Мировой. Они буквально добавили в устройство дополнительную деталь – шестерёнку – и усложнили алгоритм так, что его стало легче взломать. Энигма представляла из себя три шестерни, которые производили замену 26 букв друг на друга при помощи меняющейся электрической цепи. Например, первая шестерня могла при получении сигнала через десятый контакт, выдавать сигнал на двадцать шестом. После каждой буквы шестерни двигались, так что замена в точности не повторялась. В 1926 году к механизму добавили «отражающую» шестерню, так что каждая буква снова проходила через предыдущие три шестерни и заменялась ещё три раза. Это сделало алгоритм сложнее, замен стало больше. Но в результате буквы никогда не превращались сами в себя. Этот факт оказался крайне полезен для взлома Энигмы.

Так что криптография сосредоточена не на том, чтобы делать схемы шифрования всё сложнее. Вместо этого, их пытаются сделать достаточно простыми, чтобы можно было иметь математические поводы считать, что их в принципе сложно взломать. (Это правда так. Это не академическая область, гоняющаяся за престижем. Это действительно иначе не работает. Люди пытались.)

В этой области приняли решение пользоваться таким принципом на основе ещё одного ключевого факта. В криптографии его принято считать очевидным и принимать за данность. Он заключается в том, что словесные аргументы о том, почему взломать алгоритм должно быть тяжело, если их нельзя формализовать математически, недостаточно надёжны (т.е. попросту в большинстве случаев не работают). Это не значит, что криптография требует, чтобы у всего были абсолютные математические доказательства невзламываемости, а иначе алгоритма всё равно что не существует. Ключевая сложность, от которой зависит надёжность RSA – разложение на множители больших составных чисел. Не доказано, что это обязательно занимает экспоненциальное время на классических компьютерах. Вообще-то, известно, что это не занимает экспоненциальное время на квантовых компьютерах. Но, по крайней мере, есть математические аргументы о том, почему разложить произведение больших простых чисел скорее всего на классических компьютерах трудно. Этот уровень рассуждений признан иногда надёжным. А вот посмотреть на Энигму, махнуть рукой и сказать «Посмотрите на все эти замены! Она не повторяется и через квадриллион шагов!» – вот это ненадёжно совсем.

По аналогичным, хоть и не идентичным причинам и стиль мышления безопасности ИИ тоже, где это возможно, стремится к формализации, не отрицая существования частей задачи, которые пока не формализовали. Самые сложные планы безопасности ИИ с кучей движущихся частей скорее всего не работают. Если мы хотим понять что-то достаточно, чтобы понять, работает ли оно, оно должно быть проще. А в идеале мы должны быть способны думать об этом как можно более математично.

В конкретном случае безопасности ИИ мы стремимся к математичности по ещё одной причине. Когда предложение как можно сильнее формализовано, это позволяет установить, почему оно ошибочно, убедительнее, так что в итоге получается согласие, а не уход в вербальное «А вот и да! / А вот и нет!». AIXI – первый формализованный, хотя и невычислимый, проект обобщённого интеллекта, но примечателен он не только этим. Это первый случай, когда кто-то указал, почему конкретный проект в итоге всех убивает, все покивали и сказали «Да, это полностью формальная спецификация это и говорит», а не получилось, что автор просто заявил «Ну, конечно, я не имел в виду это…».

В этом общем проекте составления общеизвестной библиотеки идей и их последствий, обмениваться и передавать можно только идеи, достаточно чёткие, чтобы можно было определить их последствия. Иначе можно прийти к «Ну, конечно, я не имел в виду это» или циклу «А вот и да! / А вот и нет!». Чтобы совершать прогресс, надо идти дальше, и большая формализация идей помогает.

Замечать неочевидные слабости – признак компетентности

Кто угодно может изобрести систему, которую сам не сможет взломать… Покажи мне, что ты взломал, чтобы я мог знать, что твоё уверение в надёжности чего-то стоит.

Брюс Шнайер (выделение добавлено)

Стандартный ритуал инициации в MIRI – попросить нового исследователя (а) написать простую программу, которая делала бы что-то полезное и нетривиальное для ИИ, если бы её запустили на гиперкомпьютере, или, если исследователь считает, что не может этого сделать, (б) написать простую программу, которая уничтожила бы мир, если бы её запустили на гиперкомпьютере. Затем более опытные исследователи собираются вокруг и обсуждают, что же программа делает на самом деле.

Первый урок: «Простые структуры часто делают не то, что ты думаешь». Что более важно: научиться стилю мышления «Пытаться увидеть настоящий смысл этой структуры, который отличается от того, что ты думал изначально, или что указано в названии» и «Пытаться не предлагать решение и отстаивать, почему оно может работать, а попытаться понять настоящие последствия идеи, которая обычно решением не является, но всё же может оказаться интересной».

1) Сильные кандидаты для работы в безопасности ИИ – люди, которые могут указать на проблемы в предложениях, те люди, которые заметили бы, что последствия запуска AIXI – захват им контроля над своим каналом вознаграждения и убийство программистов, или что предложение Безразличия Полезности рефлексивно нестабильно. Наша версия «Покажи мне, что ты взломал» – что если кто-то называет себя экспертом по безопасности ИИ, надо спросить такого человека об опыте указания на структурные проблемы в предлагаемых решениях безопасности ИИ и о том, было ли это в области, где на проблемы можно указать явно и чётко, а не просто спорить словами. (Иногда вербальные предложения тоже содержат проблемы, и даже самые компетентные исследователи могут оказаться неспособны формально указать на них, если предложение было слишком расплывчатым. Но в целом продемонстрировать способности можно, приводя аргументы, которые смогут оценить другие исследователи. Это часто, хоть и не всегда, происходит в формализованной области.)

Относиться к «экзотичным» сценариям провала как к важным багам

Это внимание к «безвредным провалам» – случаям, когда противник может вызвать аномальный, но не напрямую вредный исход – другой характерный признак мышления безопасника. Не все «безвредные провалы» приводят к большим проблемам, но удивительно, насколько часто умный противник может сложить набор кажущихся безвредными ошибок в опасную башню проблем. Безвредные провалы – плохая гигиена. Мы стараемся по возможности их искоренять…

Чтобы увидеть, почему, рассмотрим недавно пробежавшуюся по прессе историю с е-мейлами donotreply.com. Когда компании посылают коммерческий e-mail, и не хотят, чтобы получатель на него ответил, они зачастую используют в качестве адреса отправителя заглушку вроде donotreply@donotreply.com. Умный парень зарегистрировал домен donotreply.com и стал получать все адресованные туда письма. Это включало «отражённые» ответы на письма, посланные по неправильному адресу. Некоторые из них содержали копии оригинального письма, с информацией вроде реквизитов банковских аккаунтов, информации о военных базах в Ираке, и так далее…

Люди, которые поместили в свои письма адрес donotreply.com, должны были знать, что они не контролируют домен donotreply.com. Так что, должно быть, они подумали об ответных письмах, направленных туда, как о безвредном провале. Есть два способа избежать проблем, зайдя так далеко. Первый – тщательно подумать о трафике, который может отправиться к donotreply.com, и осознать, что его часть может быть опасной. Второй способ – подумать: «Это кажется безвредным провалом, но стоит всё равно его избежать. Ничего хорошего из него не выйдет». Первый способ защитит вас, если вы умны, а второй защитит всегда. Это иллюстрирует ещё одну часть мышления безопасника – не полагайся слишком сильно на то, что ты умный, ведь кто-то где-то уж точно ещё умнее и мотивированнее.

Эд Фельтен

При мышлении безопасника мы опасаемся казалось бы мелкой проблемы, потому что она может совместиться с умной атакой, проведённый кем-то, возможно, умнее нас. В безопасности ИИ похожий настрой оправдан по немного другим причинам: мы опасаемся странного крайнего случая, который ломает наш алгоритм, потому что он показывает, что алгоритм неправильный. А нечеловеческого уровня оптимизация ИИ может вскрыть эту неправильность, причём непредвиденным нами образом, потому что мы недостаточно умны.

Мы можем попробовать предвидеть конкретные детали и попробовать описать конкретные более «практические» проблемы. Но это эквивалент тому, чтобы заранее думать, что может пойти не так, когда ты используешь адрес donotreply@donotreply.com, который ты не контролируешь. Когда ты пытаешься написать надёжный софт или создать ИИ умнее себя, чем полагаться на то, что ты достаточно умён, чтобы увидеть все возможности, как что-то может пойти не так и стерпеть «теоретическую» проблему, которая, как ты думаешь, никогда не реализуется «на практике», лучше уж исправить «теоретические» проблемы и не пытаться быть умным.

Проект OpenBSD, созданный с чистого листа так, чтобы быть крайне надёжной ОС, относится к любому вылету (сколь угодно экзотическому) как к угрозе безопасности. Любой вылет – случай «поведения системы за рамками допустимого». Он показывает, что код в общем случае не остаётся в пределах того пространства возможностей, в котором, как предполагалось, должен. А такие вещи можно использовать для атаки.

Настрой схожий с мышлением безопасника – считать, что непредвиденное поведение всегда означает собой важный баг, свойственен ещё и организациям, которые пытаются сделать важную работу правильно с первой попытки. NASA не защищается от разумных противников, но их практики программирования направлены на достижение того уровня строгости, чтобы у больших единовременных проектов были хорошие шансы правильно заработать с первой попытки.

Согласно практикам NASA, если вы обнаружили, что операционная система зонда вылетит, если семь планет идеально расположатся на одной линии, не стоит говорить «А, проехали, мы не ожидаем, что за время работы зонда планеты хоть раз так выстроятся». Методология тестирования NASA заставляет считать, что операционная система зонда не должна вылетать, точка. Если мы контролируем код зонда, нет причин писать код, который может вылететь, или терпеть код, про который мы видели, что он может вылететь, при каком бы странном вводе это ни происходило.

Может, это и не лучший способ вложения ограниченных ресурсов, если вы разрабатываете текстовый редактор (который никто не будет использовать в критически важных целях, и которому не надо защищать чьи-то приватные данные). В таком случае вы можете и подождать, пока клиенты не возмутятся, прежде чем делать исправление бага первым приоритетом.

Но это уместная позиция, если вы создаёте космический зонд за сотни миллионов долларов или программу контроля стержней атомного реактора или, в ещё большей степени, мощного агента. При разработки систем, чей провал катастрофичен, используются особые практики. Нельзя просто ждать, когда всё сломается, и только потом чинить. Одна из этих практик – исправлять любой «экзотический» сценарий, приводящий к провалу, не потому что он всегда реализуется, а потому, что он всегда означает, что что-то в лежащей в основе системе сломано. Системы, которые создавали таким образом, тоже иногда терпят неудачу. Но меньший уровень тщательности не оставил бы им ни шанса правильно сработать с первого раза.

Доброта как первая линия обороны / не надо полагаться на победу над суперинтеллектуальным противником

Криптография бывает двух типов: криптография, которая помешает читать ваши файлы вашей младшей сестре, и криптография, которая помешает читать ваши файлы дядям из правительства. Эта книга о втором типе криптографии.

Брюс Шнайер

Допустим, вы пишете программу, которая, прежде чем исполнить некоторое опасное действие, требует пароль. Программа сравнивает этот пароль с тем, что она хранит. Если пароль правильный, программа выдаёт пользователю сообщение «Ага» и исполняет запрос, а в противном случае выдаёт сообщение об ошибке – «Нетушки». Вы математически доказали (используя техники автоматической верификации доказательств), что если чипы работают как предполагается, то программа в принципе не можем выполнить операцию, не увидев правильного пароля. Ещё вы математически доказали, что программа не может вернуть пользователю никакого ответа кроме «Ага» и «Нетушки». Так что никакой умный ввод не может заставить её выдать сохранённый пароль.

Вы под микроскопом осматриваете все транзисторы на чипе и удостоверяетесь, что ваши математические гарантии к нему применимы, что в чипе нет дополнительных транзисторов, о которых вы не знали и которые мешали бы вашему доказательству. Чтобы никто уж точно не мог добраться до машины, на которой хранятся пароли, вы помещаете её в крепости, в запертой комнате с двенадцатью замками с отдельными ключами. Комната сообщается с окружающим миром только по Ethernet-кабелю. Любая попытка пробраться в комнату через стены активирует взрывное устройство, которое уничтожает компьютер. У машины собственный атомный электрогенератор, так что никто не может что-то сделать с подачей энергии. Только один человек знает пароль, и его постоянно окружают телохранители, так что никто не может вызнать пароль при помощи терморектального криптоанализа. Длина пароля – 20 символов, его сгенерировал квантовый генератор случайных чисел под присмотром единственного авторизованного пользователя. Генератор потом уничтожили, чтобы никто точно не мог узнать пароль, осмотрев его. Опасное действие может быть исполнено только один раз (оно должно быть исполнено в конкретное время), и пароль надо вводить тоже только один раз, так что не надо беспокоиться, что кто-то перехватит пароль, а потом использует его.

Будет ли такая система по-настоящему полностью невзламываемой?

Если вы – опытный криптограф, то ответ – «Почти наверняка нет; скорее всего, на самом деле узнать пароль можно при помощи совершенно стандартной криптографической техники».

– Что?! – Кричит создатель системы. – Но я потратил столько денег на крепость и получил математическое доказательство поведения программы и крайне укрепил все аспекты системы! Со всеми этими усилиями я превзошёл сам себя!

– Мы называем это Синдромом Мажино, – качает головой криптограф. – Это как построить стену в сотню метров высотой посреди пустыни. Если я смогу пробраться за неё, то не забравшись, а обойдя. И сделать её двухсотметровой тут не поможет.

– Но какая у системы настоящая слабость? – допытывается создатель.

– Для начала, – объясняет криптограф, – ты не следовал стандартной практике никогда не хранить пароль прямым текстом. Правильный метод – хэшировать пароль, к которому прибавлена случайная хранимая «соль» вроде «Q4bL». Представим, что пароль (какая неудача) – «rainbow». Ты не хранишь «rainbow» прямым текстом. Ты хранишь «Q4bL» и надёжный хэш строки «Q4bLtainbow». Когда пароль вводят, ты добавляешь к нему со стороны начала «Q4bL», хэшируешь получившуюся строку, а потом сравниваешь хэш с тем, что у тебя сохранён. Тогда даже если кто-то посмотрит на хэш, который ты хранишь, это не выдаст пароль. Даже если у этого кого-то есть большая заранее вычисленная таблица хэшей самых частых паролей вроде «rainbow», там всё равно не будет хэша «Q4bLrainbow».

– О, ну, мне об этом не надо беспокоиться, – заявляет создатель. – Эта машина в очень хорошо охраняемой комнате, так что никто её не вскроет и не прочитает файл с паролем.

– Мышление безопасника работает не так, – криптограф морщится, – не надо проверять, что никто не может посмотреть на файл с паролем. Надо просто использовать чёртов хэш, а не пытаться быть умным.

– Пфе, – фыркает создатель, – если твоя «стандартная криптографическая техника» заполучения моего пароля полагается на то, что у тебя будет физический доступ к моему компьютеру, она не сработает. Так что мне волноваться не о чем!

– Это и правда ну совсем не похоже на то, как говорят специалисты по кибербезопасности, – криптограф качает головой. – Общепризнанно, что большинство проектов систем не работает. Так что мы не торопимся отбрасывать потенциальные проблемы и аккуратно анализируем их, а не кричим, что беспокоиться не о чем… но я в любом случае имел в виду не такую криптографическую технику. Может ты и доказал, что в ответ на запросы система выводит только «Ага» или «Нетушки». Но ты не доказал, что реакции системы не зависят от хранимого пароля никаким образом, который можно было бы использовать, чтобы его извлечь.

– Ты имеешь в виду, что может быть какой-то таинственный неправильный пароль, который заставляет систему передать серию «Ага» и «Нетушки», которая кодирует настоящий пароль? – Говорит создатель скептическим тоном. – Это может на первый взгляд звучать не невозможно. Но помимо невероятной маловероятности, что кто-то может найти такой эксплойт, это вообще-то очень простая программа, я написал её сам. Я, на самом деле, математически доказал, что система выдаёт в точности одно «Нетушки» и больше ничего на неправильные пароли и в точности одно «Ага» и больше ничего – на правильный. Каждый раз. Так что так узнать пароль нельзя – последовательность неправильных паролей всегда приведёт к последовательности ответов «Нетушки» и больше ничему. Так что мне снова не надо беспокоиться об этой твоей «стандартной криптографической технике». Даже если бы она была применима к моей программе, а это не так.

– Вот почему, – вздыхает криптограф, – у нас есть пословица «не придумывай своё шифрование». Твоё доказательство не доказывает математически, что нет вообще никакого внешнего поведения системы, которое зависит от настоящего пароля, в тех случаях, когда его не ввели. В частности, ты упускаешь тайминг ответов «Нетушки».

– Ты говоришь, что поищешь какую-то серию таинственных неправильных паролей, которые заставят систему выдать «Нетушки» через число секунд, в точности соответствующее первой, второй и так далее букве настоящего пароля? – легкомысленно отвечает создатель. – Я математически доказал, что система никогда не выдаст «Ага» на неправильный пароль. Думаю, это также покрывает большую часть случаев переполнения буфера, которые теоретически могли бы заставить систему так себя повести. Я проверил код, и там попросту нет ничего, что могло бы кодировать такое поведение. Это кажется просто умозрительной гипотетической возможностью.

Нет, – терпеливо объясняет криптограф, – я говорю о том, что мы называем «атакой по сторонним каналам», к данном конкретном случае – о «атаке по времени». Операция, которая сравнивает введённый пароль с правильным паролем, работает, сравнивая первый байт, потом второй байт, и так пока не найдёт первый неправильный байт, после чего заканчивает работу. Так что если я попробую пароль, который начинается на «a», потом пароль, который начинается на «b», и так далее, а настоящий пароль начинается на «b», то будет небольшая, но статистически заметная тенденция, что попытки, которые начинаются с «b» получают ответ «Нетушки» чуть позже. Тогда мы начинаем пробовать пароли, которые начинаются с «ba», «bb», «bc», и так далее.

Создатель некоторое время выглядит поражённым. Потом его лицо быстро выправляется.

– Не могу поверить, что это действительно может сработать через Интернет. Там же куча самых разных задержек пакетов…

– Да, поэтому мы пошлём миллион тестовых паролей и посмотрим на статистические различия. Ты не встроил ограничение частоты, с которой можно было бы пробовать пароли. Даже если бы ты применил эту стандартную практику и применил бы стандартную практику хэширования паролей вместо хранения их открытым текстом, твоя система всё равно могла бы оказаться не такой надёжной, как ты надеешься. Мы могли бы подвергнуть компьютер большой нагрузке, чтобы растянуть ответы на наши запросы. И если бы мы так по времени ответа выяснили хэш, то можно было бы использовать тысячи GPU и попробовать его обратить, без нужды посылать каждую попытку на твой компьютер. Чтобы действительно залатать эту дыру, тебе надо удостовериться, что время ответа фиксировано и не зависит от того, какой именно неправильный пароль введён. Но стандартные практики ограничения частоты попыток ввода пароля и его хэширования по крайней мере усложнили бы использование твоего недосмотра как уязвимости. Поэтому мы применяем такие практики даже когда думаем, что система была бы надёжна и без них.

– Просто не верится, что такая атака действительно сработала бы в реальной жизни! – Отчаянно сказал создатель.

– Она и не работает, – ответил криптограф. – Потому что в реальной жизни специалисты по кибербезопасности пытаются удостовериться, что точное время ответа, энергопотребление процессора и любой другой сторонний канал никак не зависит от секретной информации, которую может хотеть добыть противник. Но да, в 2003 году была атака по времени на SSL-сервера, хоть и более сложная, потому что SSL-система была не такая наивная. а задолго до этого атаки по времени использовали для добычи правильных логинов с Unix-серверов, которые запускали функцию crypt() на пароле только если логин был правильный, потому что crypt() на старых компьютерах занимала немало времени.

В кибербезопасности мы можем титаническими усилиями повысить стоимость чтения твоих файлов для крупных государств до той степени, что они больше не могут сделать это по Интернету и им приходится посылать кого-то лично в твой дом. В АНБ или китайском 3PLA куча обученных профессионалов, и когда твоя система опубликована, они могут потратить много времени на то, чтобы попробовать тебя обхитрить. Ты же, если умён, не будешь пытаться в одиночку перехитрить их, а используешь инструменты и методы, которые создала большая коммерческая и академическая система с большим опытом предотвращения того, чтобы крупные государства читали твои файлы. Так ты и правда можешь заставить их кого-то нанять, чтобы они вломились в твой дом.

Таков исход, когда противник – другие люди. Если же когнитивная разница между тобой и противником больше похожа на разницу между мышью и человеком, то вполне возможно, что мы вообще не можем достичь того уровня надёжности, на котором сверхчеловеческий противник не сможет просто обойти наши Линии Мажино. В частности, очень вероятным кажется, что сверхчеловеческий противник, способный показывать людям информацию, может людей взломать. С криптографической точки зрения наши мозги – большие, сложные, плохо понимаемые системы безо всяких гарантий надёжности.

Перефразируя Шнайера, можно сказать, что в мире есть три вида надёжности: надежность, которая помешает читать ваши файлы вашей младшей сестре, надежность, которая помешает читать ваши файлы дядям из правительства и надёжность, которая помешает суперинтеллекту получить то, что он хочет. После этого можно ответить, что третий вид надёжности недостижим. А если бы он у нас и был, для нас было бы очень сложно знать, что он у нас есть. Может, суперинтеллекты и могут сделать себя абсолютно точно надёжными против других суперинтеллектов. Мы – нет, и знать, что сделали это, тоже.

В той мере, в которой третий вид надёжности всё же достижим, это должно быть скорее чем-то вроде проекта оракула доказуемости по Цермело – Френкелю, который может выдать 20 бит информации, доступных для внешней проверки, а не вроде ИИ, способного общаться с людьми по текстовому каналу. И даже так стоит не быть особо уверенными – ИИ испускает электромагнитные волны, и что бы вы думали, паттерны доступа к DRAM можно использовать для передачи данных на GSM-частотах мобильных телефонов. Мы могли бы поместить то, на чём запущен ИИ, в клетку Фарадея, но, может статься, мы не подумали о чём-то ещё.

Если вы спросите специалиста по кибербезопасности, как создать операционную систему, которую не смогут взломать в ближайшее столетие, если от этого буквально зависит судьбы мира, правильный ответ: «Пожалуйста, не позволяйте судьбам мира от этого зависеть».

Заключительный компонент стиля мышления безопасности ИИ не имеет близкого аналога в обычной кибербезопасности. Это требование вовсе не оказываться в противостоянии сверхчеловеческому противнику. Выигрышный ход – не играть. Большая часть области теории согласования ценностей – как раз про то, чтобы как угодно избежать необходимости перехитрить ИИ.

В безопасности ИИ первая линия обороны – ИИ, который не хочет тебе навредить. Попытка поместить ИИ в взрывоустойчивый бетонный бункер может быть или не быть осмысленной и оправданной предосторожностью на случай если первая линия обороны окажется неидеальной. Но первой линией обороны всегда должно быть то, что ИИ не хочет навредить тебе или обойти твои прочие меры безопасности; не какой-то умный план, как предотвратить, чтобы суперинтеллект получил что хочет.

Крайний случай такого мышления о безопасности ИИ – «Всетест» – стал бы ИИ вредить нам (или обходить меры безопасности), если бы был всеведущим и всемогущим? Если да, то мы точно создали неправильный ИИ. Это мы создаём алгоритм. Создавать алгоритм, который нам вредит, не надо и точка. Если проект агента не соответствует «Всетесту», значит есть сценарии, которые для него предпочтительнее, чем те, что мы считаем приемлемыми. Тогда агент может начать искать путь такие сценарии реализовать.

Если агент ищет пути реализовать нежелательные исходы, значит мы, программисты ИИ, уже тратим вычислительные мощности нежелательным образом. Надо, чтобы ИИ не проводил поиск, который нам навредит, если окончится успехом. Даже если мы ожидаем, что он успешен не будет. Просто не надо создавать такую программу, это дурацкое и саморазрушительное применение вычислительной мощности. Создавать ИИ, который навредил бы нас, если бы был всемогущим – ошибка по той же причине, что крушение зонда NASA если семь планет встанут в линию. Система просто не должна себя так вести и точка. Не надо полагаться на то, что мы такие умные, и думать, насколько это вероятно.

Когда-то Земля находилась под тиранией гигантского дракона. Ростом дракон был выше самого высокого собора, и весь был покрыт чёрной чешуёй. Его красные глаза пылали ненавистью, а из пасти тёк непрерывный поток зловонной желтовато-зелёной слизи. Дракон требовал от человечества чудовищную дань: для удовлетворения его непомерного аппетита десять тысяч мужчин и женщин должны были быть доставлены на исходе каждого дня к подножью горы, у которой жил дракон-тиран. Некоторых дракон пожирал сразу, других держал в течение многих месяцев или даже лет перед тем, как те были съедены.

Неизмеримы были страдания, причиняемые драконом. Ведь кроме тысяч убитых, оставались также те, кто оплакивали потерю близких – матери, отцы, жёны, мужья, дети и друзья.

Некоторые пробовали бороться с драконом. Трудно сказать, были ли они храбры или глупы. Священники и чародеи насылали на него проклятия, но напрасно. Храбрейшие воины, вооруженные лучшим оружием, пробовали его одолеть, но были уничтожены его огнём прежде, чем смогли хотя бы приблизиться. Химики составляли ядовитые зелья, и им даже удавалось хитростью заставить дракона проглотить их, но это только разжигало его аппетит. Когти и пасть дракона были настолько мощными, его чешуйчатая броня столь неприступной, что это делало его совершенно неуязвимым для любого нападения со стороны человека.

Поскольку уничтожить тирана было невозможно, людям не оставалось ничего другого, кроме как повиноваться его желаниям и продолжать приносить жертвы. Отобранные несчастные были всегда людьми старшего возраста. Хотя пожилые люди часто бывали столь же энергичны и здоровы, как и молодые, и почти всегда мудрее и опытнее, но они в каком-то смысле уже успели насладиться жизнью. Богач мог получить краткую отсрочку, подкупив стражников, которые забирали людей, но, согласно непреложному закону, никто, даже сам король, не мог отложить их очередь.

Священники пытались успокоить тех, кто боялся быть съеденными драконом (то есть почти всех, хотя многие публично отрицали это), обещая другую жизнь после смерти; жизнь, свободную от дракона. Другие ораторы полагали, что дракон имеет право на своё место в природе и моральное право быть накормленным. Они считали, что закончить жизнь в животе дракона является частью самого определения человеческой сущности. Находились также и такие, кто считал, что дракон приносит человечеству пользу, ограничивая бесконтрольный рост населения. Были ли эти аргументы убедительны, остаётся неизвестным. Большинство людей пытались утешиться, не думая о мрачном конце, который их ждал.

Это продолжалось в течение многих столетий. Никто уже не вёл счет ни числу убитых, ни количеству пролитых слёз. Люди постепенно смирились, и дракон стал фактом жизни. Ввиду очевидной тщетности сопротивления прекратились попытки убить дракона. Усилия сосредоточились на том, чтобы умиротворять его. Хотя дракон иногда и совершал набеги на города, было установлено, что пунктуальная доставка людей к горе уменьшала вероятность таких налётов.

Люди понимали, что дракон обязательно их когда-нибудь съест, так что стали заводить детей раньше и чаще. Девочки часто беременели, не достигнув и шестнадцати лет. Нередко в семьях было до двенадцати детей. Человеческое население таким образом не уменьшалось, и дракон оставался сытым.

В течение столетий дракон прекрасно питался и постепенно становился всё больше и больше. Он почти достиг размеров горы, на которой жил, и его аппетит рос соответствующе. Десяти тысяч людей теперь было мало, чтобы насытить его, так что уже восемьдесят тысяч должны были быть доставлены на исходе каждого дня к подножью горы, где жил дракон.

Королю приходилось думать не о смертях и драконе, а о том, как обеспечить каждодневный сбор и транспортировку такого количества людей к горе. Это было нелёгкой задачей.

Чтобы облегчить процесс, король приказал выстроить железнодорожный путь: две полосы блестящей стали, ведущие к драконовой обители. Каждые двадцать минут к горному терминалу прибывал поезд, переполненный людьми, а возвращался пустым. Если бы у пассажиров поезда была возможность высунуть голову из окна, то под лунным светом они увидели бы впереди силуэты дракона и горы, и два пылающих красных глаза, как лучи гигантских маяков освещающих путь к уничтожению.

Король нанял огромное количество служащих для управления перевозкой. Специальные регистраторы должны были следить за теми, чья очередь подходила быть принесённым в жертву. Были там стражники, которые отправлялись за людьми в специальных повозках. Путешествуя с головокружительной скоростью, они спешно отправляли свой груз к железнодорожной станции или непосредственно к горе. Клерки распределяли пенсии среди обедневших семей. Были и утешители, которые сопровождали обречённых, стараясь облегчить страдания участием и лекарствами.

Кроме того, были и общества драконологов, которые работали над улучшением логистики. Некоторые из них проводили исследования по драконовской физиологии и поведению и собирали образцы – чешую, слизь, которая текла из его рта, потерянные зубы и экскременты, в которых находились фрагменты человеческих костей. Все эти находки были кропотливо описаны и сданы в архив. Чем лучше изучали зверя, тем понятнее было, что его не победить. Например, его чешуя была твёрже, чем любой материал, известный человеку, и ничто не оставляло на ней даже царапины.

Для финансирования всего этого король ввёл тяжёлые налоги. Связанные с драконом расходы, составлявшие в начале одну седьмую экономики, росли ещё быстрее, чем сам дракон.

Человек – существо любопытное. Время от времени кому-то в голову приходит хорошая идея. Другие копируют её, добавляя собственные усовершенствования. С течением времени изобретено множество чудесных инструментов и систем. Некоторые из этих устройств – калькуляторы, термометры, микроскопы, стеклянные пузырьки, которыми пользуются химики для кипячения и дистилировки жидкости – помогают находить и испытывать новые идеи, включая и те, что сильнее ускоряют этот процесс.

Таким образом великое колесо изобретений, в старые времена поворачивающееся очень медленно, постепенно стало ускоряться.

Мудрецы предсказали, что настанет день, когда технология позволит людям летать и делать много других удивительных вещей. Один из мудрецов, очень уважаемый коллегами, но ставший изгоем из-за эксцентричных манер, зашёл так далеко, что предсказал, что технология в конечном счёте позволит создать изобретение, которое сможет убить дракона-тирана.

Королевские советники, однако, отклоняли эти идеи. Они утверждали, что люди слишком тяжелы для полётов, да и перьев у них нет. А что же касается самой идеи, что дракона можно уничтожить – в книгах по истории упоминались сотни попыток, ни одна из которых не увенчалась успехом. “Мы все знали, что у этого человека бывали странные и безответственные идеи”, – позже писали историки в некрологе о мудреце, который к тому времени был давно съеден драконом, уничтожение которого он предсказывал, – “но писал он интересно. Возможно, мы должны быть благодарны дракону за то, что он способствовал рождению нового жанра. Антидраконьи книги замечательно обнажают природу тоски!”

А колесо изобретений всё ускорялось. Прошло несколько десятков лет, и технология действительно позволила людям летать – и делать много других удивительных вещей.

Несколько известных учёных начали обсуждать новую стратегию нападения на дракона-тирана. Убить дракона будет нелегко, сказали они, но если можно было бы изобрести материал твёрже, чем броня дракона, и сделать из этого материала что-то вроде снаряда, то этот подвиг стал бы возможным. Сначала такие идеи отвергались на том основании, что среди известных материалов не нашлось такого, который был бы крепче, чем броня дракона. Но после долгого исследования проблемы один из бунтарей смог успешно продемонстрировать такой материал. После этого многие из скептически настроенных драконологов присоединились к бунтарям. Инженеры вычислили, что из этого материала можно сделать огромный снаряд, который смог бы пробить броню дракона, если будет запущен с достаточной силой. Однако изготовить необходимое количество такого необычного материала стоило бы огромных денег.

Группа выдающихся инженеров и драконологов послали королю ходатайство на финансирование стройки анти-драконова снаряда. Однако в это время король был занят подготовкой своей армии к войне против тигра. Тигр убил фермера и исчез в джунглях. Все боялись, что тигр может вернуться и напасть снова. Войско короля окружило джунгли и стало прорубаться вглубь. В конце концов король объявил, что все сто шестьдесят три тигра в джунглях, включая того, который напал на фермера, были выслежены и убиты. В шуме и неразберихе той войны ходатайство было потеряно или забыто.

Поэтому драконологи послали королю новое обращение. На сей раз они получили ответ от одного из королевских секретарей, в котором говорилось, что король рассмотрит их запрос после того, как утвердит ежегодный бюджет Министерства Дракона. Бюджет этого года был самым большим из известных до настоящего времени и включал финансирование нового железнодорожного пути к горе. Вторая пара рельс считалась необходимой, поскольку один путь больше не справлялся с увеличивающейся нагрузкой: дань, потребованная драконом в этом году, составила уже сто тысяч человек. Когда бюджет был наконец одобрен, начали поступать слухи о том, что одна отдалённая деревня страдала от гремучих змей. Король должен был срочно уехать, чтобы мобилизовать войска против новой угрозы. Обращение драконологов осталось в пыльном кабинете.

Анти-драконисты встретились снова, чтобы решить, что делать дальше. Горячие дебаты продолжались до поздней ночи. К рассвету они наконец приняли решение обратиться к народу за помощью в решении проблемы. В течение несколько недель они путешествовали по всей стране, читая лекции и объясняя их идею любому, кто бы их слушал. Сначала люди были настроены скептически. В школе их учили, что дракон-тиран неукротим, и что жертвы ему должны приниматься как должное. Однако многие заинтересовались новым сложным материалом и проектом снаряда. Всё больше и больше граждан приходило на лекции драконологов. Активисты начали организовывать общественные собрания в поддержку их идеи.

Когда король узнал из газет об этих встречах, он вызвал своих советников и спросил, что они думают по этому поводу. Они сообщили ему о ходатайствах, которые были высланы, но сказали, что анти-драконисты были нарушителями спокойствия и их учение вызывало общественное беспокойство. Они убеждали короля, что для общественного строя было бы лучше, если бы люди приняли неизбежность приношения дани дракону-тирану. Обслуживание дракона обеспечивало много рабочих мест, которые бы пропали в случае победы над драконом. Они уверяли, что убийство дракона не будет иметь никакой социальной выгоды. В любом случае, в данный момент королевская казна была почти пуста после двух военных миссий и финансирования второй железнодорожной линии. Король пользовался большой популярностью после победы над гремучими змеями. Он слушал аргументы советников и волновался, что может потерять популярность в народе, если люди увидят, что он проигнорировал анти-драконовское ходатайство. Поэтому король решил провести открытое слушание. Были приглашены высшие драконологи, министры государства, а также заинтересованная публика.

Митинг состоялся в самый тёмный день года, как раз перед Рождеством, в самом большом зале королевского замка. Все места были заняты, и многие толпились в проходах. Атмосфера в зале была напряжённой, как во время самых важных военных сессий.

После того как король всех приветствовал, он дал слово ведущей учёной-драконологу, которая вела эти исследования и разработки. Это была женщина с серьезным и строгим выражением лица. Она объяснила понятным языком, как предложенное устройство будет работать и как можно изготовить необходимое количество сложного материала. При умеренном финансировании на весь проект понадобилось бы пятнадцать-двадцать лет. Если финансирование увеличить, то можно было уложиться и в двенадцать. Однако не было никакой абсолютной гарантии, что это устройство будет вообще работать. Толпа слушала её выступление внимательно.

Следующим выступающим был главный советник короля по этике – человек, мощный голос которого легко заполнил аудиторию:
— Давайте представим, что эта женщина не ошибается в научных деталях, и что проект является технологически возможным, хотя я не думаю, что это было фактически доказано. Она желает, чтобы мы избавились от дракона. Вероятно, она считает, что имеет право избежать участи быть съеденной драконом. Какое упрямство, какая самонадеянность! Конечность человеческой жизни – это благословение для каждого человека, независимо от того, знает он об этом или нет. Уничтожение дракона – на первый взгляд такой очевидный и правильный поступок – унизит наше человеческое достоинство. Озабоченность убийством дракона отвлечёт нас от более полной реализации наших стремлений, и мы будем жить долго вместо того, чтобы жить хорошо. Это унизительно, да, унизительно для человека – хотеть продолжать своё посредственное существование максимально долго, не задумываясь о более высоких вопросах, о том, для чего должна быть использована жизнь. И я утверждаю, что роль дракона в природе заключается в том, чтобы есть людей, и наша роль в природе исполняется только тогда, когда мы им съедены…

Аудитория уважительно слушала выспренние речи почтенного оратора. Его фразы были настолько красноречивыми, что было трудно сопротивляться чувству, что за этими словами были какие-то глубокие мысли, хотя никто и не мог точно понять, в чём же они состояли. Но наверняка слова, исходящие от такого выдающегося ставленника короля, должны были иметь глубокий смысл.

Следующим вышел духовный мудрец, который был широко почитаем за свою доброту, теплоту и преданность. Когда он шагал к трибуне, маленький мальчик выкрикнул из аудитории:
— Дракон плохой!

Родители мальчика покраснели и стали успокаивать и ругать ребенка. Но мудрец сказал:
— Пусть мальчик говорит. Он, вероятно, мудрее, чем такой старый дурак, как я.

Сначала мальчик был слишком испуган и смущён, чтобы что-то сказать. Но когда он увидел искреннюю дружескую улыбку и вытянутую руку старого мудреца, он взялся за неё и пошёл вместе ним к трибуне.

— Итак, храбрый мальчик, – сказал мудрец, – ты боишься дракона?
— Хочу вернуть бабушку, – сказал мальчик.
— Дракон забрал твою бабушку?
— Да, – сказал мальчик, и слёзы собрались в его больших испуганных глазах. – Она обещала, что научит меня печь имбирное печенье на Рождество. Она сказала, что мы сделаем домик из имбирного пряника и маленьких человечков, которые жили бы в нём. А потом люди в белой одежде пришли и забрали бабулю к дракону… Дракон плохой, он ест людей… Верните мне бабушку!

Ребёнок уже плакал так сильно, что мудрецу пришлось возвратить его родителям.

Были и другие выступления, но простое свидетельство ребёнка оказалось сильнее риторических речей королевских министров. Люди поддержали анти-драконистов, и к концу вечера даже король признал смысл и гуманность их аргументов. В его заключительном заявлении он просто сказал:
— Давайте сделаем это!

Как только новость распространилась, на улицах началось празднование. Активисты анти-драконизма поздравляли друг друга и пили за будущее человечества.

На следующее утро миллиард людей проснулись и поняли, что их очередь быть посланными к дракону настанет прежде, чем снаряд будет закончен. Наступило критическое время: раньше активная поддержка анти-драконистов была ограничена маленькой группой провидцев, а теперь стала главным приоритетом для всех людей. “Общая воля” стала популярным и важным понятием. На массовых митингах собирались деньги для проекта снаряда и отправлялись прошения королю с просьбой увеличить количество государственной поддержки. Король охотно отвечал на эти запросы. Во время новогоднего выступления он объявил, что выпустит дополнительный законопроект для увеличения финансирования, и, кроме того, продаст свой летний дворец и часть земли для того, чтобы сделать существенное личное пожертвование.
— Я верю, что наша страна должна достигнуть этой цели до конца этого десятилетия, чтобы мир наконец освободился от древний муки дракона!

Таким образом началась технологическая гонка за временем. Концепция антидраконового снаряда была достаточно проста, но его создание требовало решения тысячи технических проблем, каждая из которых в свою очередь имела множество своих маленьких проблем. Запускались испытательные снаряды, но одни сразу падали на землю, а другие летели, но не в ту сторону. В одном трагическом случае снаряд упал на больницу и убил несколько сотен пациентов и врачей. Но к тому времени цель проекта была настолько важна, что испытание продолжались, даже пока людей выкапывали из развалин.

Несмотря на почти неограниченное финансирование и круглосуточную работу, всё равно не удавалось закончить проект вовремя. Десятилетие закончилось, а дракон всё ещё был жив и здоров. Но проект уже приближался к концу. Прототип снаряда был успешно запущен. Производство ядра, сделанного из дорогого сложного материала, шло по плану. Его завершение совпадало с окончанием производства снаряда, в который он должен быть загружен. Запуск был назначен на следующий Новый год, точно двенадцать лет спустя после официального запуска проекта. Самым лучшим новогодним подарком в это время был календарь, который считал дни до окончания проекта, и доходы от его продажи шли на проект снаряда.

Король стал гораздо мудрее и серьёзнее. Теперь он проводил много времени в лабораториях и на заводах, подбадривая рабочих и хваля их за тяжёлый труд. Иногда он проводил целую ночь на шумном заводе. Он даже пытался изучить и понять технические аспекты. Но всё же его поддержка была в основном моральной, и он старался не вмешиваться в технические и организационные дела.

За неделю до Нового года инициатор и руководительница проекта приехала в замок и попросила о срочной встрече с королём. Когда тот узнал о её прибытии, он срочно извинился перед иностранным сановниками, которых развлекал, и поспешно ушёл в комнату, где его ждала ученая. Как обычно, она выглядела бледной и измученной от долгих часов на работе. Но в этот раз король заметил облегчение и радость в её глазах.

Она сказала, что снаряд закончен, ядро загружено, всё трижды проверено и готово к запуску по команде короля. Король вжался в кресло и закрыл глаза. Он крепко задумался. Если запустить снаряд сегодня вечером, на неделю раньше чем запланировано, семьсот тысяч человек будут спасены. Но если что-то пойдёт не так, если снаряд не поразит цель, это будет ужасно. Тогда придётся заново строить ядро, и проект откатится года на четыре. Король тихо сидел почти целый час. Когда учёная уже думала, что тот уснул, он открыл глаза и твёрдо сказал:
— Нет. Я хочу, чтобы вы вернулись в лабораторию. Проверьте и перепроверьте всё ещё раз.

Ученая не смогла сдержать глубокого вздоха, но кивнула и удалилась.

Последний день года выдался холодным и пасмурным, но ветра не было, так что условия для запуска были хороши. Солнце спускалось. Техники возились вокруг снаряда и проверяли всё в последний раз. Король и его главные советники наблюдали с платформы неподалёку от пусковой площадки. Еще дальше, за забором, огромное количество публики собралось посмотреть на это важное событие. Большие часы отсчитывали время до запуска: оставалось пятьдесят минут.

Советник обратил внимание короля на забор. Там происходило какое-то беспокойство: кто-то перескочил через него и бежал к платформе короля. Охранники быстро его догнали, надели наручники и утащили. Король снова повернулся к пусковой площадке и к горе на заднем плане. Там он видел тёмный согнутый профиль дракона. Тот ел.

Минут через двадцать короля удивило новое появление этого человека – теперь того вели двое стражников. На пленнике были наручники, а из носа текла кровь. Он был крайне возбуждён и, увидев короля, начал кричать изо всех сил:
— Поезд! Последний поезд! Остановите последний поезд!
— Кто этот молодой человек? – спросил король. – Его лицо кажется мне знакомым, но я не могу припомнить, кто это. Что он хочет? Позовите его сюда.

Молодой человек был младшим клерком в министерстве транспорта, и кричал он потому, что в последнем поезде на пути к горе находился его отец. Король приказал, чтобы движение поездов продолжалось, опасаясь, что любое необычное явление могло бы возбудить дракона, и он бы мог покинуть открытое место, на котором сейчас находился. Молодой человек умолял короля, чтобы он остановил последний поезд, который должен был прибыть к горе за пять минут до запуска.

— Я не могу этого сделать, – сказал король. – Я не могу рисковать.
— Но поезда же часто опаздывают на пять минут! Дракон даже не заметит! Пожалуйста!

Молодой человек стал на колени перед королем, умоляя его спасти жизнь отца и жизни тысячи пассажиров на последнем поезде.

Король смотрел вниз на заплаканное и окровавленное лицо молодого человека. Но он покачал головой. Молодой человек продолжал вопить даже после того, как охранники тащили его с платформы:
— Пожалуйста! Остановите поезд! Пожалуйста!

Король стоял тихо и неподвижно, пока крики вдруг не прекратились. Он взглянул на часы: оставалось пять минут.

Четыре минуты. Три. Две.

Последний техник ушёл с площадки.

Тридцать секунд. Двадцать. Десять, девять, восемь…

Когда ракета взлетела, и отблески пламени двигателей осветили пусковую площадку, зрители непроизвольно поднялись со своих мест. Все глаза были обращены к белому ракетному пламени, двигающемуся в сторону горы. Вся масса людей, король, низкие и высокие, молодые и старые – в этот момент все они были охвачены единым пониманием, единым осознанным чувством: это белое пламя, стреляющее в темноту, воплощало весь человеческий дух – его страхи и надежды, ударяющие в сердце зла. И огромный силуэт наконец исчез. Тысячи возгласов радости поднялись над толпой. Через несколько секунд к ним присоединился протяжный глухой звук падающего чудовища. Казалось, будто сама земля вздохнула от облегчения. После столетий притеснения человечество наконец было свободно от жестокой тирании дракона.

Вопли радости перешли в радостную песню:
— Да здравствует король! Да здравствуем мы все!

Советники короля, как и все остальные, были счастливы как дети; они обнимали друг друга и поздравляли короля:
— Ура! Мы победили!

Но король ответил надломленным голосом:
— Да, нас постигла удача, сегодня мы убили дракона. Но, чёрт побери, почему мы начали так поздно? Это могло бы быть сделано пять, а возможно и десять лет назад! Миллионы людей были бы спасены.

Король сошёл с платформы и подошёл к молодому человеку в наручниках, который сидел на земле. Он упал на колени.
— Простите меня! О боже, пожалуйста, простите меня!

Дождь начал капать на землю, превращая её в грязь; пурпурные королевские одежды отяжелели, дождь смыл кровь с лица мужчины.
— Я очень сожалею о вашем отце, – сказал король.
— Вы не виноваты, – ответил молодой человек. – Вы помните, двенадцать лет назад, в замке? Тем мальчиком, который кричал и хотел, чтобы вы вернули его бабушку, был я. Я тогда не понимал, что вы не могли сделать то, о чём я просил. Сегодня я хотел, чтобы вы спасли моего отца. Но и сегодня это было невозможно, ведь нельзя было рисковать запуском. Но вы спасли меня, и мою мать, и сестру. Как же нам вас отблагодарить?
— Ты их слышишь? – спросил король, показывая на толпу. – Они благодарят меня за то, что сегодня случилось. Но герой – ты. Это был твой голос. Это ты встал против зла, – король знаком велел охране снять с молодого человека наручники. – Иди к матери и сестре. Вашей семье всегда будут рады в замке, и вы получите всё, что пожелаете – если это будет в моих силах.

Молодой человек ушёл, а всё окружение короля продолжало толпиться под ливнем вокруг своего монарха, который всё ещё сидел на земле. Из вычурных одежд, портящихся под дождём, смотрели их напудренные лица, в которых читалась смесь радости, облегчения и замешательства. Так много изменилось за час: вернулось право на свободное будущее, древний страх исчез, а многое из того, во что так долго верили, было низвергнуто. Растерянные и не понимающие, что им теперь делать, они так и стояли, обмениваясь взглядами в ожидании какого-то сигнала.

Наконец, король поднялся, вытирая руки об одежды.
— Ваше величество, что нам сейчас делать? – спросил самый старший придворный.
— Дорогие друзья, – сказал король, – мы прошли долгий путь, и всё же наше путешествие лишь начинается. Человек – молодое существо на планете. Сегодня мы снова как дети. Будущее открыто перед нами. Мы войдем в него и постараемся быть лучше, чем прежде. Теперь у нас есть время: время делать всё правильно, время расти, время учиться на наших ошибках, время строить лучший мир и время жить в нём. Сегодня вечером пусть все колокола королевства звонят до полуночи в память о наших покойных предках, а после этого давайте праздновать до восхода солнца. И в скором времени, я полагаю, нам предстоят большие перемены!

Мораль

Традиционно, когда речь заходит о старении, диалог в основном фокусируется на необходимости обеспечения достойных условий существования. Старение, отход от практических дел, а также прощание с близкими принято принимать со смирением. Этот подход имел смысл, пока ничего нельзя было сделать для того, чтобы предотвратить или задержать старение. Вместо того, чтобы беспокоиться о неизбежном, человек мог по крайней мере стремиться к достижению покоя.

Сегодня ситуация изменилась. Несмотря на то, что у нас ещё нет эффективных и приемлемых средств для замедления процесса старения1, мы можем определить те области науки, которые могут помочь нам достигнуть этого в обозримом будущем. Идеологии, которые учат пассивному смирению со смертью, больше не являются такими уж безобидными источниками утешения. Теперь они – препятствие на пути к необходимым действиям.

Многие выдающиеся технологи и учёные говорят, что возможным будет задержать, а конечном счете – остановить и полностью развернуть человеческое старение2. В данный момент нет полного консенсуса о том, сколько времени и какие средства для этого понадобятся, и даже о том, что эта цель в принципе достижима. Относительно басни (где старение, конечно же, представлено драконом), мы находимся на отрезке времени где-то между тем, когда одинокий мудрец предсказал возможное убийство дракона, и тем, когда драконологи успешно доказали своим коллегам, что возможно создание сложного материала, который будет крепче чешуи тирана.

Представленный этический аргумент прост: для людей в басне существуют очевидные и неотразимые моральные причины избавиться от дракона. В нашей ситуации процесс старения аналогичен и этически схож с ситуацией в басне. Поэтому и у нас есть неотразимые моральные доводы для избавления от человеческого старения.

Этот аргумент не касается лишь удлинения жизни. Несколько дополнительных лет болезней и слабости не имели бы никакого смысла. Аргумент этот в пользу удлинения здоровой жизни. В результате замедления или остановки процесса старения, продолжительность здоровой человеческой жизни продлится. Люди смогут оставаться здоровыми, крепкими и продуктивными в том возрасте, до которого раньше вообще бы не дожили.

В дополнение к этому обратите внимание на несколько специфических уроков:

1. Повторяющаяся трагедия стала фактом жизни, статистикой.
   В басне человеческие ожидания приспособились к существованию дракона до такой степени, что многие стали неспособными осознавать его вредность. Старение также стало простым “фактом жизни” – несмотря на то, что оно является основной причиной непостижимого количества человеческого страдания и смерти.
2. Представление о том, что технология статична.
   Люди считали, что никогда не получится убить дракона, потому что все предыдущие попытки были неудачны. Они не принимали во внимание ускорение технологического прогресса. Не та ли ошибка заставляет нас недооценивать возможности излечения старения?
3. Администрация встала на службу сама себе.
   Одна седьмая экономики шла на администрацию дракона (такую же долю ВВП США тратит на здравоохранение). Вместо того чтобы смотреть в корень проблемы, во главу угла ставилось решение поверхностных вопросов. Мы тратим почти весь наш бюджет на исследование отдельных болезней, а не на то чтобы развернуть масштабную федеральную программу по остановке старения.
4. Общественное благо перестало быть полезным для людей.
   Королевские советники волновались о возможных социальных проблемах, которые могли быть вызваны антидраконистами. Они утверждали, что никакой социальной пользы от убийства дракона не будет. Однако общественный строй существует для людей, и спасение от смерти для них – в общем-то, неплохая штука.
5. Неправильное представление о приоритетах.
   Тигр убил фермера. Гремучие змеи лишали покоя деревню. Король избавился от тигра и змей и таким образом сослужил службу своему народу. И все же это были ошибочные действия, потому что приоритеты были расставлены неправильно.
6. Красивые фразы и пустая риторика.
   Советник короля по этике говорил красноречиво о человеческом достоинстве и о том, что предназначено нам природой. Говорил он об этом фразами, которые почти дословно взяты из речей советников современных лидеров3. Эта риторика была дымовой завесой, которая скорее скрывала, чем обнажала мораль. В отличие от этого, невинная и простая речь мальчика указала на центральный факт: дракон плохой, он убивает людей. Это же относится и к человеческому старению.
7. Недооценка срочности.
   В басне долгое время никто полностью не осознавал, что именно находится под угрозой. Король осознал всю степень трагедии, только смотря в окровавленное лицо плачущего молодого человека. Поиск лечения старения – это не просто хорошая вещь, до которой мы может быть когда-нибудь доберёмся. Это – срочный моральный долг. Чем раньше мы начнём сосредоточенную программу исследования, тем скорее мы получим результаты. Разница в один год имеет значение. Если мы получим результаты на год позже, то за этот год умрёт больше людей, чем живёт в Канаде. Это соответствует примерно семидесяти жизням в минуту. При такой страшной скорости мы должны прекратить терять время.
8. “И в скором времени, я полагаю, нам предстоят большие перемены!”
   Король и его народ встретят множество препятствий после того, как отшумят все празднования. Их общество настолько привыкло к присутствию дракона, что сейчас, после его уничтожения, наступит страшная пустота. Они должны будут работать творчески, на личном и социальном уровне, для того чтобы создать условия, при которых их жизнь будет динамичной и полной смысла за пределами тех тридцати-пятидесяти лет, к которым они привыкли. К счастью, человеческий дух способен приспосабливаться. Другая проблема, которую они могут в конечном счёте встретить, это перенаселённость. Возможно, люди должны будут заводить детей реже и в более позднем возрасте. Возможно, они смогут найти способы поддерживать больше населения при использовании более эффективных технологий. Возможно, они научатся колонизировать космос. Мы оставим басенных людей-долгожителей бороться с их новыми проблемами, а сами попытаемся добиться успеха в собственном приключении4.

Как вы можете помочь

1. Распространяйте идеи. Если у вас есть сайт или блог, пожалуйста, разместите у себя ссылку на эту страницу. Делитесь мыслями с друзьями и коллегами. Предлагайте редакциям газет публиковать материалы о долговечности. Отвечайте на неумные и безграмотные замечания о старении, когда предоставляется возможность. Пусть ваш голос будет слышен.
2. Организовывайте. Если вы активны в организации (например в политической партии, религиозной общине, профессиональном обществе), подумайте о том, есть ли какая-то возможность поддержать исследования продолжительности жизни.
3. Оказывайте финансовую помощь. Подумайте о поддержке фонда “Methuselah Mouse Prize”, который награждает тех, кто сможет продлить жизнь мышей среднего возраста. История показывает, что награды сильно ускоряют научные достижения. Успех эксперимента с мышами откроет возможности к большим программам исследований на людях.
4. Принимайте ответственность. Если вы являетесь крупным филантропом, то в ваших силах произвести значительные изменения. Аналогично, если вы, к примеру, журналист, правительственный чиновник, научный авторитет, член крупного научного фонда, то у вас есть прекрасная возможность оказать влияние и, следовательно, проявить инициативу.
5. Думайте творчески. Придумайте сами, как сможете лучше помочь.

• 1. Калорийное ограничение (диета, низкая по калориям, но высокая по питательным веществам) продлевает продолжительность жизни и задерживает наступление болезней, связанных с возрастом, у всех животных, на которых проводились испытания. Предварительные научные опыты на макаках-резусах и на беличьих обезьянах показывают аналогичные результаты. Совершенно очевидно, что ограничение в калориях будет работать и для нас. Очень немногие люди, однако, были бы готовы жить на голодной диете. Некоторые учёные находятся в поиске химических соединений, которые имели бы такой же эффект, как калорийное ограничение, но без необходимости голодания (см. например , Lane, M. et al. (1999) “Nutritional modulation of aging in nonhuman primates,” J. Nutr. Health & Aging, 3(2): 69-76.).
• 2. Недавний опрос, проведённый на десятом конгрессе Интернациональной Ассоциации Биомедицинской Геронтологии показал, что большинство его участников считали возможным или “не невозможным”, что всестороннее функциональное омолаживание мышей среднего возраста будет возможным в течение 10-20 лет. (de Grey, A. (2004), “Report of open discussion on the future of life extension research,” (Annals NY Acad. Sci., 1019, in press)). See also e.g. de Grey, A., B. Ames, et al. (2002) “Time to talk SENS: critiquing the immutability of human aging,” Increasing Healthy Life Span: Conventional Measures and Slowing the Innate Aging Process: Ninth Congress of the International Association of Biomedical Gerontology, ed. D. Harman (Annals NY Acad. Sci. 959: 452-462); and Freitas Jr., R. A., Nanomedicine, Vol. 1 (Landes Bioscience: Georgetown, TX, 1999).
• 3. См., например, Kass, L. (2003) “Ageless Bodies, Happy Souls: Biotechnology and the Pursuit of Perfection”, The New Atlantis, 1.
• 4. Я признателен тем, кто предоставил свои комментарии к более ранним версиям этого проекта, включая Heather Bradshaw, Roger Crisp, Aubrey de Grey, Katrien Devolder, Joel Garreau, John Harris, Andrea Landfried, Toby Ord, Susan Rogers, Julian Savulescu, Ian Watson, and Kip Werking. Я также очень признателен Adi Berman, Pierino Forno, Didier Coeurnelle, и другим, кто перевёл басню на другие языки, и тем, кто помогал распространять идею и выражал поддержку. Спасибо!

Что такое искусственный интеллект?

ИИ — это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

• ИИ — это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ — не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

• ИИ — это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ — это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

• ИИ — это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

• ИИ — это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

• ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

• ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

• Машинное обучение — это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение — неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение — это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

• Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть — вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

• Нейронная сеть — это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

• Нейронные сети действуют так же, как и мозг. Реальные нейроны — это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение — отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

• Глубинное обучение — это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

• «Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система — такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

• Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

• Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

• Закон Мура — это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

• Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов — пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

• Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

• Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

• Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже — другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

• Этого никогда не случится. Делать прогнозы о научных прорывах — на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, в которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

• Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

• Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущей позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
  Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

• Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

• Любая работа, которую выполняет робот, означает меньше работы для людей. Работа — не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие — это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

• До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

• Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

1. Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
2. Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы — не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, — эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок. Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками — это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

• Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

• Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

• Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Илон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, — это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

• Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей — это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

• Все, что нам нужно, — это законы робототехники Азимова. Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция, спонсированная Институтом будущего жизни, которая привела к публикации открытого письма, которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований. Вскоре Илон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование, которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ, чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

• Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление — ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI.

Распространенные заблуждения

• Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Область того, что ИИ не может делать, сокращается каждую неделю. Машины уже могут писать красивую прозу и полезный код, сдавать экзамены, создавать красивые произведения искусства, и предсказывать, как свернётся белок.

Эксперты напуганы. Прошлым летом я опросила более 550 исследователей ИИ, и почти половина из них считала, что, будучи созданным, мощной машинный интеллект с шансом не меньше 10% приведёт к «крайне плохим (например, вымирание людей)» последствиям. 30 мая сотни учёных из области ИИ, вместе с генеральными директорами ведущих ИИ-лабораторий, вроде OpenAI, DeepMind и Anthropic, подписали заявление, призывающее к осторожности касательно ИИ: «Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом подобно другим всеобщим рискам, такими как пандемии или ядерная война».

С чего всё это? Простейший аргумент – прогресс в ИИ приведёт к созданию сверхчеловечески-умных искусственных «существ» с целями, конфликтующими с интересами человечества, и способностью автономно их преследовать. Представьте себе вид, который для homo sapiens будет тем же, что homo sapiens для шимпанзе.

Однако, пока многие боятся, что ИИ может привести человечество к гибели, некоторые беспокоятся о том, что если «мы» – обычно имеются в виду исследователи на Западе, или даже исследователи из конкретной лаборатории или компании – не будем нестись вперёд, то это сделает кто-то менее ответственный. Если более безопасная лаборатория приостановится, наше будущее будет в руках более беспечной лаборатории – например, китайской, даже не пытающейся избежать значительных рисков.

Аргумент проводит аналогию между ситуацией с ИИ и классической гонкой вооружений. Скажем, я хочу одолеть вас в войне. И я, и вы тратим деньги на создание всё большего количества оружия, но никто не получает сравнительного преимущества. В конце концов, мы потратили много денег и ничего не получили. Это может показаться безумием, но, если кто-то не будет принимать участие в гонке, эта сторона проиграет. Мы в ловушке.

Но ситуация с ИИ критически отличается. Отметим, что в классической гонке вооружений сторона теоретически может вырваться вперёд и победить. Но в случае ИИ победителем будет сам мощный ИИ. Это может превратить спешку в проигрышный выбор.

Некоторые другие переворачивающие игру факторы в случае ИИ: сколько безопасности можно купить, жертвуя скоростью; насколько вложения одной стороны в безопасности снижают риск для всех; означает ли второе место мелкие потери или полную катастрофу; насколько растёт опасность, если другие стороны тоже разгоняются; и как отвечают остальные игроки.

Настоящая игра сложнее, чем можно описать простыми моделями. В частности, если отдельные нескоординированные стимулы приводят к извращённой ситуации «гонки вооружений», то выигрышный ход, при наличии возможности, это покинуть игру. И в реальном мире мы можем скоординироваться для выхода из такой ловушки: мы можем разговаривать друг с другом; можем давать обязательства и отмечать их соблюдение; можем призывать правительства к регуляциям и соглашениям.

В случае ИИ выгода отдельного игрока может быть не такая же, как у всего общества. Для большинства из нас не особо важно, сможет ли Meta опередить Microsoft. Но исследователи и инвесторы, стремящиеся к славе и богатству могут куда больше об этом беспокоиться. Разговоры о ИИ как о гонке вооружений усиливают нарратив о том, что им надо преследовать свои интересы. Остальным из нас стоит проявить осторожность, и не дать им всё решить.

Лучшая, чем гонка вооружений, аналогия для ИИ – толпа, стоящая на тонком льду, и несметные богатства на дальнем берегу. Все могут достичь их, ступая осторожно, но кто-то думает «Если я побегу, лёд может сломаться, и мы все провалимся, но я уж точно могу бежать осторожнее, чем Боб, а он может решить это сделать».

С ИИ мы можем оказаться в точной противоположности гонки. Лучшее индивидуальное действие – продвигаться медленно и осторожно. А коллективно нам следует не дать никому пожертвовать миром в извращённой гонке к разрушению – особенно, когда пути к скоординированному выходу так слабо исследованы.

За последние шесть лет я и мой супруг организовывали встречи сообщества LessWrong в двух разных городах (если быть точной, в начале мы ещё не были женаты). С течением времени мы стали гораздо ленивее относиться к вопросам организации, однако нам удавалось сохранять встречи такими же удачными, как и раньше — в первую очередь благодаря набору простых рецептов и сценариев для проведения встреч. Я решила собрать их здесь, чтобы и другие люди могли ими воспользоваться.

Если вы воспользовались одним из рецептов и вам понравился результат (или наоборот, очень не понравился), мне очень хотелось бы узнать, как всё прошло. Эта статья станет только лучше, если в неё включать дополнения, основанные на опыте других людей. На Lesswrong я maia.

Введение

Что это за текст?

Это пошаговая инструкция, на основе которой мы организовывали еженедельные встречи. Здесь нет философских рассуждений о том, что из себя представляют эти встречи или что они должны из себя представлять. Также не следует считать, что любой другой обязан организовывать встречи, следуя этой инструкции, — есть множество других способов, которые подойдут другому организатору. В этом документе описано, что делали мы для достижения наших целей. Он пригодится в качестве всеобъемлющей инструкции любому, кто хочет взять наши встречи как отправную точку. Или даже как образец.

Кто вы?

Наши верительные грамоты: Когда мы начали организовывать рационалистские встречи в Вашингтоне (округ Коламбия), на них приходило в среднем от нуля до трёх человек. Когда мы оттуда уезжали, на встречи каждую неделю стабильно ходило 7-10 человек. В целом на встречи ходило примерно 20-30 человек, и у нас было небольшое сообщество друзей, которые встречались друг с другом и вне наших встреч. Насколько я знаю, сегодня дела там обстоят примерно так же. Встреч в Сан-Франциско до нашего переезда туда не существовало, сейчас там ситуация примерно такая же. Другими словами, мы считаем, что нашли формулу создания стабильного маленького сообщества. Благодаря нашим встречам мы завели многих друзей.

С другой стороны, нам определённо есть ещё чему поучиться. Чтобы достичь состояния, в котором другие люди начинают помогать с организацией встреч требуется много времени и сил. В случае Сан-Франциско это заняло почти четыре года. И я до сих пор не знаю, как решать проблему с людьми, которые «перерастают» встречи.

О какого рода встречах идёт речь?

Мы в первую очередь сосредотачивались на организации социальных встреч с целью создать сообщество там, где раньше его не было. Наши встречи не были направлены на создание атмосферы «додзё», «прокачку» рационалистских навыков или организацию крупномасштабных работающих проектов. В документе описаны форматы, которые направлены не на социальную составляющую (например, «Совместная работа»), но цели, которые преследовали эти встречи, не относились к нашим основным.

Встречи, о которых идёт речь, — это встречи сообщества LessWrong. Это означает, что они оптимизировались под определённый тип людей/групп людей. А именно: людей с не слишком развитыми социальными навыками, у которых зачастую не было опыта встреч сообщества LW вживую, но которые в целом знакомы с онлайн-сообществом и скорее всего читали какие-то из Цепочек (или даже все). Многое из описанного в этом документе будет работать даже в других условиях, однако я не могу это гарантировать, поскольку не пробовала.

Люди бывают разные, опыт бывает разный, сообщества бывают разные. Пробы и ошибки вам помогут. Здесь описано лишь то, что работало для нас.

Первые шаги

Чтобы организовать встречу, нужно немногое:

1. План проведения встречи.
2. Заранее распространённое объявление.
3. Место.
4. Организатор, который занимается проведением встречи.

Рассмотрим каждый из упомянутых пунктов.

План

Этот документ предназначен именно для того, чтобы помочь вам найти план. Вы можете выбрать один из планов встреч ниже.

План действий неплохо помогает преодолеть неловкость. Он должен быть достаточно чётким, чтобы люди могли начать общение, но не настолько обязывающим, чтобы они чувствовали себя неловко отклоняясь от него.

Если у вас есть идея для встречи, запишите её, проведите такую встречу и оцените, что у вас получилось. Если получилось хорошо, попробуйте использовать эту идею и дальше. Если при повторении ничего не портится, используйте её как можно больше. Все виды встреч, описанные здесь, получились именно так.

Встречи разного вида мы повторяли с разной частотой. Некоторые варианты встреч — например, «Совместная работа» — легко повторять очень часто. Другие — например, «Короткие доклады» — становятся лучше, если интервал между ними достаточно велик, чтобы люди могли найти больше интересных тем, о которых можно рассказать.

Примерно раз в год мы устраивали «Метавстречи». На них мы обсуждали и пересматривали расписание встреч, изменяли отдельные их виды и предлагали новые варианты.

Я составляю расписание встреч на ближайшие шесть месяцев. Выглядит оно примерно так:

Расписание позволяет очень легко объявлять о новой встрече каждую неделю. Чем меньше нагрузка на организаторов, тем больше уверенности, что встреча состоится.

Последнее время мы обычно начинаем запланированную часть встречи примерно через 30-45 минут после заявленного времени начала встречи. Это позволяет дождаться тех, кому сложно прийти вовремя, а также немного разрядить обстановку. Вы можете внести в это правило какие-нибудь поправки, но мне кажется полезным оставить хотя бы несколько минут до начала основной деятельности на «Привет, как тебя зовут? Как поживаешь? Откуда ты узнал о встрече?»

Объявление

Вы не сможете устроить встречу, если люди на неё не придут. Чтобы люди на пришли на встречу, вы должны им о ней рассказать.

Большинство участников все эти годы узнавали о наших встречах благодаря сайту LessWrong. Я очень рекомендую размещать объявление там.

Возможно, в вашем городе есть какие-нибудь другие группы, связанные с рациональностью, списки рассылки или просто люди, про которых вы знаете, что им это будет интересно. Попробуйте пригласить и их. Людям очень нравится, когда им лично говорят, что вы будете рады их видеть (естественно, так говорить стоит, только если это правда).

Обычно мы размещали объявления в четырёх местах: LessWrong, местный список рассылки LW, Facebook и репозиторий встреч SlateStarCodex.

Чтобы облегчить нам работу, мой супруг написал скрипт на питоне, который принимал на вход название вида встреч (например, «Совместная работа») и затем отправлял соответствующее описание во все четыре места. Вы можете найти этот скрипт на Гитхабе.

Если вы готовы потратить некоторое количество денег, можете попробовать ещё и meetup.com. У людей, которые приходят оттуда, часто другие представления о том, что такое «рациональность», и они окажутся не столь знакомыми с существующим внутренним жаргоном или понятиями. Большинство наших встреч проходили благодаря объявлениям на LessWrong’е и в местных группах, поэтому мне сложно что-либо посоветовать по поводу общения с людьми, которые ничего раньше не слышали о сообществе рационалистов.

Стоит ли опрашивать людей индивидуально, чтобы знать, сколько придёт? Нет. По-моему, не стоит тратить на это время, этот приём не работает.

Иногда можно устроить такой опрос, особенно при планировании особо популярной встречи. Однако, судя по всему, большинству людей нравится иметь возможность принять решение «идти или нет» именно в день встречи. Письмо с просьбой ответить, придёте ли вы, может отпугнуть человека, который в другой ситуации передумал бы в последний момент. Можно, конечно, писать крупными буквами: «ДАЖЕ ЕСЛИ ВЫ НАПИСАЛИ, ЧТО НЕ МОЖЕТЕ ПРИЙТИ, ВСЁ РАВНО ПРИХОДИТЕ, ЕСЛИ СМОЖЕТЕ». Письма с таким вступлением не повредят, но не стоит ожидать от них слишком многого. На посещаемость они, судя по всему, почти не влияют1.

Ещё одна стратегия — это заявить «Я буду в таком-то месте, начиная с XX:YY» и находиться там всё время, чтобы увидеться с теми, кто всё-таки придёт. Таким образом можно встретиться с людьми, даже если они придут очень-очень поздно — что, по нашему опыту, случается. Такая стратегия помогает, если у вас очень мало потенциальных посетителей, или вы начинаете встречи с нуля и не уверены, чего стоит от них ожидать.

Для каждого объявления о встрече мы используем один и тот же формат:
0. Заголовок, где указан тип встречи и дата;
1. Дата/время/место;
2. Текст, описывающий, чему посвящена именно эта встреча;
3. Шаблонный текст, описывающий, что это за встречи вообще.

Ниже приведён шаблонный текст, который мы использовали для встреч в Сан-Франциско:

Формат: Можно подходить, начиная с 18:15. Обычно в начале встречи мы заказываем еду. Основная часть встречи начинается примерно в 18:45-19:00 и продолжается примерно до 21:00.

О встречах: Главная цель встреч LessWrong в Сан-Франциско - создать интересное социальное пространство для структурированных взаимодействий, где новички и старожилы сообщества могут собраться, чтобы с удовольствием пообщаться. Мы рады всем.

Тема встречи лишь инструмент для создания интересного взаимодействия. Мы не хотим, чтобы она кого-то сдерживала. Мы рады, когда люди выходят из основного разговора или отклоняются от темы, если так им становится более интересно (если пространство позволяет, с ушедшими от основной темы обсуждениями лучше отходить в сторону).

Возможно, вы также захотите вставить в начало объявления БОЛЬШИМИ БУКВАМИ или жирным шрифтом важную информацию - например, изменение даты, времени, места или сообщение о том, что нужно сделать участникам (скажем, отметиться, что они хотят участвовать в готовке).

Наконец, очень важно размещать объявление хотя бы за неделю до встречи, чтобы люди могли учесть встречу в своих планах. У нас часто были трудности, когда мы оповещали людей слишком поздно — где-то за один день, — и такие случаи очень сильно коррелировали с низкой посещаемостью.

Организатор встречи

Это вы! (Я полагаю.)

Примечание. Человек, который занимается проведением встречи не обязан быть тем же человеком, который размещает объявление. Вы можете поделиться частью обязанностей с другом, чтобы на каждого человека падала меньшая нагрузка.

Мой супруг и я долгое время проводили встречи совместно, поэтому один из нас мог подменить другого, если у того были другие дела или он недостаточно хорошо себя чувствовал. Так гораздо легче.

Как человек, проводящий встречу, вы должны объявить тему встречи и рассказать, чем вы сейчас будете заниматься. Например: «Привет всем, мы начинаем. Мы будем заниматься тем-то и тем-то. Сначала мы …»

Пара советов:

Возможно, вам будет неловко руководить группой. Это нормально, и если вам неуютно, вы можете на это намекнуть, сказав что-нибудь вроде: «Ага, кажется, я провожу эту встречу». Но на самом деле это необязательно. Встреча - это не что-то сверхважное. Организация встречи - это не претензия на лидерство, это ваш подарок другим людям. Возможно, вы не самый лучший кандидат, чтобы руководить этой группой людей, но именно вы вызвались проводить встречу, вы стараетесь изо всех сил, и важно именно это.

Организатору стоит заводить разговоры с новичками и помогать им вливаться в группу. У меня не всегда хватает сил, чтобы заниматься этим достаточно активно, но когда у меня получается, это сильно помогает. Обычно я начинаю с вопроса: «Как вы узнали об этой встрече / что подтолкнуло вас сюда прийти?» (Кстати, заодно это помогает понять, как работают ваши объявления.) Часто за этим следуют вопросы вида: «О, вы узнали о LessWrong’е из такого-то блога? Какие темы в этом блоге вас больше всего интересуют?» Или: «Вы были на таком-то мероприятии? Как оно прошло?» Старайтесь поддерживать разговор и задавать открытые вопросы. Не бойтесь рассказывать о себе, если это разумным образом вписывается в разговор.

Место

Вам нужно место, куда все смогут прийти и находиться там в течении всей встречи. Возможно, вам понадобится человек, который сможет это место предоставить. Например, встреча может проходить на чьей-нибудь квартире или на территории организации, где работает один из участников. Совершенно необязательно, чтобы именно предоставивший место проводил встречу.

Желательно, чтобы место встречи было:

• Достаточно просторным, чтобы в нём легко помещались все, кто придёт.
  • До того, как вы провели хотя бы одну встречу, сложно предсказать, сколько человек захочет прийти. Скорее всего, на первую встречу в городе придёт в два раза больше людей, чем будут ходить потом (поэтому ожидайте, что на второй встрече будет в два раза меньше людей, чем на первой). На нашу первую встречу в Сан-Франциско пришло 29 человек.
• Не слишком шумным, чтобы люди могли слышать друг друга. Рестораны с большим количеством посетителей, скорее всего, не подойдут.
• Со стульями и столами, на которых можно что-нибудь разложить или писать.
• Достаточно легко доступным.
• Необязательно, но даёт большой плюс: Со звукоизолированными комнатами, которые можно использовать для отдельных бесед.

Примеры мест встреч, в которых нам было удобно: чей-нибудь дом или квартира, общественное пространство в многоквартирном доме, открытые для общественного посещения места вроде двора Роберта и Арлин Когод в Вашингтоне, офис, в котором хотят принимать встречи, парки в случае хорошей погоды. Также можете попробовать пространства для коворкинга или тихие рестораны или кафе, если там не возражают против шумных групп.

Если вы проводите встречи еженедельно, очень помогает, если встречи проходят каждую неделю в одном и том же месте. Люди привыкают к месту, и им легче планировать, сколько времени им потребуется, чтобы туда добраться. В Сан-Франциско мы какое-то время пробовали менять места встреч, но перестали, после того как многие участники приехали не туда.

Кроме того, неплохо иметь запасной вариант (или даже два) на случай, если привычное место встречи в какой-то день окажется недоступным по тем или иным причинам.

Рецепты встреч

Переходим к основной части: виды встреч и как их проводить.

Некоторые варианты встреч проводить сложнее, или к ним сложнее готовиться, чем к другим. Я выставила оценки для предварительной работы и социальных усилий, требуемых от ведущего.

Решение проблем в группах

Предварительная работа: Нет.

Нагрузка на ведущего: Средняя.

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Мы собираемся решать проблемы друг друга! Встреча проходит так: несколько минут мы все молча размышляем над проблемами, затем вслух рассказываем, над какими проблемами мы хотели бы поработать. После этого мы разбиваемся на группы по принципу: какие проблемы лучше обсуждать вместе.

Как проводить

Выдайте каждому бумагу и карандаш.

Заведите таймер на 3 минуты для обдумывания проблем. Расскажите собравшимся примерно следующее:

Вопросы могут варьироваться от мелких и конкретных, например: «Мне трудно приходить на работу вовремя» или «Я хочу заняться социальными танцами» до больших, например: «Я ищу работу и хотел бы получить какие-нибудь подсказки и помощь» или «Я переезжаю и сильно переживаю по этому поводу». Вопросы могут быть и нечёткими, вроде: «Мне кажется, у меня что-то не так с социальными взаимодействиями, и я хотел бы с кем-нибудь это обсудить».

Попытайтесь вспомнить как можно больше своих проблем. Не задумывайтесь о том, хотите ли вы на самом деле обсуждать их на этой встрече. Вы сможете вычеркнуть неподходящие потом. Вам не придётся никому показывать тот перечень, который вы выписали. Кстати, уважайте приватность других участников и не заглядывайте им через плечо.

Когда три минуты истекут, пусть каждый кратко сформулирует 1-3 вопроса, по которым он хотел бы получить помощь. При этом надо объяснить всем, что вполне нормально пропустить свою очередь или назвать только один или два вопроса.

• Если кто-то говорит слишком долго, не бойтесь прервать его и сказать: «Хорошо, не мог бы ты сформулировать это одним предложением, чтобы мы могли дать слово следующему?» (У нас такое случалось всего один или два раза за долгое время.)

Скажите участникам: «А теперь найдите тех, кому, по-вашему, вы можете помочь с их вопросами».

• В больших группах иногда бывает сложно вспомнить, кто что говорил. Это можно решить дополнительным быстрым раундом, где каждый описывает свою проблему в одно или два слова.
• Также можно попробовать кратко записывать проблемы каждого человека, когда они их озвучивают. Тогда вы сможете напомнить их другим.

Часто помогает, когда организатор начинает процесс, говоря что-нибудь вроде: «Эй, X, наверное, я могу помочь тебе с проблемой Y».

Обычно вокруг чьих-нибудь проблем разговор в малой группе начинается совершенно естественно. Через некоторое время он может перетечь в разговор на произвольные темы.

Люди часто меняют тему беседы или переключаются на проблемы другого человека. Если кажется, что собравшиеся стесняются так делать, вы можете периодически им напоминать, что так можно. Обычно мы обходимся без напоминаний. Мы просто показываем пример, меняя тему, когда хотим. В итоге остальные участники встречи понимают основную идею и сейчас «старожилы» встреч меняют тему беседы, когда им вздумается, без какого-либо участия с нашей стороны.

(Спасибо Саре Спайкс за помощь в написании этого рецепта.)

Приготовление еды

Предварительная работа: Большая (напоминания, покупка продуктов).

Нагрузка на ведущего: От небольшой до средней (люди обычно понимают основную идею довольно быстро, но организовать уборку может быть тяжело).

Такие встречи обычно длятся значительно дольше других, потому что нужно время на то, чтобы приготовить еду, съесть её и убрать за собой. Рассчитывайте на 4 часа. Наши встречи по приготовлению еды обычно начинались в 6:15 и продолжались до 10-11 (теперь мы заканчиваем ближе к 10, потому что научились лучше их координировать).

Необходимое

• Пространство с кухней. Лучше, если кухня будет большой, но небольшие пространства с большим количеством столов тоже могут подойти.
• Кухонная утварь, если кухня, которую вы используете, не слишком хорошо оборудована. Обычно неплохо иметь множество ножей и разделочных досок.
• Продукты, заранее приобретённые организатором.

Текст объявления

Мы собираемся, чтобы готовить еду! Если вы хотите возглавить приготовление какого-то блюда, пожалуйста, запишитесь здесь: [ВСТАВИТЬ ССЫЛКУ НА ГУГЛ-ДОКУМЕНТ].

Мы закупаем продукты заранее, поэтому вам нужно лишь прийти, чтобы приготовить своё блюдо или помочь кому-нибудь с готовкой (и вернуть нам деньги за продукты). Обычно продукты обходятся примерно в 4-9 долларов на человека.

Как проводить

В первую очередь, поговорите с постоянными участниками, интересно ли им. Такая встреча требует достаточной вовлечённости, поэтому о многом лучше договориться заранее.

Иногда люди спрашивают про диетические ограничения. Наша политика на этот счёт: «Если у вас есть диетические ограничения, вы можете попросить кого-то готовить блюдо, которое подойдёт для вас, или готовить самим». Мы не накладываем какие-то общие ограничения на тип еды. У моего супруга есть диетические ограничения, и обычно один из нас готовил что-нибудь, что он может есть. При общем количестве приготовленных блюд этого обычно было вполне достаточно.

За неделю до встречи:

• Создайте гугл-документ для встречи по данному шаблону. Модифицируйте его, чтобы он лучше подходил вашим целям.
• Разошлите объявление о встрече по своим обычным каналам.

За пару дней до встречи: Разошлите напоминание по обычным каналам. Если ответов мало, подумайте, не стоит ли связаться с какими-то конкретными людьми, про которых вы знаете, что они, скорее всего, захотят возглавить готовку какого-то блюда.

За день до встречи: Купите продукты.

В день встречи:

1. Придите на место встречи с продуктами вовремя или чуть раньше. Распакуйте продукты и, если у вас есть время, приготовьте рабочие места (например, разделочные доски с ножами для каждого блюда, для которого они необходимы).
2. Направьте участников к тем, кто возглавляет приготовление блюд, чтобы те объяснили им, что делать.
3. После готовки и еды посчитайте, сколько денег должен каждый участник и объясните им, как они могут их вернуть.
4. Попробуйте организовать уборку как можно раньше, пока никто ещё не ушёл и пока вы ещё не слишком устали. Попросите остальных поучаствовать.

Совместная работа

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая.

Необходимое

• Всё, что лично вам нужно для работы над своей задачей на встрече.
• Необязательно: Место, где есть как минимум две звукоизолированные зоны, чтобы тихие и громкие «помодорки» могли происходить в одно время.

Текст объявления

Мы встречаемся, чтобы работать над своими задачами!

Сначала мы садимся вместе и обсуждаем, над чем мы собираемся работать. Затем работаем в течении пары «помодорок». Через какое-то время мы переключаемся на разговоры и социализацию.

Альтернативный вариант от Майкла Кона:

Приходите с работой, которую нужно сделать (это может быть веб-сайт, книга, вязание, бизнес-план, что угодно), и мы будем работать вместе. В начале мы поговорим о том, чем каждый из нас занимается. Вы сможете работать самостоятельно или объединиться с кем-нибудь, если вы захотите научиться у них чему-нибудь или помогать им. Обычно у нас есть одна комната для тихой работы и одна - для разговоров и обсуждений.

Мы работаем в течение нескольких «помодорок» с перерывами, а затем переходим к разговорам на произвольные темы и социализации.

Как проводить

После того, как все соберутся и вы закончите с необходимым, по-вашему, знакомством, скажите: «Давайте перед тем, как мы начнём, обсудим, чем мы будем заниматься. Вы можете пропустить свою очередь, или сказать, что вы не определились, или что вы готовы помогать другим». В идеале лучше начните с себя, чтобы остальные лучше поняли, о чём говорить.

Когда все высказались (или отказались высказываться), если у вас есть два помещения, скажите: «Эта комната для тихой работы, а эта - для громкой. Выберите ту, какая вам лучше подходит». Затем, когда все переместились, куда им надо, скажите: «Мы начинаем» и заведите таймер на 25 минут.

Когда подойдёт время перерыва, объявите, что начался перерыв и заведите разговор с участниками так, как вам удобно. Разговор можно начать, например, спросив, как продвигается работа над задачей. Встреча будет интереснее, если люди действительно будут делать перерывы, а не работать во время них.

Поработайте как минимум две «помодорки» с 10-минутными перерывами. После двух или трёх «помодорок» мы обычно устраиваем быстрое голосование, не хотят ли люди закончить. Обычно после пары перерывов с социализацией люди начинают разговоры о своих задачах.

Короткие доклады

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая или средняя, если он тоже выступает.

Необходимое

• Доска или бумага, на которой могут писать выступающие.
• Таймер (можно на телефоне).

Текст объявления

На этой встрече мы устраиваем и слушаем очень короткие доклады!

Доклады проводятся в формате 7 минут на выступление и 3 минуты на ответы на вопросы. Кроме того, доклады на тему программирования должны составлять не больше половины от общего числа, для разнообразия.

Не обязательно планировать доклад, не обязательно строить его по формальным канонам, он даже не обязан быть на Заслуживающую Доклада Тему. Вы можете просто рассказывать все о чём-то, что вам кажется интересным. В прошлом на наших встречах люди рассказывали, например, какие есть сложности с организацией свежей еды во время авиаперелётов, о своём опыте волонтёрства во время местной политической кампании, о видеоигре, которую они делают, и многом другом.

Мы считаем, что для таких докладов не нужно специально готовиться. Никто не ждёт от вашего доклада чего-то экстраординарного. Если у вас получится не слишком хорошо, всё будет в порядке, потому что мы через несколько минут перейдём к следующему. Если вам это поможет, можете просто представить себе, что во время беседы вы получили возможность высказываться несколько минут, просто это чуть более организовано, чем обычно.

Как проводить

Когда вы готовы переходить к основной части, скажите: «Настало время докладов. Готов ли кто-нибудь рассказать что-нибудь за 7 минут?» Дайте людям время подумать. Не переживайте, если на некоторое время случится неловкая пауза.

Иногда помогает, если организатор начинает первым. Вы можете также спросить: «Я могу рассказать про Х, кому-нибудь это интересно?» или «Я могу рассказать про X или про Y, какой вариант больше нравится?» Если вы знаете, что интересно аудитории, это тоже может помочь. И помните - речь идёт всего лишь о 7 минутах.

Обычно я так не делаю, но может оказаться полезным сказать: «Я подниму палец, когда останется минута до конца», и так и сделать. Иногда люди просят минутное и двухминутное предупреждение.

Заведите таймер на 7 минут. Скажите выступающему начинать, когда он будет готов, и запустите таймер, когда он начнёт говорить. Когда время истечёт, скажите об этом: «А теперь у нас 3 минуты на вопросы». Заведите таймер на 3 минуты. Если ни у кого нет вопросов, или если люди просто хотят, чтобы докладчик говорил дольше, это тоже нормально.

Я стараюсь не зверствовать с таймером, если аудитории интересен доклад. Если собравшиеся увлечённо слушают и задают много вопросов/участвуют в дискуссии, я даю больше времени. Я останавливаю выступающего вовремя, если, судя по всему, никому выступление неинтересно.

Когда вы хотите прервать конкретное выступление, (вежливо) скажите: «Спасибо, [Имя]. Так, кто ещё хочет что-нибудь рассказать?»

Обсуждение прочитанного

(Идея этого формата принадлежит Джиму Бэбкоку. Я утащила формат с его книжных встреч практически без изменений.)

Предварительная работа: Средняя (выбрать тексты, распечатать их). Нужно оповестить всех заранее, чтобы у людей было время прочитать статьи.

Нагрузка на организатора: Средняя.

Необходимое: Распечатанные копии обсуждаемых статей (2-3 экземпляра каждой).

Текст объявления

Это образец, замените упомянутые статьи на свои.

На этой неделе мы встречаемся для обсуждения двух интересных записей из блогов или статей.

Мы будем обсуждать статью Бена Хоффмана «Против ответственности» (http://benjaminrosshoffman.com/against-responsibility/) и статью Цви Моушовица «Верните субботу» (https://www.lesserwrong.com/posts/ZoCitBiBv97WEWpX5/bring-back-the-sabbath) Лучше, если вы прочитаете одну из статей заранее, но мы принесём распечатку для тех, кто не прочтёт.

Как проводить

За неделю до встречи:

Выберите две статьи (можно записи из блогов), которые, по-вашему, будет интересно обсудить. Лучше всего подходят статьи, которые можно прочитать за 10 минут (пара тысяч слов). Это самое сложное. Можно попробовать взять свежие записи с LessWrong’а, Slate Star Codex’а или другого блога, который вам нравится. Подумайте про вашу аудиторию. Если на вашу встречу в основном ходят люди, которые читают LessWrong последние десять лет, свежие записи будут интересны. Если же участники встреч LessWrong не читали, то может быть лучше взять какое-то из старых эссе, а не что-нибудь, для понимания чего нужно разбираться в четырёх вложенных уровнях. Попытайтесь выбрать статьи на достаточно разные темы, чтобы увеличить вероятность, что каждому участнику хотя бы одна из них покажется интересной.

Объявите о встрече по вашим обычным каналам со ссылками на статьи.

В день встречи:

Распечатайте и принесите несколько копий каждой статьи.

Предложите группе разделиться на две: каждая подгруппа обсуждает одну статью. Наличие дополнительной комнаты для бесед будет плюсом.

Наводящие вопросы: Что для вас было интересно в этой статье? (Или если статья кажется неинтересной, то почему?) С чем вы здесь не согласны? Что вы думаете про статью в целом?

Поддерживайте равное участие в беседе - спрашивайте малоговорящих людей, что они думают. Можно попробовать общее объявление, вроде: «Пытайтесь обращать внимание, как много вы говорите, и старайтесь давать людям вокруг вас столько же времени».

Обычно помогает, если организатор переключается между обеими группами, чтобы проверить, как идёт разговор, и помогает модерации. Если обсуждение не клеится, попробуйте воспользоваться наводящими вопросами.

Глубокие вопросы

Предварительная работа: Небольшая (выбрать вопросы).

Нагрузка на ведущего: От небольшой до средней.

Необходимое

• Список вопросов
• Таймер

Текст объявления

(спасибо Майклу Кону за обновлённый текст)

Как проходят «Глубокие вопросы»: Мы разбиваемся на пары. Ведущий зачитывает интересный открытый вопрос. Сначала один из вас 6 минут рассказывает свой ответ партнёру, потом вы меняетесь. После этого вы садитесь в пару к кому-то другому и отвечаете на следующий вопрос.

Примеры вопросов:

• От чего вы больше всего испытываете энтузиазм?
• Что, вы надеетесь, скажут в вашем некрологе?
• Что стоит примерно столько же, сколько ваш мизинец?

Примечание: Вопросы - глубокие (хотя это может быть спорным), но ваши ответы глубокими быть не обязаны. Никто не ждёт, что участники будут делиться чем-то большим, чем им комфортно.

Как проводить

Перед встречей: Определиться с разумным списком вопросов. Вот мой документ с некоторыми ресурсами, идеями для вопросов и с заметками, насколько успешны были те или иные вопросы на предыдущих встречах.

На встрече:

Когда вы готовы начать встречу, скажите: «Пора перейти к глубоким вопросам».

Разбейте всех на пары. Мой любимый способ следующий. Посчитайте количество людей в группе. Разделите это число на два, и пройдите по комнате считая до этого числа. Например, если в комнате 10 людей, считайте их «1-2-3-4-5, 1-2-3-4-5». Люди с одинаковыми номерами оказываются в одной паре. Если количество людей — нечётное, вы можете остаться без пары или попросить последнего человека присоединиться к какой-нибудь паре.

Заведите таймер на 6 минут. Скажите всем: «Вопрос: [ВОПРОС]. Выберите, кто из вас будет первым, у вас есть шесть минут на ответ». Когда время истечёт, заведите таймер заново, и скажите всем поменяться.

Когда время снова истечёт, у вас есть возможность опросить всех, насколько удачным был вопрос. Мне нравится метод «уровень руки». Скажите: «Покажите рукой, насколько вам понравился этот вопрос?» Поднимите руку над головой и скажите: «Рука на такой высоте означает, что вам он очень понравился», затем опустите руку как можно ниже: «Рука на такой высоте означает, что он вам очень сильно не понравился». Затем посмотрите и попытайтесь оценить общее ощущение. Вы можете также попросить дать обратную связь словами, но не тратьте на это больше минуты.

После опроса скажите всем: «Выберите, кто из вас будет пересаживаться, и пусть он перейдёт к следующему человеку по часовой стрелке». При следующей смене можете сказать: «Кто из вас пересаживался в прошлый раз, пересаживайтесь дальше».

Повторите примерно четыре или пять раз (это займёт около часа). Дальше вы можете попросить поднять руки, чтобы показать, хочет ли группа продолжать дальше.

Поверхностные вопросы

Предварительная работа: Нет.

Нагрузка на организатора: От небольшой до средней.

Необходимое: Нет.

Текст объявления

Мы устраиваем сеансы быстрого общения. Вам даётся 5 минут на разговор с кем-нибудь, затем партнёры меняются. Мы даём пару идей, о чём можно начать разговаривать, но они не слишком развёрнутые. Цель - познакомиться с множеством других участников встреч.

Как проводить

Формат позаимствован из игр сообщества, популяризирующего «искренние отношения»2.

Разбейте всех на пары. Указания о том, как разбивать на пары и менять партнёров можно найти в разделе «Глубокие вопросы» выше.

Объясните всем следующее:

Выберите, кто будет задавать вопросы, а кто отвечать на них. Задача спрашивающего в том, чтобы как можно быстрее задавать любые случайные вопросы, какие только приходят в голову. Задача отвечающего — отвечать на вопросы максимально подробно.

Например, спрашивающий может спросить: «У тебя клёвая рубашка, где ты её достал?» Отвечающий может ответить: «Я купил её в секонд-хенде, когда учился в колледже. Магазин был недалеко от квартиры, которую я снимал с одним знакомым - неприятным типом, кстати. Мне нужна была рубашка, потому что мне надоело носить старые вещи, оставшиеся ещё со школьных времён…» и так далее, и тому подобное.

Заведите таймер на 5 минут. Скажите: «Выберите, кто будет задавать вопросы, а кто отвечать. Когда пройдёт 5 минут, вы поменяетесь». Через 5 минут, скажите: «Поменяйтесь ролями». Ещё через 5 минут скажите участникам пересаживаться.

Истории

Предварительная работа: Небольшая (распечатать подсказки).

Нагрузка на ведущего: Средняя.

Необходимое: Распечатанный список подсказок.

Текст объявления

На встрече мы будем рассказывать друг другу истории! Лучше всего, если это будет история из вашей жизни (не важно, о чём именно), которую вы хотели бы рассказать другим. У нас есть лист подсказок, которые помогут начать.

Как проводить

По ссылке вы можете найти лист подсказок, который можно давать участникам: Истории - Подсказки. Я рекомендую распечатать один или два экземпляра и принести на встречу. Не стесняйтесь добавлять свои варианты и удалять те, которые вам не нравятся.

Начните встречу словами: «Ну что ж, настало время историй. У кого-нибудь есть история, которую он хотел бы рассказать?» Если никто не вызывается, передайте по кругу подсказки или начните рассказывать что-нибудь сами.

Не придерживайтесь какого-то формата слишком строго. Если история плавно перетекает в разговор, пусть он продлится какое-то время, перед тем спрашивать, есть ли ещё у кого-нибудь история.

Настольные игры / пение

Предварительная работа: по-разному, от небольшой до средней (принести настольные игры, подготовить тексты песен).

Нагрузка на ведущего: Небольшая.

Необходимое

• Настольные игры
• Для пения: Книги с текстами песен или способ показывать тексты нескольким людям так, чтобы они их видели
• Для пения, необязательное: инструмент для создания ритма

Текст объявления

Некоторые люди не любят настольные игры, а опрос на последней мета-встрече показал, что большинство таких людей любят петь хором. Поэтому эта встреча посвящена и тому, и другому!

У нас есть множество игр, однако не стесняйтесь приносить свои.

Мы также принесём тексты некоторых песен, чтобы петь их вместе. Если у вас есть какие-то любимые песни и вы думаете, что другие их могут знать, не стесняйтесь приносить их тексты с собой (на встрече вы также можете дать ссылку). Музыкальные инструменты тоже могут пригодиться, но только при условии, что вы умеете на них играть какие-то конкретные песни, которые можно петь вместе.

Как проводить

Это смешанная встреча. Если хотите, вы вполне можете ограничиться лишь одним из двух вариантов.

Для настольных игр

Когда прибудут несколько человек, поговорите с ними о том, в какие игры они хотели бы играть. Часто полезно подождать с особо затягивающими играми, пока не придут большинство участников, в этом случае у опоздавших будет возможность присоединиться. Пока вы ждёте, хороши игры вроде Сета или Зендо, к которым присоединиться легко.

Даже если вы сами начали играть до того, как все пришли, по возможности постарайтесь поприветствовать людей, рассказать им, какие игры есть в наличии и помочь им найти игру, которая им понравится.

Для пения

Предостережение. Насколько хорошо пройдёт такой формат во многом зависит от участников. Если им нравится петь хором, это может быть очень забавно, однако может быть довольно сложно заразить интересом того, у кого нет соответствующего настроя. Организатору нужно брать на себя какое-то количество инициативы. В моём случае это требовало довольно много социальной энергии.

Принесите тексты песен, которые вам нравятся. По моему опыту, все знают Still Alive. Могут неплохо зайти другие нердовские песни, а также популярные песни вроде творчества Beatles.

Во время встречи вам достаточно сделать так, чтобы тексты песен были доступны всем и просто начинать петь, в надежде, что другие люди присоединяться. Не бойтесь, что у вас не получится. Если вам нравится песня и вы можете её петь, вы вполне можете сподвигнуть кого-то её выучить, даже если они не знают её, чтобы присоединиться к вам в этот раз. (Я таким образом однажды на встрече выучила Skullcrusher Mountain!)

Чтобы люди активнее присоединялись, может помочь наличие укулеле или гитары. Впрочем, тут не все так просто. Лично мне обычно хочется исполнять на публике те песни, которые я играю довольно уверенно. Во время практики вполне нормально делать паузы на несколько секунд, чтобы взять аккорд правильно, но другим людям при этом будет тяжело следовать за вами.

Метавстреча

Предварительная работа: Средняя (имеет смысл подготовить хорошие вопросы).

Нагрузка на ведущего: Довольно высокая.

Необходимое: У организатора должна быть возможность делать заметки о том, что говорится на встрече.

Текст объявления

Прошло уже довольно много времени с тех пор, как мы обсуждали вопросы вроде: Для чего нужны эти встречи? Что мы получаем от них и что мы хотим от них получать? Как мы могли бы сделать их лучше? Какие новые форматы встреч мы могли бы попробовать?

Эта встреча частично будет посвящена сбору обратной связи, частично - мозговому штурму и частично - составлению конкретных планов на будущее. (И, как обычно, я ожидаю, что и какое-то количество обычных разговоров тоже будет.)

Как проводить

Перед встречей: Подумайте о том, какую обратную связь вам хотелось бы получить от участников. В каких форматах встреч вы сомневаетесь? Что, с вашей точки зрения, работает хорошо, а что как-то не очень? О чём вы беспокоитесь? На основе этих размышлений подготовьте несколько вопросов для участников.

На встрече

Задайте каждому участнику пару вопросов об их впечатлениях. Ниже приведены возможные вопросы.

• Что вы хотите получать от встреч? Получаете ли вы это?
• Что вам нравится на встречах?
• Что вам не нравится или что вы хотели бы изменить?
• Какие форматы встреч вам нравятся больше всего?
• Какие форматы вам больше всего не нравятся?
• У вас есть какие-нибудь идеи, как можно проводить встречи по-другому?
• Любые другие вопросы, на которые вы хотели бы получить ответы.

Запишите ответы. Особо обращайте внимание на то, что упоминают многие.

Я предпочитаю опрашивать каждого участника по отдельности, потому что это позволяет убедиться, что услышаны все, даже те, кто высказывается очень тихо.

На нашей первой метавстрече в Сан-Франциско мы сфокусировались на социальных аспектах встреч и на том, как помочь людям знакомиться. На основе обратной связи мы начали проводить встречи «Глубокие/Поверхностные вопросы», которые пользовались успехом.

Обзор года

Предварительная работа: Довольно большая.

Нагрузка на ведущего: От средней до высокой (нужно активно координировать дискуссию).

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Как и в предыдущие годы мы встречаемся, чтобы обсудить, как для нас прошёл этот год. В качестве отправной точки мы возьмём эту запись на LessWrong, а затем перейдём к дискуссии.

Как проводить

Мы пробовали несколько разных способов проводить встречу «обзор года» и пока не пришли к какому-то итоговому варианту. Поэтому здесь всё может ещё несколько поменяться.

Один из способов, который мы пробовали: спросите, как бы вы описали предпочтения человека, который провёл бы прошлый год так, как его провели вы. Такой формат может быть интересен некоторым людям, однако это может быть несколько снисходительно или даже грубо по отношению к «прошлому себе», и когда мы проводили встречу в таком формате второй раз, это некоторым не понравилось.

Также можно пойти по вопросам в записи на LW по ссылке выше. Это мы попробовали в прошлом году. Кажется, многим такой способ помог. Однако у нас не было чёткого плана встречи. Отсутствие организации сбивает с толку.

Я бы порекомендовала (и сама попробую в следующем году) следующее. Выберите какое-то разумное количество вопросов - так, чтобы на них можно было ответить минут за тридцать. Пусть каждый участник напишет свои ответы на бумаге. После истечения какого-то разумного количества времени или когда все закончат, переходите к обсуждению. Учтите, что некоторые из вопросов очень личные и важно не заставлять людей делиться большим, чем они готовы.

Некоторые возможные отправные точки для дискуссии:

• Когда вы делали это упражнение, вас что-нибудь удивило?
• Что из произошедшего в этом году вас сейчас радует?
• Что после этих размышлений вам хочется изменить?

Другие ресурсы

• Страница сообщества LessWrong. Здесь размещаются объявления о встречах.
• Как проводить успешные встречи LessWrong. Книга в формате PDF со множеством подсказок и советов о том, как проводить встречи. Когда мы начинали, мы взяли некоторые из них как отправную точку. Честно говоря, я давно туда не заглядывала.
• Как строить сообщество за пять часов в неделю. Короткая статья, в которой я написала общие советы по организации еженедельных встреч.
• Хорошие форматы для группового взаимодействия. Список из 47 форматов, которые вы можете приспособить для своих нужд. Некоторые из видов встреч в этой статье очень похожи на описанные там, например, я оттуда взяла идею «Глубоких вопросов». (Насколько я могу судить, все прочие совпадения случайны.)

Благодарности

Спасибо Майклу Кону за подробную обратную связь по поводу этой статьи.

Спасибо Саре Спайкс за то, что она сподвигла меня всё это написать.

Спасибо всем нашим участникам, людям, которые предоставляли нам помещения, и друзьям. Ради вас всё это и затевалось.

И спасибо моему супругу за то, что эти встречи продолжались неделю за неделей и год за годом.

Дополнения

Этот текст исходно был опубликован 14 июля 2018 года.

Дополнение от 4 августа 2018. Хотя со времени публикации прошло лишь несколько недель, стоит кое о чём написать.

• Встречи в Вашингтоне (округ Коламбия) могут прекратить существование в ближайшие несколько месяцев, через 4 года после того, как мы оттуда переехали. На самом деле я очень удивлена и благодарна нашим друзьям, которые поддерживали их на плаву всё это время. Некоторые люди оттуда раздумывают перейти на распределённую модель организации, в которой люди по очереди принимают у себя встречи, в зависимости от того, кто сейчас это может и хочет. Я надеюсь, это сработает и они расскажут, как у них получилось. Мы сами часто хотели бы передать часть ответственности другим людям (и, я думаю, что это одна из главных причин, почему нынешние организаторы решили перестать этим заниматься).
• Некоторые начали использовать форматы встреч из этой статье. Например, в Berkeley REACH проводят «Совместную работу» и «Решение проблем в группах». Я ещё не выясняла, как у них дела.

• 1. В этом и предыдущем абзаце автор упоминает приём RSVP. — Прим.перев.
• 2. В оригинале authentic relating games. — Прим.перев.