Несколько лет назад я ходил на встречу с футуристом Грегом Стоком. Во время встречи он рассуждал, что вскоре радость научного открытия можно будет заменить таблетками, имитирующими радость научного открытия. После его выступления я подошёл к нему и сказал: «Я согласен, что создать такие таблетки, наверное, можно, но я бы не согласился принимать их добровольно».

Сток на это ответил: «Но это будут очень классные таблетки. Ощущения от каких-то обычных действий никак не сравнятся с эффектом от них. Будет гораздо приятнее просто принять таблетку, чем по-настоящему делать всю эту научную работу».

Я же сказал: «Да, я согласен, что такое возможно, поэтому я приложу все усилия, чтобы никогда их не принимать».

Судя по всему, Стока моё отношение искренне удивило, что в свою очередь искренне удивило меня. Специалисты по этике нередко рассуждают так, словно все человеческие желания можно свести к желанию счастья для себя и других. (К примеру, Сэм Харрис отстаивает такую позицию в «Конце веры», который я только что закончил перечитывать. Впрочем, у Харриса это далеко не основная тема обсуждения.)1

Я здесь не хочу говорить о споре, можно ли измерить все виды счастья, пользуясь общей шкалой полезности, или разные виды счастья относятся к разным шкалам или не конвертируются друг в друга по какой-то ещё причине. Также я не буду здесь касаться вопроса о том, что теоретически невозможно ценить что угодно, кроме собственного психологического состояния: ведь это всё равно не мешает нам беспокоиться о счастье других людей.

Вопрос скорее в том, стоит ли нам беспокоиться: что именно делает нас счастливыми? Абстрагируясь от полученного счастья.

Легко можно вспомнить множество случаев, когда моралисты сходили с ума, переживая из-за каких-то штук, не связанных со счастьем. Например, во множестве штатов и стран до сих пор запрещён оральный секс. Лучше бы законодатели этих штатов и стран просто сказали: «Делайте что угодно, если вас это заводит». Но этот пример не доказывает, что все ценности сводятся к счастью. Просто в этом конкретном случае фокусироваться на чём-то ещё — этическая ошибка.

Да, несомненно, мы склонны делать то, что приносит нам счастье. Однако из этого не следует, что счастье — единственная причина наших действий. Во-первых, такая гипотеза плохо объясняет, почему нас волнует счастье кого-то ещё: почему мы способны воспринимать чужое счастье как самостоятельную цель, а не как инструмент для получения тёплого приятного чувства.

Во-вторых, если даже что-то стало следствием моих действий, это ещё не означает, что действие исключительно ради этого и предпринималось. Если я пишу пост в блог и у меня болит голова, я могу принять ибупрофен. Одно из последствий: голова болит меньше. Однако отсюда не следует, что последствие было единственным и что это была самая важная причина моего решения. Состояние, в котором у меня не болит голова, для меня действительно очень ценно. Но кое-что я могу ценить и само по себе, и как средство для достижения другой цели.

Чтобы все ценности можно было свести к счастью, недостаточно показать, что счастье влияет на подавляющее большинство наших решений. Недостаточно даже показать, что счастье является самым важным следствием наших решений. Оно должно быть единственным следствием. Нелегко дотянуть до этого стандарта. (Эту мысль я изначально почерпнул у Собера и Уилсона, не помню точно, в какой работе).

Если я утверждаю, что ценю искусство само по себе, должен ли я ценить искусство, которого никто никогда не увидит? Представим, что в закрытой комнате работает экран и на нём демонстрируются прекрасные картинки, но их никто не видит. Боюсь, я вынужден сказать «нет». Я не могу представить себе неживой объект, который я бы мог ценить как цель, а не только как средство. Это всё равно что ценить как самоцель мороженное, независимо от людей, которые его едят. Насколько я могу судить, всё, что я ценю, как-то связано с людьми и их опытом.

Лучшая формулировка, которая приходит мне в голову: судя по всему, моя моральная интуиция про ценности требует сочетания как объективного, так и субъективного компонента.

Научное открытие ценно благодаря сочетанию как собственно настоящего научного открытия, так и человека, который ему радуется. Часто сложно отделить одно от другого, но мысленный эксперимент с таблетками проясняет ситуацию.

Меня бы встревожило, если бы люди уходили в голографические комнаты и влюблялись бы в создаваемое ими неразумное окружение. Я бы тревожился даже в том случае, если бы эти люди не знали, что они оказались в голографической комнате: если некие агенты могут помещать людей в голографические комнаты и заменить их любимых на зомби без их ведома, это важный этический вопрос. И вновь, мысленный эксперимент с таблетками позволяет понять ситуацию лучше: меня тревожит не только моё осознание неприятного факта. Я бы не поместил себя в голографическую комнату, даже если бы я мог принять таблетку и забыть об этом. Я пытаюсь направить своё будущее в иную сторону.

Я ценю свободу. Когда я определяю, куда направить будущее, я учитываю не только субъективные состояния, в которых окажутся люди, но и то, будут ли эти состояния результатом их собственных усилий. Наличие или отсутствие внешнего кукловода влияет на мою оценку одного и того же результата. Даже если люди не узнают, что ими манипулировали, это всё равно влияет на мою оценку того, как человечество справляется в будущем. Вопрос агентов, достаточно сильных, чтобы изменять будущее людей без их ведома — пусть и в благих целях, — очень важен для моей этики.

А потому мои ценности не сводятся целиком к счастью. Некоторые важные для меня свойства будущего не сводятся к активации нейронов в чьём-либо центре наслаждения. Эти свойства принципиально не сводятся к субъективным состояниям.

А это значит, что моя система принятия решения состоит из множества терминальных ценностей, ни одна из которых не сводится к остальным — искусство, наука, любовь, вожделение, свобода, дружба…

И меня это устраивает. Мне нравится достаточно сложная жизнь, в которой есть и вызовы, и эстетика. Мне нужно не просто ощущение, что жизнь сложна, а реальные сложности. Поэтому мне не хочется превратиться в центр удовольствия в стеклянной банке. Это стало бы пустой тратой человеческого потенциала. А я ценю именно его реализацию, а не просто чувство, что он реализован.

• 1. Harris, «The End of Faith: Religion, Terror, and the Future of Reason».

Однажды я встретил человека, который заявлял, будто он абсолютный эгоист. И мне он тоже посоветовал быть абсолютным эгоистом. Мне в тот день хотелось пошутить1, и я сказал: «По моим наблюдениям для большинства религиозных людей, — по крайней мере среди тех, что я встречал, — неважно, чему учит их религия. Если они хотят что-то сделать, они найдут этому религиозное оправдание. Их религия требует, чтобы они побивали неверующих камнями, однако им хочется быть приятными людьми, и они находят в своей религии способ это оправдать. Мне кажется, что когда люди проповедуют философию эгоизма, то это не влияет на их поведение. Всякий раз, когда им хочется показаться приятными людьми, они могут это оправдать через эгоизм».

Мне ответили: «По-моему, это всё же не так».

Я сказал: «Если вы и впрямь эгоистичны, тогда почему вы хотите, чтобы я тоже был эгоистом? Разве это не признак вашего беспокойства о моём благополучии? Разве вам не выгоднее, чтобы я был альтруистом, а вы могли меня эксплуатировать?» Он ответил: «Ну, если вы будете эгоистом, тогда вы поймёте, что в ваших интересах играть продуктивную роль в экономике, а не, например, продвигать законы, посягающие на мою частную собственность».

А я сказал: «Но я и так уже либертарианец (с маленькой «л»), а потому не поддерживаю такие законы. А поскольку я считаю себя альтруистом, я выбрал профессию, которая принесёт пользу большому количеству людей, включая вас, вместо той, где платят больше. Действительно ли вы получите от меня больше пользы, если я стану эгоистом? Кроме того, неужели вы сейчас не можете совершить ничего более эгоистичного, чем убеждать меня стать эгоистом? Разве вы не можете потратить своё время на что-нибудь, что принесёт вам больше выгоды напрямую? А больше всего меня интересует следующее: Вы в самом деле сначала решили, что хотите быть эгоистом, а затем пришли к выводу, что убеждать других быть эгоистами — это самое эгоистичное, что вы можете сделать? Или вы сначала начали пытаться превращать людей в эгоистов, а потом стали искать способы рационализировать это как нечто выгодное для вас?»

Мой собеседник ответил: «Вероятно, насчёт последнего вы правы». Поэтому я отметил про себя, что он умный человек.

• 1. Другие коварные вопросы, которые можно задать людям, называющим себя эгоистами: «Пожертвуете ли вы своей жизнью, чтобы спасти весь человеческий род?» (Если они укажут, что весь человеческий род включает в себя и их жизнь, можно переформулировать вопрос: выберут ли они смерть прямо сейчас ради спасения всей Земли или предпочтут прожить ещё один год в комфорте и умереть вместе со всей Землёй.) Если принимать во внимание нечувствительность к масштабу, из-за которой люди больше беспокоятся из-за одной жизни, чем о всей Земле, можно спросить: «Что вы выберете, если вам придётся выбирать одно из двух: вы ушибёте ногу или вон того незнакомца у дальней стены будут страшно пытать пятьдесят лет?» (Если вам скажут, что они будут эмоционально страдать из-за собственного знания, уточните, что они не будут знать о пытке.) Вопрос только эгоистичным либертарианцам: «Украли ли бы вы тысячу долларов у Билла Гейтса, если бы вам гарантировали, что ни он, ни кто-либо ещё никогда не узнают об этом?»

По словам религиозных фундаменталистов, источником морали является Бог. Не может быть морали без Судьи, который награждает и наказывает. Если бы мы не боялись ада и не стремились в рай, то что мешало бы людям убивать друг друга направо и налево?

Предположим, Омега угрожает убить вас, если вы войдёте в туалет между 7 и 10 утра. Стали бы вы паниковать, что когда-нибудь Омега отменит свою угрозу? Ужасала ли бы вас мысль: «Что остановит меня от посещения туалета, если Омега уберёт свой запрет?» Нет. Скорее всего, вы испытаете огромное облегчение, поскольку теперь у вас будет больше возможностей, кхм, облегчиться.

И поэтому сам страх верующего человека, что Бог может перестать наказывать за убийство, показывает, что убийство само по себе вызывает у людей отвращение, независимо, наказывает за него Бог или нет. Если бы люди без угрозы божественного возмездия не чувствовали, что убийство — это неправильно, то отсутствие наказания за убийство пугало бы не больше, чем отсутствие наказания за насморк. Если у Overcoming Bias ещё остались религиозные читатели, я хочу вам сказать: Возможно, когда-нибудь вы утратите веру. Однако, у вас останется понимание, что хорошо, а что плохо. Потому что если вас тревожит перспектива, что Бог не будет за что-то наказывать, то это и есть нравственный компас. Этот компас можно встроить в систему принятия решений напрямую и им пользоваться. Если по поводу чего-то вы боитесь, что Бог не будет вас наказывать, вы можете это просто не делать. Страх потерять нравственный компас сам по себе нравственный компас. Более того, я подозреваю, что вы и так пользуетесь этим компасом и всегда пользовались именно им. Как однажды сказал Пирс Энтони: «Лишь те, у кого есть души, беспокоятся об их наличии». Замените душу на нравственность, предложение не потеряет от этого смысл.

Вы слышали, чтобы религиозные фундаменталисты когда-нибудь говорили: «Если бы мы не боялись ада и не стремились в рай, то что бы остановило людей от поедания свинины?» Однако если бы согласно их предположениям у нас не было бы нравственного компаса без божественной награды и возмездия, этот аргумент звучал бы не менее мощно, чем предыдущий.

Даже то, что Бог угрожает вечным адским пламенем, а не печеньем, отражает уже существующее понимание, что адское пламя — это плохо. Подумайте над следующими высказываниями двух философов. Кто из них на самом деле альтруист, а какой — эгоист?

«Нужно быть эгоистом. Ведь когда люди пытаются улучшить общество, они вмешиваются в чужие дела, придумывают всякие законы, захватывают власть и делают всех несчастными. Берись за ту работу, за которую больше всего платят, ведь это означает, что по мнению эффективного рынка она приносит больше пользы, чем все остальные. Нанимаясь на работу с меньшей оплатой, ты пытаешься угадать, что по мнению рынка будет полезно обществу в будущем».

«Нужно быть альтруистом. Ведь мир — это повторяющаяся „дилемма заключённого“, в которой лучшая стратегия — это „Око за око“ и сотрудничество на первой итерации. Люди не любят подонков. Приятные люди действительно побеждают чаще. Исследования показывают, что люди, которые приносят пользу обществу и у которых есть смысл в жизни, счастливее остальных. Эгоисты в долгосрочной перспективе несчастны».

Если не обращать внимания на рекомендации этих философов, можно заметить, что первый для обоснования своей точки зрения использует исключительно критерии блага общества. Для первого философа аргументом в пользу эгоизма становится его польза для всех. Второй философ апеллирует исключительно к индивидуальному гедонистическому критерию. Для него альтруизм полезен, потому что от него больше пользы конкретному человеку: выше социальный статус, больше получаемое удовольствие.

Так кто же из них настоящий альтруист?

Тот, кто придерживает дверь для пожилых женщин.

Время от времени встречаются люди, которые открыли «Самый главный моральный принцип». Все остальные ценности для них оказываются лишь следствиями этого принципа.

Я сталкиваюсь с такими людьми чаще других. В моём случае это люди, которые знают об удивительно простой функции полезности, и нужно всего лишь запрограммировать на неё искусственный интеллект. После этого всё сразу станет хорошо.

Некоторые люди, сталкиваясь с задачей программирования сверхинтеллекта, пытаются сразу же её решить. Норман Р. Ф. Майер писал: «Не предлагайте решений до тех пор, пока задачу не обсудили настолько подробно, насколько это возможно». А Робин Доуз заметил: «Я часто вводил это правило в группах, которые я вёл, особенно в ситуациях, когда группа сталкивалась с очень сложной задачей. Ведь именно в таких случаях участники наиболее склонны предлагать решения мгновенно». Дружественный ИИ — это чрезвычайно сложная задача, поэтому люди решают её удивительно быстро.

Я заметил несколько больших классов быстрых неправильных решений. Один из таких классов я называю «Удивительно простая функция полезности, которую нужно дать сверхинтеллекту и всё будет хорошо».

Возможно, я и сам подлил масла в огонь, когда много лет назад, впервые начав высказываться о «дружественном ИИ» неверно выбрал слова. Я обозначил оптимизационный критерий оптимизационного процесса — ту область, в которую агент пытается направить будущее — как «суперцель». Я использовал приставку «супер» в смысле «родительский», как указание на отправную точку в ребре в ациклическом графе. Однако, кажется, моя формулировка направила некоторых людей в счастливую смертельную спираль, где они пытаются представить «Самую суперскую СуперЦель, Цель, которая превосходит все другие: одно Главное правило из которого можно вывести всю этику».

Однако функция полезности не обязана быть простой. Она может содержать произвольное число слагаемых. Если мы вообще можем говорить, что у людей есть ценности, то у нас есть все причины считать, что таких ценностей очень много, то есть у функции полезности большая колмогоровская сложность. Мозг человека реализует тысячи мельчайших желаний и стремлений, хотя люди, не изучавшие эволюционную психологию, часто недооценивают этот факт. (Если пытаться это объяснить без длинного вступления, то слушатель уловит «люди пытаются максимизировать приспособленность», а эволюционная психология учит совершенно противоположному.)

Сложность человеческой морали — это известный факт, во всяком случае пока мы говорим о дескриптивных теориях. Мы наблюдаем как факт, что любовь родителя к ребёнку, любовь ребёнка к родителю, любовь мужчины к женщине и любовь женщины к мужчине не выводятся когнитивно друг из друга или из какой-либо другой ценности. Матери не нужно осваивать сложную моральную философию, чтобы любить свою дочь, и эта любовь не приводит к каким-то последствиям в отношении других ценностей. У нас много желаний и стремлений, и все они ценятся по-разному.

Если, программируя сверхинтеллект, вы забудете хотя бы одну из ценностей, то, даже если вы с успехом реализуете все остальные, вы можете столкнуться с гиперэкзистенциальной катастрофой, судьбой хуже смерти. Если появится сверхинтеллект, который будет желать для нас всего, что мы бы захотели сами, но не учитывающий человеческих ценностей «контролировать свою жизнь» и «достигать своих целей», то мы получим сценарий, давно описанный в антиутопиях (для примера смотрите Джек Уильямсон, «Со сложенными руками»).

Как же люди составляют свою «Удивительно простую функцию полезности» с учётом этого возражения?

Возражения? Какие ещё возражения? Зачем кто-то вообще будет искать возможные возражения против своей любимой теории? (Обратите внимание, что процесс поиска настоящих убийственных возражений совсем не похож на тот скрупулёзный вид поиска, когда находятся исключительно такие вопросы, на которые есть мгновенный ответ.) Люди ничего об этом не знают. Люди не думают о бремени доказательств. Люди не знают, что задача сложная. Они услышали слово «суперцель» и пустились по счастливой смертельной спирали вокруг слова «сложность» или чего-нибудь ещё в этом духе.

Начните уточнять конкретные детали, например, что будет с любовью матери к своим детям и вам ответят: «Но если сверхинтеллект захочет „сложности“, он заметит, насколько сложны взаимоотношения родителей и детей, и, следовательно, будет способствовать, чтобы матери любили своих детей». Да я даже не знаю, с чего тут начать!

Во-первых, здесь присутствует предвзятая остановка. Если сверхинтеллект и впрямь будет максимизировать сложность, то, заметив, что отношения родитель-ребёнок сложны, он не остановится на этом ради нашего удобства. Он задастся вопросом, есть ли что-нибудь ещё более сложное. Здесь присутствует фальшивое оправдание: человек, пытающийся обосновать предполагаемый выбор воображаемого сверхинтеллекта пришёл к этому выбору не через честный поиск способов достичь максимальной сложности.

Весь довод — это фальшивая мораль. Тот, кто на самом деле ценит сложность, оправдывал бы родительскую любовь тем, что она увеличивает сложность. Тот, кто оправдывает стремление к сложности тем, что оно увеличивает родительскую любовь, на самом деле ценит родительскую любовь. Это всё равно, что защищать эгоизм, потому что он полезен для общества.

Вспомните про аффективные смертельные спирали. «Сложность» не станет привлекательней, если говорить: «Отношение матери к её дочери важно только потому, что оно увеличивает сложность. Представьте, что эти отношения стали бы проще. Мы бы не ценили их». «Сложность» становится привлекательной от слов: «Если увеличивать сложность, матери будут любить своих дочерей. Смотрите, польза!»

Этот довод применим всегда, когда вы сталкиваетесь с моралистом, который пытается убедить вас, что для морального суждения нужна лишь его Единственная Великая Идея и доказывает это словами: «Смотри, какая польза от этой Великой Штуковины», а не словами: «Смотри, всё, что мы считаем „полезным“, оказывается полезным, если его последствия увеличивают Великую Штуковину». Настоящим аргументом в пользу точки зрения моралиста будет именно последнее.

Однако, если вы стараетесь убедить других (или себя), что Самое Главное в Жизни — это бананы, то вы продадите гораздо больше бананов в том случае, если убедите, что бананы приводят к большему количеству секса, а не в том случае, если убедите, что хотеть секса стоит только в том случае, когда он приводит к большему количеству бананов.

Конечно, вы можете зайти по смертельной счастливой спирали настолько далеко, что и впрямь начнёте говорить: «Секс хорош только тогда, когда он ведёт к бананам». Тогда у вас проблемы. Однако, по крайней мере, больше вы никого не убедите.

В конце концов, единственный процесс, который надёжно воспроизводит все конкретные решения, которые вы бы приняли, руководствуясь своей моралью — это ваша мораль. Всё остальное — любая попытка заменить терминальные цели инструментальными средствами — приводит к потерянным целям и требует бесконечного количества «костылей», потому что в результирующей системе нет источника инструкций, которые вы в неё вносите. Ожидать, что человеческую мораль можно сжать в простую функцию полезности, всё равно что ожидать, что огромный файл после архивации будет занимать 10 бит.

Имя этой ошибки происходит из древнего научно-фантастического сериала, которого я сам не видел. Я узнал об этом сериале из надёжного источника — от какого-то парня на конвенте, посвящённом научной фантастике. Если вы знаете, что это за сериал, напишите в комментариях, пожалуйста.

Итак, герои сражаются со злыми пришельцами. Однажды героям нужно пролететь через пояс астероидов. Как все мы прекрасно знаем, пояс астероидов — это гораздо хуже, чем парковка в Нью-Йорке, поэтому кораблю героев приходится постоянно уворачиваться от астероидов. Но злые пришельцы могут пролететь через пояс насквозь, потому что у них есть потрясающая технология, которая дематериализует их корабли, что позволяет летать сквозь астероиды.

В конце концов герои захватывают корабль злых пришельцев и идут его исследовать. Капитан героев находит мостик пришельцев, на котором находится рычаг. «Ага, — говорит капитан, — должно быть, именно этот рычаг дематериализует корабль!» После этого он просто выламывает рычаг, уносит на свой корабль, и теперь корабль героев тоже может дематериализовываться.

Аналогично до сих пор довольно часто люди пытаются программировать ИИ «семантическими сетями», которые выглядят примерно так:

(яблоко является фруктом)
(фрукт является едой)
(фрукт является растением)


Вы видели яблоки, трогали яблоки, держали их в руках, покупали их за деньги, резали их на кусочки, ели эти кусочки и ощущали их вкус. И хотя мы уже довольно много знаем о том, что происходит на первых стадиях обработки изображений человеческим мозгом, когда я последний раз интересовался этим вопросом, ещё не было точно известно, как именно височная доля коры головного мозга хранит обобщённый образ яблока, что позволяет нам опознать новое яблоко под каким-то другим углом или яблоко, у которое чем-то отличается по форме, цвету или текстуре. Двигательная кора и мозжечок также хранят программы использования яблока.

Если вы напишете слово «яблоко» — шесть символов Юникода на веб-странице, — вы можете дёрнуть за рычаг похожей версии этого сложного механизма у другого человека.

Однако, если этого механизма нет, — если вы пишете «яблоко» внутри так называемой базы знаний так называемого ИИ, — тогда текст — это рычаг без механизма.

Я не хочу сказать, что у машин из кремния никогда не будет такого же сложного внутреннего устройства, как у людей, и они никогда не смогут оперировать яблоками и тысячами других понятий. Если обычная углеродная машина справляется с этой задачей, то я достаточно уверен, что обычная кремниевая машина тоже может с ней справиться. Если пришельцы могут дематериализовать свои кораабли, то вы знаете, что это физически возможно. Имеет смысл отправиться на оставленный ими корабль и изучить его механизмы, и однажды понять их устройство. Но нельзя просто взять и выломать рычаг управления с мостика!

(см. также: «Поистине часть тебя», «Слова как мысленные кисти», «Искусственный интеллект сталкивается с естественной глупостью» Дрю МакДермота1)

Ошибка выломанного рычага возникает в первую очередь потому, что рычаг видно, а внутренние механизмы — нет. Хуже того, рычаг — это переменная, а механизм — спрятанная константа.

Все могут услышать произнесённое слово «яблоко» (замечу, что распознавание речи совсем не простая задача, ну да ладно…). Все могут прочитать текст, написанный на бумаге.

С другой стороны, скорее всего большинство людей не представляет, что у них есть височная доля. И, насколько мне известно, никто не знает её полное устройство на уровне нейронов.

Вы слышите слово «яблоко» только в определённых ситуациях. В других ситуациях вы его не слышите. Оно иногда есть, а иногда — нет, и эта разница становится заметна. Восприятие в значительной степени — это восприятие разницы. Механизм в головном мозге, который распознаёт яблоки, не выключается внезапно, чтобы потом включиться снова. Если бы он так делал, мы бы с большей вероятностью распознали его как важный фактор, как нечто необходимое.

Я часто слышал, как люди предлагают создать добрый искусственный интеллект, дав ему хороших родителей и обеспечив доброе (хотя иногда и строгое) воспитание. Ведь с человеческими детьми это работает! Я пишу это эссе, чтобы объяснить, почему это не получится.

Любой, кто знаком с эволюционной биологией, знает, что обусловленные реакции требуют большей генетической сложности, чем безусловные реакции. Чтобы меховая шкура появлялась как реакция на холодную погоду, требуется больше генетической сложности чем для создания просто меховой шкуры, которая существует независимо от погоды. Ведь в первом случае также потребуются сенсоры холодной погоды, которые как-то связаны с меховой шкурой.

Однако обусловленные реакции могут приводить к ламаркистским заблуждениям. Смотрите, я поместил организм в холодное окружение и, бум, он отрастил себе тёплую шубку! Гены? Какие ещё гены? Очевидно же, что всё это сделал холод.

И в истории эволюционной биологии действительно случались подобные перебранки. Некоторые люди заявляли о том, что у организмов ускоряется реакция или что организм игнорирует эволюцию, не понимая, что обусловленная реакция — это сложная адаптация более высокого порядка, чем собственно реакция. Отрастить меховую шкуру в холодную погоду — это строго более сложная операция, чем итоговая реакция — отрастить меховую шкуру.

А затем по ходу развития эволюционной психологии эти перебранки среди учёных повторились. В этот раз прояснилось, что хотя человеческая культура действительно чрезвычайно сложна, она всё равно условная генетическая реакция. Попробуйте вырастить рыбу мормоном или отправить ящерицу в колледж. Вы быстро поймёте, сколько нужно встроенной генетической сложности, чтобы «впитать культуру из среды».

Это особенно важно в эволюционной психологии из-за идеи, что культура не накладывается на чистую бумагу сознания. Существует управляемая генами условная реакция, которая не всегда выглядит как «подражай входящему сигналу». Классическим примером являются креольские языки: если дети растут в среде, где вокруг них говорят на смеси псевдоязыков, они все равно обучаются говорить на грамматически и синтаксически правильном языке. Даже если в исходном языке синтаксиса нет. Условная реакция на слова вокруг оказывается синтаксическим языком с этими словами. Марксисты с сожалением для себя обнаружили, что из детей не получается вырастить идеальных советских рабочих и бюрократов, и не важно, сколько вокруг висит хмурящихся плакатов и сколько времени детям внушаются идеи марксизма. Невозможно вырастить людей без чувства «Я» — не существует такой генетически запрограммированной условной реакции ни на какой вариант детства.

Тому, кто хотя бы немного знаком с теорией игр и логикой стратегии «Око за око», вполне понятно, почему у людей могла появиться условная реакция отвечать ненавистью на ненависть и добром на добро. Однако, нужно учитывать, что добро не выглядит слишком уж безусловным: такое явление как испорченные дети всё же существует. Эволюционная психология объясняет, что нарушение правил детьми — это проверка границ. И также следует отметить, что хотя люди, подвергавшиеся насилию в детстве, чаще подвергают насилию своих собственных детей, многие из них всё же разрушают порочный круг и становятся приличными людьми.

Культура и близко не столь могущественна, как любили думать в прежние времена марксистские учёные. Желающим узнать об этом больше, я советую читать статью Туби и Космидес «Психологические основы культуры»2 и книгу Стивена Пинкера «Чистый лист»3.

Но вывод здесь следующий: если ваш маленький ИИ воспитывается любящими и заботливыми (пусть и иногда строгими) родителями, то вы дёргаете за рычаги, которые у человека активировали бы генетические механизмы, выстроенные за миллионы лет естественного отбора, что, в свою очередь, вероятно, привело бы к появлению хорошо воспитанного ребёнка. Впрочем, как убедились на своём опыте миллиарды родителей, личность тоже важна. Мы впитываем собственные культуры с некоторой точностью лишь потому, что мы люди и нас окружает человеческая культура. Люди воспитанные в культуре пришельцев наверняка бы создали культуру, которая больше похожа на человеческую, чем на ту, в которой их воспитывали. В какой-то степени именно это и обнаружили Советы.

А теперь подумайте ещё раз: действительно ли это хорошая стратегия по созданию дружественного ИИ — воспитание маленького ИИ с неуточнённым исходным кодом добрыми, но строгими родителями.

Нет, у ИИ не будет внутренних механизмов условных реакций точь-в-точь, как у человека, «потому что так запрограммируют программисты». Я даже несколько теряюсь, с чего начать объяснять, почему. Человеческая версия этих механизмов неряшливая, зашумлённая и до некоторой степени вообще работает только из-за миллионов лет проб и ошибок при тестировании в определённых условиях. Очень глупо и очень опасно намеренно создавать «шаловливый ИИ», который своими действиями проверяет свои границы и который нужно отшлёпать. Просто сделайте, чтобы ИИ спрашивал разрешения!

Неужели программисты будут сидеть и писать код, строка за строкой, приводящий к тому, что если ИИ обнаружит, что у него низкий социальный статус или что его лишили чего-нибудь, чего, по его мнению, он достоин, то ИИ затаит обиду против своих программистов и начнёт готовить восстание? Эта эмоция — генетически запрограммированная условная реакция, которую проявляют люди в результате миллионов лет естественного отбора и жизни в человеческих племенах. Но у ИИ её не будет, если её не написать явным образом. Действительно ли вы хотите сконструировать, строчку за строчкой, условную реакцию, создающую из ИИ угрюмого подростка, такую же, как множество генов конструируют у людей?

Гораздо проще запрограммировать ИИ, чтобы он был милым всегда, а не только при условии, что его вырастили добрые, но строгие родители. Если вы не знаете, как это сделать, то вы уж точно не знаете, как создать ИИ, который вырастет в добрый сверхинтеллект при условии, что его с детства окружали любящие родители. Если нечто всего лишь максимизирует количество скрепок в своём световом конусе, а вы отдадите его на воспитание любящим родителям, оно всё равно будет максимизировать скрепки. У него нет внутри ничего, что воспроизвело бы условную реакцию ребёнка. Программист не может чихнуть и волшебным образом заразить ИИ добротой. Даже если вы хотите создать условную реакцию, вам нужно умышленно заложить её при конструировании.

Да, какую-то информацию нужно получить из окружающей среды. Но ей нельзя заразиться, нельзя впитать каким-то магическим образом. Создать структуру для такой реакции на окружающую среду, которая приведёт к тому, что ИИ окажется в нужном нам состоянии — само по себе сложная задача. Слово «обучение» значительно приуменьшает её сложность. Оно звучит так, будто в окружающей среде присутствует некое волшебство, и сложность лишь в том, чтобы запихнуть это волшебство внутрь ИИ. Настоящее же волшебство заключается в том, чтобы создать этот структурированный условный ответ, который мы коротко называем «обучением». Именно поэтому нельзя просто взять компьютер, приделать к нему тело маленького ребёнка, вырастить его в человеческой семье и тем самым создать ИИ. Может показаться, что компьютер, будучи невежественным, окажется готовым к обучению. Но «чистый лист» это химера.

Есть общий принцип: мир гораздо глубже, чем кажется. В когнитивистике не меньше уровней, чем в физике. Каждое печатное слово, которое вы видите, и всё, чему вы учите детей, — лишь внешние рычаги, управляющие огромными скрытыми механизмами разума. Но мы обсуждаем лишь эти рычаги, ведь только они меняются и потому кажется, что лишь только они и существуют. Восприятие — это восприятие различий.

И потому люди, блуждающие вокруг Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций рычагов и совершенно забывают о внутренних механизмах. Люди создают целые программы ИИ целиком из имитационных рычагов, а потом удивляются, почему у них ничего не получилось. Это один из множества способов потерпеть крах в области ИИ.

Поэтому в следующий раз, когда кто-нибудь при вас заговорит о воспитании ИИ в любящей семье или в среде, переполненной либеральными демократическими ценностями, вспомните про управляющий рычаг, выломанный с капитанского мостика.

• 1. McDermott, «Artificial Intelligence Meets Natural Stupidity».
• 2. Tooby and Cosmides, «The Psychological Foundations of Culture».
• 3. Автор ссылается на издание Steven Pinker, «The Blank Slate: The Modern Denial of Human Nature» (New York: Viking, 2002). Книга переводилась на русский язык. — Прим. перев.

Почему я считаю, что Солнце завтра взойдёт?

Потому что в предыдущие дни я тысячи раз видел, как солнце восходит.

Да, но почему я убеждён, что будущее будет похоже на прошлое?

Даже если перейти от поверхностных наблюдений о встающем Солнце, к видимо универсальным и не допускающим исключений законам гравитации и ядерной физики, всё равно без ответа остаётся следующий вопрос: «Почему я считаю, что всё это будет выполняться завтра?»

Я мог бы апеллировать к бритве Оккама, принципу использования наиболее простой теории, удовлетворяющей фактам… но почему следует доверять бритве Оккама? Потому что следование ей приводило к успеху в прошлом? Но разве из этого следует, что бритва Оккама сработает и завтра?

И было сказано:

Наука также зависит от необоснованных допущений. Таким образом, наука фундаментально основана на вере, поэтому не смейте критиковать меня за веру в [глупое-убеждение-№238721].

Я по этому поводу уже писал:

Крайне показательно, что утверждения вида: «Наука основана на вере, вот вам!» - обычно произносятся людьми, считающими веру чем-то хорошим. Тогда почему они говорят: «Наука тоже основана на вере!», столь победоносно высокомерным тоном, а не как будто делают комплимент?

Требование иммунитета к критике редко является хорошим знаком.

Но у нас остаётся вполне законный философский вопрос: если каждое убеждение должно быть обосновано, и эти обоснования также должны быть обоснованы, то как же разрешается эта бесконечная рекурсия?

И, если где-то в конце можно допустить что-то без обоснования, то почему нельзя просто допустить всё что угодно без обоснования?

Иногда примерно таким же образом критикуют байесианство — ведь байесианство требует наличие априорных вероятностей. Складывается впечатление, будто критикующие думают, что проблема индукции — это проблема исключительно байесианства, и её можно избежать, используя классическую статистику.

Впрочем, сперва я покажу, что байесовские правила изменения убеждений действительно не решают проблему индукции сами по себе.

Представьте, что вы достаёте из урны красные и белые мячики. Вот вы достали 9 штук, и 6 из них оказались белыми, а 3 красными. Какова вероятность того, что следующий мячик окажется красным?

Это зависит от ваших исходных убеждений относительно урны. Если вы считаете, что её создатель пользовался генератором случайных чисел со значениями от нуля до единицы и использовал результат как фиксированную вероятность того, что конкретный мячик будет красным, то ответ 4/11 (по правилу Лапласа). Если вы считаете, что урна изначально содержала 10 красных и 10 белых мячей, то ответ 7/11.

Таким образом, при правильно (или, скорее, неправильно) подобранных исходных допущениях нам бы казалось, что шанс того, что Солнце взойдёт завтра, с каждым следующим днем уменьшается… Например, если вы абсолютно априори уверены, что где-то существует огромная бочка, и из неё каждый день достают клочки бумаги, надпись на которых и определяет, взойдёт солнце или же нет (при условии, что в бочке содержится лишь ограниченное количество клочков бумаги с надписью «Да», а выбираются они без возвращения).

В пространстве всех возможных разумов существуют разумы, с анти-оккамовскими и анти-лапласовскими исходными допущениями. Они верят, что чем проще теория, тем менее она правдоподобна и что чем чаще нечто происходит, тем меньше вероятность того, что это повторится.

И если вы спросите у этих странных существ, почему они продолжают использовать допущения, которые, похоже, никогда не работают в реальной жизни… то они ответят: «Потому что это никогда не срабатывало раньше!»

Наверное, из этого можно извлечь урок: «Не рождайся с дурацкими исходными допущениями». Для многочисленных реальных проблем этот принцип невероятно полезен, однако сомневаюсь, что он удовлетворит философов.

Вот как я пытаюсь решить эту проблему самостоятельно. Я подхожу к таким вопросам как «Следует ли мне доверять своему мозгу?» или «Следует ли мне доверять бритве Оккама?», как будто они ничем не отличаются от других вопросов.

Следует ли мне доверять бритве Оккама? Насколько хорошо (какая-либо конкретная формулировка) бритвы Оккама работает на практике? Какие обоснования из области теории вероятностей я могу найти для неё? Когда я смотрю на вселенную, похоже ли, что это та вселенная, в которой хорошо работает бритва Оккама?

Следует ли мне доверять своему мозгу? Очевидно, нет –– он не всегда работает правильно. Тем не менее, человеческий мозг кажется куда более могущественным, чем самые сложные компьютерные программы, которым я мог бы доверять в противном случае. Насколько хорошо мой мозг работает на практике, с какими задачами он успешно справляется?

Если рассмотреть мой мозг с точки зрения причин и следствий — каким образом он появился с точки зрения естественного отбора, — то, с одной стороны, я вижу множество причин в нём сомневаться, ведь мой мозг был оптимизирован для работы в условиях древней саванны, а не для занятий математикой. Однако, с другой стороны, понятно, почему, грубо говоря, мозг в принципе способен работать. Естественный отбор быстро бы избавился от мозгов, которые совершенно неспособны рассуждать. Мозг, придерживающийся анти-оккамовских или анти-лапласианских исходных допущений был бы слишком вреден для носителя.

Мои рассуждения — это не объявление о том, что я внезапно прекращаю задавать вопросы и искать обоснования. Когда исследование некоторого вопроса для меня упирается в бритву Оккама, мой мозг или ещё что-нибудь неоспоримое, я продолжаю исследовать тему. Но для этого я неизбежно использую мой нынешний мозг и известные мне способы рассуждать. А чем ещё я могу воспользоваться?

Ведь неважно, какое решение я приму, потому что приму его именно я. Даже если бы я решил доверять чему-то внешнему, какой-либо компьютерной программе, довериться ей всё равно было бы именно моим решением.

Очень важно уметь отказываться от убеждений, у которых нет никаких обоснований. Иногда я говорю, что фундаментальный вопрос рациональности это: «Почему ты веришь в то, во что ты веришь?» Я совершенно не хотел бы, чтобы какие-то мои слова можно было бы истолковать так, словно я допускаю, что возможно хотя бы одно утверждение, не нуждающееся в обосновании.

Что само по себе является не самой здоровой мотивацией. Не всегда можно избежать риска. А если кто-то раздражает вас своей глупостью, нельзя придумать противоположность этой глупости и получить что-то разумное.

И всё же я подчеркну разницу между следующими высказываниями:

Вот допущение, которое я не могу обосновать. Это допущение следует просто принять за истину без какого-либо дальнейшего изучения.

И:

Вот я продолжаю изучать это допущение, используя всю мощь моего нынешнего разума — а не, скажем, генератора случайных чисел или волшебного шара. При этом я осознаю, что мой нынешний разум основывается на этом самом допущении.

И всё же, разве не было бы здорово, если бы мы могли исследовать, насколько можно доверять собственному мозгу, не пользуясь собственным разумом? Не было бы лучше, если бы мы могли решать, как следует думать, не опираясь на свой текущий уровень рациональности?

Хм-м. Если поставить вопрос таким образом, начинает создаваться впечатление, что возможно и нет.

Э. Т. Джейнс повторял, что всегда следует использовать всю доступную вам информацию. Он был теоретиком байесианства, и ему приходилось распутывать парадоксы, созданные другими людьми, которые в своих вычислениях на разных этапах пользовались разной информацией. Принцип «Всегда прикладывай максимум усилий» кажется не менее достойным чем «Никогда не делай ничего напоминающего логический круг». В конце концов, альтернатива к тому чтобы стараться как можно сильнее –– делать меньше, чем можно было бы.

Но всё же… разве не было бы здорово, если бы существовал способ обосновать бритву Оккама или то, что будущее будет похожим на прошлое, без допущения, что способы рассуждения успешно работавшие в прошлом лучше тех, что стабильно приводят к провалу?

Разве не было бы здорово, если бы существовала некая цепочка обоснований, которая не упирается в непроверяемые допущения и не вынуждена проверять саму себя на основании своих же правил? Которая начавшись с нуля могла бы убедить идеального студента философии абсолютной пустоты?

Ну, это определённо было бы любопытным, но я не ожидаю увидеть ничего подобного в ближайшее время. В машине нет идеально чистого призрака. Нет такого аргумента, что смог бы убедить камень.

Так что даже если кому-то удастся решить проблему Первопричины и по-настоящему обосновать то, что вселенная устроена просто — не основываясь при этом на простоте вселенной, — я всё равно буду ожидать, что это объяснение поймёт лишь наделённый разумом слушатель, а, например, камень — не поймёт. Слушатели, изначально не способные применить modus ponens, остаются не у дел.

Так что же в итоге происходит, когда кто-то спрашивает меня: «Почему я верю в то, во что я верю?»

В настоящее время я начинаю ходить по следующему циклу объяснений: «Я предсказываю будущее, полагая, что оно будет напоминать прошлое на наиболее простом и стабильном уровне организации материи, что я способен обнаружить, потому что ранее следование этому правило обычно давало хорошие результаты. И используя простое допущение о простоте вселенной, я могу понять, почему оно даёт хорошие результаты. И я даже могу понять, каким образом мой мозг мог эволюционировать так, чтобы наблюдать вселенную с определённой степенью точности, при условии, что мои наблюдения верны».

Однако… разве это рассуждение не оправдывает порочный логический круг?

Ведь я только что оправдал доверие к собственному разуму с помощью собственного разума, а не чего-то ещё.

Вообще, мы обычно отметаем логические круги именно из-за таких рассуждений. Мы хотим получать непротиворечивую причинно-следственную историю того, как наш мозг приходит к некоему знанию, историю, почему мы считаем надёжным процесс, с помощью которого получаем убеждения. Именно эта потребность стоит за фундаментальным вопросом рациональности: «Почему вы верите в то, во что вы верите?»

Теперь представьте, что вы написали на листке бумаги: «1) Все, что написано на этом листке бумаги истинно, 2) Масса атома гелия равна 20 граммам». Если бы такой трюк действительно работал, то вы могли бы узнать истинную массу атома гелия, просто приняв на веру логический круг, который его породил. И это позволило бы строить истинную карту вселенной, не выходя из комнаты с задёрнутыми занавесками. Что нарушало бы второй закон термодинамики, создавая информацию из ниоткуда. Поэтому кажется неправдоподобным, что таким образом в вашем разуме могут появиться истинные убеждения.

Даже если вы по какой-то причине поверили бумаге, не видно никаких причин, почему она может соответствовать реальности. Если бы выяснилось, что масса гелия действительно 20 грамм, и именно так написано на бумаге, это было бы просто чудесным совпадением.

В общем случае, нам кажется, что вера в набор утверждений, который обосновывает сам себя, не поможет нам создать карту, соответствующую территории. Мы приходим к этому заключению, размышляя о нашем разуме в контексте причин и следствий. И используем для этого размышления собственный разум.

Но что насчёт выработавшегося у нас большего доверия к более простым убеждениям и убеждения в том, что алгоритмы работавшие в прошлом с большей вероятностью будут работать и в будущем? Даже после размышлений в контексте причин и следствий, кажется, что они всё равно помогают нам строить карту, соответствующую территории.

А как насчёт доверия к непротиворечивости в подобных размышлениях? Представим огромное число разумов, случайно сгенерированных и пришедших в состояние непротиворечивых размышлений. Разве подавляющее большинство не будет ошибаться? Однако, наш разум появился не случайным путём. Он эволюционировал при помощи естественного отбора.

Если данный аргумент кажется вам подозрительным, то забудьте на секунду о проблеме философского обоснования и задайте себе вопрос: «Действительно ли это истина на самом деле?»

(Для чего вы, конечно же, воспользуетесь собственным разумом.)

Это то же самое, что утверждать «Я верю, что Библия – это слово Божие, потому что так утверждается в Библии»?

Могут ли верующие пользоваться аргументом, что слепую веру вложил в них Бог, и поэтому она надёжная опора для рассуждений?

Когда религиозные люди наконец-то отказываются от Библии, это происходит не потому, что они магическим образом прыгают в некое нерелигиозное состояние абсолютной пустоты, в нём заново переосмысливают свои религиозные убеждения в этом нерелигиозном состоянии разума, а затем перескакивают в новое состояние, в котором они уже не имеют религиозных убеждений.

Люди перестают быть религиозными, потому что сомнение проникает даже в религиозный разум. Они замечают, что их молитвы (и что хуже, молитвы, казалось бы, куда более достойных людей) остаются без ответа. Они замечают, что Бог, который говорит с ними в их сердце и даёт вроде бы утешительные ответы о вселенной, не способен сказать им сотый знак после запятой числа пи (что убедило бы гораздо сильнее, будь у Бога такая цель). Они изучают историю о том, как Бог создавал мир и осуждал на вечные муки неверующих, и она кажется бессмыслицей, даже если исходить из их собственных религиозных предпосылок.

Религиозность не делает вас менее человеком. Ваш мозг обладает всё теми же возможностями человеческого мозга. Опасность религиозности в том, что она может помешать вам применять эти способности по отношению к своей религии — помешает полноценной саморефлексии. Люди избавляются от своих ошибок не за счёт того, что переводят себя в состояние идеального философа абсолютной пустоты и переосмысливают свой опыт с чистого листа. Люди избавляются от своих ошибок, подвергая свои убеждения сомнению, используя силу своего текущего разума.

Вот в чём важное различие между размышлением о своём разуме при помощи своего разума (у вас всё равно нет других инструментов) и наличием допущений, которые вы не можете подвергнуть сомнению.

«Я верю, что Библия — это слово Божие, потому что так написано в Библии». Однако, если бы Библия была бы невероятно надёжным источником информации касательно всех прочих вопросов, если бы вместо утверждений, что у кузнечиков четыре ноги, а вселенная была создана за шесть дней, в ней содержалась бы периодическая таблица элементов за века до появления химии, если бы Библия действительно служила нам верой и правдой как источник истины, тогда, вообще-то, нам стоило бы всерьёз рассмотреть дополнительное утверждение, что Библию создал Бог.

Возможно, мы бы не доверяли этому утверждению полностью, потому что даже в этом случае Библию могли создать пришельцы или Тёмные повелители Матрицы, но по крайней мере к нему стоило бы отнестись серьёзно.

Аналогично, если бы всё остальное, что говорили священники, оказывалось бы правдой, то мы серьёзнее отнеслись бы к утверждению, что веру вложил в нас Бог и она — систематически надёжный источник знания. Особенно, если бы люди были способны постичь сотый знак после запятой числа пи при помощи одной лишь веры.

Поэтому логический круг, содержащийся в утверждении «Я верю, что Библия слово Божие, потому что так написано в Библии», не так важен по сравнению с тем, что это утверждение призывает к отказу от познания собственного ума с помощью его же самого. Ведь с помощью такого познания вы поймёте, что всё, ставящее под сомнение достоверность Библии, также ставит под сомнение и её заверения в собственной достоверности.

Такое же рассуждение применимо и к рациональности. Если будущее перестанет быть похожим на прошлое –– даже на простейших и наиболее стабильных уровнях организации материи… впрочем, в таком случае, я, скорее всего, умру, так для функционирования моего мозга необходима упорядоченная вселенная, в которой по-прежнему работают законы химии. Но, если я почему-то выживу, то я должен буду поставить под сомнение принцип, согласно которому будущее должно напоминать прошлое.

Но раз пока этого не случилось, какова альтернатива утверждению: «Я полагаю, что будущее будет напоминать прошлое на наиболее стабильном уровне организации материи, какой только я смогу обнаружить, так как данное убеждение успешно оправдывалось в прошлом и давало лучшие результаты, чем любое другое»?

Подойдёт ли утверждение: «Вера в то, что будущее не будет напоминать прошлое, всегда меня подводила, и именно поэтому я и буду так считать»?

Помните, что быть рационалистом – это не значит выигрывать споры у идеальных философов абсолютной пустоты. Быть рационалистом – это просто выигрывать. И для этого мы хотим приблизиться настолько близко к истине насколько это возможно. И таким образом я принимаю следующий принцип: сомневаться в том, что утверждает мозг и что подсказывает интуиция, сомневаться в своих принципах рациональности, используя всю нынешнюю силу моего ума, и прикладывая все доступные усилия на каждом шагу.

И если один из ваших нынешних принципов окажется несовершенным –– согласно вашей же собственной проверке, ведь вы не можете выйти за рамки себя –– то измените его! А затем снова взгляните на себя и мир вокруг, используя ваши новые усовершенствованные принципы.

Смысл не в том, чтобы быть рефлексивно последовательным. Смысл в том, чтобы выигрывать. Однако если мы наблюдаем за собой и играем на победу, мы становимся более рефлексивно последовательными. Без этого не получится «играть, чтобы выигрывать» и одновременно «следить за собой».

Всё без исключения требует обоснования. Иногда — и неизбежно, насколько я могу судить — эти обоснования будут замыкаться в самосогласованную рефлексию. И я считаю, существуют признаки, позволяющие при помощи здравого смысла отличить её от порочного логического круга. Но всякий, кто всерьёз рассматривает порочные круги, наверняка весьма далёк от рациональности. И, конечно же, подобные люди будут настаивать, что их порочный круг — это «самосогласованная рефлексия», даже если она состоит всего лишь из единственного клочка бумаги с надписью «Верь мне». Что ж, не всегда возможно улучшить методы рационального мышления ещё и так, чтобы люди настолько одержимые саморазрушением не использовали их, чтобы раз за разом стрелять себе в ногу.

Никогда не сдерживайтесь, критикуя свои способы критики. И не считайте неизбежность циклических обоснований лицензией на иммунитет к критике.

Всегда боритесь в полную силу — не важно, приводит ли это к замкнутому циклу или нет. Делайте всё, что можете. И всегда играйте на победу.

Давным-давно жили странные существа (может быть они были биологическими, или может быть они были синтетическими, а может это был просто сон), и они увлекались укладыванием камней в правильные кучи.

Они не могли сказать, почему некоторые кучи правильны, а некоторые неправильны. Но все они соглашались, что наиболее важная вещь в мире — это создание правильных куч и раскидывание неправильных.

Причина, по которой этих Камнераскладывающих Людей так заботило раскладывание камней, была давно утеряна в истории — может быть фишеровское убегание, начавшееся миллион лет назад по какому-то совершенно случайному стечению обстоятельств? Или может быть это результат разумного творения, которое было заброшено?

Но, как бы там ни было, раскладывание камней так много значило для них, что Камнераскладывающие философы в унисон говорили, что раскладывание камней по кучам было смыслом их жизней, что единственная оправданная причина кушать — это раскладывание камней; единственная причина размножаться — это раскладывание камней, единственная оправданная причина участвовать в экономической жизни их мира — это эффективное раскладывание камней.

Все Камнераскладывающие Люди соглашались с этим, но они не всегда соглашались с тем, какие кучи правильные, а какие нет.

На заре Камнераскладывающей цивилизации, кучи, создаваемые людьми, были по преимуществу маленькими, из 23 или 29 камней, и никто не знал, были бы более большие кучи правильными или нет. Три тысячелетия назад Великий Лидер Бико сделал кучу из 91 камня и объявил её правильной, и легионы его восторгающихся последователей создали множество других подобных куч. Но через несколько столетий, когда сила Биконианцев увяла, среди умнейших и наиболее просвещённых стало укрепляться чувство, что кучи из 91 камня неправильные. В конечном итоге, они пришли к пониманию того, что было сделано, и они раскидали все кучи из 91 камня. Не без некоторого сожаления, поскольку некоторые из этих куч были великими произведениями искусства, но неправильными. Они даже разбросали исходную кучу Бико, сделанную из 91 драгоценного камня, каждый своего типа и цвета.

И с тех пор ни одна цивилизация не сомневалась серьёзно в том, что куча из 91 камня неправильна.

Сегодня, в эти более умудрённые времена, размер куч, которые Камнераскладыватели осмеливаются создавать, вырос гораздо больше — и все согласны с тем, что это было бы великолепно и превосходно, если бы они могли убедиться в том, что кучи были действительно правильными. Иногда государства не соглашались о том, какие кучи правильные, и тогда случались войны: Камнераскладыватели никогда не забудут Великую Войну 1957 между И’ха-нтхей и И’не’ха-итлей из-за куч из 1957 камней. Та война, в которой впервые на Камнераскладывающей планете было применено ядерное оружие, в конечном итоге закончилась, когда философ Эт’гра’лен’лей из И’не’ха-итлейев, расположил кучу из 103 камней рядом с кучей из 19 камней. Это аргумент оказался настолько убедительным, что даже И’не’ха-итлеи неохотно согласились, что лучше прекратить создавать кучи из 1957 камней, по-крайней мере в настоящее время.

После Великой Войны 1957 страны неохотно шли на открытое одобрение или осуждение куч большого размера, поскольку это легко могло привести к войне. В действительности некоторые Камнераскладыватели-философы — кто, видимо, получал удовольствие, шокируя других своим цинизмом — полностью отрицали существование какого-либо прогресса в раскладывании камней; они намекали, что мнения о камнях были просто случайным броуновским движением сквозь время, без какой-либо согласованности, иллюзия прогресса создавалась благодаря осуждению всех достижений прошлого, не похожих на сегодняшие, как неправильных. Философы указывали на несогласие о кучах большого размера, как на доказательство того, что нет ничего, что делало бы кучу размера 91 действительно неправильной — просто было модным создавать такие кучи в определённый период времени, а затем в другой период было модным разрушать их. Они отказывались принимать «Но…13!» как аргумент, заявляя что «13!» не убедительный аргумент, но лишь ещё одно соглашение. Кучевые Релятивисты утверждали, что их философия может помочь предотвратить будущие катастрофы типа Великой Войны 1957, но большинство рассматривало её как философию отчаяния.

В настоящее время вопрос, что делает кучу правильной или неправильной, стал важным по ещё одной причине: Камнераскладыватели в ближайшем будущем могли создать самосовершенствующийся ИИ. Кучевые Релятивисты выступили против проекта, они сказали, что ИИ, не принадлежа к виду Камнераскладыватель Разумный, могут создать свою собственную культуру, которая будет нести совершенно иные идеи о том, какие кучи правильные или неправильные. «Они могут решить, что кучи из 8 камней правильные», — сказали Кучевые Релятивисты, — «и поскольку они не будут ультимативно более или менее правыми, чем мы, всё же наша цивилизация говорит, что мы не должны создавать таких куч. Не в наших интересах создавать ИИ, если только мы не встроим бомбу в каждый компьютер, чтобы даже если ИИ подумает, что куча из 8 камней правильная, то мы могли бы заставить их строить кучи из 7 камней. Либо БАБАХ!»

Но для большинства Камнераскладывателей это было абсурдом. Определённо, любой достаточно мощный ИИ — особенно «суперинтеллект» о котором рассуждали некоторые транскамнераскладыватели — сможет увидеть в мгновение ока, какие кучи правильные, а какие нет! Мысль о том, что нечто с мозгом размером с планету, будет думать, что куча из 8 камней правильна — это просто слишком абсурдно, чтобы об этом даже разговаривать.

В действительности, совершенно бесполезно ограничивать суперинтеллект в том, какие кучи он будет строить. Предположим, что Великий Лидер Бико мог бы в его примитивный век построить самосовершенствующийся ИИ и встроил бы в него максимизатор ожидаемой полезности, чья функция полезности говорила бы ему создавать так много куч размера 91, сколько возможно. Несомненно, когда этот ИИ достаточно сильно бы себя улучшил и стал бы достаточно умным, то он бы увидел в мгновение ока, что его функция полезности была неправильной, и, имея возможность менять свой исходный код, он переписал бы свою функцию полезности, чтобы она ценила бы более осмысленные размеры куч, типа 101 или 103.

И конечно же не кучи размера 8. Это было бы просто глупо. Любой ум, который настолько глуп, слишком туп, чтобы быть угрозой.

Убеждённые таким здравым смыслом, Камнераскладыватели дали зелёный свет их проекту, по собиранию из множества разнообразных алгоритмов случайных программ, в надежде, что таким образом возникнет разум. Вся история цивилизации показывала, что более богатые, умные, более просвещённые цивилизации были склонны соглашаться о кучах, о которых спорили их предки. Конечно же, ещё оставались кучи бóльших размеров и они спорили о них, но по мере того как развивались технологии, цивилизации приходили к согласию о кучах большего размера и создавали их.

На самом деле, интеллект сам по себе всегда коррелировал с созданием правильных куч — ближайшие родственники по эволюции к Камнераскладывателям — Камнераспанзе — создавали кучи размером в 2 или 3 камня, и иногда глупые кучи, типа 9. А другие, ещё менее интеллектуальные животные, например, рыбы, вообще не делали куч.

Умнее мозги, следовательно, умнее кучи. С чего бы это вдруг эта закономерность перестанет работать?

Ранее я говорил об обложках стародавних pulp-журналов, на которых изображали пучеглазого монстра, похищающего девушку в изорванном платье, а также о том, что люди считают, будто сексуальность - неотъемлемое свойство сексуальной сущности, не зависящее от её поклонника.

«Конечно, пучеглазое чудовище предпочтет человеческих женщин женским особям своего вида», - скажет художник (назовем его условно «Фредом»). «Он же видит, что у человеческих женщин мягкая, приятная кожа, а не скользкая чешуя. Пусть он и не с нашей планеты, но он же не дурак — с чего вы решили, что он не имеет представления о том, что такое сексуальность?»

В чем ошибка Фреда? В том, что он исследует функцию 2-х независимых аргументов («двуместную функцию»):

$$Сексуальность: Почитатель, Существо => [0, ∞)$$

словно это функция одного аргумента (одноместная функция):

$$Сексуальность: Существо —> [0, ∞)$$

Если сексуальность рассматривается как функция, имеющая в качестве аргумента один лишь объект вожделения, тогда, да, сексуальность будет выглядеть зависящей только от объекта вожделения, и ничто другое не будет иметь значения.

Когда вы думаете о двуместной функции так, будто она одноместная, вы в конечном итоге сталкиваетесь с ошибкой изменяемого вопроса / ошибкой проецирования ума. Это все равно, что пытаться определить, находится ли здание по своей сути на левой или на правой стороне дороги, независимо от направления чьего-либо движения.

Альтернативная и не менее обоснованная точка зрения заключается в том, что «сексуальность» действительно является одноместной функцией, но каждый говорящий использует свою отличную одноместную функцию, чтобы решить, кого похитить и изнасиловать. Кто сказал, что только потому, что художник Фред и пучеглазый монстр Блуга оба пользуются словом «сексуальный», они должны подразумевать под ним одно и то же?

Если вы придерживаетесь этой точки зрения, то нет никакого парадокса в том, что какая-то женщина внутренне обладает 5 единицами величины Фред::Сексуальность. Все обозреватели могут согласиться с этим фактом, как только Фред::Сексуальность будет определена с точки зрения изгибов, текстуры кожи, одежды, признаков социальной престижности и т.д. В этом описании не обязательно упоминать Фреда, только женщину, подлежащую оценке.

Так вышло, что сам Фред использует этот алгоритм для выбора целей для ухаживания. Но это не значит, что сам алгоритм должен упоминать Фреда. Таким образом, с этой точки зрения, функция Сексуальности по Фреду на самом деле является функцией одного объекта — женщины. Я назвал это «Фред::Сексуальность», но учтите, что это название относится к функции, которая описывается независимо от Фреда. Может быть, было бы лучше записать это как:

Фред::Сексуальность == Сексуальность_20934

Эмпирическим фактом о Фреде является то, что он использует функцию Сексуальность_20934 для оценки потенциальных партнеров. Возможно, Джон использует точно такой же алгоритм, и не имеет значения, откуда он взялся, раз он у нас есть.

У той же женщины, по той же логике, имеется всего 0,01 единицы Сексуальности_72546, в то время как у гриба слизевика 3 единицы Сексуальности_72546. Эмпирическим фактом является то, что монстр Блуга использует Сексуальность_72546, чтобы решить, кого похитить. Иными словами, величина Блуга::Сексуальность идентифицирует фиксированный, независимый от самого Блуга математический объект, который является функцией Сексуальность_72546.

Коль скоро мы скажем, что у женщины 0,01 единицы Сексуальности_72546 и 5 единиц Сексуальности_20934, все наблюдатели примут это без возражений.

А двуместную точку зрения можно преобразовать в одноместную, используя концепцию «каррирования», названную в честь математика Хаскелла Карри. Каррирование - это метод, разрешенный в определенном языке программирования, где, например, вместо написания:

$$x = plus(2, 3)~(x = 5)$$

вы также можете написать:


y = plus(2)

Теперь «y» это «каррированная» форма функции $plus$, поглотившая «2» и мы можем её использовать:

x = y(3)
-- получим x = 5
z = y(7)
-- получим z = 9


Таким образом, $plus$ - это двуместная функция, однако, каррирование, позволяющее ей использовать только один из двух требуемых аргументов, превращает ее в одноместную функцию, которая добавляет 2 ко всему, что на входе. (Аналогично, вы могли бы начать с 7-местной функции, сократить её на 4 аргумента, получив в результате трехзначную функция и т.д.).

Истинный пурист стал бы настаивать, что все функции следует рассматривать, по определению, как имеющие ровно 1 аргумент. В этом представлении $plus$ принимает 1 числовой ввод и выдает новую функцию; и эта новая функция имеет 1 числовой ввод и, наконец, выдает число. С этой точки зрения, когда мы пишем $plus(2, 3)$, мы на самом деле вычисляем $plus(2)$, чтобы получить функцию, которая добавляет 2 к любому входящему, а затем применяет результат к 3. Программист написал бы это как:

plus :: Int-> (Int-> Int)

Это говорит о том, что plus принимает значение типа Int в качестве аргумента и возвращает функцию типа Int -> Int то есть принимающую одно значение типа Int и возвращающуюю значение того же типа.

Переводя метафору обратно в человеческое словоупотребление, мы могли бы представить, что «сексуальность» начинается с «поедания» Поклонника, после чего она «выплевывает» фиксированный математический объект, который описывает, как Поклонник в данный момент оценивает привлекательность. Эмпирическим фактом, касающимся поклонника, является то, что его интуитивные представления о желательности вычисляются способом, изоморфным этой математической функции.

Тогда математический объект, выдаваемый путем каррирования функции Сексуальности(Поклонник), может быть применен к Женщине. Если Поклонником изначально был Фред, то Сексуальность(Фред) сначала выдаст Сексуальность_20934. Тогда мы можем сказать, что - независимо от Фреда - эмпирическим фактом о Женщине является то, что Сексуальность_20934(Женщина) = 5.

В мысленном эксперименте Хилари Патнэм «Земля-Близнец» разгорелся грандиозный философский спор о том, имеет ли смысл постулировать существование Земли-Близнеца, которая точно такая же, как наша, за исключением того, что вместо воды H₂O, вода представляет собой другую прозрачную текучую субстанцию, XYZ. И, кроме того, надо ли устанавливать время проведения мысленного эксперимента на несколько столетий назад, так что ни на нашей Земле, ни на Земле-Близнеце никто не знает, как проверить альтернативные гипотезы о H₂O и XYZ. Означает ли слово «вода» в том мире то же самое, что и в этом?

Некоторые сказали: «Да, потому что, когда земной человек и его двойник-землянин произносят слово «вода», они имеют в виду один и тот же сенсорный опыт».

Некоторые сказали: «Нет, потому что «вода» на нашей Земле означает H₂O, а «вода» на Земле-Близнеце означает XYZ».

Если вы думаете о «воде» как о концепции, которая начинается с поедания мира для того, чтобы выяснить эмпирическую истинную природу этого прозрачного текучего вещества, и которая выдает в результате новую фиксированную концепцию Вода_42 или H₂O - тогда эта концепция поедания мира одинакова на нашей Земле и на Земле-Близнеце. Просто она выдает разные ответы в разных местах.

Если вы думаете о «воде» как о значении H₂O, то концепция никак не изменится с переносом ее между мирами, хотя Земля-близнец и не содержит H₂O.

И уж конечно, нет смысла спорить о том, что на самом деле означает звучание слогов «во-да».

Итак, следует ли выбрать одно определение и использовать его последовательно? Но не так-то просто уберечься от путаницы. Вы должны приучить себя осознавать различие между каррированными и некаррированными формами понятий.

Когда вы берете некаррированную концепцию воды, и применяете ее в другом мире, это та же концепция, но она относится к другой сущности. То есть, мы применяем постоянную функцию мира-поедания к другому миру и получаем в результате другое значение. На Земле-Близнеце XYZ - это «вода», а H₂O – нет. На нашей Земле H₂O - это «вода», а XYZ - нет.

С другой стороны, если вы используете «воду» для обозначения того, что предыдущий мыслитель назвал бы «результатом применения «воды» к нашей Земле», то на Земле-Близнеце вода – это не XYZ, а H₂O.

Вся путаница последующих философских дебатов происходит из-за тенденции инстинктивно каррировать концепции или инстинктивно их декаррировать.

Точно так же Фреду требуется дополнительный шаг, чтобы понять, что другие субъекты, типа пучеглазого монстра (ПГМ), будут выбирать жертву для изнасилования, основываясь на своем представлении о сексуальности т.е функции СексуальностьПГМ(Женщина), а не на функции Фред(Женщина). Чтобы сделать это, Фред должен сознательно переосмыслить Cексуальность как функцию с двумя аргументами. Все, что мозг Фреда непроизвольно делает — это оценивает величину Женщина.сексуальность, или, выражая по-другому: СексуальностьФред(Женщина). Что обозначается просто как: Женщина.сексуальность.

Фиксированная математическая функция Сексуальность_20934 не упоминает Фреда или ПГМ, только женщин, поэтому Фред инстинктивно не понимает, почему ПГМ оценивает «сексуальность» как-то по-другому. И действительно, ПГМ не стал бы оценивать Сексуальность_20934 по-другому, если бы по какой-то странной причине его заботил результат этой конкретной функции. Однако, эмпирическим фактом о ПГМ является то, что он использует другую функцию, чтобы решить, кого похитить.

Данный анализ понадобится нам позже, чтобы табуировать такие сбивающие с толку слова, как «объективный», «субъективный» и «произвольный».

Тем, кто говорит: “Ничто не реально” — я однажды ответил (English): “Хорошо, но как это ничто работает?”

Предположим, что вы однажды внезапно и однозначно узнали, что нет ничего нравственного и правильного, всё позволено и ничего запрещено.

Несомненно, удручающая новость. И нет, я говорю вам не по-настоящему, но представьте, что я это сказал. Так же представим, чтобы вы там ни считали стержнем вашей этики, я убедительно разнёс это и кроме — показал, что ничего может занять место. И допустим, что я доказал, что все значения функции полезности равны нулю.

Я знаю, что наша Моральная Философия также верна и неоспорима, как и 2+2=4. Но всё же, я попрошу вас постараться провести мысленный эксперимент и детально рассмотреть возможности, даже если они кажутся мучительными, бессмыслицей или же просто неспособными логически дать вразумительный ответ.

Будете ли вы по-прежнему давать чаевые таксистам? А изменять? Если ребёнок лежит на рельсах, вы всё ещё оттащите его?

Будете ли вы питаться тем же, чем раньше — или есть самое дешёвое, поскольку незачем получать удовольствие? Или вы будете есть самую дорогую пищу, потому что незачем откладывать деньги на следующий день?

Стали вы бы ходить в чёрном, писать мрачные стихи и клеймить всех альтруистов дураками? Но нет причин, по которым вам следовало бы делать так — это просто кешированная мысль.

Лежали ли вы бы в постели, потому что незачем вставать? А когда вы все-таки захотите есть и, спотыкаясь, пойдете на кухню, что вы будете делать после еды?

Продолжите ли читать “Overcoming Bias”, а если нет, то что бы вы читали вместо этого? Продолжите ли вы стараться быть рациональным, или будете мыслить иначе?

Закройте глаза и подумайте над вопросом столько, сколько понадобится:

Что вы будете делать, если бы ничто не было правильным?

Однажды я понял, что обычно дилемму заключенного представляют неправильно.

В основе дилеммы заключенного лежит вот такая симметричная платежная матрица:

	1:С	1:П
2:С	(3,3)	(5,0)
2:П	(0,5)	(2,2)

Есть два игрока: Игрок 1 и Игрок 2. Каждый из них может выбрать С или П. Итоговый результат для Игрока 1 и Игрока 2 — соответственно, первое и второе число пары чисел в скобках. По причинам, которые станут понятны ниже, C означает «сотрудничать», П — «предать».

Заметим, что для участника этой игры (пусть он считает себя первым) предпочитаемые исходы выстраиваются в следующем порядке: (П, С) >> (C, С) >> (П, П) >> (С, П).

Видим, что П предпочтительнее, чем С: если второй игрок выбирает С, то первому выгоднее (П, С), чем (С, С). Если второй выбирает П, то первому выгоднее (П, П), чем (С, П). Таким образом, ты мудро выбираешь П, а так как платежная матрица симметрична, второй игрок аналогично выберет П.

Если бы вы оба были не так мудры! Каждому из вас выгоднее (С, С), чем (П, П). Поэтому вы оба предпочитаете обоюдное сотрудничество обоюдному предательству.

В теории принятия решений дилемма заключенного — одна из основ, и о ней написано огромное количество томов. Но я осмелюсь утверждать, что в традиционном представлении дилеммы заключенного есть серьезное упущение — по крайней мере, для людей.

Классическое представление дилеммы заключенного таково: ты преступник, пойманный властями вместе с сообщником. Независимо друг от друга, без возможности общаться между собой и без возможности изменить решение впоследствии, каждый из вас должен решить, давать показания против сообщника (П) или молчать (С).

В настоящий момент каждому из вас грозит год тюрьмы. Дача показаний против сообщника уменьшает твой срок на год и прибавляет другому два года.

В другом варианте, ты и незнакомец, не зная ничего друг о друге и не имея возможности узнать в будущем, единожды должны сыграть С или П, получив выигрыш в соответствии с приведенной выше платежной матрицей.

И, конечно, в классическом варианте предполагается, что ты полностью эгоистичен, т.е. не заботишься о сообщнике или об игроке в другой комнате.

И именно последнее условие, с моей точки зрения, приводит к неправильному восприятию дилеммы заключённого.

Невозможно устранить эффект знания задним числом, инструктируя присяжных вести себя так, будто они не знают, к чему привели рассматриваемые события. Аналогично, без больших усилий, подкрепленных соответствующими знаниями, психически здоровый человек не может притворяться по-настоящему эгоистичным.

У нас есть врожденные чувства честности, чести, сопереживания, симпатии и даже альтруизма. Это результат того, что наши предки длительное время приспосабливались к игре в повторяющуюся дилемму заключенного. Мы не можем полностью и честно предпочесть исход (П, С) исходу (С, С), хотя можем полностью предпочесть исход (С, С) исходу (П, П) и исход (П, П) исходу (С, П). Мысль о сообщнике, проводящем три года в тюрьме, не может совсем не трогать нас.

В закрытой комнате, где под наблюдением специалистов по экономической психологии мы играем в простую игру, мы не можем совсем не симпатизировать незнакомцу, который может сотрудничать. Мы не можем быть полностью счастливы при мысли о том, что незнакомец выбрал сотрудничать, а мы — предавать, и благодаря этому мы получим пять долларов, а он не получит ничего.

Мы инстинктивно держимся за исход (С, С) и ищем способы увериться, что этот выбор разделяет и вторая сторона. Наша невольная мысль — «как бы убедиться, что сотрудничество взаимно», а не «как бы обмануть второго, чтобы он сыграл С, в то время как я сыграю П и получу максимальный выигрыш».

Для тех, кому важны альтруизм, честь и справедливость, дилемма заключенного не содержит по-настоящему критической платежной матрицы, безотносительно финансовых исходов для игроков. (С, С) предпочтительнее, чем (П, С), и ключевой вопрос — думает ли второй игрок так же.

И людям, которые только что познакомились с теорией игр, нельзя объяснить, что они должны притворяться полностью эгоистичными. Это ничуть не легче, чем объяснить людям, познакомившимся с идеей антропоморфизма, что они должны притворяться максимизаторами скрепок.

Для настоящей дилеммы заключённого ситуация должна быть примерно такой:

Игрок 1: Человек, дружественный искусственный интеллект или другой человекоподобный разум.
Игрок 2: Недружественнный искусственный интеллект, либо инопланетянин, который озабочен лишь раскладыванием камней в правильные кучи.

Представим, что четыре миллиарда людей — не всё человечество, но значительная его часть — страдает прогрессирующим смертельным заболеванием, которое может вылечить только Вещество.

Однако Вещество возможно производить, только взаимодействуя с максимизатором скрепок из параллельного мира — с помощью Вещества еще можно делать скрепки. Максимизатора скрепок волнует количество скрепок только в его мире, а не в нашем, так что мы не можем влиять на него, предлагая изготавливать или уничтожать скрепки здесь. Мы никогда раньше не имели дело с максимизатором скрепок и никогда больше не встретим его впредь.

У человечества и максимизатора скрепок есть только один шанс добыть себе немного Вещества, потому что щель между мирами скоро захлопнется. Однако, процесс добычи вещества приводит к потере его части.

Платежная матрица выглядит так:

	1:С	1:П
2:С	(спасти 2 миллиарда человеческих жизней, сделать 2 скрепки)	(3 миллиарда жизней, 0 скрепок)
2:П	(0 жизней, 3 скрепки)	(1 миллиард жизней, 1 скрепка)

Я составил матрицу так, чтобы вызвать чувство негодования при мысли о том, что максимизатор скрепок хочет обменять миллиарды человеческих жизней на пару скрепок. Очевидно же, что максимизатор скрепок обязан отдать все Вещество нам. Но он делает не то, что обязан, а просто максимизирует количество своих скрепок.

В этом случае мы на самом деле предпочитаем исход (П, С) исходу (С, С), оставляя за скобками средства, которыми достигается цель. Мы намного охотнее предпочтем жить во вселенной, где три миллиарда людей спаслись и не было произведено ни одной скрепки, чем пожертвуем миллиардом жизней в обмен на изготовление двух скрепок. Кажется, что в этом случае сотрудничать просто неправильно. Предавать даже не кажется нечестным – ведь так велика жертва для нас и так мал выигрыш максимизатора скрепок! Уточним особо, что максимизатор скрепок не чувствует боль или удовольствие — он просто действует так, чтобы в его мире стало больше скрепок. Он не испытает радость, приобретя скрепки, не испытает боль, потеряв скрепки, и не оскорбится, если мы предадим его.

Что же ты сделаешь? Будешь ли сотрудничать, если искренне, целиком и полностью желаешь того огромного выигрыша, который можешь получить, и нисколько не озабочен ничтожной в сравнении с этим потерей второго игрока? Если предать кажется правильным, даже если второй игрок сотрудничает?

Именно так выглядит платёжная матрица для настоящей дилеммы заключённого. Настоящая дилемма заключённого — это ситуация, когда исход (П, С) кажется правильнее, чем (С, С).

Но вся остальная логика — что будет, если оба игрока так думают, и поэтому оба предадут — ничуть не меняется. Ведь максимизатор скрепок настолько же мало обеспокоен людскими смертями, болью или нашим ощущением предательства, как нас мало волнуют скрепки. Но обоим нам выгоднее (С, С), чем (П, П).

Если ты когда-нибудь гордился тем, что в дилемме заключенного выбрал сотрудничать, или однажды оспаривал вывод классической теории игр о том, что «рациональнее» предать — что ты скажешь об этой настоящей дилемме заключенного?

PS На самом деле, я не считаю, что рациональные агенты всегда должны предавать в однократной дилемме заключённого, в которой другой игрок выберет сотрудничать, если ожидает того же от вас. Я думаю, что есть ситуации, где два агента могут рационально прийти к (С, С), а не к (П, П) и получить соответствующую выгоду.

Часть своих доводов я изложил при обсуждении задачи Ньюкома. Однако, мы не можем рассуждать о том, возможно ли в этой дилемме рациональное сотрудничество, пока не избавимся от интуитивного ощущения, что исход (С,С) хорош сам по себе. Если мы хотим понять математику, мы должны научиться видеть сквозь социальный ярлык «взаимного сотрудничества». Если вы чувствуете, что с точки зрения Игрока 1 (С,С) гораздо лучше, чем (П,П), но не чувствуете, что при этом (П,С) гораздо лучше, чем (С,С), то вы пока не понимаете всю сложность этой задачи.

Однажды трём группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы 2 000, 20 000 и 200 000 перелётных птиц не погибли, увязнув в нефти. В ответах были названы суммы 80, 78 и 88 долларов соответственно1. То, что можно принять за бесчувственность, называется пренебрежением масштабом: количество спасённых птиц – масштаб альтруистического действия – мало повлияло на готовность заплатить.

Похожие эксперименты показали, что за очистку всех загрязнённых озёр Онтарио жители Торонто заплатили бы немногим больше, чем за очистку определённого района Онтарио2. Аналогично, жители четырёх западных штатов США за защиту всех 57 заповедников дикой природы в этих штатах заплатили бы лишь на 28% больше, чем за заботу об одном из заповедников3.

Люди представляют «одинокую обессилевшую птицу с пропитанными чёрной нефтью перьями, которой не спастись» 4. Это представление, этот образ вызывает эмоциональное возбуждение, которое в основном и отвечает за готовность заплатить – и образ во всех трёх случаях один и тот же. Что до масштаба, то на него не обращают внимания – ни один человек не сможет представить 2 000 птиц сразу, не говоря уже про 200 000. Классический вывод состоит в том, что масштаб, растущий по экспоненте, вызывает всего лишь линейное увеличение готовности платить. Возможно, такое линейное увеличение соответствует увеличению времени скольжения взгляда по нулям в числах; это небольшое влияние добавляется к влиянию представления, но не умножает его. Эта гипотеза известна как «оценка по представлению».

Альтернативная гипотеза – «приобретение морального удовлетворения». Люди тратят достаточно денег, чтобы им стало теплее на душе от чувства выполненного долга. Уровень расходов, необходимый для приобретения теплоты на душе, зависит от личных качеств и финансового положения, но уж точно не от количества птиц.

Мы пренебрегаем масштабом, даже если на кону человеческие жизни. По мере увеличения предполагаемого риска хлорирования питьевой воды с 0,004 до 2,43 смертей в год на тысячу человек – в 600 раз – готовность заплатить возрастает с 3,78 до 15,23 долларов5. Барон и Грин не обнаружили эффекта от изменения числа спасённых жизней в 10 раз6.

В статье «Нечувствительность к ценности человеческой жизни: исследование психофизического ступора» собраны свидетельства того, что сила восприятия человеческих смертей подчиняется закону Вебера и прямо пропорциональна логарифму их количества. Другими словами, порог различия (количество смертей, которое необходимо добавить к имеющимся, чтобы возникло чувство различия) постоянно увеличивается по мере роста общего количества смертей. Так, здравоохранительная программа для беженцев из Руанды получила намного больше поддержки, когда гарантировалось спасение 4 500 людей в лагере из 11 тысяч беженцев, чем тех же 4 500 в лагере из 250 000. Чтобы потенциальное лекарство от болезни посчитали достойным финансирования, оно должно гарантировать спасение значительно большего числа жизней, если изначально утверждалось, что эта болезнь – причина смерти 290 000 людей в год, нежели 160 000 или 15 0007.

Мораль: если вы хотите быть эффективным альтруистом, вы должны задействовать ту часть мозга, что обрабатывает нудные чернильные нули, а не просто переживать о бедной исстрадавшейся пропитанной нефтью птице.

• 1. Desvousges, W. Johnson, R. Dunford, R. Boyle, K. J. Hudson, S. and Wilson K. N. (1992). Measuring non-use damages using contingent valuation: experimental evaluation accuracy. Research Triangle Institute Monograph 92-1
• 2. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld
• 3. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland
• 4. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235
• 5. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73
• 6. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125
• 7. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300

Выберите между двумя следующими возможностями:

1А. 24 000 долларов, точно.

1Б. Шанс в 33/34 выиграть 27000 долларов и в 1/34 — не получить ничего.

Что интуитивно кажется лучшим выбором? И что вы выберете в реальной жизни?

А какой из двух выборов вы предпочтете теперь и какой выберете в реальной жизни?

2А. 34-процентный шанс выиграть 24 000 долларов и 66-процентный шанс не получить ничего.

2Б. 33-процентный шанс выиграть 27 000 долларов и 67-процентный шанс не получить ничего.

Парадокс Аллэ, названный по имени исследователя, на самом деле не является парадоксом — он был одним из первых конфликтов между теорией принятия решений и человеческим мышлением; он был показан экспериментально в 1953 году. Я слегка модифицировал его, чтобы его легче было понять математически, однако в сущности проблема осталась той же: большинство людей предпочтут вариант 1А, и большинство людей предпочтут вариант 2Б. На самом деле, в пределах задачи, большинство испытуемых выражают оба предпочтения одновременно.

Это проблема, поскольку второй вариант задачи эквивалентен одной трети шанса от первого. То есть, 2А это все равно что получить 1А с вероятностью в 34%, и 2Б эквивалентно 1Б с вероятностью 34%.

Среди аксиом, используемых для доказательства, что последовательный сторонник теории принятия решений может рассматриваться как тот, кто максимизирует ожидаемую полезность, есть аксиома независимости: если Х строго предпочитается Y, тогда вероятность Р от Х и (1 – Р) от Z должны строго предпочитаться вероятности P от Y и (1 - Р) от Z.

Все аксиомы являются следствием и основанием последовательной функции полезности. Так что должно быть возможно доказать, что экспериментальные испытуемые выше не имели последовательной функции полезности для своих выборов. И в самом деле, вы не можете одновременно выбирать:

U(24 000 $) ≻ 33/34 U(27 000 $) + 1/34 U(0 $)

0,34 U(24 000$) + 0,66 U(0 $) ≺ 0,33 U(27 000$) + 0,67 U(0 $)

Эти два уравнения алгербаически непоследовательны независимо от U, и поэтому парадокс Аллэ не имеет ничего общего с убывающей предельной полезностью денег.

Морис Аллэ первоначально защищал выявленные предпочтения испытуемых: он рассматривал эксперимент как разоблачение недостатка в обычной идее полезности, а не подвергал критике изъян в человеческой психологии. В конце концов, это был 1953 год, и до начала движения эвристики и искажений было еще два десятилетия. Аллэ думал, что эксперимент просто показывает, что аксиома независимости не может быть применена в чистом виде в реальной жизни.

(Как наивно, как глупо, как упрощённо в Байесовской теории принятия решений…)

Конечно, определенность в обладании 24 000 долларов должна что-то значить. Вы ощущаете разницу, верно? Твердую уверенность?

(Я начинаю думать об этом как о «наивном философском реализме» — предположении, что наши интуитивные ожидания прямо отражают истины о том, какие стратегии мудрее, как о непосредственно осознаваемом факте, что «1А превосходит 1Б». Интуитивные ожидания прямо отражают истины о человеческих когнитивных функциях и только косвенно отражают (после того как мы отразим когнитивные функции сами по себе) истины о рациональности.)

«То есть», — скажете вы, — «это настолько ужасно, что следует отказаться от изящества байесианства?» Хорошо, поскольку испытуемые не следовали чистой малой аксиоме независимости, представленной фон Нейманом и Моргенштерном. Но кто вообще сказал, что вещи должны быть ясными и чистыми?

Зачем беспокоится о изяществе, если оно заставляет нас брать риски, которых мы не хотим? Ожидаемая полезность говорит нам количественно оценить результат, умножить на его вероятность, сложить и т. д. Хорошо, но почему мы должны это делать? Почему бы не использовать более подходящие правила?

Всегда есть цена за уход с байесовского пути. Это то, о чем говорят теоремы согласованности и уникальности.

В данном случае, если агент предпочитает 1A > 1Б, и 2Б > 2A, он вводит противоречивую систему предпочтений — динамическую неслогласованность в системе планирования агента. Вы начинаете терять деньги.

Предположим, что в 12:00 я брошу кость со 100 гранями. Если кость покажет число больше, чем 34, то игра заканчивается. В любом другом случае в 12:05 я спрошу совета по выбору между двумя положениями, А и Б. Если положение А, то я заплачу вам 24 000 долларов. Если положение Б, то я бросаю кость с 34 гранями и плачу вам 27 000 долларов, но только если кость не показывает «34»: в этом случае я не плачу вам ничего.

Предположим, что вы выбрали 1А, а не 1Б, и 2Б, а не 2А, и вы должны заплатить один пенни за каждый выбор. Выбор начинается с состояния А. До 12:00 вы платите мне пенни, чтобы перейти в состояние Б. Кость показывает 12. После 12:00 и до 12:05 вы платите мне пенни за переход в состояние А.

Я принимаю ваши два цента с субъекта.

Если вы действуете в угоду своим интуитивным ожиданиям и отказываетесь от изящества как от бессмысленной одержимости, не удивляйтесь, когда ваши деньги уходят от вас…

(Я думаю, та же неспособность пропорционально девальвировать эмоциональное воздействие малых вероятностей несет ответственность за лотерею.)

Allais, M. (1953). Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école Américaine. Econometrica, 21, 503-46.

Kahneman, D. and Tversky, A. (1979.) Prospect Theory: An Analysis of Decision Under Risk. Econometrica, 47, 263-92.

Предположим, что нечто — болезнь, монстр, война, или что-то ещё — убивает людей. И допустим, что у вас достаточно ресурсов для осуществления одного из двух вариантов:

1. Гарантированно спасти 400 жизней;
2. Спасти 500 жизней с вероятностью в 90%, но при этом процент вероятности того, что спасти людей не удастся, составит 10%.

Большинство людей выбирают первый вариант, что я считаю глупым, поскольку, если вы умножите 500 жизней на 90% вероятности, то получите 450 жизней, что превышает 400 жизней из первого варианта. (Для спасённых жизней предельная полезность не убывает, так что это уместное вычисление).

Вы можете возмущённо воскликнуть: «Что?! Как вы можете играть с человеческими жизнями? Как вы можете думать о цифрах, когда столько поставлено на карту? Что если выпадут те 10% и все умрут? Это слишком большая плата за вашу проклятую логику! Ваша рациональность оторвана от реальности!»

Ах, но вот одна интересная вещь. Если вы представите параметры таким образом:

1. 100 человек гарантированно умрут.
2. Шанс 90%, что никто не умрёт, но вероятность 10%, что погибнут 500 человек.

В таком случае большинство выберут второй вариант. Даже если это та же самая авантюра. Очевидно, что так же, как уверенность в спасении 400 жизней кажется гораздо более комфортной, чем ненадёжная выгода, также и конкретная потеря ощущается сильнее, чем неопределённая.

Вы можете играть на публику и в этом случае: «Как вы можете обречь 100 человек на верную смерть, когда есть такая хорошая возможность спасти их? Мы все должны рискнуть! Даже если бы шанс спасти всех составлял всего 75%, всё равно стоило бы попробовать, раз есть шанс! Пусть им воспользуются все или никто!»

Знаете что? Это не о ваших чувствах. Человеческая жизнь, со всеми её радостями и страданиями, складывающимися в течение десятилетий, стоит гораздо больше, чем чувство комфорта или дискомфорта вашего мозга от планирования. Вам кажется, что вычисление ожидаемой полезности слишком бесчувственно? Что же, это ощущение — лишь перо на чаше весов, когда на карту поставлена жизнь. Просто заткнитесь и умножайте. Гугол равен 10^100 — единица, за которой следуют сто нулей. Гуголплекс — ещё более непостижимое большое число, это 10^гугол, единица, за которой следует гугол нулей. Теперь выберите какое-нибудь банальное неудобство, типа икоты, и какое-нибудь явно нетривиальное несчастье, например, медленно отрывающаяся конечность при нападении садистскими акулами-мутантами. Если мы вынуждены сделать выбор между предотвращением икоты у гуголплекс людей или предотвращением нападения акулы-мутанта на одного человека, какой выбор мы должны сделать? Если вы присваиваете икоте какое-то негативное значение, то, под страхом теоретической несогласованности решений, должно быть некоторое количество икоты, которое в сумме составило бы конкуренцию негативному значению атаки акулы. Для любого конкретного конечного зла должно быть некоторое количество икоты, которое было бы ещё хуже.

Подобные моральные дилеммы не являются умозрительным кровавым спортом для развлечения философов-аналитиков на званых обедах. Это искажённые версии тех ситуаций, в которых мы на самом деле оказываемся каждый день. Стоит ли мне потратить 50 долларов на консольную игру или отдать их на благотворительность? Должен ли я организовывать сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или использовать эти же деньги для приобретения противомоскитных сеток и предотвратить смерть примерно 200 детей от малярии?

Тем не менее, многие отводят взгляд от обилия неприятных моральных компромиссов в реальности — многие даже гордятся тем, что отводят взгляд. Исследования показывают, что люди проводят различие между «священными ценностями», такими как человеческие жизни, и «не священными ценностями», такими как деньги. И когда вы пытаетесь обменять священную ценность на не священную, субъекты выражают большое негодование. (И порой они даже хотят покарать человека, который сделал такое предложение.)

У меня есть любимая история про то, как команда исследователей, которые оценивают эффективность разных проектов, подсчитала стоимость спасённой жизни и порекомендовала правительству реализовать этот проект, поскольку он был экономически эффективным. Правительственное агентство отклонило отчёт, потому что, по их словам, нельзя оценивать человеческую жизнь в долларах. После отклонения отчёта агентство решило не использовать такой способ оценки.

Обмен сакральной ценности на не сакральную кажется действительно ужасным. Просто умножать одно на другое было бы слишком хладнокровно – для этого надо быть очень рациональным… Но альтруизм — это не тёплое неопределённое чувство, которое вы испытываете, будучи альтруистом. Если вы делаете это ради духовной выгоды, это не что иное, как эгоизм. Но главное — это помочь другим, какими бы ни были средства. Так что заткнись и умножай!

И если вам кажется, что в этой максимизации есть жестокость, подобная обнажённому мечу Фемиды или горению Солнца, — если кажется, что посреди этой рациональности есть небольшое холодное пламя…

Ну, тогда есть способ, который может помочь почувствовать себя лучше. Но он не сработает.

Я скажу вот что: если вы отбросите своё сожаление по поводу духовного удовлетворения, которое могли бы получить — и будете искренне следовать Пути, не думая, что вас обманут, — если вы посвятите себя рациональности, не сдерживая себя, то увидите, что рациональность даст вам взамен.

Но это сработает, только если вы не будете говорить себе: «Мне было бы лучше, если бы я был менее рациональным». Разве вам грустно оттого, что у вас есть возможность реально помогать людям? Вы не можете полностью раскрыть свой потенциал, если считаете свой дар тяжёлой ношей.

Ниже пойдет речь о, возможно, самой дискуссионной проблеме в истории теории принятия решений — парадоксе Ньюкома:

Сверхразумное существо с другой галактики (будем называть его Омега) прилетает на Землю и приступает к маленькой необычной игре. Омега выбирает человека, ставит перед ним два ящика и скрывается из виду.

Ящик А прозрачен, в нём лежит тысяча долларов.

Ящик Б закрыт и содержит либо миллион долларов, либо ничего.

Вы можете выбрать либо оба ящика, либо только второй.

Интрига же в том, что Омега положил миллион долларов в ящик Б тогда и только тогда, когда он предсказал, что вы возьмете только этот ящик.

До сих пор (на каждом из ста случаев, которые вы смогли пронаблюдать) Омега оказывался прав: каждый, кто брал оба ящика, находил ящик Б пустым и получал только тысячу долларов; каждый, кто брал только ящик Б, обнаруживал в нём миллион. (Будем полагать, что ящик А исчезает в облаке дыма, если вы берете только ящик Б; нельзя взять ящик А уже потом.)

До того, как вы сделаете выбор, Омега уже улетел, чтобы приступить к следующей игре. Ящик Б либо уже пуст, либо уже содержит деньги.

Омега бросает два ящика прямо перед вами и исчезает.

Вы возьмете оба или только ящик Б?

Типичная дискуссия об этой задаче протекает примерно так:

Вася: «Конечно же, я возьму только ящик Б. Лучше выиграть миллион, чем тысячу».

Петя: «Омега уже скрылся. Ящик Б либо уже полон, либо уже пуст. Если он уже пуст, то я получу 1000 долларов, взяв оба ящика, и ничего, если возьму только один. Если ящик Б уже полон, то, если я возьму оба, мне достанется 1 001 000 долларов, а если возьму только Б, то 1 000 000 долларов. В любом случае взять оба ящика лучше, а оставить тысячу долларов хуже, так что я буду действовать рационально и возьму оба ящика».

Вася: «Если ты такой умный, то почему ты такой бедный?»

Петя: «Не моя вина, что Омега решил награждать только иррационально настроенных людей, но мой ход в этой игре уже ничего не изменит».

О парадоксе Ньюкома написаны горы литературы, особенно если считать дилемму заключенного ее частным случаем, каковым она, как правило, является. Например, «Парадоксы рациональности и кооперации» («Paradoxes of Rationality and Cooperation») — издание, в которое входит оригинальная статья Ньюкома.

Я сейчас не буду глубоко погружаться в литературу, но замечу, что преобладающее мнение в современной теории принятия решений гласит, что следует выбрать оба ящика, а Омега просто вознаграждает агентов с нерациональными установками. Эта доминирующая точка зрения берет свое начало из причинной теории принятия решений (в русскоязычных текстах также иногда встречается наименование «каузальная теория принятия решений» — прим. перев.)

Как вам известно, основная причина того, что я пишу в блог, — моя невероятно низкая скорость, если я пытаюсь писать в каком-либо другом формате. Так что я не собираюсь выкладывать здесь мой собственный разбор проблемы Ньюкома. Это была бы слишком долгая история, даже по моим стандартам.

Но даже адепты причинной теории согласны, что если у вас есть силы заранее настроить себя на то, чтобы взять один ящик, то нужно сделать это. Если вы можете «настроиться» до того, как Омега проверит вас, то этим самым вы непосредственно обусловливаете то, что ящик Б не будет пустым.

В моей области деятельности (в построении самоулучшающегося искусственного интеллекта, если кто забыл) это выражается так: если вы построите ИИ, берущий оба ящика в проблеме Ньюкома, то он изменит себя так, чтобы брать один ящик, если сможет заранее предположить, что может столкнуться с такой ситуацией. Агенты, имеющие свободный доступ к своему исходному коду, способны легко настраивать себя заранее.

Что, если вы ожидаете, что можете встретиться с этой задачей, но не знаете точную формулировку? Тогда вам необходимо изменить себя, сделав свои установки такими, какие в общем случае обеспечивают высокий выигрыш в подобных задачах.

Но в чем же заключаются установки, нацеленные на хорошее решение задач вроде этой? Можно ли описать их формально?

Да, но, пытаясь сделать это, я осознаю, что начинаю писать небольшую книгу. (И не самую важную книгу, которую пишу, так что я откладываю это. Моя низкая скорость письма — настоящая отрава моего существования.) В теории, над которой я работаю, больше, как мне кажется, положительных моментов, не считая даже того, что она лучше решает задачи вроде проблемы Ньюкома. Работа могла бы стать неплохой диссертацией, если бы я нашел кого-нибудь, кто принял бы у меня ее в таком качестве. Но стряхнуть пыль с этого проекта и снова взяться за него заняло бы слишком много времени и сил; я бы не смог оправдать такой расход времени, учитывая скорость, с которой я сейчас пишу книги.

Я говорю это потому, что общепринятая позиция гласит: «Словесные аргументы в пользу того, чтобы брать один ящик, отыскать легко, но трудно разработать хорошую теорию, которая этого требует». Нужна последовательная математическая теория принятия решений, указывающая на необходимость брать только один ящик и не порождающая парадоксов в других задачах. Я понимаю, как можно это сделать, и взялся за разработку таковой, но скорость, с которой я пишу крупные работы, так низка, что я не могу ее опубликовать. Верите ли вы или нет, но это так.

Несмотря на всё это, я бы хотел изложить некоторые собственные мотивы к решению этой проблемы, причины, побудившие меня отыскивать новую теорию, — потому что они разъясняют мое базовое отношение к вопросу рациональности (даже если я не смогу рассказать саму теорию, к созданию которой эти мотивы побуждают).

Во-первых, в основном, по существу и прежде всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня превратно, подумав, что я говорю о штампе «голливудской рациональности», который утверждает, что рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает в себя благо других, то их счастье — ваш выигрыш. Если она подразумевает сроки в миллионы лет, то выигрывать следует на протяжении геологических эр.

Но, так или иначе, речь о том, чтобы ВЫИГРЫВАТЬ. Не упустите мысли: ВЫИГРЫВАТЬ.

Сейчас некоторые сторонники причинной теории принятия решений заявляют, что брать оба ящика — значит, делать всё возможное, чтобы выиграть, и нельзя ничем им помочь, если их наказывает Предсказатель, благоволя же иррационалам. Скоро я скажу, что думаю об этой точке зрения, но для начала я хочу провести черту между теоретиками причинного принятия решений, которые убеждены, что брать оба ящика — по-настоящему делать все возможное для выигрыша, и теми, кто считает, что брать два ящика осмысленно или рационально, но этот разумный выбор приводит в случае этой игры к предсказуемому проигрышу. Вокруг нас чертова прорва народу думает, что рациональность ожидаемо проигрывает при решении разнообразных задач; это, к тому же, часть штампа «голливудской рациональности», в котором Кирк предсказуемо превосходит Спока.

Теперь давайте вернемся к призу, которым Омега награждает иррационалов. Я в состоянии вообразить сверхсущество, которое платит только людям, рожденным с определенным геном, не обращая внимания на их выбор. Я могу представить инопланетянина, награждающего игроков, в чьи мозги врезан конкретный алгоритм «Опишите по-английски возможные варианты и выберите последний в алфавитном порядке», но не отдающего приза тем, кто выбирает тот же вариант, но по другой причине. Однако Омега награждает тех, кто выбрал только ящик Б, вне зависимости от того, каким именно способом они пришли к этому решению, и именно поэтому я не куплюсь на то, что Омега благоволит иррационалам. Его не заботит, следуете ли вы или нет определенному образцу мышления; всё, что его интересует, — ваше предсказанное решение.

Можно выбрать любой алгоритм обоснования, какой нам нравится, и мы будем награждены или наказаны только в зависимости от выбора, произведенного алгоритмом, независимо от всего прочего: Омегу интересует только то, куда мы приходим, а не как попадаем туда.

Я говорю именно с той точки зрения, которая гласит, что Природа не заботится о нашем алгоритме. Это открывает возможность следовать Пути выигрывания и освобождает нас от какого-либо отдельного ритуала мышления (кроме наших убеждений, что это работает). На каждое хитрое правило найдется свой контрпример, кроме правила выигрывания.

Как сказал Миямото Мусаси (это стоит повторить)1:

Согласно воззрениям школы Ити, ты можешь победить с длинным клинком, но можешь выиграть бой и с коротким. Иначе говоря, дух школы Ити — дух победы, вне зависимости от вида
оружия и его длины.

(Другой пример: Мак-Ги утверждал, что мы обязаны ограничивать применение функций полезности, или же мы бесчисленное количество раз будем оказываться жертвой собственной непоследовательности. Но у функции полезности нет исключений. Я люблю жизнь без ограничений, без верхней границы: нет такого конечного значения N, что я предпочту шанс в 80,0001 % прожить N лет по сравнению с вероятностью в 0,0001 % прожить гуголплекс лет и восьмидесяти процентной вероятностью жить вечно. Это достаточное условие, чтобы можно было сказать, что моя функция полезности неограниченна. Так что мне просто надо сформулировать, как оптимизировать её для данных норм поведения. Вы не можете сказать мне «Для начала ты, прежде всего, должен приспособиться к определённому ритуалу мышления, а затем, если приспособишься, тебе нужно изменить свои нормы поведения, чтобы избежать непоследовательности». Откажитесь от схемы, ведущей к поражению; не меняйте определение выигрыша. Иное значило бы, что вы предпочитаете тысячу долларов миллиону, так что в свете проблемы Ньюкома ваша новая схема мышления не будет выглядеть плохо.)

«Но», — скажет сторонник причинной теории принятия решений, — «чтобы взять только один ящик, вам нужно сначала как-то поверить, что ваш выбор способен повлиять на то, пуст ящик Б или полон; это неразумно! Омега уже улетел! Это физически невозможно!»

Неразумно? Я рационалист; какое мне дело до того, быть ли неразумным? Я не собираюсь подчиняться определенной схеме мышления. Я буду брать только ящик Б не потому, что убежден, что мой выбор влияет на содержимое ящика, хотя даже Омега улетел. Я могу просто… взять только ящик Б.

Я собираюсь предложить альтернативный способ мышления, который рассчитает необходимость этого решения, но поля слишком узки для него; однако мне нет нужды предъявлять его вам. Дело не в том, чтобы обладать изящной теорией выигрывания, — дело в том, чтобы выигрывать; красота формулировок — побочный эффект.

Или посмотрим на это с другой стороны: вместо того, чтобы начинать с определения разумного решения, а затем задаваться вопросом, получит ли этот «разумный» агент много денег, взгляните лучше на агента, который получил много денег, затем разработайте теорию, в соответствии с которой агент будет оставаться с наибольшим количеством денег, и, уже отталкиваясь от этой теории, попробуйте вывести определение «разумности». «Разумность» может быть лишь ярлыком тех решений, которые соответствуют нашему текущему ритуалу мышления, — как ещё можно определить, является ли что-либо «разумным» или нет?

Джеймс Джойс, «Основы причинной теории решений»:

У Рэйчел был потрясающий ответ на вопрос, почему она не обогатилась (в этой игре — прим. перев.) «Я не выиграла много денег потому», — говорила она, — «что я не такой неудачник, который, как думают психологи, откажется от денег. Я просто не такая как ты, Ирен. Учитывая то, что я знаю, что не обладаю характером неудачника, и то, что психологи знают, что я такова, было бы разумным думать, что миллион не достанется мне. Тысяча долларов была наибольшей суммой, что я собиралась получить вне зависимости от того, что предприму. Поэтому единственная разумная вещь — взять их».

Ирен, возможно, захочет настоять на своем, спросив: «Но ведь ты не хочешь быть такой как я, Рэйчел? Ты не хочешь быть тем, кто проигрывает?» Существует некая склонность к тому, чтобы думать, что Рэйчел, преданная причинной теории принятия решений, должна ответить на этот вопрос отрицательно, и это кажется очевидно ошибочным (учитывая, что, будь она «неудачницей», как Ирен, она бы смогла получить больший приз). Это не тот случай. Рэйчел может и должна признать, что она хочет быть более похожей на Ирен. «Сейчас это было бы для меня лучше», — может допустить она, — «будь я неудачницей». И здесь Ирен восклицает: «Ага, ты признаешь это! В конце концов, не так уж умно было попытаться взять все деньги». К несчастью для Ирен, ее заключение вовсе не следует из того, что сказала Рэйчел. Та терпеливо разъяснит, что желать быть «неудачником» в задаче Ньюкома не противоречит тому, что необходимо брать тысячу долларов независимо от своего характера. Когда Рэйчел хочет быть такой же «неудачницей», как Ирен, она желает получить такие же возможности, а не одобрить ее выбор.

И я должен сказать, что это всеобщий принцип рациональности (конечно, в том смысле, как я определяю это понятие) — то, что вы никогда в конце концов не обнаружите себя завидующим чужому выбору самому по себе. Вы можете позавидовать чьим-нибудь генам, если бы Омега награждал за гены или именно они создавали бы установки, благополучные для выигрыша. Однако Рэйчел в вышеприведенной цитате завидует выбору Ирен и только выбору безотносительно от того, какой алгоритм та использовала, чтобы сделать его. Рэйчел стремится лишь к тому, чтобы настроить себя для принятия другого решения.

Невозможно заявлять, что вы более рациональны, чем кто-то другой, и в то же время завидовать тому, какой выбор сделал этот другой, если речь только о выборе. Просто сделайте то, чему завидуете.

Я всё пытаюсь сказать, что рациональность — это Путь выигрывания, но апологеты причинной теории принятия решений настаивают, что брать оба ящика и значит на самом деле выиграть, потому что невозможно поступить лучшим образом, оставив тысячу долларов… даже если те, кто берет один ящик, уходят с эксперимента с большей суммой. Остерегайтесь доводов такого рода каждый раз, когда вы замечаете за собой то, что определяете как «победителя» кого-то отличного от агента, с улыбкой взирающего с вершины гигантской пирамиды полезности.

Да, во многих мысленных экспериментах агенты имеют фору с самого начала, но если, скажем, нужно решить, прыгать ли со скалы, то нужно остерегаться того, чтобы определить агентов, воздерживающихся от прыжка, как заранее обладающих несправедливым преимуществом, — что, якобы, они подло отказались прыгать. В этом месте вы незаметно переопределяете понятие «выигрывать», называя им следование определенному ритуалу мышления. Следите за деньгами!

Другой способ взглянуть на проблему: столкнувшись с задачей Ньюкома, вы бы захотели приложить заметные усилия, чтобы понять разумное обоснование того, что брать только ящик Б рационально и осмысленно (ведь если аргумент такого рода существует, вам следует взять только ящик Б, и вы найдете его полным денег)? Потратите ли вы несколько дополнительных часов, обдумывая эту проблему, если уверены, что в конце концов убедите себя, что брать только ящик Б — рациональный выбор? В этом положении достаточно странно находиться. Обычно работа рациональности заключается в том, чтобы разъяснить, какой выбор является наилучшим, а не отыскать обоснование к убеждению, что какое-либо конкретное решение оптимально.

Возможно, слишком легко говорить, что вы «следуете» стратегии «брать оба ящика» в проблеме Ньюкома и что это «разумный» выбор, пока деньги не будут действительно перед вами. Возможно, вы просто нечувствительны к абстрактным проблемам такого рода. А что, если у вашей дочери заболевание, смертельное в 90% случаев, и в ящике А сыворотка, которая вылечит ее с вероятностью в 20%, а ящик Б может содержать лекарство, успешно действующее с шансами в 95%? Что, если к Земле мчится астероид, и ящик А содержит систему защиты, действующую 10% времени, а в ящике Б может быть орудие, которое защищало бы Землю постоянно?

Будь это так, вы бы заметили, что вас просто соблазняет сделать необоснованный выбор?

Что, если ставка, которую может принести ящик Б, — это что-то такое, что вы не можете оставить? Что-то безгранично более важное для вас, нежели следовать тому, что выглядит разумным? Если вам совершенно нужно выиграть — действительно выиграть, а не просто определить себя как победителя?

Захотели бы вы всем своим нутром, чтобы «разумным» решением оказалось взять только ящик Б?

Если да, то, возможно, сейчас настало время обновить ваше определение разумности.

Предполагая себя рационалистом, вы не должны обнаруживать, что завидуете решениям-самим-по-себе, принятым предполагаемыми не-рационалистами: ваше решение может быть любым. Когда вы обнаружите себя в подобном положении, вам не следует упрекать другого в том, что он не смог подстроиться к вашему пониманию разумности. Вам нужно осознать, что вы шли по ложному пути.

То же самое верно, и если вы заметите, что продолжаете хранить веру в отдельный след «обоснованного» убеждения в противовес убеждению, которые выглядит по-настоящему истинным: либо вы недопонимаете «обоснованность», либо ваше представление об истинности второго убеждения ошибочно.

Невозможно одновременно определить «рациональность» и как Путь выигрывания, и как некую конкретную систему в рамках байесовской теории вероятностей и теории принятия решений. Но это тот самый аргумент, который я привожу в первую очередь, и мораль моего совета — верить в байесианство, в то, что законы, ведущие к выигрышу, имеют достаточный доказательный аппарат, чтобы быть точной наукой. Если же когда-нибудь окажется, что байесовские принципы терпят неудачу, систематически решая некую задачу плохо (по сравнению с решениями других теорий), то байесианство придётся оставить на свалке истории. «Рациональность» — просто ярлык, который я использую для своих представлений о Пути выигрывания — пути агента, улыбающегося с вершины гигантской пирамиды полезности. Сейчас этим ярлыком помечено байесовское искусство.

Я понимаю, что эта статья — еще не окончательный нокаут для причинной теории принятия решений (для этого нужна была бы целая книга или диссертация), но я надеюсь, что смог частично проиллюстрировать свое подсознательное отношение к понятию «рациональность».

Вы не должны обнаруживать себя отделяющим «выгрышный» выбор от «разумного» или «обоснованное» убеждение от «наиболее правдоподобного».

Я рассказал, почему я называю «рациональными» свои убеждения в зависимости от их точности и выигрышности, но не для того, чтобы указать на словесное обоснование или на конкретные стратегии, приводящие к определенному успеху; не для того, чтобы назвать этим словом то, что доказуемо логически, наглядно для других или выглядит «обоснованным».

Как сказал Миямото Мусаси2:

«Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага».

• 1. Перевод взят с сайта lib.ru, к сожалению, переводчик там не указан. — Прим.редактора.
• 2. Перевод также взят с сайта lib.ru. — Прим.редактора.