Вы здесь

Лицензия героя

Элиезер Юдковский

Я полагаю, что большинство читателей знают меня либо как сооснователя MIRI и автора множества исходных задач в области соответствия ИИ1, либо как автора «Гарри Поттера и методов рационального мышления», популярного фанфика по Гарри Поттеру. В книге «Неадекватное равновесие»2 я рассказал, как я применяю в жизни описанные там идеи. Возможно, многим читателям интересно, как эти идеи связаны с моей работой в области ИИ и моими художественными произведениями. И я подумал, что здесь действительно можно найти интересные примеры неадекватности, используемости и скромности.

Нижеприведённый диалог — никогда не происходивший — дополняет «Неадекватное равновесие»3. Большей частью он написан в 2014 году, а в 2017 я его отредактировал и выложил в интернет.

Выдающиеся результаты и взгляд извне

(2010 год. Элиезер-2010 сидит на скамейке, уткнувшись в ноутбук, в несуществующем парке в Редвуд-Сити, Калифорния. К нему подходит Человек.)

Человек: Простите, вы случайно не Элиезер Юдковский?

Элиезер-2010: Мне принадлежит эта сомнительная честь.

Человек: Меня зовут Пат. Пат Модесто4. Мы не встречались, но я читал вас в интернете. Над чем вы работаете сейчас?

Элиезер-2010: Пытаюсь написать научно-популярную книгу по рациональности. Мои записи в блоге на Overcoming Bias5, в смысле на Less Wrong, довольно длинны, нуждаются в редактуре, и, хотя они как-то повлияли на мир, мне кажется, что книгу по рациональности прочитало бы больше людей и она повлияла бы на мир сильнее.

Пат: Как интересно! Вы не возражаете, если я загляну в ваш экран и…

Элиезер (закрывая экран): Возражаю!

Пат: Простите. Гм… То, что я мельком заметил, как по мне, не слишком похоже на научно-популярную книгу по рациональности.

Элиезер: Ну, да, работа над этой книгой шла очень медленно. Поэтому я решил попробовать в свободные часы писать что-нибудь другое, чтобы разобраться: у меня проблемы со скоростью написания вообще или дело именно в этой конкретной книге.

Пат: Вообще-то, я увидел нечто похожее на фанфик по Гарри Поттеру. По-моему, я заметил слова «Гарри» и «Гермиона» в сочетаниях, не похожих на те, что были у Джоан Роулинг.

Элиезер: Да, и вроде бы у меня получается писать его довольно быстро. К тому же, кажется, у меня на него уходит меньше сил, чем обычно.

(Загадочный незнакомец в маске, наблюдающий за этой сценой, завистливо вздыхает.)

Элиезер: Теперь мне надо разобраться, почему моя основная книга пишется настолько медленнее и требует гораздо больше сил… Я бы мог написать столько книг, если бы всегда писал с такой же скоростью, с какой пишу этот фанфик…

Пат: Простите, если мой вопрос покажется глупым. Не хочу сказать, что фанфики по Гарри Поттеру — это плохо. Я и сам в своё время их читал. Однако, насколько я понимаю, ваша философия заключается в том, что мир уже горит и с этим нужно что-то делать. Если это правда, почему вы пишете фанфик по Гарри Поттеру, а не занимаетесь чем-то ещё?

Элиезер: Я занимаюсь чем-то ещё. Я пишу научно-популярную книгу по рациональности. Просто сейчас у меня свободное время.

Пат: Понятно. Но меня интересует, почему в свободное время вы занимаетесь именно этим.

Элиезер: Потому что сил мне не хватает гораздо больше, чем времени. Этот фанфик мне обходится довольно дёшево, поэтому его я могу создавать быстро.

Пат: Я пытаюсь понять, почему вы пишете фанфик по Гарри Поттеру, даже при том, что вам это довольно легко даётся. Разве что действительно дело исключительно в том, что вам нужно понаблюдать, как у вас получается писать быстро, чтобы понять, как быстро писать другие вещи. В этом случае я бы спросил, как вы оцениваете вероятность, что вам действительно удастся это понять. Просто я думаю, что вы могли бы использовать свободное время более эффективно.

Элиезер: Я не уверен, что вы правильно понимаете идею «свободного времени». Существуют причины, почему оно необходимо, и эти причины не сводятся к тому, что люди ленивы. Да, Анне Саломон6 и Люку Мюльхаузеру7 свободное время не нужно, но я не уверен, что их точно можно назвать людьми.

(Загадочный незнакомец в маске вступает в разговор.)

Незнакомец: Прошу прощения.

Элиезер: Вы кто такой?

Незнакомец: Вряд ли это важно.

Пат: И почему вы в маске?

Незнакомец: Ну, я точно не версия Элиезера из 2014 года, тайно вернувшаяся в прошлое, если вы думаете об этом.

Пат: Справедливости ради, об этом я вовсе не думал.

Незнакомец: Пат и Элиезер-2010! По-моему, вы не понимаете друг друга. Разногласие между вами гораздо больше, чем вам кажется.

Пат и Элиезер: Продолжайте.

Незнакомец: Если в феврале 2010 года спросить Элиезера, почему он пишет «Гарри Поттера и методы рационального мышления», он, конечно же, ответит, что, по его предположению, написание «Методов» повлияет к лучшему на его попытки написать «Искусство рациональности» — его предполагаемое руководство по освоению рациональности. Это вызвано тем, что у нас — в смысле, у Элиезера — есть эвристика «планируй главное», которая подразумевает, что любая деятельность оправдана в той мере, в какой она положительно влияет на «нормальный» вариант будущего, а не на маловероятные побочные сценарии.

Элиезер: Конечно.

Пат: Подождите. Разве не вся ваша жизнь…

Элиезер: Нет.

Незнакомец: У Элиезера-2010 также есть эвристика, которую можно сформулировать как: «Деятельность имеет смысл, лишь если ты можешь достичь в ней множества Парето». Другими словами, если Элиезер-2010 ожидает, что работа кого-то другого будет во всех отношениях лучше, чем его работа, ему не придёт в голову тратить на это время. Элиезер-2010 считает, что он способен делать то, что попадёт во множество Парето, поэтому зачем ему вообще заниматься чем-то иным? Поэтому, хоть в свободное время, хоть нет, Элиезер не стал бы писать этот фанфик, если бы считал, что какой-нибудь другой — или даже какая-нибудь другая книга — окажется лучше во всех отношениях.

Пат: Гм…

Элиезер: Я бы не стал использовать именно такие слова.

Незнакомец: Да, потому что если бы вы сказали это вслух, люди бы начали многократно повторять слово «самонадеянность», а вы бы не до конца понимали, почему они так себя ведут. Поэтому вы красиво играете словами и пытаетесь уводить разговор от этой темы.

Пат: Это правда?

Элиезер: Мне кажется, будто незнакомец в маске хочет использовать эффект Барнума. В смысле, большинство людей, если их спрашивать поодиночке, признали бы, что это описание подходит и к ним.

Пат: …… Я совершенно не считаю, что ко мне подходит такое описание.

Элиезер: Я всерьёз удивлюсь, если таких окажется меньше десяти процентов от всего населения.

Незнакомец: Элиезер, за следующие четыре года вы научитесь немного лучше понимать эмоции людей, связанные со статусом. Впрочем, всерьёз их учитывать вы всё равно будете лишь в тех случаях, когда вам нужно будет донести точку зрения, которую невозможно донести никак иначе, то есть, увы, очень часто, поскольку эпистемология скромности слишком быстро распространяется в вашем сообществе. В любом случае, Пат, факт, что Элиезер-2010 тратит очень много времени на «Гарри Поттера и методы рационального мышления» действительно позволяет вам сделать вывод, что Элиезер-2010 считает, что «Методы» могут достичь значительного успеха в каких-то важных для него аспектах. Что они выйдут за границы сделанного кем угодно другим. Хотя, возможно, он в этом и не признается до того, как реально достигнет успеха.

Элиезер: Ну, да, да, так и есть. Меня расстраивает, как в художественной литературе показывают «интеллектуальных» и/или «рациональных» персонажей. И я хочу увидеть правильных «рациональных» персонажей, даже если мне придётся написать про них историю самому. Я чётко представляю, что именно другие писатели делают не так, и как сделать лучше. Если бы я этого не представлял, перспектива написать «Методы» меня бы интересовала гораздо меньше.

Незнакомец (в сторону): Наше мировоззрение настолько заражено неадекватностью цивилизации, что мы почти никогда её не замечаем. По этому поводу даже не стоит переживать, ведь, так уж получилось, мы в самом деле живём в неадекватной цивилизации.

Элиезер (по-прежнему обращаясь к Пату): Однако, я не говорю о том, какими могут получиться «Методы», не только из скромности. Я действительно не уверен, что я смогу сделать «Методы» такими, какими, с моей точки зрения, они могут стать. Я не хочу обещать больше, чем могу сделать. И поскольку нужно планировать главное, я пробую писать «Методы», исключительно чтобы выяснить, могу ли я писать быстрее.

Незнакомец (в сторону): Задним числом я несколько сомневаюсь, что дело именно в этом, хотя рассуждения вполне разумны.

Пат: Можете рассказать больше о том, почему вы думаете, что в вашей истории о Гарри Поттере получатся чрезвычайно «интеллектуальные» персонажи?

Элиезер: А нужно? В литературе я должен показывать, а не рассказывать. Само собой, мои персонажи не будут учить пятьдесят семь языков, потому что они суперумные. Я считаю, что большинство попыток написать «интеллектуальных персонажей» упираются в их поверхностные качества, вроде количества языков, которые они знают, или сводятся к созданию стереотипных поверхностных черт, которые автор видел у других персонажей-«гениев», например, ощущение чуждости. В кино такие персонажи говорят с британским акцентом. Кажется, подавляющее большинство авторов не в курсе про рассуждение Винджа, почему сложно создать персонажа, который окажется умнее автора. Например, чтобы знать, как в шахматной партии походит прекрасный шахматист, нужно играть в шахматы не хуже него. И по этой же причине тяжело написать персонажа, который окажется гораздо рациональнее автора.

По-моему, понятия «интеллект» и «рациональность» у типичных персонажей не имеет ничего общего с умением делать правильный выбор или делать хорошие предсказания. С моей точки зрения, в литературе просто нет идеи персонажа, который достигает успехов в оптимизации своего мышления, отличающейся от идеи персонажа, который побеждает, просто потому что у него в мозги встроен волшебный меч. Кроме того, по-моему, большинство авторов персонажей-«гениев» не уважают их предполагаемый гений настолько, чтобы всерьёз поставить себя на их место — всерьёз попытаться почувствовать, на что похожа их внутренняя жизнь, и подумать хотя бы чуть дальше первого пришедшего в голову клише. Автор просто ставит себя выше «гения», наделяет гения каким-то вариантом очевидной глупости, позволяющей автору сохранять эмоциональную дистанцию…

Незнакомец (в сторону): Подавляющее большинство авторов с трудом могут вообразить персонажа, который по-настоящему умнее автора. Подавляющее большинство футуристов с трудом могут представить ИИ, который по-настоящему умнее человека. И действительно, люди часто пренебрегают гипотезой, что чрезвычайно умный человек уж точно примет во внимание факторы, которые они сами считают очевидными. Однако, когда речь идёт о достаточно компетентных личностях, принимающих решения исходя из собственных знаний и компетенций (я здесь не рассматриваю поведение бюрократических комиссий или коллективное поведение в произвольной области), часто стоит задаваться вопросом, не могут ли они оказаться умнее, чем вы думаете, и нет ли у их действий оправданий лучше, чем те, что приходят вам на ум в первую очередь.

Пат: Хорошо, предположим, вы сможете написать книгу, где персонажи будут демонстрировать интеллект по-настоящему. Как именно это поможет спасти мир?

Элиезер: Почему вы делаете акцент на слове «интеллект», а не на слове «рациональность»? Впрочем, отвечая на ваш вопрос: научно-популярная литература передаёт факты, художественная литература передаёт опыт. За два предыдущих года блоггерства8 я смог передать людям явно недостаточное количество мыслительных навыков, и это меня тревожит. Я надеюсь, что книга, где описывается внутренний опыт персонажа, пытающегося быть рациональным, сообщит людям то, что я не смогу настолько легко сообщить своими эссе в блоге.

Незнакомец: (смеётся).

Элиезер: В чём дело, Незнакомец в маске?

Незнакомец: Просто… вы чересчур скромны.

Элиезер: Вы это мне?

Незнакомец: Там, где я живу сейчас, это довольно очевидно. Вы так тщательно не говорите о своих надеждах относительно «Гарри Поттера и методов рационального мышления», потому что понимаете, что люди вроде Пата не поверят, что это возможно, и вы не сможете убедить их в обратном.

Пат: Этот парень — странный.

Элиезер (пожимает плечами): Это не редкость.

Пат: Давайте не обращать на него внимание. Вы сказали, что сейчас тратите много времени…

Элиезер: Но удивительно мало сил.

Незнакомец: Там, откуда я пришёл, мы бы сказали, что вы тратите удивительно мало «ложек».

Пат: …тем не менее, вы тратите много времени на создание истории о Гарри Поттере с, как вы надеетесь, исключительно рациональными персонажами. Что приведёт к тому, что ваши читатели впитают опыт, как быть рациональными. Что, по-вашему, окажется важным для спасения мира.

Элиезер: М-м, примерно так.

Пат: Как вы думаете, что взгляд извне сказал бы…

Элиезер: О, кстати, я вспомнил, что мне пора бежать. (Начинает закрывать ноутбук.)

Незнакомец: Подождите. Останьтесь, пожалуйста. Вы мне поверите, что это важно?

Элиезер: …Хорошо. Кажется, мне редко что-нибудь советовали незнакомцы в масках, поэтому в этот раз я попробую послушаться и посмотрю, что получится.

Пат: Что я сказал не так?

Незнакомец: Вы сказали, что этот разговор ни к чему полезному не приведёт.

Элиезер: Я бы не был столь радикален. Впрочем, да, по моему опыту, люди, которые используют словосочетание «взгляд извне», обычно не дают полезных советов, и на разговор с ними уходит много сил — как вы сказали, «ложек»? Но раз уж я поверил незнакомцу в маске на слово, я попробую продолжить. Что, по-вашему, говорит о проекте «Методы рационального мышления» взгляд извне?

Пат: Ну, я как раз собирался спросить вас, что удаётся передать читателям средней истории с рациональным персонажем.

Элиезер: Так я не пытаюсь написать среднюю историю. Весь смысл в том, что я считаю, что средняя история с «рациональным» персонажем никуда не годится.

Пат: То есть, вы считаете, что ваши персонажи будут рациональны по-настоящему. Однако, возможно, другие авторы тоже думают, что их персонажи рациональны…

Элиезер (шёпотом Незнакомцу в маске): Можно я уйду?

Незнакомец: Нет. Серьёзно, это важно.

Элиезер: Ладно. Пат, ваша предпосылка ошибочна. Гипотетических авторов, которые всерьёз стараются создать рациональных персонажей, не существует. Авторы не понимают, что для создания рациональных персонажей, нужно прикладывать усилия, и всего лишь изображают очередного «соломенного вулканца», практически не думая в процессе.

Незнакомец: Я бы это перефразировал так: создание рациональных персонажей — не та область, в которую наша цивилизация вкладывает достаточные усилия, и поэтому не стоит ожидать там адекватности.

Пат: Послушайте, я не спорю с тем, что наверняка вы напишете персонажей более рациональных, чем удаются этим средним авторам. Я просто считаю, что важно помнить, что всегда неправота изнутри ощущается так же, как правота.

Незнакомец: Элиезер, пожалуйста, объясните Пату, что вы думаете про это замечание.

Элиезер: На самом деле вы далеко не всегда помните, что «неправота изнутри ощущается так же, как правота». Вы вспоминаете об этом в исключительно избирательных случаях, когда вы уже скептично относитесь к чужим доводам. Просто кажется, будто вы вспоминаете об этом в каждом подходящем случае, поскольку, в конце концов, всякий раз, когда вы считаете нужным подумать об этом, вы об этом думаете. Вы просто использовали абсолютно универсальный контраргумент, а такие аргументы с точки зрения байесианства не позволяют различить случаи, когда мы ошибаемся, и случаи, когда мы правы. Фраза «неправота изнутри ощущается так же, как правота» похожа на фразу «но у меня есть вера». Её одинаково легко произнести как в ситуации, когда ваш собеседник прав, так и в ситуации, когда он ошибается.

Незнакомец: На определённой стадии когнитивного развития людям нужно задумываться о том, почему карта — это не территория. Особенно если им раньше никогда не приходило в голову, как ощущается идея о том, что вселенная в их воображении на самом деле построенная их мозгом реконструкция настоящей вселенной. Просто Элиезер прошёл эту стадию, прочитав примерно в одиннадцать лет книгу С. И. Хаякавы «Язык в мысли и действии»9. Когда умение различать карту и территорию полностью усвоено, отсылка к их разнице при обсуждении идей, которые вам не нравятся, это (абсолютно универсальный) мотивированный скептицизм.

Пат: Хорошо, однако есть исследование, показывающее полезность метода «предсказание на основании референтного класса»…

Элиезер: Я в курсе.

Пат: И мне интересно, какое можно сделать предсказание на основании референтного класса о ваших попытках принести пользу миру с помощью фанфика по Гарри Поттеру?

Элиезер (Незнакомцу в маске): Пожалуйста, можно я всё-таки убегу?

Незнакомец: Нет.

Элиезер (вздыхая): Хорошо, допустим, за данным вопросом кроется нечто большее, чем обычный скепсис. Если вспоминать книги, в которых, с моей точки зрения, хорошо написаны рациональные персонажи, то у них довольно неплохие результаты. Когда я был ребёнком, на меня сильно повлиял «Мир Нуль-А» Альфреда ван Вогта. «Нуль-А» не просто научил меня фразе «карта - не территория». Оттуда я почерпнул идею, что люди, которые применяют рациональные техники, должны быть крутыми, а если они не круты, значит, они делают что-то не так. Уйма учёных и инженеров выросли на одах, в которых Роберт Хайнлайн восхвалял науку и инженерию. Да, я знаю, что Хайнлайн не идеален, но тем не менее.

Незнакомец: Интересно, в каких взрослых вырастут умные дети, читающие в двенадцать лет «Гарри Поттера и методы рационального мышления»?..

Пат: Но ведь книги ван Вогта про Нуль-А — это исключительный пример книг с персонажами-рационалистами. Мой первый вопрос: почему вы считаете, что вы сможете написать что-то подобное? А второй вопрос: даже если ваш рациональный персонаж будет вдохновлять людей не хуже персонажей Хайнлайна, насколько он повлияет на среднего читателя, и как много людей в лучшем случае, по-вашему, прочтут ваш фанфик по Гарри Поттеру?

Элиезер: Скажу честно, по-моему, вы задаёте неправильные вопросы. В смысле, когда я решил писать «Методы», я ни о чём подобном не думал.

Незнакомец (в сторону): Кстати, это правда. В своё время мне не приходил в голову ни один из этих вопросов. Сейчас я их задаю исключительно потому, что я пишу персонажа Пата Модесто. С моей точки зрения, наличие в голове голоса кого-то вроде Пата Модесто — непродуктивно, поэтому мне не приходят спонтанные мысли, что бы он сказал.

Элиезер: С моей точки зрения, чтобы создать как можно лучшую книгу, имеет смысл задаться вопросом, что в плане рациональных персонажей делают неправильно другие авторы, и что правильно сделал Альфред ван Вогт. Я не понимаю, зачем мне нервничать, смогу ли я достичь большего, чем ван Вогт, который мог опереться лишь на работу Альфреда Коржибски, написанную за десятилетия до рождения Даниела Канемана10. Если честно, я всерьёз полагаю, что я уже вышел за пределы так называемого референтного класса, в который вы собираетесь меня запихнуть…

Пат: Что?! Как вообще можно «выйти за пределы» референтного класса?

Элиезер: …что, в свою очередь не гарантирует мне успеха, потому что оказаться за пределами референтного класса — не то же самое, что оказаться лучше него. В смысле, я не делаю выводов на основании этого референтного класса о себе. Я просто попробую написать эту книгу и посмотрю, что получится.

Пат: Вы считаете, что вы автоматически лучше любого автора, который когда-либо пытался написать рациональных персонажей?

Элиезер: Нет! Послушайте, моя голова организована так, что я о таких вещах просто не думаю. В моей голове есть лишь книга, и я задаю себе вопрос, смогу ли я воплотить её в реальность. Я строю в голове модель книги, а не модель себя.

Пат: Но если книга в вашей голове подразумевает, что уровень вашего мастерства относительно среднего автора попадает в очень высокий процентиль, то, как по мне, вполне разумно спросить, почему вы уже считаете, что можете на этот процентиль претендовать.

Незнакомец: Давайте я ещё немного вброшу. Элиезер-2010, предположим, я скажу вам, что в начале 2014 года «Методы» достигли примерно следующего уровня. Во-первых, в них примерно полмиллиона слов, но книга пока не закончена…

Элиезер: Чёрт. Это печально. Значит, я серьёзно замедлился и уж точно не научился всегда писать так быстро, как сейчас. Интересно, что пошло не так? Кстати, а почему я продолжаю писать эту книгу вместо того, чтобы сдаться?

Незнакомец: Потому что она вышла в лидеры на fanfiction.net (где опубликованы 500 тысяч историй) по числу отзывов. У неё есть группы почитателей во многих университетах и колледжах. На сайте, который уже перестал быть основным местом выкладки, у неё больше 15 миллионов просмотров. Поклонники создали проект по созданию аудиоверсии этой книги, при этом вы сами этим проектом не занимались совершенно. «Методы» прекрасно знают в Калтехе и МТИ, у них есть популярный сабреддит с 6 тысячами подписчиков, их часто называют самым известным или самым популярным фанфиком по Гарри Поттеру. Значительная часть читателей утверждает, что это лучшая книга, которую они прочитали в своей жизни, а как минимум одного золотого медалиста международной олимпиады по математике она вдохновила поучаствовать во множестве математических воркшопов MIRI.

Элиезер: Мне нравится этот сценарий. Он странный, а мне нравятся странности. Внедрять такое состояние дел в реальность и вынуждать людей мириться с ним доставило бы мне бесконечное удовольствие.

Незнакомец: Возвращаясь к теме. Какова, по-вашему, вероятность того, что дела будут идти так или лучше?

Элиезер: Гм… надо подумать. Очевидно, что именно такой сценарий невероятен в силу коньюнкции. Однако если поделить исходы в зависимости, будут ли они с точки зрения моей функции полезности лучше или хуже этого, и спросить, какую вероятность я присвою лучшим исходам, то я бы сказал, что примерно 10%. То есть, подобный успех находится примерно на 90-м процентиле моих надежд.

Пат (издаёт нечленораздельные звуки).

Элиезер: Ой. Упс. Я про вас забыл.

Пат: 90-й процентиль?! Вы всерьёз считаете, что такое может случиться с шансами 1 к 10?!

Элиезер: Гм-м…

Незнакомец: Да, он всерьёз так считает. Если бы я не поставил вопрос таким образом, он вряд ли бы думал о подобном прогнозе: не потому что этот прогноз чересчур конкретен, а потому что Элиезер Юдковский просто не пытается продумывать такие подробности заранее. Он называет такое занятие «фантазиями о деталях» и считает, что в подобные фантазии обычно лишь утекает эмоциональная энергия. Но если бы такой прогноз сбылся, Элиезер сказал бы, что присвоил бы исходам такого рода или лучше вероятность в 10% от всех возможных исходов. Хотя он беспокоился бы об искажении задним числом.

Пат: По-моему, вероятность такого исхода скорее ближе к 0,1%, и даже эта оценка — слишком щедра!

Элиезер: Да, «сторонники взгляда извне» часто говорят мне примерно то же самое почти всякий раз, когда я пытаюсь сделать что-нибудь интересное. Впрочем, ваша оценка меня всё же удивила. В смысле, моя базовая гипотеза о том, как работает этот ваш «взгляд извне», заключается в том, что это способ выразить скепсис по любому поводу, подобрав референтный класс, который предрекает неудачу. Затем вокруг этого референтного класса можно построить идеальную эпистемическую ловушку, рассуждая про эффект Даннинга-Крюгера и опасности взгляда изнутри. Однако попытка написать фанфик по Гарри Поттеру, пусть даже очень хороший фанфик по Гарри Поттеру, для большинства людей обычно не выглядит замахом на высокий статус. Я бы ожидал, что люди в основном будут реагировать на фрагмент про золотого медалиста международной олимпиады по математике, хотя априорная вероятность оказаться золотым медалистом международной олимпиады по математике выше, чем априорная вероятность оказаться автором фанфика по Гарри Поттеру с наибольшим количеством отзывов.

Пат: Вы раньше когда-нибудь вообще пытались написать фанфик по Гарри Поттеру? Вы знаете какие-нибудь существующие награды, которые помогают продвигать лучшие фанфики, или сайты, которые рекомендуют фанфики? Вы представляете, что именно хочет значительная часть фэндома по Гарри Поттеру? Например, просто факт публикации на FanFiction.net уже оттолкнёт множество людей. Лучшие работы обычно выкладываются на ArchiveOfOurOwn.Org или на других, ещё более специализированных сайтах.

Элиезер: А, я понял. Вы всерьёз знакомы с существующим фэндомом по Гарри Поттеру. У вас в голове есть модель уже существующей иерархии в этом фэндоме. Поэтому, когда в незнакомец в маске говорит о том, что «Методы» станут самым популярным фанфиком по Гарри Поттеру, вы это воспринимаете как заявку на слишком завышенный статус, и с помощью «взгляда извне» обосновываете, почему это звучит крайне неправдоподобно. Такой трюк можно проделать с любым высказыванием.

Пат: Сомневаюсь, что с помощью взгляда извне или предсказания на основе референтного класса можно продемонстрировать неправдоподобность любого высказывания. По-моему, неправдоподобно выглядят утверждения о событиях, которые вряд ли произойдут. Да, я действительно знаком с сообществом любителей фанфиков по Гарри Поттеру. Как это может обесценить моё мнение? Я разбираюсь в этой области. Я представляю, сколько тысяч авторов — среди которых есть очень хорошие авторы — пишут фанфики по Гарри Поттеру. И только один из них может оказаться автором фанфика с максимальным количеством отзывов. И я спрашиваю снова, вы хотя бы пробовали понять, как реально устроено сообщество? Можете ли вы назвать хотя бы одну ежегодную награду, вручаемую в фэндоме?

Элиезер: Гм… Навскидку точно нет.

Пат: Просили ли вы какого-нибудь из авторов лучших существующих фанфиков по Гарри Поттеру оценить ваш предполагаемый сюжет или предполагаемые идеи истории? Например, Нонджона11 — автора «Чёрной комедии»12? Или Сару-128113, или Джей-Берна14, или любого другого автора, создавшего множество работ, признанных превосходными?

Элиезер: Честно признаюсь, что, хотя я читал этих авторов и мне нравятся их истории, мне ни разу не приходила в голову подобная мысль.

Пат: То есть, вы не консультировались ни с кем, кто разбирается в фэндоме Гарри Поттера лучше вас.

Элиезер: Не-а.

Пат: И раньше вы не писали фанфиков по Гарри Поттеру, даже очень коротких.

Элиезер: Вы правы.

Пат: Вы не предпринимали никаких усилий, чтобы познакомиться с существующим сообществом людей, которые читают или пишут фанфики по Гарри Поттеру, и узнать о том, от чего вообще зависит успех вашей работы.

Элиезер: Я читал некоторые известные фанфики по Гарри Поттеру, потому что мне нравилось их читать. Собственно, именно поэтому у меня в голове появилась идея написать свой фанфик.

Пат: Что бы вы подумали о человеке, который прочитал несколько известных книг по физике и захотел стать величайшим физиком в мире?

Незнакомец (в сторону): По-моему, обычно «взгляд извне» на самом деле касается иерархии статусов и если люди считают, что вы не уважаете существующую иерархию, они реагируют сильнее. И если вы заявляете, что преодолеете некую высокую планку, но людям кажется, что вы делаете это без уважения, то они склонны предрекать вам провал гораздо чаще, чем если бы вы сделали более уважительное по отношению к текущей иерархии заявление. Судя по всему, чокнутый «непризнанный гений» в физике в этом контексте воспринимается как подходящая аналогия не просто потому, что у него неверная «карта». Обычные заблуждения считаются чем-то трагикомическим, они не вызывают презрения. «Непризнанные гении» в физике отличаются тем, что они не уважают физиков — людей с высоким статусом в важной иерархии. Поэтому они кажутся подходящим референтным классом для понимания других очевидных примеров неуважительных претензий на высокий статус. У людей возникают примерно одинаковые чувства, несмотря на то, что эти явления во многом отличаются.

Элиезер: Чтобы стать великим физиком, нужно открыть настоящие законы физики, которые уже существуют в мире, но вам неизвестны. А этого невозможно достичь, не работая вместе с другими физиками — вы должны найти экстраординарно уникальный ключ к экстраординарно уникальному замку. Однако очень много возможных книг могут превзойти все уже существующие фанфики по Гарри Поттеру, и, чтобы их написать, не нужно строить ускоритель.

Незнакомец: Элиезер, насколько я понял, когда вы пытаетесь оценить сложность задачи «стать величайшим физиком», вы оцениваете соответствующую задачу с точки зрения познания. Кажется, вы не обращаете внимание на вопросы, связанные со славой.

Пат: Элиезер, по-моему, вы умышленно игнорируете основную мысль: что именно неправильно в попытке прочитать несколько книг по физике и захотеть стать величайшим физиком в мире. Неужели вы не видите, что это ошибка того же рода, что и ваши воздушные замки о фанфике по Гарри Поттеру? Да, конечно, стремящийся стать физиком ошибается гораздо внушительнее. Вы не понимаете, что критик скажет вам то же самое? Да, стать величайшим физиком в мире намного сложнее. Однако вы пытаетесь решить менее сложную задачу в свободное время, потому что считаете, что она простая.

Элиезер: В случае успешного развития событий, которое описал незнакомец в маске, на последние главы я потрачу гораздо больше усилий, потому что их полезность будет уже доказана.

Незнакомец: Кстати, Пат, а вы знаете, что Элиезер не читал четвёртую, пятую и шестую книги Роулинг о Гарри Поттере? И лишь ограничился просмотром фильмов? И даже когда он начал писать свой фанфик, он не потрудился их прочитать.

Пат (издаёт бессвязные звуки).

Элиезер: Ну… я прочитал первые три книги, когда они вышли, а потом попытался прочитать четвёртую. Проблема в том, что к тому времени я уже прочитал много фанфиков и привык, что вселенная Гарри Поттера — это место для «взрослых» историй. Поэтому, когда я начал читать «Гарри Поттер и кубок огня», мне уже сложно было его воспринимать, мой мозг привык к другому. Но я прочитал достаточно фанфиков по этой вселенной, поэтому я довольно неплохо её знаю. Я могу сказать, как зовут младшую сестру Флёр Делакур. Вообще-то я прочитал целый роман про Габриель Делакур. Я всего лишь не прочитал все исходные книги.

Незнакомец: А в случае необходимости узнать какие-то важные факты из канона Элиезер может заглянуть в Harry Potter Wikia. Поэтому, как вы понимаете, у него есть все знания, которые ему, по его мнению, могут понадобиться.

Пат (издаёт ещё больше бессвязных звуков).

Элиезер: …Зачем вы рассказываете всё это Пату?

Незнакомец: Потому что, с точки зрения Пата, это чертовски важный факт, указывающий на ваш будущий провал. А для меня это иллюстрация очень важного жизненного урока. Можно прочитать ряд работ из некоторой области и тем самым продемонстрировать уважение к людям, которые их написали или считают их важными. А можно собрать ключевую информацию в этой области, необходимую для собственной работы. Без последнего успех немыслим. Первое же важно лишь до тех пор, пока для вас важны публичные отношения. Однако кажется, что люди, у которых нет слепого пятна в отношении статусов, с трудом видят эту разницу.

Пат: Да, я действительно испытал чувство негодования. Когда вы сказали, что Элиезер не прочитал все книги канона и что он считает, что для работы ему хватит вики, я воспринял это как явное неуважение к Дж.К.Роулинг и авторам лучших фанфиков по Гарри Поттеру на данный момент.

Элиезер: Что ж, я попробую немного компенсировать ущерб, нанесённый публичным отношениям. Если бы я считал, что смогу писать книги для детей, которые станут настолько же популярны, как и книги Роулинг, я бы занялся именно этим. Роулинг стала миллиардером, а ещё она научила мою младшую сестру наслаждаться чтением. Люди, обесценивающие умение «писать детские книжки» наверняка никогда не пытались написать что-нибудь сами, и уж тем более не писали детские книжки. Писать хорошие книги для детей сложно. Именно поэтому «Методы» будут нацелены на взрослых. Хотя ваша модель меня, судя по всему, утверждает обратное, но я хорошо представляю и собственные возможности, и собственные ограничения. И я понимаю, что сейчас я недостаточно хорош как автор, чтобы писать книги для детей.

Пат: Я могу вообразить ситуацию, в которой я решу, что у некоего человека есть прекрасные шансы написать лучший фанфик по Гарри Поттеру в мире, пусть даже он прочитал лишь первые три книги канона. Например, если это попытается сделать Нил Гейман. (Впрочем, я чертовски уверен, что Нил Гейман наверняка прочитал бы все книги канона.) Вы считаете, что можете сравниться с Нилом Гейманом?

Элиезер: Вряд ли я когда-нибудь смогу потратить столько времени на совершенствование писательского мастерства, чтобы сравняться с Нилом Гейманом.

Пат: Я читал ваш «Тройной контакт». По-моему, это ваше лучшее произведение. Я знаю, что о нём положительно отозвался Питер Уоттс, обладатель премии «Хьюго». Но, с моей точки зрения, «Тройной контакт» всё же не дотягивает до, скажем, фанфика «Always and Always Part 1: Backwards With Purpose». Так какие же писательские достижения позволяют вам думать, что с десятипроцентной вероятностью ваш проект станет лучшим фанфиком по Гарри Поттеру по числу отзывов?

Элиезер: То, чем вы сейчас занимаетесь, я обычно называю «предъяви свою лицензию героя». Грубо говоря, я обозначил свои намерения попытаться взять высоту, которая, с вашей точки зрения, превосходит моё текущее социальное положение, а вы хотите, чтобы я доказал, что у меня уже хватает на это действие статуса.

Пат: Вы переходите на личности вместо ответа на мой вопрос. Я не понимаю, каким образом при тех знаниях и тех свидетельствах, которые у вас уже есть, вы позволяете себе назначить в этой ситуации вероятность в 10%. Впрочем, давайте убедимся, что мы разговариваем об одном и том же. Вы предполагаете, что эти «10%» реальная хорошо откалиброванная вероятность?

Элиезер: Да. Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного за то, что мой фанфик не получит успеха. И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.

Пат: А вы считаете себя хорошо откалиброванным? То, чему вы присваиваете вероятность 9:1 должно происходить в 9 случаях из 10?

Элиезер: Да, думаю, я смог бы сформулировать 10 утверждений, которым я присваиваю вероятность 90%, и ошибиться в среднем примерно один раз. Я не проверяю собственную калибровку так часто, как некоторые из рационалистов, однако когда я последний раз проходил калибровочный тест CFAR на 10 вопросов и пытался указать доверительные интервалы в 90%, вне моих интервалов оказался ровно один правильный ответ. Сносная калибровка случается вовсе не так редко, как думают сторонники взгляда извне. Достаточно лишь кое-что выучить и немного попрактиковаться.

Незнакомец (в сторону): Элиезер-2010 не использует PredictionBook так же часто, как Гверн Бранвен15, не играет в игры на калибровку так же часто, как Анна Саламон и Карл Шульман. Он не присоединился к исследованию Филиппа Тетлока, посвящённому суперпредсказаниям. Однако я заключал пари при любой возможности — и до сих пор это делаю. Кроме того, я всегда стараюсь выразить свою неуверенность численно, если я её замечаю и понимаю, что в ближайшем будущем я узнаю правильный ответ.

Недавно я увидел на доске для заметок на холодильнике загадочный набор утверждений о паровом котле вместе с непонятными числами и диаграммами. На пять секунд меня это озадачило, а потом я предположил, что это записки Бриенны, касающиеся её прохождения игры «Myst». Поскольку я чувствовал собственную неуверенность, но мог довольно скоро выяснить правду, я потратил тридцать секунд на оценку вероятности, что эти записки действительно относятся к игре Бриенны. Сперва я назначил этому вероятность 90%. Это показалось мне очень уж сверхуверенным, поэтому я понизил её до 80%, то есть, до 4:1. Затем я подумал о том, какие другие компактные возможные объяснения я не учёл, и понизил шансы до 3:1. Позже я поговорил с Бриенной и выяснил, что записки действительно касались игры «Myst». После чего я потратил тридцать секунд на размышления о том, действительно ли прочие компактные возможные объяснения загадочных записей были настолько вероятны. Возможно, если я быстро придумал разумное объяснение, мне стоило меньше беспокоиться о возможных неучтённых вариантах.

Я потратил на эти размышления не так много времени. Это лишь один пример из моей жизни. Весь смысл таких историй в том, что их случается много, каждая новая немножко дополняет интуицию. Постепенно накапливается опыт. Размышлять об этом настолько долго, как я об этом сейчас пишу, обычно не слишком хорошая идея. (Если вы знакомы с нейронными сетями и дельта-правилом, то должны были догадаться, чего я пытаюсь добиться от своего мозга.) Мне немножко стыдно, что я не занимаюсь ставками более систематично, но учитывая мой ограниченный запас «ложек», вряд ли меня хватило на что-то большее, чем мои нынешние упражнения, которые пусть и случайны, но достаточно регулярны.

Сейчас, когда я редактирую этот текст, могу сказать, что недавно я присвоил шансы 5:1 против того, что два персонажа из «Карточного домика» займутся сексом друг с другом, но это случилось. Это всерьёз подтолкнуло меня делать поправки против сверхуверенности. (Ведь согласно дельта-правилу, это была большая ошибка.)

Пат: Но ведь исследования показывают, что даже если людей предупреждают о сверхуверенности, дают им прочесть исследования о сверхуверенности и немного попрактиковаться, то сверхуверенность уменьшается, но не исчезает полностью. Так?

Элиезер: Если мы усредняем по всем испытуемым, да, сверхуверенность уменьшается, но не исчезает полностью. Это не означает, что сверхуверенность уменьшается, но не исчезает полностью для любого человека.

Пат: Что заставляет вас считать, что вы справляетесь со сверхуверенностью лучше среднего человека?

Незнакомец: …

Элиезер: То, что я практиковался гораздо больше этих испытуемых. И я не верю, что уровень усилий, прикладываемый средним испытуемым, даже испытуемым, которого предупредили о сверхуверенности и один раз дали попрактиковаться, — это предел человеческих способностей. И всерьёз меня заставляет верить в собственные успехи то, что я проверял. Вряд ли существует «референтный класс», полный сверхуверенными людьми с галлюцинациями о том, как они занимаются калибровкой и обнаруживают, что их интервалы доверия становятся хорошо откалиброванными.

Незнакомец: Я подкину некоторую информацию, которую я узнал из эссе Сары Константин «Существуют ли рациональные люди?». Станович и Уэст в исследовании 1997 года обнаружили, что 88% участников исследования продемонстрировали систематическую сверхуверенность. Это означает, что для оставшихся 12% они не смогли обнаружить сверхуверенность. И это не слишком удивительно: в своей работе 1998 года они указывают, что во многих тестах обнаруживалось, что около 10% студентов не проявляют то или иное искажение.

Элиезер: Верно. Поэтому вопрос в том, могу ли я при наличии некоторой практики добиться такого же отсутствия сверхуверенности, как лучшие 10% студентов. По-моему, это не какая-то супер-сложная задача. Да, конечно, усилия нужны. Мне приходится осознанно увеличивать доверительные интервалы. Думаю, лучшим студентам-испытуемым тоже приходилось это делать. Проблема не в способностях, нужно по-настоящему прикладывать усилия. Но когда я считаю, что увеличил интервалы достаточно, я останавливаюсь.

Факторы успеха и обмен убеждениями

Пат: То есть, вы в самом деле считаете, что когда вы назначаете шансы в 9:1 против того, что «Методы» достигнут суперуспеха, описанного Незнакомцем в маске, вы хорошо откалиброваны. Будете ли вы настаивать на том, что я должен расширить собственные доверительные интервалы о том, каких успехов могут достичь «Гарри Поттер и методы рационального мышления», чтобы избежать собственной сверхуверенности?

Элиезер: Нет. С моей точки зрения, это ничем не отличается от заявления, что вы не должны назначать успеху «Методов» вероятность в 0,1%, потому что шансы 1000:1 — это слишком мало. Так аргументировать нельзя, и я тщательно стараюсь этого не делать. Подобное мышление приводит к статьям вроде работы Орда, Хиллербранда и Сандберга «Как узнать вероятность невероятного»16, которую я считаю неверной. В общем, если существует 500 тысяч фанфиков и лишь один из них может набрать больше всего отзывов, нельзя случайно взять один из них и заявить, что шансы 500 000:1 — это слишком мало.

Пат: Рад, что вы с этим согласны. Конечно, я не дурак, я понимаю, что ваши книги лучше средних. 90% фанфиков по Гарри Поттеру — это полная хрень (в соответствии с законом Старджона), а 90% оставшихся 10% не хватает вдохновения. Таким образом остаётся примерно 5000 фанфиков, с которыми вам придётся соревноваться всерьёз. Я даже признаю, что если вы будете стараться всерьёз, вы окажетесь среди лучших 10% из них. Таким образом шансы, что вы станете лучшим автором фанфика по Гарри Поттеру на fanfiction.net - 1 из 500. Ещё нам надо учесть, что есть и другие сайты с фанфиками по Гарри Поттеру, где работ меньше, но эти работы в среднем лучше. Получается, что ваши шансы написать самый лучший фанфик примерно 1 к 1000, и, по-моему, это довольно щедрая оценка, с учётом того, насколько удивительно несерьёзно вы отнеслись к подготовке… Гм, с вами всё в порядке, Незнакомец в маске?

Незнакомец: Извините, пожалуйста. Я отвлёкся на мысль о мире, где я мог бы зайти на fanfiction.net и обнаружить там 1000 историй, сравнимых с «Гарри Поттером и методами рационального мышления». Я думаю об этом мире и стараюсь не заплакать. Не то, что я не в состоянии вообразить мир, где ваше скромно звучащее вычисление Ферми корректно… Просто мир, который вы описываете, кажется, очень отличается от нашего.

Элиезер: Пат, я понимаю, к чему вы клоните, и я действительно не знаю, что вам ответить, пока у меня не будет возможности показать вам книгу.

Пат: Вы понимаете, что я хочу до вас донести? На вас вообще мои слова действуют? Да, моя оценка довольно приблизительная, но мне кажется, что мой подход к вычислению Ферми вполне разумен. Если вы не согласны с выводом, мне хотелось бы узнать, какие дополнительные факторы приводят к тому, что ваше вычисление Ферми даёт результат в 10%.

Незнакомец: Вы недооцениваете, насколько по-разному вы думаете. Когда Элиезер говорил о своей оценке в 10%, ни один из перечисленных вами факторов ему даже не пришёл в голову.

Элиезер: Вынужден признать, что это правда.

Пат: И какие же, по-вашему, самые важные факторы, влияющие на то, преуспеете вы или нет?

Элиезер: Гм. Хороший вопрос. Я бы назвал… удастся ли мне сохранять мой писательский энтузиазм, смогу ли я писать достаточно быстро, получится ли у меня настолько хорошая история, какую я сейчас представляю, получится ли у меня учиться на ходу и создавать что-то ещё лучшее. Плюс большое количество неуверенности на тему, как люди на самом деле будут реагировать на работу, которая сейчас в моей голове, когда я её напишу.

Пат: Хорошо, у нас есть пять ключевых факторов. Оценим вероятности для каждого из них. Предположим, мы оценим шансы на сохранение энтузиазма в 80%, и в 50% на то, что вы будете писать достаточно быстро, — хотя в прошлом у вас были с этим проблемы, на «Тройной контакт» у вас ушёл целый год, если я правильно помню. Оценим в 25% вероятность того, что вы сможете успешно записать эту невероятную историю, которую, судя по всему, вы представляете: по-моему, авторы практически всегда на этом спотыкаются, и я почти уверен, что и у вас будут с этим большие проблемы, но пусть будет одна четвёртая — хотелось бы «застилменить» ваши доводы. Пусть 50% — вероятность, что вы будете учиться достаточно быстро, чтобы ваш проект не пошёл ко дну из-за уже известных вам проблем. Теперь, даже не упоминая возможную реакцию читателей (вы действительно собираетесь продать когнитивную психологию и формальную эпистемологию фанатам Гарри Поттера?) и несмотря на то, что я был довольно щедр в своих оценках, перемножив все эти вероятности мы получаем оценку в 5%, что меньше полученных вами 10%…

Незнакомец: Неверно.

Пат: …Неверно? Что вы хотите сказать?

Незнакомец: Давайте рассмотрим факторы, которые могут повлиять на то, что ваше рассуждение верно. Сперва оценим вероятность, что произвольное предложение окажется истинным. Затем нужно рассмотреть вероятность, что некий аргумент, направленный в поддержку некоего вывода, не будет содержать грубейших логических ошибок. Потом вероятность, что некто, утверждающий, что аргумент «неверен», ошибается…

Пат: Элиезер, если вы не согласны с моими выводами, то что не так с моими вероятностями?

Элиезер: Ну. начнём с того, что смогу ли я писать быстро, зависит от того, смогу ли я сохранять свой энтузиазм. Реакция аудитории зависит от того, смогу ли я писать быстро. Смогу ли я чему-то научиться, зависит от того, смогу ли я сохранять мой энтузиазм. С точки зрения теории вероятностей перемножать эти числа бредово.

Пат: Хорошо, чему же будет равна вероятность, что вы сможете писать быстро, при условии, что у вас сохраняется энтузиазм…

Элиезер: Вы считаете, что если бы вы начали с этого вопроса, вы бы пришли к другим результатам? Уверен, что если бы вам пришло бы в голову построить вопрос как «вероятность при условии…», у вас получились бы точно такие же вероятности, потому что именно к этому привёл бы баланс ваших мыслительных сил — взять какое-нибудь небольшое число, которое звучит разумно или что-нибудь в этом духе. К тому же проблема условной вероятности далеко не единственная причина, по которой я считаю, что приём «оценим эти вероятности, а потом перемножим» лишь риторический трюк.

Пат: Риторический трюк?

Элиезер: Если подобрать для «вывода» нужные факторы, можно легко добиться, чтобы люди давали сколь угодно маленькие «ответы». Например, посмотрите статью ван Бовена и Эпли «Эффект подробностей при оценочных суждениях»17. Проблема в том, что люди… как бы это покороче объяснить… если людей просить оценить вероятность чего бы то ни было, их оценки будут стремиться к некоторым медианным значениям. Поэтому ими можно довольно сильно манипулировать, подбирая категории, для которых нужно «посчитать» вероятность. Например, если если спрашивать автомеханика о возможных причинах, почему машина может не завестись — причём опытного автомеханика, который каждый день наблюдает настоящую частоту поломок! — а затем просить оценить либо вероятность «отказ системы электрооборудования» в целом, либо отдельные вероятности для «умер аккумулятор», «проблемы с генератором» и «проблема с зажиганием», то вероятность для составляющих в сумме окажется гораздо больше, чем вероятность для целого, если не вдаваться в подробности.

Пат: Но возможно, когда я разбираю в подробностях, что может пойти не так, я просто компенсирую ошибку планирования и то, что люди обычно недостаточно пессимистичны…

Элиезер: Прежде всего, проблема в ваших рассуждениях в том, что описанный исход не обязан быть идеальной конъюнкцией упомянутых факторов. Чтобы достичь успеха, не всё в вашем перечне должно сработать одновременно. Вы упустили другие дизъюнктивные пути, ведущие к тому же исходу. В вашей вселенной никто не прикладывает дополнительных усилий и не ищет ошибки, когда что-то пошло не так! Я никогда не видел, чтобы люди назначали якобы маленькую конъюнктивную вероятность чему-то, что на самом деле требовало выполнения всех предпосылок. Именно поэтому я всегда тщательно стараюсь избегать приёма: «Я любезно разобью это утверждение на большую конъюнкцию и попрошу оценить вероятность каждого множителя».

По моему опыту, этот приём можно применять только с одной целью: заставить людей поверить, что они «назначают» вероятности, в то время как вы манипулируете подбором факторов, чтобы получить итоговый результат, который вам нравится. В честном разговоре использовать его не имеет смысла. Я много раз видел, как люди использовали этот приём. Иногда с его помощью поддерживали выводы, с которыми я был согласен, иногда — выводы, с которыми я был не согласен. Но я никогда не видел, чтобы этот приём помогал найти истину. Я считаю его применение плохой эпистемологией, которая распространена, потому что, пока люди не задумываются достаточно внимательно, он звучит разумно.

Пат: Я рассматривал те факторы, которые вы сами назвали самыми важными. С чем именно в моей оценке вы не согласны?

Незнакомец (в сторону): Кстати, ошибка многих этапов — это замечательный трюк. Можно попросить людей самих подумать о ключевых факторах и всё равно подтолкнуть их дать ответы, из которых будет следовать маленький итоговый ответ. Ведь чем дольше люди перечисляют факторы и назначают им вероятности, тем меньше будет итоговое произведение. Как только мы понимаем, что при увеличении числа перемножаемых вероятностей произведение становится всё меньше и меньше, нам, чтобы отличать правду от лжи, приходится вводить дополнительные компенсирующие меры.

В итоге вам придётся прийти к выводу, что если успех в каком-то реальном предприятии зависит от четырёх факторов (не говоря уже о десяти), то вы априори не сможете его достигнуть. Да, выписать множество возможных сценариев провала для того, чтобы заранее решить, как с ними справляться, может быть мудрой идеей (известной под названием Мерфиджитсу18). Однако когда вы начинаете присваивать «вероятность того, что Х пойдёт не так и это нельзя будет исправить, при условии, что всё предыдущее в списке идёт по плану или может быть успешно исправлено», то, если проект теоретически может достичь успеха — как, например, «Методы», — вам стоит взять вероятность близкую к единице19. В противном случае вы априори исключаете возможность собственного успеха, а попытка что-то «посчитать» — это притворство.

Честно говоря, сомневаюсь, что эту методологию вообще стоит чинить. Вряд ли нужно заморачиваться, пытаясь компенсировать вероятности в сторону увеличения. Просто не нужно заниматься подсчётами «конъюнктивного провала» на основе вероятностей успеха критичных факторов, когда у нас этих факторов очень много и вероятности получены очень приблизительно. Не думаю, что в таких условиях вы сможете что-нибудь оценить хорошо, даже если попытаетесь компенсировать упомянутую предсказуемую ошибку.

Элиезер: Да, я перечислил ключевые для меня факторы и я в самом деле сомневаюсь, что они сработают. Если бы я в них был уверен сильнее, я бы назначил вероятность больше, чем 10%. Однако эти факторы связаны дизъюнктивно в той же мере, что и конъюнктивно. Они не обязаны сработать вместе и сразу. Например, возможен такой сценарий: я буду писать «Методы» достаточно хорошо, что у них сложится достаточная аудитория, потом моя скорость написания значительно снизится, но «Методы» всё равно добьются большого успеха в итоге.

Пат: И как же вы скомбинируете эти факторы, чтобы оценить невероятный успех в 10%?

Элиезер: Никак. Я получил свою оценку следующим образом: я обнаружил, что у меня есть две границы — 20:1 и 4:1 — и я не готов их двигать, не беспокоясь об излишней сверхуверенности в ту или иную сторону. Примерно таким же образом я строил свои десять доверительных интервалов на тесте калибровки CFAR. Затем я взял логарифмическое среднее.

Пат: То есть вы даже не пытались оценить все эти факторы, а затем перемножить?

Элиезер: Нет.

Пат: Тогда откуда, чёрт возьми, вы взяли эти самые 10%? Ваше заявление, что вы получили два других таинственных числа — 20:1 и 4:1, — после чего взяли их геометрическое среднее, не отвечает на самый главный вопрос.

Незнакомец: Полагаю, лучше всего используемая методика описывается словами «взять числа с потолка». Важно практиковаться в калибровке своих чисел с потолка, когда вы потом узнаёте правильный ответ. Также важно понимать ограничения своих чисел с потолка и не пытаться сотворить невозможное, назначив кучу чисел с потолка сложным взаимосвязанным событиям.

Элиезер: Я бы сказал, что получил свою оценку… подумав о задаче на объектном уровне? Применив знания из области моей экспертизы? Я уже размышлял над этой задачей довольно долго, поэтому многие её важные аспекты уже были у меня в голове. Я получил из своей головы некоторое представление о вероятностях, а благодаря своей практике делать ставки я уже немного умею переводить собственное представление о неопределённостях в числа, и таким образом я получил 9:1. Я не очень понимаю, какую вы ещё хотите получить информацию. Если и есть способ получать настоящие, значительно лучшие суждения с помощью какой-то продвинутой техники, то я его не встречал в литературе и пока не практиковал. Если вы мне продемонстрируете, что в 9 случаях из 10 вы сможете назначать правильные 90-процентные доверительные интервалы, и ваши интервалы будут уже моих, и вы этого достигните с помощью какой-то продвинутой техники, я буду рад о ней услышать.

Пат: То есть, фактически, ваша вероятность в 10% происходит из недоступной интуиции.

Элиезер: В данном случае? Более-менее, да. Пока я не могу вам показать, что я планирую делать в «Методах», я мало что способен объяснить на тему, почему они могут преуспеть.

Пат: Если рассуждения у вас в голове корректны, почему их нельзя объяснить мне?

Элиезер: Потому что у меня есть недоступная вам информация. Я знаю, какую книгу я пытаюсь создать.

Пат: Элиезер, мне кажется, вы игнорируете довольно важную мысль. Вам стоит задуматься о том, что вы считаете, что у вас есть непередаваемые причины верить в успех вашего проекта «Методы рационального мышления». Разве неспособность убедить других людей в будущем успехе не схожа с ощущениями спятивших непризнанных гениев, изобретающих дурацкие физические теории? Они ведь тоже ссылаются на непередаваемую интуицию?

Элиезер: Однако ваш метод, который вы называете «предсказанием на основе референтного класса», слишком требователен, чтобы на самом деле определить, сможет кто-то написать фанфик по Гарри Поттеру с наибольшим количеством отзывов. Не важно, речь идёт обо мне или о ком-то ещё. Тот факт, что скромного критика не удаётся убедить, с точки зрения байесианства не позволяет отличить успешный в будущем проект от провального. Это не свидетельство.

Пат: Наоборот. Если бы Нонджон сказал мне, что он намерен написать фанфик по Гарри Поттеру, который получит больше всего отзывов, я посчитал бы это обоснованным утверждением. «Чёрная комедия» Нонджона признана одним из лучших фанфиков, Нонджон на хорошем счету у влиятельных обозревателей и раздающих рекомендации сообществ. Вероятно, он не был бы уверен, что он напишет фанфик, у которого точно будет больше всех отзывов, но он имеет полное право считать себя одним из наиболее вероятных претендентов на место автора такого фанфика.

Незнакомец: Любопытно, насколько вашу оценку вероятности успеха можно свести к одному числу, которое очень сильно коррелирует с тем, насколько человек уважаем внутри соответствующего сообщества.

Пат: Более того, даже если мой метод слишком требователен, это ещё не означает, что в моих рассуждениях какая-то ошибка. Человек, покупающий лотерейный билет, не сможет убедить меня, что у него есть веские причины верить в свой успех. Даже если это будет человек, который выиграет. Это всё равно не означает, что я был неправ, назначая низкую вероятность успеха людям, покупающим лотерейные билеты.

Для Нонджона вполне разумно купить лотерейный билет со ставкой 1:10. Нил Гейман может позволить себе 2 из 3. Шансы для вас, как я уже говорил, вероятно ближе к 1:1000, и они настолько высоки, лишь потому что вы уже продемонстрировали способность хорошо писать. Я даже не штрафую вас за то, что вы планируете внедрить ярко выраженных рациональных персонажей во вселенную Гарри Поттера, а это слишком уж непохоже на существующие лучшие фанфики. Возможно, на меня слишком влияет то, что мне понравилось то, что вы писали раньше. Однако я нахожу крайне подозрительным ваше утверждение, что вам достоверно известно, что ваш лотерейный билет лучше в сто раз, но вы не в состоянии объяснить, откуда вам это известно. Не бывает веских свидетельств, которые невозможно передать другому человеку.

Незнакомец: «Я пишу книгу по экономической теории, которая, как я полагаю, практически перевернёт всеобщие представления об экономике. Вероятно, не сразу, а в течение ближайших десяти лет. Сейчас вряд ли вы — или кто-либо другой — поверят в это. Но я сам не просто надеюсь, что так и будет, я довольно сильно в этом уверен». Так писал Джорджу Бернарду Шоу победитель в лотерее Джон Мейнард Кейнс о своей работе над «Общей теорией занятости, процента и денег».

Элиезер: Кстати, Пат, если я в самом деле преуспею в работе над «Методами», вы сами окажетесь в непередаваемом эпистемическом состоянии по отношению к кому-то, кто узнает обо мне позже лишь в связи с этой работой. Этот другой человек, возможно, предположит, что я не просто случайно выиграл в эту лотерею, но у него будет меньше свидетельств на этот счёт, чем у вас. Это довольно интересный и важный эпистемологический вопрос.

Пат: Я не согласен. Если у вас есть веские интроспективные свидетельства, расскажите мне о состоянии вашего разума. С моей точки зрения, не должно быть ситуаций, когда вы меняете свои взгляды на основании того, как это свидетельство «ощущается для вас», не так, как на основании того, как это свидетельство «ощущается для других людей». В этом случае вы и эти другие люди просто должны обновить свои взгляды ещё раз.

Незнакомец: Нет, в таком сценарии два человека действительно могут оказаться в непередаваемых эпистемических состояниях. Ведь существуют и другие искажения. Вы бы знали, что ситуация «Победа Элиезера» на самом деле была отмечена как отдельный исход заранее, но другой человек отнёсся бы к этому якобы отдельному исходу с учётом послезнания, и поэтому у него были бы веские причины не доверять своему послезнанию, и он не смог бы оказаться в том же состоянии разума, что и вы.

Вы правы, Пат: два агента, у которых совершенно нет когнитивных искажений и у которых нет поистине фундаментальных разногласий об априорных вероятностях, в такой ситуации никогда бы не оказались. Однако, насколько я могу судить, у людей такое случается довольно часто. В науке предсказания заранее ценятся вовсе не случайно: из-за искажения знания задним числом сложно в той же степени поверить в предсказание, о котором вы узнали уже после того, как оно сбылось.

Пат: Вы действительно предполагаете, что повсеместная распространённость когнитивных искажений позволяет вам сильнее верить в то, что ваши рассуждения корректны? Моя эпистемология в этих вопросах гораздо прямолинейнее вашей. Применим правило «веские свидетельства всегда можно передать» к описанному случаю. Гипотетический человек, наблюдавший за тем, как Элиезер Юдковский пишет «Цепочки» на LessWrong’е, слышит, как он присваивает существенную вероятность в успехе собственных «Методов», а затем видит, как этот успех наступает, должен просто понять, что на это скажет внешний наблюдатель. А он скажет вот что: вам просто повезло или не повезло — как и в случае покупателя лотерейного билета, который заранее заявил, что владеет паранормальными способностями, а потом ему посчастливилось выиграть.

Элиезер: Мне это сильно напоминает сложность, которую я однажды описывал для «метода воображаемого изменения взглядов»20. Способности людей к логическим выкладкам не идеальны, поэтому мы не можем быть уверены, что мы рассуждали об априорных вероятностях правильно. Я понимаю, почему сейчас с вашей точки зрения успех «Методов» — это всё равно что выигрыш в лотерею с шансами 1 к 1000. Но если это в самом деле случится, вы не скажете: «Ну надо же, случилось событие с шансами 1 к 1000». Вам придётся задуматься, не было ли ошибки в методе, который вы использовали для определения априорной вероятности. Для лотерейных билетов это неверно, потому что мы слишком хорошо представляем, как в этом случае устроена априорная вероятность. Ну и к тому же, в реальной жизни мы никогда не видели, чтобы кто-то из наших друзей выигрывал в лотерею.

Пат: Я согласен, что если «Методы» окажутся успешны, я пересмотрю свои взгляды, а не буду настаивать, что я был прав в своей оценке шансов. Поскольку я очень-очень уверен, что этого не случится, я счастлив уступить в этом вопросе. Аргументы против вашего успеха в написании фанфика по Гарри Поттеру мне кажутся достаточно сильными — как и любые другие аргументы с точки зрения взгляда извне.

Незнакомец: Но мы обсуждаем не это.

Пат: Неужели?

Незнакомец: С моей точки зрения, в этом-то и проблема. Если человеку кажется привлекательной эпистемология скромности, он тривиально может изобрести железобетонный аргумент против любого проекта, который включает в себя какое-то важное свершение, небывалое в прошлом. Исключается возможность любого проекта, пытающегося выйти за пределы неадекватности цивилизации.

Пат: Послушайте. Нельзя просто прийти на какое-то поле деятельности и с первой же попытки захватить там лидерство. Именно об этом и говорит эпистемология скромности. Предполагается, что вы неспособны преуспеть с такими шансами против вас, какие я описал. Возможно, при наличии миллиона претендентов, кто-то преуспеет, хотя скромность предсказывает его поражение. Но если мы выиграем спор 999 999 раз из миллиона, по-моему, это довольно неплохо. Если, конечно, Элиезер не заявит, что проект по написанию нового фанфика по Гарри Поттеру настолько важен, что шанс в 0,0001% всё равно стоит того…

Элиезер: Я никогда этого не скажу. Никогда. Если скажу, можете меня пристрелить.

Пат: Тогда почему вы не отвечаете на вполне ясные, вполне обыденные, вполне очевидные аргументы, по которым я думаю, что вы не добьётесь успеха? Нет, серьёзно, что происходит сейчас у вас в голове?

Элиезер: Ощущение беспомощности от неспособности передать свои мысли.

Незнакомец: Мрачная ирония.

Пат: Тогда, уж простите, мистер Элиезер Юдковский, но я думаю, что вы просто иррациональны. И вы даже не слишком стараетесь это скрыть.

Элиезер (вздыхает): Я могу понять, почему, с вашей точки зрения, это выглядит именно так. Какие-то из моих мыслительных приёмов, которые, с моей точки зрения, помогают мне делать хорошие предсказания и вырабатывать полезные привычки, я передавать умею. Но другие вызывают у меня ощущение беспомощности: я их знаю, но не способен о них рассказать. Этот разговор связан с той частью, про которую я знаю, но не знаю, как описать.

Пат: И почему я должен в это поверить?

Элиезер: Например, потому что идеи, про которые я разобрался, как их передать, я передал достаточно впечатляюще. Именно в этом заключалась тайная цель номер 7 написания Цепочек на LessWrong: я хотел дать хороший ключ ко всем техникам, которые я не в состоянии продемонстрировать. Вам я могу лишь сказать, что вы беспокоитесь о вещах, о которых, с моей точки зрения, даже не стоит думать. Весь ваш подход к задаче неверен. Речь не о том, что неверны ваши аргументы. Они просто относятся к неправильному вопросу.

Пат: И какой же вопрос будет правильным?

Элиезер: Именно это мне сложно объяснить. Могу сказать, что вам стоит отказаться от всех ваших мыслей по поводу соревнования с другими. Люди, которые были перед вами, в каком-то смысле «зонды»: сигналы эхолота, отражения которых дают вам какое-то представление о сложности задачи. Иногда вы можете проплыть мимо проблем, которые остановили других, и выйти в новую часть океана. И это не обязательно даже приведёт вас к успеху, моя мысль здесь в том, что человек обычно почти ничего не знает о том, что самое сложное в его задаче. Часто совершенно не имеет никакого смысла выяснять, кто именно ваши соперники — насколько они умны, мотивированы или насколько им хорошо платят. Ведь вы можете посмотреть на их работу и оценить её качество.

Пат: Представим человека, который предсказывает гиперинфляцию, заявляя, что мнение общепризнанных экономистов можно игнорировать, поскольку лишь идиоты могут думать, что если утроить количество денег в экономике, то инфляции не будет.

Элиезер: Я не представляю, что происходит в головах у таких людей. Однако я сомневаюсь, что проблему можно решить, посоветовав им быть скромнее. Сказать человеку заткнуться и уважать экспертов в общем случае неправильный способ аргументации, потому что он не различает общепринятую экономику (у которой относительно высокие академические стандарты) от общепринятой диетологии (у которой относительно низкие академические стандарты). Я не уверен, что в такой ситуации может надёжно помочь хоть что-нибудь, кроме как понять экономику самому. Если бы я столкнулся с таким человеком, мне следовало бы посоветовать ему почитать побольше блогов по экономике и попробовать внимательно следить за аргументами или, что ещё лучше, почитать учебник по экономике. Однако я сомневаюсь, что если люди будут сидеть тихо и тревожно задавать себе вопросы, не слишком ли они дерзко себя ведут, то это поможет решить описанную проблему. Если и решит, то мы получим другую проблему.

Пат: То есть, ваша эпистемология на мета-уровне для меня столь же недоступна, как и ваши оценки на объектном уровне.

Элиезер: Я могу понять ваш скепсис.

Пат: Почему-то я сомневаюсь, что вы пройдёте идеологический тест Тьюринга за мою точку зрения.

Незнакомец (улыбаясь): Ну, я-то точно справлюсь с вашим идеологическим тестом Тьюринга.

Элиезер: Пат, я понимаю, как вы получили ваши оценки. Я не сомневаюсь, что вы даёте советы, желая мне помочь. Однако при этом я воспринимаю ваши советы как проявление тревожности, которая никак не входит в перечень того, о чём мне нужно думать, чтобы создать хорошую книгу. Подобные размышления — бессмысленная трата сил. Если я преуспею, это точно произойдёт не благодаря таким мыслям. Чтобы сделать «Методы» такими, как я хочу, мне стоит думать не о том, насколько я хорош по сравнению с другими людьми. Поэтому я об этом и не думаю.

Пат: Мне кажется очень странным ваше замечание: «Если я преуспею, это точно произойдёт не благодаря таким мыслям». Оно полезно именно потому, что позволяет не тратить наши усилия на проекты, в которых у нас очень мало шансов преуспеть.

Незнакомец: Звучит очень разумно. Я могу на это ответить лишь посоветовать провести один день так, как я. Откажитесь от всех мыслей, которые не внесут никакого вклада в ваш успех, если он случится. Возможно, полученный опыт чему-нибудь вас научит.

Элиезер: Дело в том, Пат… Даже если я просто начну отвечать на ваши возражения и защищать себя от вашей разнообразной критики, это поспособствует развитию привычки, которую я считаю вредной. Вы непреклонно концентрируетесь на мне и моей психологии, и, если я ввяжусь в этот спор и начну защищаться, мне придётся сосредоточиться на себе, а не на моей книге. Из-за этого я потрачу гораздо меньше внимания на то, что должен сделать профессор Квиррелл на первом уроке Защиты. И что ещё хуже, мне придётся защищать собственные решения, а в этом случае мне будет сложнее изменить их в будущем.

Незнакомец: Подумайте, насколько сложнее Элиезеру будет отказаться от его другого проекта — «Искусства рациональности» — в случае его провала после множества подобных разговоров (реальных или внутренних): разговоров, в которых ему приходится защищать все причины, почему для него нормально считать, что он способен написать научно-популярный бестселлер в области рациональности. Именно поэтому важно не бояться попыток использовать неадекватность цивилизации. Важно, чтобы люди могли пробовать амбициозные проекты, не задумываясь, что они обязаны добиться успеха любой ценой или у них отберут лицензию героя.

Элиезер: Верно. И… работа мысли, связанная с беспокойством, что может подумать критик и как от него защититься или в чём ему уступить, отличается от работы мысли, которая нужна, чтобы проявить любопытство по какому-то поводу, попытаться узнать ответ и поставить эксперимент. Она отличается от того, как я думаю, когда работаю над задачей в реальном мире. Я должен думать просто о своей работе.

Пат: Если бы вы просто пытались ради забавы написать неплохой фанфик по Гарри Поттеру, я бы с вами согласился. Но вы говорите, что хотите создать самый лучший фанфик. Это же совершенно другая ситуация…

Элиезер: Нет! Я как раз пытаюсь вам объяснить, что в моей голове пытаться написать хороший фанфик и пытаться написать самый лучший фанфик — это одно и то же. Есть объектный уровень, и вы его оптимизируете. У вас есть оценка, насколько хорошо вы можете его оптимизировать. Вот и всё.

Социальные эвристики, а также важность, разрешимость и недооценённость проблемы

Пат: Мне в голову только что пришла забавная мысль. Вы ведь пытаетесь работать над теорией дружественного ИИ…

Элиезер: Предположу, здесь вы тоже не верите в мой успех.

Пат: Ну, конечно же, я не верю, что вы сможете спасти мир! (Смеётся.) Мы живём не в фантастической книге. Однако я в самом деле полагаю, что у вас есть основания надеяться внести важный вклад в теорию дружественного ИИ, которая окажется полезной какой-нибудь группировке, разрабатывающей сильный ИИ. Мне показалось интересным, что этого явно будет достичь проще, чем реализовать описанный Незнакомцем в маске сценарий или похожий на него, вероятность чего вы оценили в 10%.

Незнакомец (улыбаясь): Это совершенно-совершенно-совершенно не так.

Замечу, кстати, что там, откуда я пришёл, выражение «дружественный» ИИ вышло из моды. Мы стали говорить о «соответствии ИИ целям оператора», в основном потому что «соответствие ИИ» меньше отдаёт антропоморфизмом, чем «дружественность».

Элиезер: Соответствие? Хорошо, меня это устраивает. Однако, Пат, ваши слова оказались для меня неожиданностью. Это выходит за пределы моих представлений о вашем идеологическом тесте Тьюринга. Продолжайте, пожалуйста.

Пат: Хорошо. Что бы вы там не думали, мои слова не являются универсальным контраргументом, который я применяю к тому, что мне просто интуитивно не нравится. Они основаны на конкретных наблюдаемых доступных сторонним наблюдателям факторам, благодаря которым утверждения можно разделить на правдоподобные и неправдоподобные. Если мы отложим в сторону недоступную интуицию и просто посмотрим на доступные сторонним наблюдателям факторы, то станет совершенно очевидным, что существует огромное сообщество писателей, которые явно пытаются создавать фанфики по Гарри Поттеру. Это сообщество гораздо больше и гораздо активнее — по любой объективной доступной стороннему наблюдателю метрике, — чем сообщество, работающее над вопросами, связанными с «соответствием», «дружественностью» или чем-то там ещё. Оказаться лучшим автором в гораздо большем сообществе — намного неправдоподобнее, чем внести значительный вклад в соответствие ИИ, которым почти никто не занимается.

Элиезер: Когда я оцениваю относительную сложность задач «внести ключевой вклад в соответствие ИИ» и «довести „Методы“ до уровня, описанного Незнакомцем в маске», относительный размер существующих сообществ, который вы упомянули, мне представляется не важным. Если бы я заранее не ознакомился с фанфиками по Гарри Поттеру, у которых самая лучшая репутация, мне стоило бы учесть число соревнующихся авторов. Однако если я вижу собственными глазами уровень соревнования, то информация о размере сообщества уже не играет для меня никакой роли.

Пат: Но ведь наверняка размер сообщества должен заставить вас хотя бы задуматься, стоит ли доверять вашей интуиции в том, что вы сможете написать что-то значительно лучшее, чем результат работы столь многих авторов.

Незнакомец: Видите это мета-рассуждение? С моей точки зрения, когда люди начинают размышляют о мире таким образом, оно портит всё.

Элиезер: Если вы увидите девушку, жонглирующую несколькими шариками, вы её будете спрашивать, не стоит ли ей внезапно задуматься, входит ли она в референтный класс людей, которые лишь думают, что они хорошо ловят шарики? Это всё просто… бессмысленная трата сил.

Незнакомец: Социальная тревожность и чрезмерная педантичность.

Элиезер: Продуктивно работающий мозг сосредоточен на других вещах.

Пат: Вы утверждали, что взгляд извне — это универсальный контраргумент против любого утверждения о том, что некто с низким статусом может сделать что-то важное. Я объясняю вам, почему метод, опирающийся на наблюдаемые метрики, которые может проверить сторонний наблюдатель, утверждает, что, возможно, вы сможете внести важный вклад в соответствие ИИ, которым больше никто не занимается, но вы не напишете фанфик по Гарри Поттеру с самым большим числом отзывов, потому что с вами соревнуются тысячи авторов.

(Наблюдающая за дискутирующими Женщина неожиданно подходит к ним и вмешивается.)

Женщина: Ну, нет. Я больше не могу сдерживаться.

Пат: Э? Кто вы?

Женщина: Я истинный голос скромности и взгляда извне!

Я услышала ваш разговор и хочу сказать: внести важный вклад в проблему соответствия ИИ никак не может быть проще, чем написать популярный фанфик.

Элиезер: …Это, конечно, верно, но кто?..

Женщина: Меня зовут Мод Стивенс21.

Пат: Ну что ж, Мод, приятно познакомиться. Я всегда рад послушать о своих ошибках, даже если о них говорят люди, которые случайно сталкиваются со мной в парке и при этом подозрительно много обо мне знают. Так в чём же я ошибаюсь?

Мод: Вы все уверены, будто если человек не говорит о «соответствии» или «дружественности», то его работа не имеет к этим проблемам никакого отношения. Но это просто слова. Если мы учтём специалистов по машинной этике, которые работают над дилеммами вагонетки в реальном мире, экономистов, занимающихся вызванной технологиями безработицей, учёных в области информатики, изучающих вопросы азимовских агентов 22, и им подобных, окажется, что людей, которые пытаются внести вклад в эти вопросы, гораздо-гораздо больше.

Пат: Что? Элиезер, это правда?

Элиезер: Насколько я знаю, нет, разве что Мод работает в АНБ и хочет рассказать о каких-то очень интересных засекреченных исследованиях. Примеры, которые она перечислила, не связаны с техническими вопросами, которые я называл «дружественностью». Прогресс в упомянутых Мод вопросах не поможет определить предпочтения, которые с достаточной для нас уверенностью приведут к хорошим результатам, даже если речь идёт о системах умнее нас, способных рассматривать гораздо большее пространство стратегий, чем мы можем представить. Также он не поможет спроектировать системы, остающиеся стабильными при самомодификации, чтобы хорошие свойства исходного ИИ сохранялись, когда он становится умнее.

Мод: И вы утверждаете, что никто другой в мире не заметил этих проблем?

Элиезер: Нет, этого я не утверждаю. Вопросы вроде «как нам задать правильные цели для искусственного интеллекта, сравнимого с человеческим?» и «что случится, когда ИИ станет настолько умён, что сможет автоматизировать исследования ИИ?» задаются уже давно. Однако они просто повисают в воздухе и незаметно, чтобы они смещали приоритеты в исследованиях. Нельзя сказать, что сообщество людей, которые вообще думают про суперинтеллект, — мало. Конечно же, есть много направлений работы над надёжностью, прозрачностью и безопасностью в каких-то конкретных системах ИИ, которые случайно могут облегчить работу над соответствием ИИ умнее человека. Однако сообщество людей, которые на ежедневной основе работают и принимают решения о том, какими техническими вопросами заняться, именно чтобы решать вопрос сверхинтеллектуального ИИ, — очень мало.

Мод: Я на это скажу, что вы просто забегаете вперёд и пытаетесь решать задачу с конца, хотя область пока просто не готова сосредоточить усилия на этом. Возможно, идущая сейчас работа не направлена на вопросы сверхинтеллекта напрямую, но нам стоит ожидать, что существенного прогресса в соответствии ИИ достигнут последователи тех, кто сейчас работает над вопросами вроде применения дронов в боевых целях или вызванной ими безработицы.

Пат (осторожно): Я хочу сказать, что если Элиезер говорит правду — а я считаю его честным человеком, пусть он по моим стандартам часто и бывает слегка безумен, — то в 2010 году в этой области почти никого нет. Не так уж много людей работают над вопросами, связанными с ИИ умнее человека, и лишь группа Элиезера и Институт будущего человечества в Оксфорде всерьёз утверждают, что занимаются вопросами соответствия ИИ. Если Элиезер утверждает, что задача, как создать ИИ умнее человека, чтобы он нас всех не убил, не относится к полю деятельности нынешних специалистов по машинной этике, то я посчитаю это достаточно правдоподобным, хотя, конечно, мне хотелось бы узнать и другие точки зрения перед тем, как сделать окончательный вывод.

Мод: Но область, в которой соревнуется Элиезер, не ограничивается людьми, пишущими статьи по этике. Любой, занимающийся машинным обучением, да и вообще любой областью информатики может внести свой вклад в проблему соответствия ИИ.

Элиезер: Гм, я бы с радостью об этом услышал. Однако победа в данном случае это «задача решена»…

Пат: Подождите, Мод. Мне кажется, вы выходите за рамки того, что может объективно проверить сторонний наблюдатель. Это всё равно что сказать, мол, Элиезер должен соревноваться со Стивеном Кингом, потому что в принципе Стивену Кингу может взбрести в голову написать фанфик по Гарри Поттеру. Если все эти прочие люди, занимающиеся ИИ, не работают над конкретными задачами, над которыми работает Элиезер, в то время как множество авторов из фэндома по Гарри Поттеру напрямую соревнуются с Элиезером в написании фанфиков, то любой разумный сторонний наблюдатель должен согласиться, что контраргумент «взгляд извне» очень существенен во втором случае, а в первом случае он довольно слаб (если вообще верен).

Мод: Выходит, написать фанфик сложнее, чем спасти мир? Вы серьёзно? Такого не может быть.

Элиезер: Пат, я не согласен с аргументами Мод, но у неё преимущество: она рационализирует верный вывод. Соответствие ИИ — сложнее.

Пат: Я не ожидаю, что вы решите весь вопрос целиком. Но внести значительный вклад в довольно специализированной области знания, которой занимаются очень мало людей, должно быть проще, чем оказаться самым успешным человеком в области, в которой работают множество других.

Мод: Бред какой-то. Нельзя даже сравнивать писателей фанфиков с экспертами по машинному обучению и профессорами ведущих университетов, которые способны внести гораздо более впечатляющий вклад в исследования сильного ИИ.

Элиезер: Гм. Прорыв в исследованиях сильного ИИ может быть впечатляющим, но без соответствия ИИ…

Пат: А вы сами пробовали писать фанфики? Попробуйте. Вы поймёте, что это намного сложнее, чем вам кажется. Если вы хороши в математике, это ещё не означает, что вы можете вот так взять и…

(Незнакомец в маске поднимает руку и щёлкает пальцами. Время останавливается. Затем Незнакомец в маске выжидающе смотрит на Элиезера-2010.)

Элиезер: Гм. Незнакомец в маске… Вы представляете, что тут происходит?

Незнакомец: Да.

Элиезер: Благодарю за лаконичный и содержательный ответ. Не будете ли вы любезны объяснить, что тут происходит?

Незнакомец: Пат прекрасно знаком с иерархией статусов в сложившемся сообществе фэндома по Гарри Поттеру, в котором есть свои ритуалы, призы, политика и так далее. Однако Пату в силу литературной гипотезы не хватает интуиции на тему, насколько дерзко пытаться внести вклад в соответствие ИИ. Если мы Пата расспросим, скорее всего выяснится, что он полагает, что соответствие ИИ — это круто, но не астрономически важно, или что существует множество других экзистенциальных рисков такого же уровня. Если бы Пат, как вы, верил, что долгосрочные последствия для цивилизации в значительной степени зависят от решения проблемы соответствия, скорее всего, он инстинктивно считал бы эту задачу более престижной. Всё, что он знает о задаче на объектном уровне и о том, сколько людей ей занимаются, осталось бы неизменным, но ощущаемый статус задачи возрос бы.

Мод, в свою очередь, наоборот незнакома с политическими деталями и динамикой статусов среди поклонников Гарри Поттера, но очень чувствительно относится к важности задачи соответствия. Поэтому для Мод интуитивно очевидно, что для внесения вклада в работу над соответствием ИИ требуется гораздо более впечатляющая лицензия героя, чем для написания лучшего в мире фанфика по Гарри Поттеру. Пат этого не понимает.

Элиезер: Но ведь идеи в области соответствия ИИ нужно формализовать, и полученный формализм должен удовлетворять одновременно множеству разных требований, причём довольно точно. Это очень абстрактная задача с огромным количеством ограничений, потому что нужно вписать неформальную задачу в правильную формальную структуру. Да, при написании художественной литературы мне нужно жонглировать такими штуками как сюжет, персонажи, напряжение, юмор, но всё это остаётся когнитивной задачей с гораздо меньшим числом ограничений…

Незнакомец: Эти соображения вряд ли приходили в голову Пату или Мод.

Элиезер: Важно ли то, что я планирую тратить на исследования гораздо больше усилий, чем на написание художественных книг? Если «Методы» не получатся сразу, я быстро сдамся.

Незнакомец: Извините. Позволено вам делать что-нибудь высокостатусное или нет, не может зависеть от того, сколько, по вашим словам, вы на это планируете потратить сил. Ведь «каждый может так сказать». Без этого нельзя было бы осаживать претендентов. Что совершенно ужасно.

Элиезер: … … Есть ли какой-нибудь организующий принцип, делающий всё это осмысленным?

Незнакомец: Полагаю, самые важные понятия, которых вам не хватает: неадекватность цивилизации и поддержание статуса в иерархии.

Элиезер: Просветите меня.

Незнакомец: Вы понимаете, как Пат пришёл к оценкам, что должно быть тысяча фанфиков по Гарри Поттеру, сравнимых с «Методами»? И понимаете, почему я прослезился, вообразив такой мир? Представьте, что Мод совершает ту же самую ошибку. Представьте мир, в котором всякий необразованный невежа вроде вас не в состоянии достоверно оценить шансы на то, чтобы внести серьёзный вклад в соответствие ИИ, не говоря уже о том, чтобы чего-то достичь, потому что люди пытаются заниматься серьёзной технической работой с 1960-х. В этом мире люди довольно много думали над этой задачей, вкладывали всю свою смекалку, считали результат довольно важным и потому старались убедиться, что они работают над правильной задачей и используют надёжные технологии. Функциональная теория принятия решений изобретена в 1971 году, через два года после публикации Роберта Нозика «Задача Ньюкома и два принципа выбора». Все полагают, что у человеческих ценностей высокая колмогоровская сложность. Все понимают почему, если вы программируете максимизатор ожидаемой полезности с функцией полезности U, а на самом деле вы под ней подразумевали V, то у U-максимизатора появятся инструментальные стимулы убедить вас в том, что он V-максимизатор. Никто не предполагает, что можно «просто выдернуть вилку из розетки» у чего-то гораздо умнее его. И все прочие мировые крупномасштабные активности и институты изменились соответственным образом.

Мы можем назвать такой мир «адекватным миром» и противопоставить его ныне существующему. У «адекватного мира» есть свойство, которое можно назвать «неиспользуемость» — или, по крайней мере, «неиспользуемость Элиезером». Можно провести аналогию. Вы не можете предсказать изменение стоимости акций Майкрософт на 5% в ближайшие шесть месяцев. Возьмём это свойство акций из S&P 500 и отмасштабируем на всю планету: вы не можете превзойти экспертов, вы не можете найти познаваемую ошибку. В «адекватном мире» эксперты всё равно совершают ошибки, они не идеальны. Но на групповом уровне они умнее и точнее, чем Элиезер Юдковский, поэтому вы не в состоянии понять, что является эпистемической или моральной ошибкой, точно так же, как вы не в состоянии понять, отклонилась ли цена на акции Майкрософт от рыночной вверх или вниз.

Элиезер: Ладно… Я могу понять, почему рассуждения Мод были бы разумны в «адекватном мире». Но как она согласовывает аргументы, приводящие к её выводам, с миром, в котором мы живём и который значительно отличается от «адекватного»? Не похоже, что Мод в состоянии сказать: «Смотри, очевидно, проблема уже решается», потому что проблема, очевидно, не решается.

Незнакомец: Предположим, вы инстинктивно регулируете претензии на статус, стараясь добиться того, чтобы никто не получил статус выше, чем заслуживает.

Элиезер: Ладно…

Незнакомец: Это поощряет поведение, которые вы назвали «лицензия героя». Ваша текущая модель считает, что люди прочли слишком много книг, где протагонист родился под знаком сверхновой, у него есть легендарный меч, и они не понимают, что реальность устроена не так. Или, например, люди связывают достижения Эйнштейна с его нынешним престижем, не осознавая, что до 1905 года Эйнштейну никто не предсказывал величайшую судьбу.

Элиезер: Верно.

Незнакомец: Неверно. Ваша модель статуса героя заключается в том, что за героическую службу племени должна быть награда. Вы считаете, что, хотя, конечно же, нельзя разрешать людям претендовать на статус героя, если они пока ещё не послужили племени, но ни у кого не должно быть интуитивных возражений против того, что кто-то попробует племени послужить. Да, при условии, что желающий тщательно подчеркнёт, что пока он ещё ничего не добился и не считает, что ему уже положен высокий статус.

Элиезер: …и это неверно?

Незнакомец: Для «нечутких к статусу» людей, вроде вас, эта модель прекрасно работает. Но обычно эмоции в отношении статуса работают не так. Если коротко, для того, чтобы претендовать на какой-то высокий статус, вы уже должны получить какой-то статус. И у большинства людей это довольно базовое ощущение, нельзя сказать, что кто-то этому учит.

Элиезер: Но до 1905 года Эйнштейн работал в патентном бюро. У него даже не было учёной степени. В смысле, Эйнштейн был нетипичным работником патентного бюро, и, без сомнения, он это понимал, но сторонний наблюдатель, посмотрев на его резюме…

Незнакомец: Мы сейчас говорим не об эпистемических предсказаниях. Это просто факт о том, как работают человеческие эмоции, когда дело касается статусов. В глазах Пата наличие определённой вероятности написать самый популярный фанфик по Гарри Поттеру идёт вместе с определённым статусом. В глаза Мод наличие определённой вероятности внести важный вклад в проблему соответствия ИИ идёт вместе с определённым статусом. Поскольку ваш текущий статус в соответствующей иерархии они оценивают гораздо ниже, вы не имеете права заявлять о соответствующих оценках вероятностей или вести себя так, как будто считаете, что они верны. Вам нельзя просто попробовать и посмотреть, что получится, потому что это подразумевает, что какая-то вероятность успеха у вас есть. Сама претензия на то, что вы можете взять и попробовать, — уже претензия на статус и потому вас нужно осадить. Если этого не сделать, любой сможет претендовать на слишком высокий статус, и это будет ужасно.

Элиезер: Хорошо. Но как отсюда происходит переход к заблуждениям об адекватности цивилизации?

Незнакомец: Благодаря обратной цепи рационализаций, возможно, с примесью веры в справедливый мир и искажения «статус-кво». Если сказать экономисту, что можно каждый год удваивать свои вложения, продавая и покупая акции Майкрософт, пользуясь каким-то простым алгоритмом, он очень удивится. После этого экономист начнёт прикидывать, почему этот самый алгоритм не сработает, какой в нём есть незаметный риск — ему захочется сохранить идею о неиспользуемости рынка ценных бумаг, и это вполне естественно.

Пат пытается сохранить идею о том, что «рынок фанфиков» «неиспользуем Элиезером» — поскольку интуитивно ему кажется, что у вас слишком низкий статус, чтобы добиться успеха на этом рынке. Это приводит его к мысли, что существует ещё тысяча людей, которые пишут фанфики по Гарри Поттеру не хуже, чем вы. В результате Пат воображает мир, который адекватен в соответствующем отношении. В этом мире усилия авторов дёшево конвертируются в популярные истории, поэтому простой смертный не способен предсказать, что он напишет более популярную историю. А адекватность мира в прочих отношениях гарантирует, что любой посторонний, который на самом деле способен переиграть этот рынок — например, Нил Гейман, — уже богат, почитаем и так далее.

И это распространённое явление. Если некто верит, что у вас недостаточно высокий статус, чтобы делать предсказания лучше, чем Европейский Центральный Банк, он будет считать, что Европейский Центральный Банк справляется со своей работой довольно хорошо. Экономист не скажет, что Европейский Центральный Банк обязательно хорошо справится со своей работой: он порекомендует обратить внимание на стимулы, на то, что лица, принимающие решения, не получат гигантские бонусы за то, что экономика Европы улучшится. Однако невозможно, чтобы Элиезер был умнее Европейского Центрального Банка, ведь в этом случае нарушится иерархия статусов. Чтобы мировую иерархию статусов нельзя было оспорить, она должна быть правильной и мудрой, чтобы она была правильной и мудрой, она должна быть неиспользуемой. Интуитивное понимание неадекватности цивилизации очень сильно помогает рассеивать миражи вроде лицензии героя или эпистемологии скромности. Ведь когда эпистемология скромности своей цепью рационализаций объясняет, почему некто не в состоянии совершить что-то значимое, она приводит к необходимости заявить об адекватности цивилизации.

Элиезер: Но цивилизация в некоторых областях может быть неиспользуемой, даже если она не является адекватной. А вы, кажется, утверждаете, что Пат и Мод в основном заботит неиспользуемость.

Незнакомец: Можно воображать мир, где ни у кого нет стимулов заниматься проблемой соответствия ИИ и потому ей почти никто не занимается, более того, люди, которые знают о проблеме и хотели бы её решать, всё равно не занимаются ей, потому что конкуренция приводит к тому, что они лишаются каких-то ценных ресурсов. Можно воображать мир, который неиспользуем для вас, но используем для многих других. Однако заявление об адекватности цивилизации подтверждает текущую иерархию статусов гораздо сильнее и гораздо надёжнее. Идея адекватного мира более точно соответствует интуитивному представлению, что самые уважаемые и самые авторитетные люди мира заслуженно занимают своё место: они слишком хорошо организованы, слишком хорошо информированы, действуют в самых лучших намерениях и потому человек с улицы не в состоянии распознать творение Молоха вне зависимости от того, способен он с ним что-то сделать или нет. Кроме того, чтобы разговаривать о неиспользуемой неадекватности, нужно лучше знать микроэкономику, о том, как люди пытаются использовать рынки и какие проблемы они при этом пытаются решать. Заявить об адекватности цивилизации гораздо легче.

Неадекватности цивилизации — это основная причина, почему мир в целом нельзя назвать неиспользуемым в той же мере, как краткосрочный рынок ценных бумаг. А эпистемология скромности, грубо говоря, утверждает, что вы не можете прогнозировать неиспользуемость мира, потому что не можете быть уверены, что ориентируетесь в чём бы то ни было лучше экспертов.

Элиезер: Это… я, кажется, понял… Но я всё ещё не понимаю, как на самом деле думает Мод.

Незнакомец: Что ж, смотрите.

(Незнакомец в маске поднимает руку и снова щёлкает пальцами. Время запускается снова.)

Пат: …стать лучшим в литературе, потому что какие-то там фанфикописатели тупые.

Мод: Мой дорогой друг, пожалуйста, задумайтесь о ваших собственных словах. Если проблема соответствия ИИ действительно настолько важна, как уверяет Элиезер, оказался ли бы он одним из немногих людей, которые над ней работают?

Пат: Ну, всё выглядит так, будто так и есть.

Мод: Значит, проблема не может быть такой важной, как он уверяет. Иначе бы получилось, что какой-то странный одиночка обнаружил важную проблему, над которой работает лишь он и ещё парочка человек. А это означало бы, что все остальные, занимающиеся этой областью, идиоты. Кто такой Элиезер, чтобы игнорировать академический консенсус о том, что проблема соответствия ИИ не слишком интересна, чтобы над ней работать?

Пат: Я вполне могу представить некоторые препятствия, с которым, возможно, сталкивается типичный учёный, который хочет работать над соответствием ИИ. Например, быть может, на такую работу сложно получить грант.

Мод: Если на неё тяжело получить грант, значит, люди, распределяющие гранты, справедливо рассудили, что эта проблема не является приоритетной.

Пат: Вы хотите сказать, что в финансировании науки уже всё настолько хорошо, что все стоящие направления исследований уже кем-то разрабатываются?

Незнакомец: Кто конкретно из людей, распределяющих гранты, будет получать меньше в мире, где соответствие ИИ — важная проблема, но на неё не выделяются гранты? Если никто не лишается своих премий или ещё чего-нибудь ценного, то вот вам и ответ. Никакой загадки здесь нет.

Мод: Все свидетельства прекрасно согласуются с гипотезой, что гранты не выделяются, потому что грантодатели приняли продуманное и информированное решение: соответствие ИИ — не проблема вовсе.

Элиезер: Пат, спасибо вам за защиту, но, думаю, я здесь объясню лучше. Как я уже упоминал, вопросы вроде взрыва интеллекта и мысль о том, что при построении системы целеполагания ИИ это надо как-то учесть, придумал не я. Это довольно широко известные идеи, и люди любого уровня важности зачастую охотно соглашаются обсудить их с глазу на глаз. Хотя, конечно, есть разногласия относительно величины риска и относительно того, какие именно усилия будут более всего полезны, чтобы его снизить. Вы можете найти обсуждение этого вопроса в популярнейшем вузовском учебнике по ИИ: «Искусственный интеллект: современный подход»23. Поэтому нельзя утверждать, что среди исследователей есть консенсус о том, что эта проблема не важна.

Мод: Значит, грантодатели скорее всего тщательно оценили эту проблему и решили, что процветание человечества в долгосрочной перспективе лучше всего обеспечить путём прогресса в области ИИ каким-то ещё способом, а над соответствием работать, лишь когда мы достигнем некоего порога возможностей. По всей вероятности фонды ждут именно этого, чтобы запустить широкомасштабное исследование в области соответствия ИИ.

Элиезер: И как именно грантодатели могли прийти к подобному решению, не изучив задачу каким-нибудь заметным образом? Если всё сообщество, выделяющее гранты, способно прийти к консенсусу такого уровня, то где статьи и анализы, которыми они воспользовались, чтобы прийти к своему решению? Каковы аргументы сторон? Ваши слова звучат так, будто вы говорите о тайном заговоре компетентных грантодателей из сотни различных организаций, которые каким-то образом получили доступ к литературе о стратегических и технических исследованиях — или даже провели их сами, — о которых не слышал ни Ник Бостром, ни я. Благодаря этим исследованиям эти грантодатели установили, что задачи, которые решаются сейчас, которые кажутся важными и поддающимися исследованию, вряд ли к чему-то приведут, однако в будущем всё будет развиваться в каком-то конкретном известном направлении с известной скоростью, что подготовит почву для позднейшего скоординированного вмешательства.

Вы утверждаете, что хотя все исследователи привычно на кофе-брейках обсуждают самоулучшающийся ИИ и законы Азимова, существуют какие-то тайные веские причины того, почему изучать эту задачу — плохая идея? И все грантодатели пришли вместе к этой мысли, не оставив никакого следа о том, как именно они приняли это решение? Я просто… В том, как устроено распределение грантов и в функционировании научного сообщества существует столько прекрасно известных и абсолютно естественных ошибок, что соответствие ИИ вполне может оставаться критично важной проблемой, которую тем не менее учёные вовсе не рвутся решать. Однако вы постулируете огромный мировой заговор из никому не известных компетентных людей, которые руководствуются тайными анализами и обсуждениями. Как вы вообще до этого дошли?

Мод: Потому что иначе…

(Незнакомец снова щёлкает пальцами.)

Незнакомец: Ну что же, Элиезер-2010, ответьте на свой вопрос. Как Мод до этого дошла?

Элиезер: С точки зрения Мод… Чтобы всякие не слишком значимые или неавторитетные личности не решали важные задачи, не должно быть низко висящих плодов, про которые можно понять, что это низко висящий плод. Если существуют важные задачи, не затронутые системой грантов и прочих вознаграждений в научной среде, то кто-нибудь вроде меня может понять, что над ними стоит работать. Если есть какие-то проблемы, связанные с грантодателями или стимулами в научной среде, и кто-нибудь вроде меня может опознать эти проблемы, то становится вероятно, что кто-то не важный вроде меня узнает, что есть важная задача, над которой никто не работает. Декларируемое Мод состояние научной системы да и всего мира в целом — это цепочка рассуждений, вызванная необходимостью не допустить существование низко висящих плодов.

Сперва Мод пыталась утверждать, что задача о соответствии ИИ уже активно исследуется, как это и было бы в адекватном мире, который вы описали. Когда эту позицию стало сложно защищать, она переключилась на утверждение, что авторитетные аналитики изучили задачу и дружно решили, что она не важна. Когда и эту позицию стало сложно защищать, она переключилась на утверждение, что авторитетные аналитики изучили задачу и дружно изобрели какую-то лучшую стратегию, которая включает временную приостановку работ над этой задачей.

Незнакомец: И у этих очень разных гипотез есть общее свойство: они утверждают, что в особо ценных исследованиях существует что-то похожее на эффективный рынок: люди и коллективы с достаточно высоким статусом в научной системе не могут ошибиться так, чтобы это стало заметно.

Возможно, дальше бы Мод предположила, что лучшие исследователи уже определили, что это лёгкая задача. Или что есть тайный консенсус, что сильный ИИ не появится ещё несколько веков. По моему опыту воображение у людей вроде Мод иногда не знает границ. Всегда найдётся какой-то ещё вариант.

Элиезер: Но почему люди всё это придумывают? Никакой экономист не сказал бы, что тут можно обнаружить эффективный рынок.

Незнакомец: Мод скажет, конечно, система не идеальна. Однако продолжит, что мы тоже не идеальны. Все, кто распределяют гранты и научные должности, ничуть не хуже нас и делают всё, что в их силах, чтобы исправить те искажения в системе, которые в состоянии заметить.

Элиезер: Но ведь это явно противоречит и наблюдениям, и экономической теории стимулов.

Незнакомец: Да. Однако это принимается за истину. Ведь если эксперты могут ошибаться, значит мы тоже можем ошибаться, верно? Может быть, это у нас систематически неправильные стимулы и лишь краткосрочные вознаграждения.

Элиезер: Но ведь находиться внутри системы с плохо спроектированными стимулами, это не то же самое, что быть неспособным определить истину в… о, я понял.

Это было очень познавательно, Незнакомец в маске. Спасибо.

Незнакомец: Спасибо за что, Элиезер? Указать человеку на проблему — не слишком большая услуга, если он ничего не может с ней сделать. Вы не получите никакого преимущества по сравнению с основной временной линией.

Элиезер: Всё равно лучше хоть немного понимать, что именно происходит.

Незнакомец: Это тоже ловушка, и мы оба это понимаем. Если вам нужна сложная теория, чтобы подтвердить, что вы видите очевидное, то со временем эта теория будет лишь усложняться и отвлекать вас. Вам придётся всё старательней перепроверять себя. Гораздо лучше просто принимать вещи такими, какие они есть, и не придумывать для этого огромных аргументов. Если вам нужно проигнорировать чей-то совет, лучше не сочинять много сложных обоснований, почему вы имеете на это право: так вам будет легче впоследствии передумать и всё же принять этот совет, если случится так, что вам он станет нравиться больше.

Элиезер: Верно. Тогда зачем вы мне всё это рассказываете?

Незнакомец: А всё это время я обращался не к вам. Последний мой урок заключается в том, что я никогда не рассказываю такие штуки себе.

(Незнакомец трижды поворачивается вокруг своей оси. Его никогда тут не было.)

  • 1. В оригинале «AI alignment». — Прим.перев.
  • 2. В оригинале «Inadequate Equilibria», на русский язык не переводилась. — Прим.перев.
  • 3. Хотя автор пишет, что этот диалог лишь дополняет «Неадекватное равновесие», мне он показался достаточно самостоятельным произведением. Не обязательно читать «Неадекватное равновесие», чтобы понять, о чём здесь идёт речь. — Прим.перев.
  • 4. Фамилия героя говорящая, и образована от слова «modest» — скромный. — Прим.перев.
  • 5. Название совместного блога Юдковского и Робина Хансона, где Юдковский начал писать свои «Цепочки». Буквально переводится как «Преодолевая искажения». Из этого блога родился коллективный блог lesswrong.com. Overcoming bias до сих пор является блогом Робина Хансона. — Прим.перев.
  • 6. Одна из основательниц CFAR. С 2016 года — президент CFAR. — Прим.перев.
  • 7. Исполнительный директор MIRI в 2011-2015 годах, в настоящее время работает в Open Philanthropy Project. — Прим. перев.
  • 8. «Цепочки» — серию эссе в блоге lesswrong.com, которая потом превратилась в книгу «Рациональность: от ИИ до Зомби» — Юдковский писал как раз в 2007 - 2009 годах. — Прим. перев.
  • 9. В оригинале S. I. Hayakawa, «Language in Thought and Action». Первоначально публиковалась под названием «Language in Action» и переводилась на русский под названием «Язык в действии». — Прим.перев.
  • 10. Юдковский здесь несколько преувеличивает. Основная работа Коржибски — «Наука и здравомыслие»(в оригинале «Science and Sanity») написана в 1933 году. Даниел Канеман родился в 1934 году. — Прим. перев.
  • 11. В оригинале Nonjon — Прим.перев.
  • 12. В оригинале «A Black Comedy» — Прим. перев.
  • 13. В оригинале Sarah1281 — Прим.перев.
  • 14. В оригинале JBern — Прим.перев.
  • 15. Известный рационалист, ведёт сайт gwern.net. — Прим.перев.
  • 16. Ord, Hillerbrand and Sandberg, «Probing the Improbable». — Прим.перев.
  • 17. Van Boven and Epley, «The Unpacking Effect in Evaluative Judgments». — Прим.перев.
  • 18. В российском сообществе чаще используется название «премортемы». — Прим.перев.
  • 19. Судя по всему, у Юдковского здесь опечатка, и на самом деле, нужно взять вероятность близкую к нулю. — Прим.перев.
  • 20. Англ. «method of imaginary updates». — Прим.перев.
  • 21. В оригинале: «Maude Stevens». В этом имени тоже читается слово «modesty» — «скромность». — Прим. перев.
  • 22. Англ. «Asimovian agents». — Прим.перев.
  • 23. В оригинале «Artificial Intelligence: A Modern Approach». — Прим.перев.

Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 4.8 (12 votes)
  • Короткая ссылка сюда: lesswrong.ru/625