# Ложные убеждения

Eliezer Yudkowsky

Ложные убеждения


В цепочке «Ложные убеждения» показана дискуссия об ожиданиях, которые расходятся с декларированными убеждениями.

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: Элиезер ЮдковскийFake Beliefs

## Ложные убеждения


В цепочке «Ложные убеждения» показана дискуссия об ожиданиях, которые расходятся с декларированными убеждениями.

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: Элиезер ЮдковскийFake Beliefs


## Убеждения должны окупаться

Элиезер Юдковский Обсуждение

Начало одной древней притчи звучит так:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук? Кто-то говорит «да, оно порождает колебания воздуха». Другой говорит «нет, никакой мозг не производит обработку слуховой информации».

Представим, что после того, как дерево упало, эти двое вместе входят в лес. Будет ли первый ожидать увидеть дерево, упавшее влево, а второй — дерево, упавшее вправо? Представим, что перед падением дерева двое оставили рядом с ним включённый диктофон; а после — воспроизводят его запись. Будет ли кто-либо из них ждать не тех звуков, что другой? Представим, что они присоединили электроэнцефалограф к каждому мозгу на планете — планирует ли кто-нибудь увидеть график, который не рассчитывал увидеть второй? Несмотря на то, что эти люди спорят, один говорит «нет», а другой «да», ожидаемые ими переживания не отличаются. Спорщики считают, что у них разные модели мира, но в этих моделях нет никаких различий по отношению к тому, какие будущие наблюдения им предстоят.

Соблазнительно попытаться уничтожить этот класс ошибок с помощью запрета всех убеждений, не являющихся ожиданиями какого-либо чувственного опыта. Но в мире есть многое, что не ощущается напрямую. Мы не видим атомов, из которых состоит кирпич, но эти атомы действительно существуют. Под твоими ногами пол, но ты не ощущаешь его напрямую, ты видишь отражённый от него свет (или, точнее, ты видишь результат обработки этого света сетчаткой и зрительной корой). Сделать вывод о существовании пола на основе его зрительного наблюдения — значит подумать о незримых причинах, стоящих за ощущениями. Этот шаг выглядит очень незначительным и очевидным, но это всё же шаг.

Ты стоишь на вершине небоскрёба, рядом с тикающими старинными часами, имеющими часовую, минутную и секундную стрелки. В твоей руке шар для боулинга, и ты сбрасываешь его с крыши. На какой по счёту щелчок стрелок ты ожидаешь услышать грохот шара, упавшего на землю?

Чтобы точно ответить на этот вопрос, тебе нужно использовать убеждения вроде «гравитация Земли равна 9,8 м/с^2» и «высота этого здания равна 120 метрам». Эти убеждения нельзя назвать бессловесными ожиданиями чувственного опыта; они довольно словесные, пропозициональные. Можно, не сильно погрешив против истины, описать эти убеждения как предложения, составленные из слов. Но эти убеждения имеют выводимое последствие, которое является прямым чувственным ожиданием — если секундная стрелка часов стоит на числе 12, когда ты бросил шар, то ты ожидаешь увидеть её на числе 1, когда ты услышишь грохот пять секунд спустя. Для того, чтобы ожидать чувственный опыт настолько точно, насколько это возможно, необходимо обрабатывать убеждения, не являющиеся ожиданиями чувственного опыта.

Великая сила Homo Sapiens состоит в том, что мы, лучше чем любой другой вид на планете, можем научиться моделировать невидимое. И в этом же состоит одна из наших величайших слабостей. У людей нередко встречаются убеждения о вещах, которые не просто незримы, но и нереальны.

Тот же самый мозг, что может логически вывести и построить сеть причин, лежащую за чувственным опытом, может построить и сеть причин, не соединённую ни с каким чувственным опытом (или очень плохо соединённую). Алхимики были убеждены в том, что флогистон вызывает огонь — очень упрощённо, это можно представить, как узел с надписью «флогистон», от которого тянется стрелка к чувственному опыту тёплого костра — но это убеждение не производило предсказаний на будущее; связь между флогистоном и наблюдениями всегда корректировалась после наблюдений, вместо того, чтобы как-нибудь ограничить наблюдения заранее. Или, скажем, учитель литературы говорит тебе, что знаменитый писатель Валки Вилкинсен — «пост-утопист». Что изменилось в твоих ожиданиях по поводу его книг в свете этой новой информации? Ничего. Это убеждение — если вообще можно называть это убеждением — вообще никак не связано с чувственным опытом. Но, тем не менее, тебе лучше запомнить о связи между Валки Вилкинсеном и атрибутом «пост-утопист»: тогда ты сможешь извергнуть это обратно на будущем экзамене. Если тебе сообщат, что «пост-утописты» показывают «охлаждение колониальных чувств», то ситуация совершенно аналогична: если автор письменного теста спросит, показывал ли Вилкинсен охлаждение колониальных чувств, то стоит ответить утвердительно. Убеждения связаны друг с другом, хоть и не связаны ни с каким ожидаемым опытом.

Люди могут построить целые сети убеждений, соединённые только друг с другом — будем называть это явление «плавающими» убеждениями. Это уникальный человеческий изъян, не имеющий аналогов у остальных животных, извращение способности Homo Sapiens строить абстрактные и гибкие сети убеждений.

Одна из добродетелей рационализма — эмпиризм — состоит в привычке постоянно задаваться вопросом о том, какой опыт предсказывается этим убеждением — или, ещё лучше, какой запрещается. Ты убеждён, что флогистон — причина огня? Тогда что ты ожидаешь увидеть, исходя из этого? Ты считаешь Валки Вилкинсена пост-утопистом? Тогда что ты рассчитываешь встретить в его книгах? Нет, не «охлаждение колониальных чувств»; какое переживание случится с тобой? Веришь ли ты в то, что если дерево падает в лесу, и нет никого рядом, чтобы это услышать, то оно всё равно создаёт звук? Тогда какой опыт должен выпасть на твою долю?

Ещё лучше спросить о том, какой опыт тогда с тобой точно не случится. Ты веришь в то, что жизненная сила объясняет загадочную разницу между живым и неживым? Тогда какие происшествия это убеждение запрещает, какое событие совершенно точно опровергнет это убеждение? Ответ «никакое» говорит о том, что это убеждение не ограничивает возможные переживания. Оно позволяет случиться с тобой чему угодно. Оно плавает.

Споря по поводу вопроса, вроде бы связанного с фактами, всегда держи в уме различие ожиданий будущего, из-за которого происходит спор. Если найти это различие не удаётся, то, скорее всего, вы спорите о названиях ярлыков в сети убеждений — или, ещё хуже, о плавающих убеждениях: ракушках-прилипалах на сети убеждений. Если ты не представляешь, какой опыт следует из того, что Валки Вилкинсен принадлежит к пост-утопистам, то ты можешь спорить бесконечно (а ещё ты можешь опубликовать бесконечное количество статей в литературных журналах).

И самое главное: не спрашивай, во что верить, — спрашивай, чего ожидать. Каждый вопрос об убеждениях должен порождаться вопросом о предсказаниях, и именно этот вопрос о предсказаниях должен быть в центре внимания. Каждое смутное убеждение должно рождаться как смутное ожидание, а затем оплачивать жилплощадь прогнозами будущего. Если убеждение становится злостным неплательщиком — высели его.

Перевод: BTСсылка на оригинал: Making Beliefs Pay Rent (in Anticipated Experiences)Номер в книге "Рациональность: от ИИ до зомби": 11Аудио:


### Убеждения должны окупаться


## Сказ о науке и политике

Элиезер Юдковский

Во времена Византийской империи светская жизнь оказалась разделена на два лагеря: Синий и Зелёный. Синие и Зелёные убивали друг друга на дуэлях, в драках «стенка на стенку», в засадах и погромах. Прокопий Кесарийский говорил о них: «Вражда к противникам возникает у них без причины и остаётся навеки; не уважаются ни родство, ни свойство, ни узы дружбы. Даже родные братья, приставшие один к одному из этих цветов, другой к другому, бывают в раздоре между собою». Эдвард Гиббон писал: «Поддержка одной из группировок стала необходимой для любого кандидата, будь он светским или духовным лицом».

Кто же были эти Синие и Зелёные? Всего лишь спортивные болельщики — сторонники синей и зелёной команд в гонках на колесницах.

А теперь представьте общество будущего, которому пришлось сбежать в сеть подземных туннелей и пещер и закрыть все входы. Мы не будем уточнять, бежали ли они от болезни, войны или от радиации. Первым подземным жителям удалось наладить производство еды, возобновление воздуха, найти воду, организовать освещение и выжить. Их потомки благоденствовали и даже стали строить города. О верхнем мире остались лишь легенды, написанные на клочках бумаги, и один из таких клочков описывал небо, бескрайний простор воздуха над полом без стен. Небо было лазурного цвета, и в нем летали странные объекты, напоминающие пучки белого хлопка. Значение слова «лазурный» вызывало противоречия, некоторые говорили, что оно обозначает синий цвет, а другие — зелёный.

В ранние дни подземного сообщества соперничество Синих и Зелёных доходило до открытого насилия, но теперь царит перемирие — мир, рождённый отвращением к бессмысленной вражде. Культурные обычаи изменились, существует многочисленный и преуспевающий средний класс, воспитанный в духе правового государства и непривычный к насилию. В школах преподаётся история: как долго длилась вражда между Синими и Зелёными, как много людей погибло, как мало в итоге изменилось. Граждане подготовлены к странной новой философии, гласящей, что люди — это люди, не важно, за Синих они или за Зелёных.

Сам конфликт не исчез. Общество всё ещё разделено на Синие и Зелёные области, в любом актуальном культурном или политическом вопросе выделяется «Синяя» и «Зелёная» позиции. Синие ратуют за налоги на личные доходы, Зелёные поддерживают налоги на продажи торговцев. Синие придерживаются более строгих законов о браке, в то время как Зелёные хотели бы упростить бракоразводный процесс. Синие пользуются поддержкой центральных городских районов, а периферийные фермеры и продавцы воды обычно оказываются в лагере Зелёных. Синие верят, что Земля — это огромная шарообразная скала в центре вселенной, а Зелёные считают, что Земля — это огромная плоская скала, вращающаяся вокруг другого объекта, называемого Солнцем. Отнюдь не каждый Синий или Зелёный гражданин принимает «Синюю» или «Зелёную» позицию по любому вопросу, но довольно тяжело найти городского торговца, который считает, что небо было синим, и в то же время голосует за налоги на личные доходы и более свободные законы о браке.

Подземелье всё ещё поляризовано. Царит хрупкий мир. Есть некоторое число людей, искренне считающих, что Синие и Зелёные должны быть друзьями. Обычное дело, когда Зелёный покровительствует Синему магазину или Синий любит посещать Зелёную таверну. Из перемирия, изначально рождённого усталостью, медленно растёт дух терпимости и даже дружбы.

Однажды в Подземелье произошло небольшое землетрясение. Группа из шести туристов почувствовала содрогание земли, находясь на прогулке среди руин древнего поселения, где-то в верхних пещерах. Один из туристов упал и поранил колено, и группа решила повернуть назад, опасаясь новых землетрясений. На обратном пути один из них заметил странное дуновение воздуха, какой-то запах, исходящий из давно заброшенного туннеля. Не обращая внимания на предостережения спутников, этот человек одолжил лампу и направился к туннелю. Каменный коридор шёл выше… и выше… и наконец закончился дырой, выходящей из этого мира. Каменные стены закончились. Пространство, бесконечное пространство простиралось в никуда, здесь хватило бы места для тысячи городов. Невообразимо далеко наверху и слишком ярко, чтобы смотреть не щурясь, жгучий огонёк лучился светом, освещающим всё вокруг, как ничем не прикрытая нить накаливания какой-то гигантской лампы. В воздухе, ничем не поддерживаемые, висели непостижимые пучки белого хлопка. И цвет бескрайнего сияющего потолка был…

На этом месте история разветвляется, в зависимости от того, кто именно из туристов решил последовать по коридору к поверхности.

Адитья Синяя стояла под синей бесконечностью и медленно улыбалась. Улыбка не была радостной. В ней была ненависть и раненная гордость. Она припоминала каждый свой аргумент в спорах с Зелёными, каждое соперничество, каждую вырванную победу. «Ты всё время была права», — шепнуло ей небо, — «и теперь ты можешь это доказать». Какое-то мгновенье Адитья стояла, впитывая послание, упиваясь им, а затем она повернулась и ушла в коридор, неся его миру. Шаг, ещё шаг… её пальцы сжались в кулак. «Перемирие закончено», — сказала она.

Бэррон Зелёный бессмысленно глазел на хаос цветов долгие секунды. А потом запоздавшее понимание взорвалось в его животе, как удар молота. Слёзы потекли из его глаз. Бэррон думал о Катэйской Резне, когда армия Синих вырезала всё население городка Зелёных, включая детей. Он думал о древнем Синем генерале — Аннасе Релле, который объявил Зелёных «чумной ямой, язвой, нуждающейся в прижигании». Он думал об огоньках ненависти, которые он замечал в глазах Синих, и что-то внутри него треснуло. «Как ты можешь быть на их стороне?!» – закричал он небу и начал рыдать. Стоя под злобным синим свечением, он знал, что вселенная всегда была обителью зла.

Чарльз Синий ошеломлённо созерцал синий потолок. Как профессор смешанного колледжа он всегда аккуратно подчёркивал, что Синяя и Зелёная точки зрения в равной степени верны и заслуживают терпимого отношения, небо — это метафизическая сущность, а «лазурный» — цвет, который может восприниматься по-разному. На мгновенье Чарльз задумался, не увидит ли какой-нибудь Зелёный, встав на его место, зелёный потолок, или не будет ли потолок зелёным завтра, но он не стал бы делать выживание цивилизации ставкой в этом споре. Это был всего лишь природный феномен, не имеющий никакого отношения к морали или к обществу… Но феномен, который наверняка поймут неправильно, как опасался Чарльз. Он вздохнул и повернулся к коридору. Завтра он придёт сюда один и закроет проход.

Дарья, когда-то Зелёная, пыталась дышать посреди обломков своего мира. «Я не зажмурюсь» — сказала она себе. — «Я не отвернусь». Всю свою жизнь она была Зелёной, а теперь она должна стать Синей. Её друзья, её семья… все они отвернутся от неё. Говори правду, даже если твой голос дрожит, когда-то говорил ей отец. Но сейчас отец был мёртв, а мать никогда не сможет понять. Дарья смотрела в спокойный синий глаз неба, пытаясь принять его, и наконец её дыхание успокоилось. «Я ошибалась», — скорбно сказала она себе. В конце концов, не так уж это и сложно. Она найдёт новых друзей, и, возможно, семья сможет простить её… А может, они даже отважатся сами встать под этим небом и пройти этот экзамен, подумала она с надеждой. «Небо синее», — произнесла Дарья в качестве эксперимента, и ничего ужасного с ней не произошло, правда, у неё не получилось заставить себя улыбнуться. Дарья Синяя печально выдохнула и пошла обратно в свой мир, думая о том, что она скажет.

Эддин Зелёный посмотрел в синее небо и цинично рассмеялся. Наконец-то он понял учебник мировой истории, правда, ему всё равно не верилось, что они были такими дураками. «Глупцы», — произнёс Эддин, — «глупцы, глупцы, всё это время оно было здесь». Ненависть, убийства, войны, и всё это время оно было просто явлением, о котором кто-то когда-то написал на бумаге, как обычно пишут о любом другом явлении. Никакой поэзии, никакой красоты, ничего такого, о чём любой здравомыслящий человек станет беспокоиться. Просто одно бессмысленное слово, влияние которого распространилось за любые разумные границы. Эддин устало прислонился к стене пещеры, пытаясь придумать, как не дать миру взорваться от этого открытия, и задаваясь вопросом, а не заслуживают ли все они именно этого.

Феррис невольно открыл рот, он замер на месте в абсолютном изумлении и восхищении. Его глаза жадно метались туда-сюда, с неохотой покидая одно зрелище, чтобы впиться взглядом в другое. Синее небо, белые облака, бескрайняя неизвестность снаружи, полная мест и предметов, а, возможно, и людей, которых никогда не видели в Подземелье. «О, так вот какой это цвет», — сказал Феррис и отправился исследовать.

Дополнение от ex-Parrot

Лоретта Зелёная посмотрела на небо и сказала: «Оно синее. Следовательно, это не небо. Несмотря на безграничность, несмотря на открытость и несмотря на эти штуки, похожие на клочки белого хлопка. Вообще, после того, как я задумалась, они не кажутся так уж сильно похожими на хлопок» .

Джон Экуменист сказал: «Как я всегда и говорил. Оно лазурное!»

Перевод: xeyeСсылка на оригинал: A Fable of Science and PoliticsНомер в книге "Рациональность: от ИИ до зомби": 12Аудио:


### Сказ о науке и политике


## Вера в убеждения

Элиезер Юдковский

Карл Саган как-то рассказал притчу(English) о человеке (для удобства дадим ему имя Кредерус), который пришёл к нему и заявил: «В моём гараже живёт дракон». Потрясающе! В течение столетий по всему миру гуляли легенды о драконах, но до сих пор ни у кого нет никаких убедительных свидетельств их существования. Конечно же, любой человек ответит: «Я хочу посмотреть на настоящего дракона, где этот гараж?». Но гость вынужден нас огорчить: дракон невидим.

Далее Саган замечает, что невидимость не делает гипотезу о драконе нефальсифицируемой. Можно войти в гараж и услышать громкое дыхание из пустоты, увидеть неожиданно возникающие следы на земле, а потом при помощи инструментов обнаружить, что что-то в гараже поглощает кислород и выделяет углекислый газ.

Поэтому стоит ответить: «Ничего страшного, я попробую услышать его дыхание». Но Кредерус отвечает, что дракон совершенно бесшумен. — А что, если я измерю содержание углекислоты в воздухе? — Нет, дракон не дышит. — Можно распылить в воздухе муку, тогда она налипнет на дракона, и его контур можно будет увидеть. — Дракон проницаем для муки.

Мораль этой басни в том, что плохая гипотеза должна ловко маневрировать, чтобы избежать опровержения. Но я рассказываю эту историю не для того же, что и Карл Саган. Я хочу проиллюстрировать другую идею.

Где-то в недрах разума Кредеруса явно хранится правильная модель ситуации, поскольку он заранее ожидает определённых результатов всех этих проверок (а именно — таких результатов, которые ему придётся оправдывать).

Некоторые философы запутываются в подобных сценариях, не понимая, верит ли Кредерус в дракона, или всё-таки нет. Можно подумать, что в человеческом мозге мало места, и храниться может только одно убеждение за раз! Реальный разум намного сложнее. Как я уже говорил, убеждения бывают разными, не все можно назвать «прямыми ожиданиями чувственного опыта». Кредерус явно не ожидает увидеть в гараже ничего необычного, иначе он не оправдывался бы заранее. Также возможно, что в его фонде словесных убеждений хранится «В моём гараже живёт дракон». Рационалисту может показаться, что эти два убеждения должны конфликтовать друг с другом, даже несмотря на то, что они разных видов. Но, тем не менее, если написать «небо зелёное» на фотографии синего неба, то бумага и не подумает исчезать в языках пламени.

Добродетель эмпиризма должна не позволить нам совершать подобные ошибки. Рационалисты должны постоянно выяснять, какие переживания предсказывают их убеждения — требовать, чтобы убеждения окупались. Но проблема Кредеруса лежит глубже, и её не исцелить этим простым советом. Довольно просто соединить убеждение в драконе с ожидаемым наблюдением гаража: если ты веришь в живущего в гараже дракона, то ты, открыв дверь, рассчитываешь увидеть этого дракона. Если ты не видишь дракона, то это означает, что в гараже дракон не живёт. Действия довольно просты. Ты даже можешь попытаться повторить это со своим гаражом.

Но нет, эта невидимость — симптом чего-то похуже.

Возможно, ты помнишь тот момент из детства, когда ты уже начал сомневаться в существовании деда Мороза, но ещё считал правильным верить в деда Мороза, и поэтому пытался отвергнуть сомнения. Дэниел Деннет заметил: когда трудно верить в X, намного легче верить в то, что ты обязан верить в X. Как можно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное? Эта фраза вводит в замешательство; непонятно, что это означает в смысле ожидаемых переживаний, непонятно, во что именно ты бы верил, если бы верил. Намного проще поверить в то, что правильно, хорошо, добродетельно и полезно верить в то, что Первичное Космическое Небо одновременно полностью зелёное и полностью синее. Деннет называет это «верой в убеждение» (того же термина буду придерживаться и я).

Ну и затем, раз мы имеем дело с человеческим разумом, всё как обычно усложняется. Думаю, что даже Деннет слишком сильно упростил то, как эта психологическая уловка работает на практике. К примеру, если человек верит в убеждение, то он не может признаться себе в том, что он просто верит в убеждение: ведь добродетельно верить, а не верить в убеждение, следовательно если ты веришь в убеждение, а не просто веришь, то ты не добродетелен. Никто не скажет (даже про себя): «Я не считаю, что Первичное Космическое Небо одновременно синее и зелёное, но я считаю, что мне следует так считать», разве что этот человек необычайно хорошо умеет признавать свои недостатки. Люди не верят в веру в убеждения, они просто верят в убеждения.

(Если вы находите предыдущий абзац сложным для понимания, попробуйте поизучать математическую логику, которая учит остро различать такие вещи, как утверждение P, доказательство P и доказательство того, что P доказуемо. Такие же коренные различия есть и между P, желанием P, верой в P, желанием верить в P и верой в то, что ты веришь в P.)

Вера в убеждения бывает разной. Она может быть явной: человек осознанно повторяет про себя «Добродетельно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное» (и при этом считает, что он в это верит, разве что этот человек необычайно хорошо умеет признавать свои недостатки). Бывают и менее бросающиеся в глаза формы. Возможно, Кредерус боится публичного осмеяния, которое, как он считает, неизбежно последует, если он публично признает, что был неправ (хотя, фактически, любой рационалист искренне порадуется за него, а остальные будут скорее высмеивать Кредеруса, если он, отнюдь, продолжит заявлять о драконе, живущем в гараже). Возможно, Кредеруса передёргивает от перспективы признаться себе в том, что дракона нет (точно также, как его передёргивало бы от физической боли): это противоречит его представлению о себе как о победителе-первооткрывателе, увидевшем в своём гараже то, что упустили все остальные.

Будь все наши мысли теми осознанными предложениями на естественном языке, которыми обычно манипулируют философы, человеческий мозг был бы намного проще для понимания. Быстро утекающие мысленные образы, невысказанные вспышки боли, исполняемые без сознательного ведома желания — всё это составляет такую же часть личности, как и слова.

Несмотря на то, что я не соглашаюсь с Деннетом касательно некоторых деталей и тонкостей, я всё равно считаю, что введённое им понятие вера в убеждение — ключ к понимаю Кредеруса. Однако, необходимо более широко трактовать понятие «убеждения», не ограничивать его вербальными утверждениями. «Убеждение» может включать в себя неявные регуляторы ожиданий. «Вера в убеждение» может содержать неявные ориентиры когнитивного поведения. С точки зрения психологии, утверждение «Кредерус не убеждён в том, что в его гараже живёт дракон; но он убеждён в том, что полезно быть убеждённым в существовании дракона в гараже» в лучшем случае нереалистично. Но вполне допустимо сказать, что Кредерус рассчитывает на отсутствие дракона, и оправдывается, словно он убеждён в наличии дракона.

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы продолжать стоять на своём и верить в дракона — или чтобы продолжать уклоняться от мысли изменения представления о себе как о верящем в дракона — совсем необязательно думать: «Я хочу верить в дракона, живущего в моём гараже». Достаточно лишь нежелания перспективы признания в ложности заявленных убеждений.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могла бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Перевод: BTСсылка на оригинал: Belief in BeliefНомер в книге "Рациональность: от ИИ до зомби": 13Аудио:


### Вера в убеждения


## Байесианское дзюдо

Элиезер Юдковский Обсуждение

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждения.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу».

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил:

— Ну, я не имел ввиду, что вы не сможете создать интеллект. Я хотел сказать, что он не может испытывать эмоции таким же образом, что и мы.

— Итак, если я создам искусственный интеллект, в который не будет заложено ничего навроде заранее написанного сценария, и моё творение начнёт говорить о чём-то, похожем на нашу духовную жизнь, то тогда ваша религия неверна.

— Ну, гм, видимо нам придётся остаться при своих мнениях на этот счёт. «Согласиться не соглашаться» — в таких случаях говорят англичане.

— На самом деле, так нельзя. Есть теорема из области рациональности — теорема Ауманна о согласии — которая говорит о том, что два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.

Мы коротко прошлись по этой теме. И, наконец, он сказал:

— Ну, кажется, на самом деле я пытался сказать вот что: я считаю, что вы не можете создать что-то вечное.

— Ну, я тоже так считаю!— ответил я. — Я рад, что мы смогли прийти к консенсусу по этому вопросу, как и требует теорема Ауманна о согласии.

Я протянул свою руку и он пожал ее, а потом побрёл дальше.

Женщина, которая стояла рядом и слушала наш разговор, серьёзно посмотрев на меня, сказала: «Это было прекрасно».

— Большое спасибо, — ответил я.

Перевод: BTСсылка на оригинал: Bayesian JudoНомер в книге "Рациональность: от ИИ до зомби": 14Аудио:


### Байесианское дзюдо


## Притворная мудрость

Элиезер Юдковский

Самое жаркое место в аду закреплено за теми, кто во время кризиса оставались нейтральными.

– Данте Алигьери, эксперт по аду. Ой, то есть Джон Ф. Кеннеди, который приписывал цитаты кому попало.

Нейтральность и неторопливость с выводами - широко известный прием, который часто применяется в тех случаях, когда люди желают выставить себя взрослыми, мудрыми, непредвзятыми, или просто показать свое превосходство над другими.

Примером этого выступают мои родители, которые отвечали на теологические вопросы вроде «Почему в Древнем Египте, несмотря на обилие хороших записей о множестве разных событий, нет записей о том, что евреи хотя бы были там?» фразами: «Когда я был в твоем возрасте, я тоже задавал такие вопросы, но теперь я это перерос».

Другой пример – директор школы, который, представ перед двумя детьми, пойманными за дракой на игровой площадке, строго говорит: «Неважно кто начал драку, важно лишь кто ее закончил». Ну разумеется важно, кто начал драку. Директор, возможно, не имеет доступа к точной информации на этот счет, но если так, то ему стоит так и сказать, а не отрицать важность того, кто же ударил первым. Представим, что родитель ударил директора – как высоко оценит суд мудрость фразы «не важно кто начал драку» в этом случае? Но для взрослых детская драка – всего лишь неудобство, и для их удобства совершенно не важно, кто ее начал. Для их удобства важно только то, чтобы она закончилась и закончилась так быстро, как только можно.

Похожая динамика, по-моему, управляет международными дипломатическими случаями, когда Великие Силы строго говорят меньшим группам прекратить конфликты прямо сейчас. Великим Силам не важно кто начал: кто спровоцировал, кто непропорционально ответил на провокацию, ведь длящееся неудобство для Великих Сил - это только всего лишь функция длящегося конфликта. Блин, почему бы Израилю и Хамасу не найти наконец общий язык?

Это я называю «притворяться Мудрым». Разумеется, есть множество способов продемонстрировать мудрость. Но демонстрировать ее отказываясь делать догадки, отказываясь анализировать свидетельства, отказываясь выносить суждения, отказываясь принимать сторону, оставаясь в стороне, взирая высокомерно и снисходительно, т.е. демонстрировать мудрость ничего не говоря и не делая - ну, это я нахожу особенно претенциозным.

Паулу Фрейре сказал: «Умывать руки во время конфликта между сильным и бессильным – значит встать на сторону сильного, а не быть нейтральным.[1] Игровая площадка на которой учителей не волнует кто начал конфликт представляет собой хорошее место для хулиганов, и отвратительное для их жертв. Это касается и международной политики: мир, где Великие Силы отказываются принимать сторону и лишь требуют немедленных договоренностей – удобный мир для агрессоров и ужасный для тех, на кого эта агрессия направлена. Но, разумеется, это очень удобный мир, если вы в нем Великая Сила или школьный директор.

Так что это поведение по крайней мере отчасти можно объяснить элементарным эгоизмом со стороны Мудрого.

Однако, в то же время, это еще и выражение превосходства. В конце концов, что подумают о директоре другие взрослые, если он встанет на чью-то сторону в обыкновенной детской драке? Ну как же, это ведь понизит статус директора до обычного участника столкновения!

То же самое касается любого уважаемого старшего – исполнительного директора, влиятельного академика, основателя форума – чья репутация непредвзятого человека основывается на том, что он практически никогда не выносит суждений сам, пока другие занимают стороны. Стороны обращаются к ним за поддержкой, но почти всегда впустую. Ведь Мудрых почитают как судей только при условии, что они почти никогда не выносят суждений – ведь в противном случае они были бы рядовыми участниками спора, ничем не лучше других.

(Как ни странно, судьи в судах могут себе позволить регулярно выносить реальные приговоры без автоматической потери своей репутации непредвзятых. Может потому, что все понимают, что они должны судить, ведь это их работа. Или потому, что судьям не приходится раз за разом разрешать вопросы, разделяющие на две части племя, от чьего уважения они зависят).

Существуют случаи, в которых рационально подождать с суждениями. Это, когда люди торопятся с выводами исключительно из-за своих искажений. Как сказал Майкл Руни: «Эту ошибку я неоднократно замечал у студентов, которые начинают изучать философию: столкнувшись с причинами стать скептиками, они вместо этого становятся релятивистами». Выходит, что в случаях, когда рационально не торопиться с выводами о чем-либо, слишком многие вместо этого приходят к решению, что все выводы одинаково приемлемы.

Как мы можем избежать связанной с предыдущей, но отдельной ошибки –псевдорационального поведения, заключающегося в демонстрации вашей неискаженной непредвзятости путем необоснованного утверждения, что текущий баланс свидетельств нейтрален? «Ох, ну, разумеется, есть немало убежденных дарвинистов, но я думаю, что свидетельства не позволяют нам сделать окончательный вывод о превосходстве естественного отбора над разумным творением».

Тут я предлагаю вспомнить, что нейтральность это точное суждение. Это совсем не то же самое, что оставаться вне и над. Это выражение ясной и конкретной позиции о том, что баланс свидетельств в конкретном деле допускает только одну трактовку - нейтральную. Это суждение тоже может оказаться неверным. Вывод о нейтральности может обсуждаться так же, как и вывод о правоте любой из сторон.

Точно так же дело обстоит и с политическими вопросами. Если какие-то люди утверждают, что и у пролайф («движения в защиту жизни») и у прочойс («движения в защиту репродуктивного выбора») позиции есть разумные идеи, и им определенно стоит стремиться к компромиссу и уважению, то они не занимают позицию вне дискуссии. Они выносят конкретное суждение, настолько же конкретное как и суждения «пролайф правы» или «прочойс правы».

Кстати говоря… этот текст не является приглашением к дискуссии об абортах или Палестино-Израильском конфликте в комментариях. Этот сайт - не для этих дискуссий, есть другие места чтобы обсуждать эти полностью заслуживающие обсуждения темы. Может быть потом, когда LessWrong станет достаточно большим… но сейчас не время.

Но дело не в том, что рационалисты слишком зрелые, чтобы говорить о политике. Дело не в том, что рационалисты выше этой глупой потасовки, до участия в которой унижаются только обычные сторонники политических партий и юные энтузиасты.

Робин Хэнсон отмечает, что способность участвовать в горячих спорах - ограниченный ресурс. Если вам удастся найти, где применить те же силы с большим результатом, то с вашей стороны разумно тратить силы на обсуждения, от которых может быть больше пользы, чем на те, в которых множество участников тратит много сил.

Но в таком случае ваши приоритеты – это следствие вашей ограниченности в ресурсах. Это не значит, что вы мудро и спокойно парите над схватками, в которых решаете не участвовать.

Мой ответ Полу Грэму на Хакер Ньюс, похоже, стоит повторить здесь:

Есть разница между:

Принятием нейтрального суждения

Отказом вложить незначительные ресурсы.

Претензией на то, что любой из вариантов выше является признаком большой мудрости, зрелости и демонстрацией превосходства, с подтекстом, что исходные стороны конфликта - это худшие точки зрения, которые не так уж сильно отличаются с высоты вашего полета.

1. Paulo Freire, The Politics of Education: Culture, Power, and Liberation (Greenwood Publishing Group, 1985), 122. Перевод: Muyyd, Remlin, Greenochre, Peter TanatarovСсылка на оригинал: Pretending to be WiseСсылка на оригинал на readthesequences.com: Pretending to be WiseНомер в книге "Рациональность: от ИИ до зомби": 15Аудио:


### Притворная мудрость


## Претензия религии на неопровергаемость

Элиезер Юдковский

Самое раннее известное мне упоминание научного эксперимента — это, как ни иронично, история об Илии и жрецах Ваала (English).

Народ Израиля колеблется между Иеговой и Ваалом, поэтому Илия объявляет, что проведёт эксперимент, чтобы решить эту проблему— какое новаторство по тем временам! Жрецы Ваала поместят своего быка на алтарь, а Илия поместит на алтарь быка Иеговы, но никому из них не будет позволено зажечь огонь; чей Бог истинный, тот и заставит огонь сойти на Его жертву. Жрецы Ваала служат для Илии контрольной группой — такое же древесное топливо, такой же бык и такие же жрецы, возносящие молитвы, но ложному богу. Затем Илия льёт воду на свой алтарь, разрушая симметрию эксперимента, но ведь это было так давно — тем самым он обозначает добровольное принятие бремени доказательства — эквивалент современного уровня значимости в 0,05. Огонь сходит на алтарь Илии, что является экспериментальным наблюдением. Народ Израиля, кричащий: «Господь есть Бог!» — экспертная оценка.

А потом они оттащили 450 жрецов Ваала к реке Кишон и перерезали им глотки. Это сурово, но необходимо. Надо жёстко отсечь опровергнутую гипотезу — и сделать это быстро, прежде чем она сможет найти предлог для самозащиты. Если бы жрецам Ваала сохранили жизнь, они бы начали болтать, что религия на самом деле — отдельный магистерий, недоступный ни подтверждению, ни опровержению.

В былые дни люди действительно верили в то, что говорила им их религия, а не просто считали религию важной. Библейские археологи, отправившиеся искать Ноев Ковчег, не считали, что впустую тратят своё время; они предполагали стать знаменитыми. И лишь после того, как не смогли найти подтверждающих свидетельств — а нашли опровергающие — только тогда эти святоши совершили то, что Уильям Бартли назвал возвращением к убеждению: «Я верю, ибо я верую».

В былые дни не существовало концепции религии как отдельного магистерия. Ветхий Завет — это свалка культурного потока сознания: история, право, притчи о морали, и, да, модели того, как работает Вселенная. Вы не найдёте ни в одной строчке Ветхого Завета трансцендентного восхищения сложностью Вселенной. Но вы найдёте множество вполне научных заявлений (English), вроде Вселенной, созданной за шесть дней (что является метафорой Большого Взрыва), или кроликов, жующих жвачку (что является метафорой…).

В былые дни заявление о том, что местную религию «невозможно подтвердить», привело бы вас на костёр. Одно из главных верований ортодоксального иудаизма заключается в том, что Бог появился на горе Синай и произнёс громовым голосом: «Ага, это всё правда». В байесианской перспективе это, чёрт возьми, весьма однозначное доказательство существования нечеловечески могущественной сущности. (Хотя и не того, что эта сущность, собственно, Бог, или что эта сущность добродетельна — это могли быть и подростки-инопланетяне.) Абсолютное большинство религий в истории человечества — не считая придуманных совсем недавно, — рассказывают истории о событиях, которые представляли бы собой совершенно безошибочное доказательство, если бы действительно случились. Независимость религии от фактических реалий — весьма недавняя и исключительно западная концепция. Люди, создававшие оригинальные писания, даже не знали о разнице между одним и другим.

Римская империя унаследовала древнегреческую философию, установила закон и порядок в своих провинциях, вела бюрократические записи и насаждала религиозную терпимость. Новый Завет, созданный уже во времена Римской империи, благодаря этому несёт на себе своеобразную печать модерна. Вы не можете придумать историю о том, как Бог полностью уничтожает город Рим (à la Содом и Гоморра), потому что римские историки ткнули бы вас в это носом, и вы не смогли бы просто закидать их камнями.

Но в былые дни люди, придумавшие истории Ветхого Завета, могли сочинять всё, чего бы им ни захотелось. Ранние египтологи были неподдельно шокированы тем, что не нашли абсолютно никаких следов еврейских племён, когда-либо бывавших в Египте — найти записи о Десяти казнях они и не мечтали, но они хоть что-нибудь обнаружить надеялись. Как оказалось, кое-что всё-таки нашли. Они обнаружили, что в предположительное время Исхода Египет правил большей частью Ханаана. Это гигантская историческая ошибка, но, поскольку библиотек не существует, вас некому ткнуть в неё носом.

А вот в Римской империи были библиотеки. Поэтому Новый Завет не заявлял о больших красочных широкомасштабных геополитических чудесах, что было привычным для Ветхого Завета. Вместо этого Новый Завет заявляет о меньших чудесах, которые, тем не менее, помещаются в те же самые доказательные рамки. Мальчик падает на землю, у него изо рта идёт пена; причина тому — нечистый дух; резонно ожидать, что нечистый дух убежит от истинного пророка, но не убежит от шарлатана; Иисус изгоняет нечистый дух; таким образом, Иисус — истинный пророк, а не шарлатан. Это совершенно обычное байесовское рассуждение, если принять в качестве базовой предпосылку, что эпилепсия вызывается демонами (и что прекращение эпилептического припадка доказывает, что демон сбежал).

Религия высказывала своё мнение не только в фактических и научных вопросах, религия высказывала своё мнение обо всём. Религия создала кодекс законов до возникновения законодательных органов; религия записывала историю до историков и археологов; религия устанавливала сексуальную мораль до женской эмансипации; религия расписывала формы государства до конституций; и религия отвечала на все научные вопросы: от биологической таксономии до формирования звёзд. Ветхий Завет не говорит о чувстве восхищения сложностью Вселенной — он слишком занят назначением смертной казни женщинам, носящим мужскую одежду, что, по тем временам, было вполне удовлетворительным содержанием религиозного текста. Современная концепция религии как чего-то строго морального порождена тем, что все остальные сферы были отняты у неё более компетентными институтами. Мораль — это всё, что осталось.

Или, скорее, люди думают, что мораль — это всё, что осталось. Возьмите свалку культуры, какой она была 2500 лет назад. Со временем человечество безмерно продвинется вперёд и части древней культурной свалки станут уже вопиюще устаревшими. Мораль не защищена от человеческого прогресса — например, сейчас мы весьма неодобрительно смотрим на такую одобренную Библией практику, как рабство. Почему люди думают, что такая мораль всё ещё допустима?

В действительности, нет ничего несущественного в этической проблеме убийства тысяч невинных перворождённых младенцев мужского пола, совершённого с целью убедить неизбранного фараона выпустить рабов, которые, если рассуждать логически, могли быть просто телепортированы из страны. Это должно быть более вопиющим, чем сравнительно тривиальная научная ошибка в заявлении, что у кузнечиков четыре ноги. Однако если вы заявите, что Земля плоская, на вас посмотрят, как на идиота. А вот если вы скажете, что Библия — источник вашей морали, ни одна женщина не даст вам пощёчины. Для большинства людей концепция рациональности определяется тем, что, по их мнению, может сойти им с рук; они думают, что одобрение библейской морали сойдёт им с рук; так что для того, чтобы закрыть глаза на моральные проблемы Библии, нужен лишь весьма терпимый уровень самообмана. Все согласились не замечать слона в посудной лавке, и такое состояние дел какое-то время может сохраняться.

Может быть, однажды человечество продвинется дальше, и каждый, кто предложит Библию в качестве источника морали, столкнётся с тем же отношением, с каким столкнулся Трент Лотт (Trent Lott), поддержавший президентскую кампанию Строма Термонда (Strom Thurmond). И тогда скажут, что истинной сутью религии всегда была генеалогия или ещё что-нибудь.

Идея, что религия — это отдельный магистерий, который нельзя ни доказать, ни опровергнуть, — это Большая Ложь, повторяющаяся снова и снова, так что люди говорят её не вдумываясь; но, критически рассмотренная, она оказывается попросту неверной.

Это — невероятное искажение того, как религия исторически зарождалась, как писания выражают свои верования, что говорят детям для того, чтобы убедить их, и того, во что до сих пор верит большинство религиозных людей на Земле. Нельзя не восхищаться беспредельной дерзостью этой лжи, стоящей на уровне с «Океания всегда воевала с Остазией». Прокурор показывает всем окровавленный топор, а обвиняемый, шокированный на мгновение, заявляет, поразмыслив: «Но вы не можете опровергнуть мою невиновность какими-то там доказательствами — это отдельный магистерий!»

А если это не сработает, возьмите листок бумаги и намалюйте себе карточку «Бесплатный выход из тюрьмы».


## Провозглашения и крики одобрения

Элиезер Юдковский

Однажды я посетил конференцию по теме «совместимы ли религия и наука?». Одна женщина-язычник с жаром рассказывала о своих представлениях о сотворении Земли: гигантская первичная корова была рождена в первичной бездне, а затем создала первичного бога при помощи слюны и языка; потомки первичного бога убили корову и сотворили Землю из её плоти, и так далее. История была длинной, подробной и более абсурдной, чем модель мира, в которой Земля покоится на спине огромной черепахи. И эта женщина явно разбиралась в науке достаточно, чтобы это понимать.

Я до сих пор не могу подобрать слов, чтобы описать, как именно говорила эта женщина. Она говорила… гордо? С самодовольством? Осознанно щеголяя собой?

Казалось, что женщина рассказывала этот миф о сотворении целую вечность (на самом деле, вероятно, прошло не более пяти минут). Странное нечто, гордость/удовлетворение/выставление себя напоказ, явно имело какое-то отношение к её знанию того, что эти убеждения были возмутительны с научной точки зрения. И она не презирала науку: она выступала за то, что наука и религия совместимы. Она даже рассказала о том, что, если взглянуть на землю, в которой жили викинги, то нетрудно понять, почему они верили в первичную бездну (этим объяснением она свела свои верования к чему-то заурядному !), но при этом всё равно настаивала на своей вере в этот миф, говоря об этом с исключительным удовлетворением.

Я не думаю, что понятие «вера в убеждение» можно растянуть настолько, чтобы покрыть это событие. Слишком странной была эта речь. Она не повторяла легенду с фанатичной верой кого-то, кому нужно подбодрять себя. Она не надеялась убедить в чём-то аудиторию, и ей не нужна была наша поддержка для того, чтобы чувствовать себя полноценной.

Деннет, автор понятия «веры в убеждение», считает, что большую часть того, что мы называем «религиозными верованиями» (или «религиозными убеждениями») стоит изучать как «религиозные провозглашения». Представим, что пришелец-антрополог изучает группу современных студентов-филологов, все из которых, кажется, считают, что Валки Вилкинсен является пост-утопистом. В этом случае правильный вопрос звучит не как «почему все они разделяют это странное убеждение?», а как «почему все они пишут это странное предложение на письменном экзамене?». Даже если предложение совершенно бессмысленно, ты всё равно знаешь, когда следует его громко пропеть.

Я думаю, что всё же несколько чересчур считать, что религиозные верования заключаются лишь в громком повторении определённых фраз: большинство людей довольно честны, и после произнесения религиозных предложений вслух чувствуют себя обязанными повторить их мысленно, чтобы эта мысль прозвучала и в сознании.

Но даже понятие «религиозных утверждений» вряд ли покрывает рассказ язычницы о своей вере в первичную корову. Если кому-то нужно произнести религиозное убеждение вслух, чтобы понравиться священнику или собрату по вере — да что там, просто, чтобы подтвердить своё представление о себе как о верующем — ему стоит притвориться верящим намного убедительнее, чем притворялась эта женщина. Пересказывая легенду с нарочито подчёркнутой гордостью, она даже не пыталась быть убедительной, даже не пыталась заставить аудиторию поверить в то, что она воспринимала свою религию всерьёз. Кажется, именно это меня и ошеломило. Несколько известных мне людей верят в свою веру касательно совершенно абсурдных вещей; но когда они страстно рассказывают о предмете своей веры в убеждения, они намного сильнее стараются убедить себя в том, что воспринимают всё это всерьёз.

Наконец, я понял, что язычница не пыталась убедить в чём-то нас и не пыталась убедить в чём-то себя. Её пересказ легенды о сотворении вообще не имел отношения к сотворению мира. Пятиминутная обличительная речь была одобрительным возгласом, что-то вроде транспаранта на футбольном стадионе. Транспарант с надписью «ВПЕРЁД СИНИЕ» не утверждает ничего о фактах и не пытается быть убедительным. Это просто кричалка.

Та странная подчёркнутая гордость… язычница словно участвовала в гей-параде обнажённой (Замечу мимоходом: не имею ничего против участия в гей-параде в обнажённом виде. Лесбиянство не относится к числу вещей, которые могут быть уничтожены правдой). Это было не просто выражением одобрения, как участие в гей-параде, это было оскорбительно эпатажным выражением одобрения, как участие в гей-параде голышом. В этом проглядывало убеждение в том, что её не смогут раскритиковать или арестовать, ведь всё это сделано во имя прославления её сообщества.

Именно поэтому для неё столь большое значение имела смехотворная абсурдность её слов. Попытка звучать более разумно эквивалентна надеванию одежды.

Перевод: BTСсылка на оригинал: Professing and CheeringНомер в книге "Рациональность: от ИИ до зомби": 17Аудио:


### Провозглашения и крики ободрения


## Убеждение как одеяние

Элиезер Юдковский

Я уже разделил убеждения на контроллеры ожиданий, веру в убеждения, провозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.

Ещё один подвид неполноценных убеждений — убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».

Зная человеческую психологию, можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего — не иметь ни малейшего представления о том, как видят мир обычные люди — чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие «отвага и альтруизм террориста» является одеянием Врага — поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, — забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?

Убеждение-как-одеяние может объяснить, почему люди могут придавать такой вес неполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.

С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду (Этот факт — фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм в других странах, но это уже другой разговор). Идентификация с племенем — очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.

Перевод: BTСсылка на оригинал: Belief as AttireНомер в книге "Рациональность: от ИИ до зомби": 18Аудио:


### Убеждение как одеяние


## Табличка "Аплодисменты"

Элиезер Юдковский

Во время Сингулярного Саммита 2007, один из ораторов ратовал за создание демократичного мультинационального проекта по разработке Искусственного Интеллекта. Я подошел к микрофону и задал вопрос:

Предположим, группа демократических республик сформирует консорциум по разработке ИИ; в процессе будет много политизирования: некоторые группы будут иметь необычайно сильное влияние, другие будут отодвинуты на задний план, другими словами, результат будет напоминать другие продукты современной демократии. С другой стороны, группа независимых ботаников разработает ИИ у себя в подвале. Снабдит его инструкциями опросить всё население земного шара: даже раздать мобильники всем, кто их не имеет, и выполнить то, что будет утверждено подавляющим большинством голосов. Какой из вариантов более «демократичный» и с каким вы будете чувствовать себя более спокойно?

Я хотел узнать, верит ли он в прагматическую адекватность демократического политического процесса или он верит в моральную правильность голосования.

Но оратор ответил:

Первый сценарий выглядит как редакторская статья в журнале «Reason», а второй - как сюжет голливудского фильма.

Смутившись, я спросил:

Так какой демократический процесс вы имели в виду?

Оратор ответил:

Что-то вроде Проекта Человеческого Генома (это был интернационально финансируемый проект).

Я спросил:

Как разные группы будут разрешать свои разногласия в структуре вроде Проекта Человеческого Генома?

И оратор ответил:

Я не знаю.

Благодаря этому обмену репликами, я вспомнил цитату одного диктатора или кого-то еще, которого спрашивали о его намерениях двигать его карманное государство к демократии:

«Мы полагаем, что уже находимся в демократической системе. Некоторые факторы пока отсутствуют, вроде выражения воли народа».

Суть демократии в специфическом механизме разрешения политических конфликтов. Если все группы имеют одинаковые предпочтения, то в демократии не будет нужды - мы и так будем сотрудничать. Процесс разрешения может выражаться через голосование, или выбранного представителя, или даже через чувствительного к голосованию ИИ, но выражение должно быть хоть каким-нибудь. Какой смысл призывать к «демократическому» решению, если не подразумевается какой-то механизм разрешения конфликтов?

Думаю, слово «демократия» в данном контексте не относится к какому-то конкретному предложению или убеждению. Это скорее эквивалент светящейся таблички «Аплодисменты» в студии, которая загорается как сигнал к тому, что аудитория должна начать аплодировать.

Этот случай запомнился лишь потому, что я перепутал табличку «Аплодисменты» с политическим предложением, к моему стыду. В большинстве случаев таблички «Аплодисменты» более прямолинейны и могут быть выявлены простым реверсивным тестом. Например, кто-то скажет:

«Мы должны сбалансировать риски и возможности ИИ»

Если перевернуть это высказывание, мы получим:

Мы не должны соблюдать баланс рисков и возможностей ИИ.

Поскольку обратное звучит абсурдно, следовательно, неперевернутое утверждение, возможно, нормально, подразумевая, что это не несет новой информации. Есть множество хороших причин для утверждения, которое не является информативным вне контекста. «Нам нужно соблюдать баланс рисков и возможностей ИИ» может быть темой для обсуждения; может делать ударение на важности определенных планов для баланса; может критиковать планы, не соблюдающие баланс. Связывая другие утверждения, предложение может передать новую информацию ограниченному рационалисту - но сама по себе связь может быть неочевидной. Но без уточняющих положений, утверждение не более чем табличка «Аплодисменты!»

Порой мне хочется толкнуть речь, целиком состоящую из табличек «Аплодисменты», чтобы посмотреть, сколько времени пройдет, прежде чем аудитория начнет хохотать.

Я здесь, чтобы предложить взвесить риски и возможности продвинутого Искусственного Интеллекта. Нам следует избегать рисков и, если получится, реализовывать возможности. Нам не следует беспричинно подвергаться совершенно необязательным рискам. Для достижения этих целей нам следует планировать рационально и мудро.

Нам не следует действовать из страха и паники, или поддаваться технофобии; однако, не следует и действовать в слепом энтузиазме. Нам следует уважать интересы всех партий, принимающих участие в Сингулярности. Мы должны убедиться, что преимущества продвинутых технологий будут доступны для как можно большего числа индивидов, а не для нескольких. Мы должны, по мере сил наших, избегать конфликтов с применением этих технологий; и мы должны предотвратить попадание этих технологий в руки опасных индивидов. Нам следует думать над этими вопросами до, а не после, когда уже будет поздно что-либо предпринимать…

Перевод: Muyyd, RemlinСсылка на оригинал: Applause LightsСсылка на оригинал на readthesequences.com: Applause LightsНомер в книге "Рациональность: от ИИ до зомби": 19Аудио:


### Требование аплодисментов