Под рациональностью я подразумеваю:

1. Эпистемическую рациональность, то есть систематическое улучшение точности своих убеждений.
2. Инструментальную рациональность, то есть систематическое достижение желаемых результатов.

Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно.

Примерно так и выглядят ложные убеждения — карта мира, не соответствующая территории1. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют «истиной», и я тоже с радостью пользуюсь этим словом.

С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность — это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это «выигрыванием».

Так что рациональность — это искусство формировать истинные убеждения и принимать выигрышные решения.

Поиск «истины» не означает, что нужно отвергать нечёткие или косвенные свидетельства. Вы можете оглядеть комнату и построить её мысленную модель. Убеждения о комнате принципиально ничем не отличаются от убеждений, что у Земли есть расплавленное ядро, а Юлий Цезарь был лысым. Возможно, эти вопросы вам кажутся более сложными и абстрактными, чем вопрос о вашем шкафе, ведь вас и предметы этих вопросов разделяет значительное пространство и время. И тем не менее состояние ядра Земли в 2015 году нашей эры и состояние головы Цезаря в 50 году до нашей эры — это вопросы о фактах. Эти факты могут влиять на реальность, даже если у вас нет никакой возможности лично встретить Цезаря или посмотреть на земное ядро.

А когда я пишу о «выигрывании», это не значит, что речь идёт о достижении успеха за счёт других. Не обязательно превращать жизнь в соревнование, её можно строить на базе сотрудничества и самопожертвования. Под «вашими ценностями» подразумевается абсолютно всё, о чём вы заботитесь — включая других людей. Они не ограничиваются исключительно эгоистическими ценностями.

Зачастую, когда люди говорят «Х — рационально!», это просто более звучный способ сказать: «Я думаю, что Х — истинно» или «Я считаю, что Х — хорошо!». Так зачем же использовать дополнительное слово «рационально», если можно говорить «истинно» и «хорошо»?

Тот же самый аргумент применим и к слову «истинно». Незачем говорить «истинно, что снег белый», когда можно сказать просто «снег белый». Идея истины полезна, потому что она позволяет нам говорить о соответствии карты и территории в целом. Фраза «истинные модели позволяют лучше делать проверяемые предсказания, чем ложные модели» — это полезное обобщение, и его нельзя сделать, не пользуясь понятиями вроде «истины» и «точности».

Аналогично, фраза «Рациональные агенты принимают решения, которые максимизируют вероятностное ожидание согласованной функции полезности» относится к понятию (инструментальной) рациональности, а фразу «Рационально есть овощи» наверняка можно заменить на «Полезно есть овощи» или «Есть овощи — в ваших интересах». Нам нужно понятие, вроде «рациональности», чтобы описывать общие факты о том, какие способы мышления систематически приводят нас к истине или к выигрышу, а также какие способы систематически приводят нас к обратному.

Иногда экспериментальные психологи обнаруживают, что в некоторых ситуациях люди, размышляют, судя по всему, очень странно. Например, человек присваивает утверждению «Билл играет джаз» вероятность меньшую, чем утверждению «Билл — бухгалтер, который играет джаз». Поскольку, очевидно, любой играющий джаз бухгалтер — играет джаз, такое суждение выглядит странно. Однако какими принципами мы пользуемся, когда говорим, что это суждение неверно?

Экспериментальные психологи применяют два золотых стандарта: теория вероятностей и теория принятия решений.

Теория вероятностей — это набор законов, лежащих в основе рациональных убеждений. Математика теории вероятностей абсолютно одинаково описывает и а) как выяснить, где находится ваш книжный шкаф, и б) как узнать температуру земного ядра, и в) как вычислить, сколько волос было на голове Юлия Цезаря. С точки зрения того, как нужно обрабатывать свидетельства и наблюдения, чтобы пересматривать и обновлять свои убеждения, это одинаковые задачи. Аналогично, теория принятия решений — это набор законов, лежащих в основе рациональных действий, и её можно применять независимо от того, о каких целях и каких вариантах действий идёт речь.

Обозначим выражением «Р(что-нибудь)» вероятность того, что это что-нибудь случится, а выражением «Р(А, В)» — вероятность, что А и В случатся вместе. Поскольку в теории вероятностей есть универсальный закон, что P(A) ≥ P(A, B), суждение, что Р(Билл играет джаз) меньше, чем Р(Билл играет джаз, Билл — бухгалтер) отмечается как неверное.

Говоря формально, такое рассуждение о вероятностях — небайесианское. Убеждения и действия, рациональные в строго определённом математическом смысле, называются байесианскими.

Обратите внимание, современное понятие рациональности не привязано к словесным рассуждениям. Я привёл пример, как вы открываете глаза, осматриваетесь и строите мысленную модель комнаты со шкафом около стены. Современное понятие рациональности — достаточно общее и включает ваши глаза и зрительную кору вашего мозга, как объекты на карте. Оно включает и вашу интуицию, которую сложно выразить словами. Математика не обращает внимание на то, что мы используем одинаковое слово «рациональный», и описывая Спока2, и описывая байесианский способ рассуждений. Математические модели — это хороший способ достигать своих целей или строить карту мира, независимо от того, какие у нас сложились предубеждения и стереотипы относительно слова «рациональность».

Однако это не решает проблему о том, что именно подразумевается под занятием «рациональностью», по двум основным причинам.

Во-первых, невозможно строго вычислить байесовские вероятности, необходимые для решения подавляющего большинства реальных задач. Никто не в состоянии посчитать правильное решение и ему следовать. Это всё равно, что попытаться предсказать поведение рынка акций, исходя из движения кварков.

Именно поэтому существует целый сайт под названием «Less Wrong», а не одна страница, которая ограничивается простым перечислением строгих аксиом. Для человеческого разума находить истину и достигать своих целей — это целое искусство. Чтобы сталкиваться с правдой и делать то, что должно, нам надо изучать собственные недостатки, справляться со своими предубеждениями, удерживаться от самообмана, поддерживать себя в хорошей эмоциональной форме, и так далее, и так далее.

Во-вторых, иногда математика сама по себе приводит к новым вопросам. Например, точные правила теории вероятностей приводят к вопросу антропного принципа, где неизвестно число наблюдателей. Точные правила теории принятия решений приводят к задачам вроде парадокса Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как вы его примете.

В таких случаях совершенно бессмысленно пытаться решить проблему, введя новое определение слова «рациональность» и заявив: «Таким образом под «рациональностью», по определению, будет подразумеваться предпочитаемый мной ответ». В этом случае, естественно, встанет вопрос, почему ваше определение должно кого-то интересовать. Теория вероятностей важна для меня не потому, что это священные слова, вручённые нам Лапласом. Байесианское обновление убеждений (вместе с оккамовскими априорными вероятностями) интересно для меня, потому что я ожидаю, что именно такой способ думать приведёт нас к карте, которая систематически более точно отображает территорию.

А ещё некоторые вопросы о том, как следует думать, кажется, не решаются целиком ни с помощью теории вероятностей, ни с помощью теории принятия решений. Например, вопрос о том, какие чувства испытывать по отношению к правде. В этих случаях какое-то собственное определение «рациональности» тоже лишь будет включать в себя уже существующий ответ, но не позволит найти что-то новое.

Я не собираюсь здесь спорить о значении слов, даже если речь идёт о слове «рациональность». Привязка неких последовательностей букв к определённым понятиям нужна, чтобы люди могли разговаривать между собой — передавать мысли от одного человека к другому. Невозможно изменить реальность или доказать какую-то мысль, манипулируя этими привязками.

Поэтому если вы поняли, какое понятие я связываю со словом «рациональность» и со словосочетаниями «эпистемическая рациональность» и «инструментальная рациональность», передача информации уже случилась. В рамках разговора о том, как определять «рациональность», мы сделали всё, что нужно. Дальше мы не будем разговаривать, какой смысл привязан к слогам «ра-ци-о-наль-ность». Дальше мы будем разговаривать, как именно лучше рассуждать.

Если вы говорите «Для меня (эпистемически) рационально считать, что Х, однако истина в том, что Y», вы наверняка используете слово «рационально» не в том же смысле, что и я. (Например, «рациональность» должна «выдерживать рефлексию» — «рациональный» взгляд на свидетельства и «рациональные» размышления о том, как ваш разум обрабатывает эти свидетельства, не должны приводить к разным выводам.)

Аналогично, если вы вдруг говорите «Для меня (инструментально) рационально сделать Х, но я считаю, что правильно делать Y», то почти наверняка вы используете для слова «рационально» или для слова «правильно» какие-то другие значения. Я использую термин «рациональность» нормативно: чтобы выбирать предпочитаемый способ рассуждений.

В этих случаях — а также во всех других, когда люди не соглашаются относительно смысла слов — вам стоит заменять слово «рационально» на более точные описания. Например: «Ради собственного благополучия следовало бы убежать, но я надеюсь, что хотя бы постараюсь вытащить ребёнка с рельсов». Или: «Причинная теория приятия решений в привычной формулировке говорит, что в задаче Ньюкома нужно брать оба ящика, но я предпочту получить миллион долларов».

Я вообще рекомендую перечитать это эссе, заменяя все вхождения слова «рационально»(и однокоренные) на «фузально». Проверьте, изменится ли смысл текста. Если изменится, стремитесь не к рациональности, а к фузальности.

В слове «рационально» таятся многочисленные ловушки. Однако во многих случаях с его помощью можно прекрасно передавать тот смысл, который я в него вкладываю. В этих случаях я не боюсь его использовать.

И всё же будьте с этим словом осторожны и не используйте его напрасно. Вы ничего не заработаете, просто произнося его вслух. Слишком много рассуждающий о пути не достигнет просветления.

• 1. Фраза «Карта — это не территория» является одним из ключевых положений дисциплины под названием «общая семантика». В эссе Rationalist Fiction Юдковский рассказывает, что ещё в детстве прочитал эту фразу в научно-фантастическом романе «Мир Нуль-А» Альфреда ван Вогта. Примечательно, что в данной книге Юдковский ни разу не упоминает ни общую семантику, ни её главного разработчика – Альфреда Коржибски — Прим. перев.
• 2. Известный персонаж сериала «Звёздный путь», . — Прим.перев.

Есть распространённое мнение, что рациональность противостоит эмоциям: все оттенки грусти и все оттенки радости автоматически нелогичны лишь потому, что это всего лишь чувства. Что удивительно, я не нашел ни одной теоремы в теории вероятностей, которая бы доказывала, что я должен быть холодным и бесчувственным.

Выходит, рациональность вообще не имеет отношения к чувствам? Это не так, ведь наши эмоции порождаются нашими моделями реальности. Если я решу, что мой мёртвый брат воскрес, я обрадуюсь; если я проснусь и пойму, что это был сон, я буду расстроен. Пэт Ходжилл однажды сказала: «То, что может быть разрушено правдой, должно быть разрушено». Во сне я был счастлив, но правда этому счастью противоречила. Проснувшись, я ощутил грусть, но эта грусть рациональна: нет такой правды, которая могла бы её разрушить.

Рациональность начинается с вопроса «каков мир на самом деле и как он работает», но словно вирус, распространяется на любую другую мысль, зависящую от того, каков он, по нашим представлениям. Убеждения о том, каков мир на самом деле, могут включать все, что ты думаешь о реальности, что существует, а что нет, и что угодно из класса «вещи, которые могут заставить случаться другие вещи». Если ты считаешь, что в твоем чулане живёт гоблин, который привязывает друг к другу шнурки твоих ботинок, то это — убеждение о том, как работает мир. Шнурки реальны: их можно потрогать. Сущность, которая может их связать, тоже должна быть реальной: она — часть гигантской сети причин и следствий, которую мы называем «вселенной».

Чувство злости на гоблина, за то что он связал шнурки - это состояние разума, которое касается не только того, как работает мир. Если ты, скажем, буддист, или тебе сделали лоботомию, или ты просто родился очень флегматичным человеком, то действия гоблина тебя не разозлят. Это не влияет на твои ожидания: ты все еще уверен, что открыв чулан, увидишь пару ботинок, привязанных друг к другу шнурками. Зол ты или спокоен - это не должно влиять на твои прогнозы, поскольку твои эмоции не влияют на происходящее в чулане (хотя, конечно, может потребоваться некоторое усилие, чтобы рассуждать трезво).

Однако, злость сцеплена с состоянием разума, имеющим отношение к тому, как работает мир: ты злишься потому, что думаешь, что гоблин связал шнурки ботинок. Критерий рациональности рапространяется как вирус: от исходного вопроса, завязал ли гоблин шнурки, и до возникшей в итоге злости.

По мере улучшения представлений о том, каков мир на самом деле, эмоции могут как ослабнуть, так и усилиться. Иногда мы избегаем сильных эмоций, отрицая факты, прячась от мира, порождающего столь сильные эмоции. В таком случае, изучая искусство рациональности и тренируясь не отрицать факты, ты можешь заметить усиление эмоций.

Когда я начинал учиться рациональности, я постоянно сомневался, нормально ли испытывать сильные эмоции, допустимо ли это вообще, и правильно ли. Не думаю, что замешательство было вызвано только лишь моим неверным представлением о рациональности. Я встречал немало людей с подобными проблемами, и эти люди даже и не думали становиться рационалистами. Когда они были счастливы, они сомневались в своём праве быть счастливыми, а когда расстроены - не могли понять, нужно ли бороться с этой эмоцией. Ещё со времён Сократа (а возможно, и гораздо раньше) в кругу людей, считавших себя культурными и утончёнными, было не принято показывать, что вам что-то небезразлично. Испытывать чувства постыдно — в приличном обществе так просто не делают. Надо видеть взгляды, которые на меня бросают люди, узнав, насколько мне важна рациональность. И я подозреваю, что причина кроется не в необычности предмета интереса, а в том, что они не привыкли встречать здравомыслящих взрослых людей, которые демонстрируют, что им важно хоть что-то.

Но сейчас я знаю, что нет ничего постыдного в сильных эмоциях. Усвоив правило «То, что может быть разрушено правдой, должно быть разрушено», я также понял, что «То, что питается правдой, должно расцветать». Когда случается что-то хорошее, я счастлив, и не мучаюсь сомнениями, рационально ли быть счастливым. Когда случается что-то ужасное(English), я не бегу от печали, ища ложные утешения и фальшивые плюсы. Я представляю прошлое и будущее человечества, десятки миллиардов смертей на протяжении всей истории, горе и страх, поиск ответов, дрожащие руки, тянущиеся вверх из рек крови, то, чем мы можем стать в тот день, когда звёзды станут нашими городами, вся эта тьма и весь этот свет; я знаю, что я никогда не смогу полностью это понять, и я не знаю слов, которыми можно было бы передать эти мысли. Несмотря на всю мою философию, я всё ещё смущаюсь показывать сильные эмоции, а тебе, возможно, некомфортно видеть их проявления. Но теперь я знаю, что в чувствах нет ничего иррационального.

Некоторые комментаторы спрашивают меня, зачем необходимо искать истину (к счастью, почти никому не нужно объяснять, что есть истина). Желание сделать своё мировоззрение рациональным вырастает именно из стремления к истине, и уже благодаря этому желанию все мировоззрения можно разделить на «хорошие» и «плохие».

В «Двенадцати добродетелях рациональности» я писал: «Первая добродетель — любопытство». Любопытство — первая причина искать истину, и, несмотря на то, что эта причина не единственна, в ней есть особая восхитительная чистота. В глазах человека, движимого любопытством, приоритет вопроса зависит от его эстетической ценности. Сложный вопрос, где вероятность неудачи необычно высока, стоит больших усилий, чем простой, где ответ и без того ясен — ведь узнавать новое интересно.

Кто-то может возразить: «Любопытство — эмоция, а эмоции иррациональны». Я называю эмоцию «иррациональной», если она основана на ложных убеждениях или, точнее, поведении, неправильном в свете известной информации: «К твоему лицу подносят железо, и ты веришь, что оно раскалено, но можно видеть, что оно холодно — тогда Учение осуждает твой страх. К твоему лицу подносят железо, и ты веришь, что оно холодно, но можно видеть, что оно раскалено — тогда Учение осуждает твоё спокойствие». И наоборот: эмоцию, вызванную истинными убеждениями либо рациональным с точки зрения желания узнать истину мышлением можно назвать «рациональной эмоцией» (Поэтому удобно считать, что спокойствие — не абсолютный ноль шкалы, а тоже эмоция, не лучше и не хуже всех остальных).

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Что ещё заставляет искать истину, не считая любопытства? Желание достигнуть какой-то цели в реальном мире: например, братья Райт хотят построить самолёт и для этого им необходимо знать правду о законах аэродинамики. Или, более повседневно: я хочу шоколадного молока, и поэтому меня интересует, можно ли купить его в ближайшем магазине: тогда я смогу решить, пойти ли туда, или куда-нибудь ещё. В глазах человека, движимого прагматизмом, приоритет вопроса определяется ожидаемой полезностью ответа на него: степенью влияния на решения, важностью этих решений, вероятностью того, что ответ сместит итоговое решение в сторону от первоначального решения.

Поиск истины в прагматичных целях выглядит неблагородным — разве истина не ценна сама по себе? — но такие поиски очень важны, поскольку они создают внешний критерий проверки. Упавший на землю самолёт или отсутствие молока в магазине говорят о том, что ты сделал что-то неправильно. Ты получаешь обратную связь и можешь понять, какие методы мышления работают, а какие нет. Чистое любопытство прекрасно, но стоит найти ответ — оно исчезает вместе с поразительной загадкой, и ничто уже не заставляет проверять ответы. Любопытство — древняя эмоция, появившаяся задолго до древних греков, руководившая ещё предками их предков. Но легенды о богах и героях удовлетворяют любопытство ничуть не хуже результатов научных экспериментов, и очень долго никто не видел в этом ничего плохого. Лишь наблюдение «некоторые методы мышления отыскивают суждения, позволяющие управлять миром» уверенно направило человечество на путь науки.

Итак, есть любопытство, есть прагматизм, что ещё? Третья причина поиска истины, которая приходит мне в голову — честь. Вера в то, что отыскание истины благородно, нравственно и важно. Такой идеал приписывает истине внутреннюю ценность, но он не похож на любопытство. Мысль «Интересно, что за занавесом» ощущается не так, как мысль «Мой долг — заглянуть за занавес». Паладину истины легче верить в то, что за занавес должен заглянуть кто-то ещё, и легче осуждать кого-то за добровольное закрывание глаз. Из этих соображений я называю «честью» убеждение в том, что истина имеет практическую ценность для общества и поэтому её следует искать всем. Приоритеты паладина истины в отношении белых пятен карты определяются не полезностью и не интересностью, но важностью; кроме того, в одних ситуациях долг искать истину зовёт сильнее, чем в других.

Я с подозрением отношусь к долгу как мотивации для поиска истины: не потому, что идеал плох сам по себе, а потому, что из такого мировоззрения могут вытекать некоторые проблемы. Слишком легко приобрести в корне ошибочные методы мышления. Например, посмотрим на наивный архетип рациональности — мистера Спока из «Звёздного пути». Эмоциональное состояние Спока всегда зафиксировано на отметке «спокойствие», даже когда это совершенно неадекватно ситуации. Он часто сообщает чудовищно неоткалиброванные вероятности, называя при этом слишком много значащих цифр («Капитан! Если ты отправишь Энтерпрайз в эту чёрную дыру, то вероятность нашего выживания всего лишь 2,234%!» — и при этом в девяти случаях из десяти Энтерпрайз отделывается мелкими царапинами. Оценка отличается от реального значения на два порядка; каким идиотом надо быть, чтобы раз за разом называть четыре значащие цифры?). Но при этом многие люди, думая о «долге быть рациональным» представляют себе в качестве примера именно Спока — неудивительно, что они не принимают искренне такой идеал.

Если сделать рациональность моральным долгом, то она теряет все степени свободы и превращается в деспотичный первобытный обычай. Получившие неверный ответ люди возмущённо утверждают, что они действовали в точности по правилам, вместо того, чтобы учиться на ошибках.

Но всё же, если мы желаем стать более рациональными, чем наши предки охотники и собиратели, то нам необходимы обоснованные убеждения о том, как правильно мыслить. Написанные нами ментальные программы рождаются в Системе 2, системе медленных обдуманных решений, и очень медленно переселяются — если вообще переселяются — в цепи и сети нейронов, образующих Систему 1. Поэтому, если мы желаем избежать некоторых определённых типов рассуждений, — например, когнитивных искажений — то это желание остаётся внутри Системы 2 в качестве предписания сторониться нежелательных мыслей, превращается в своеобразный профессиональный долг.

Некоторые методы мышления помогают найти истину лучше, чем другие — это приёмы рациональности. Часть приёмов рациональности говорят о преодолении определённого класса препятствий, когнитивных искажений.

Искажения — определённый вид препятствий на пути к истине (то есть их характер как препятствие мешает найти истину, но при этом существует множество других препятствий, искажениями не являющихся).

Если спросить «что такое искажение?» прямо сейчас, то вопрос будет задан слишком рано. Как говорится в английской поговорке, «существует сорок видов безумия, но лишь один вид здравого смысла». Истина — небольшая цель, компактная область в пространстве возможных конфигураций. «Любит она меня или нет?» — простой общий вопрос, однако $E=mc^2$ — всего лишь маленькая точка в пространстве всех возможных уравнений, словно выигрышный лотерейный билет в пространстве всех лотерейных билетов. В ошибке нет ничего исключительного, объяснения требует успех — настолько он невероятен априори.

Моральный долг «бороться с искажениями» (потому что искажения — плохие, злобные и Просто Неправильные штуки) — неверный подход к проблеме. Так может думать кто-то, кто приобрёл деонтологический долг «быть рациональным» в результате социального осмоса. Это порождает людей, пытающихся применять техники, не понимая стоящих за техниками причин (а это плохая, злобная и Просто Неправильная штука, если верить замечательной книге «Вы, конечно, шутите, мистер Фейнман»).

Подойдём к проблеме правильно.

По какой-то причине мы желаем попасть к истине, и по пути нам встречаются различные препятствия. Эти препятствия не сильно отличаются друг от друга: например, есть препятствия, имеющие отношение к недостатку вычислительных мощностей или к дороговизне информации. Большая группа препятствий разделяет общие черты — образует кластер в пространстве препятствий-на-пути-к-истине — и члены этого кластера называются искажениями.

Что такое искажение? Можно ли найти простой тест на принадлежность к этому эмпирическому кластеру? Может быть, мы так и не сможем найти объяснения, лучшего чем «показать пальцем на несколько ярких примеров и надеяться, что слушатель поймёт». Порой для учёного, только начавшего изучать огонь, мудрее сказать «огонь — это вон та яркая оранжевая штука», чем «я определяю огонь как алхимическую трансмутацию материи, выделяющую флогистон». Как я сказал в «Простой истине», нельзя игнорировать что-то лишь потому, что ты не знаешь, как это определить. Я не помню уравнения Общей Теории Относительности наизусть, но тем не менее, если я шагну с обрыва, то я упаду. То же самое можно сказать и про искажения — они не перестанут больно кусаться, если выяснится, что никто не может внятно объяснить, что такое «искажение». Поэтому вполне законно рассказать про ошибки в ситуации с логическим «И», эффект знания задним числом, сверхуверенность, эвристику доступности, ошибочную оценку поведения и гиперболическое обесценивание, а после сказать «Что-то типа этого».

Можно заметить, что мы называем «искажениями» те препятствия на пути к истине, которые созданы ни дороговизной информации, ни недостатком вычислительных мощностей, но формой ментального оборудования. Например, эволюция оптимизировала оборудование для целей, противостоящих эпистемологической точности (оборудование выигрывать политические споры). Или давление естественного отбора извратило желание добиться эпистемологической точности (вместо этого люди верят в то же, что и окружающие, приобретая благодаря этому союзников и друзей). Или классическая проблема эвристики, когда оборудование работает по понятному алгоритму, который обычно делает всё правильно, но временами совершает систематические ошибки. Сама по себе, эвристика доступности не является искажением, но она порождает характерные, компактно описываемые искажения. Человеческий мозг делает что-то неправильно, и проведя кучу экспериментов и/или хорошо подумав, кто-нибудь формулирует проблему на понятном Системе 2 языке — тогда мы называем эту ошибку «искажением». Даже если мы так и не узнаем большего, всё же ясно, что эта ошибка возникает — известным образом — из-за определённой формы когнитивного оборудования. Не из-за того, что оборудования слишком мало, а из-за того, что оно особой формы.

«Искажения» — это не ошибки, порождённые информацией внутри мозга (например, перенятые у кого-то убеждения или некого рода моральный долг). Они не называются «искажениями», и их намного проще исправить после того, как они замечены (тем не менее, источником ошибки, или источником источника ошибки, может быть и какое-либо искажение).

«Искажения» — это не ошибки, вызванные каким-то индивидуальным повреждением мозга или впитанными культурными нравами. «Искажения» — следствие работы механизмов, общих для всех людей.

Нельзя сказать «Платон страдал от когнитивных искажений, ведь он не знал теории относительности» — он не мог о ней узнать, его незнание было порождено не формой его ментального оборудования. Но если Платон считал, что лучшими правителями будут философы, из-за того что он сам был философом — а это убеждение, в свою очередь, возникло благодаря универсальному политическому инстинкту рекламировать себя, а не из-за того, что отец Платона говорил «долг каждого — говорить, что его профессия достойна занимать трон правителя», и не из-за того, что в детстве Платон нюхал слишком много клея — то тогда это значит, что Платон страдал от когнитивных искажений, и не имеет значения, знал ли об этом сам Платон.

Возможно, искажения трудно исправить. Возможно, они не исправляются в принципе. Но дело не в этом. Если, взглянув на своё ментальное оборудование, мы видим заурядный пример известного класса ошибок, и эта ошибка возникает из-за созданной эволюцией формы оборудования, а не из-за недостатка оборудования или плохого его содержимого, то мы называем её искажением.

Лично я вижу цель оттачивания навыков рационалиста в усилении способностей находить истину. Задание состоит в том, чтобы добраться до позитивной отметки (истины), а не в том, чтобы избежать негативной отметки (неудачи). Пространство неудач велико, там найдётся бесконечное множество ошибок в бесконечном их разнообразии. Трудно описать столь обширное пространство: «Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире». Пространство успеха меньше, и поэтому про него можно рассказать больше.

Я не питаю отвращения к разговорам об определениях, но нельзя забывать, что это не главная наша цель. Мы преследуем великую цель нахождения истины, нам отчаянно нужны знания, и кроме того, мы любопытны. Поэтому мы стремимся преодолеть все лежащие на пути препятствия, и без разницы, как мы их при этом называем.

Эвристика доступности - суждение о частоте или вероятности события по тому, насколько легко приходят на ум примеры данного события.

В известном исследовании 1978 года «Оценка частоты смертельных исходов»1 изучались ошибки при количественной оценке серьёзности рисков. Испытуемым называли два бедствия и спрашивали, какое из них происходит чаще. Испытуемые считали, что несчастные случаи уносят столько же жизней, сколько и болезни, думали, что убийство является более частой причиной смерти, нежели самоубийство. Хотя на самом деле, число умерших от болезней в шестнадцать раз превосходит число погибших от несчастного случая, а самоубийства происходят в два раза чаще убийств.

Очевидная гипотеза, объясняющая эти искажённые убеждения - что об убийствах чаще говорят, нежели о самоубийствах, и, таким образом, людям проще вспомнить разговор об убийце, нежели о суициднике. Несчастные случаи производят большее впечатление, нежели болезни - возможно, поэтому людям проще запомнить или вспомнить несчастный случай. В 1979 году, следующее исследование Комбса и Словика показало, что суждения с искажённой вероятностью сильно коррелируют (0.85 и 0.89) с искажёнными цифрами, которые были размещены в двух газетах2. Хотя это не проясняет, легче ли вспомнить убийства, потому что о них больше пишут, или же репортёры больше пишут об убийствах, потому что убийства производят большее впечатление (и поэтому легко запоминаются).

Но так или иначе, эвристика доступности тут присутствует. Избирательная отчётность - это один из основных источников искажений доступности. В родоплеменном окружении большая часть ваших знаний была основана на вашем личном опыте или же услышана напрямую от члена племени, который видел это. То есть между вами и фактом был максимум один слой избирательного сообщения. Сегодня, при помощи интернета, вы можете увидеть сообщения, которые проходят через шесть и более рук по пути к вам - шесть последовательных фильтров. По сравнению с нашими предками, мы живём в большем мире, в котором происходит больше событий, информации о которых к нам доходит меньше, поэтому эффект избирательности куда сильнее, что создает большие искажения доступности.

В реальной жизни, едва ли вы встречались с Биллом Гейтсом. Однако благодаря избирательным сообщениям от СМИ, у вас может появиться искушение сравнивать ваш жизненный успех с его - и страдать, соответственно, от полученного результата. Объективная частота встречи таких людей как Билл Гейтс - 0.00000000015, но слышите вы о нем куда чаще. И наоборот, 19% планеты живёт менее чем на один доллар в день, но я сомневаюсь, что хотя бы одна пятая тех постов, что вы сегодня читали, пишут о них.

Использование доступности, похоже, отвечает и за искажение абсурдности; события, которые никогда не происходили, нельзя вспомнить, вследствие чего их вероятность наступления начинает считаться нулевой. Если давно не было наводнений (а вероятности все еще считаются правильно), люди отказываются покупать страховку от наводнения, даже когда стоит она не больше, чем должна, а выплаты по ней немалые. Кунрейтер и соавторы в своём исследовании3 предполагают, что недооценка угрозы наводнения может происходить от «неспособности людей осмыслить концепцию наводнений, которых никогда не было…люди на затапливаемых равнинах, похоже, являются узниками своего опыта…недавно пережившие наводнение имеют тенденцию привязываться к верхней границе потерь, которую потом считают величиной, о которой и следует задумываться».

В исследовании Бёртона и соавторов4 говорится, что когда строятся дамбы и плотины, они уменьшают частоту наводнений, и, видимо, создают ложное ощущение безопасности, приводя к снижению мер безопасности, в то время как постройка дамб уменьшает частоту наводнений, но увеличивает ущерб от тех, что все же могут произойти (4). Мудрый человек экстраполировал бы из памяти о небольших угрозах возможность больши́х. Но вместо этого, прошлый опыт небольших угроз, похоже, устанавливает верхнюю «границу» риска. Общество, хорошо защищённое от малых угроз, не предпринимает действий против больши́х, расселяясь на затапливаемых равнинах как только риск небольших наводнений уходит. Общество рассматривает регулярные небольшие угрозы так, словно таких угроз большего размера не существует, предпринимая меры безопасности против регулярных небольших наводнений, но не против редких крупных наводнений.

Память не всегда хороший проводник даже для вычисления вероятностей прошедших событий, не говоря уже о будущих.

• 1. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.
• 2. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.
• 3. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.
• 4. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.

Простая подтверждающая подробность, чтобы добавить художественной правдоподобности в противном случае сухому и неубедительному рассказу…

— Пу-Ба, из оперы «Микадо»1

Конъюнктивное заблуждение это когда люди оценивают вероятность P(A, B) выше вероятности P(B), несмотря на то, что доказано P(A, B) ≤ P(B). Например, в ходе эксперимента в 1981, 68% испытуемых эксперимента оценили «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций» выше, чем «Рейган увеличит поддержку незамужних матерей».

Длинная серия ловко разработанных экспериментов, отделивших альтернативные гипотезы и прибивших стандартную интерпретацию, показали, что конъюнктивное заблуждение возникает, потому что мы «подменяем суждением репрезентативности суждение о вероятности». Добавляя дополнительные детали, можно сделать итоги более характерными для процесса их производящего. Слова о том, что Рейган увеличит поддержку для незамужних матерей, будут звучать убедительней, если добавить утверждение о том, что Рейган снизит поддержку местных администраций. Неправдоподобность одного утверждения компенсируется правдоподобностью другого; они усредняются.

Поэтому и говорят: добавив деталей, можно сделать сценарий звучащим более правдоподобно, несмотря на то что события, в совокупности, станут менее вероятными.

Если это так, то мы можем легко найти футуристов, бессовестно распространяющих правдоподобные и детализированные сценарии будущего, или людей, легко принимающих огромные порции неподтвержденных утверждений, сдобренных несколькими звучащими сильно добавками. Если вы сталкиваетесь с конъюнктивным заблуждением лоб в лоб, вы, возможно, преуспеете в преодолении этой конкретной проблемы, постоянно поправляя себя. Но это лишь вре́менное решение.

В эксперименте 1982 года профессиональные прогнозисты назначали систематически более высокие вероятности утверждению «Россия вторгнется в Польшу, и дипломатические отношения между СССР и США временно прекратятся», чем «Дипломатические отношения между СССР и США временно прекратятся»2. В этом эксперименте каждую группу прогнозистов просили оценивать только одно утверждение. Какой стратегии эти прогнозисты, как группа, могли следовать, дабы исключить влияние конъюнктивного заблуждения, если никто не знал про альтернативное утверждение? Если никто не знал, что эксперимент и был про конъюнктивное заблуждение? Как они могли улучшить их суждения о вероятностях?

Вре́менные решения не помогут. Лечить нужно не симптомы, а болезнь.

Что прогнозисты могли предпринять во избежание конъюнктивного заблуждения, не видя с чем сравнивать, не зная даже о том, что тестироваться будет именно конъюнктивное заблуждение? Мне кажется, что им следовало заметить «и». С этим надо быть поосторожней, да не просто так, а бежать от него. Даже без знания, что исследователи специально тестировали их на конъюнктивное заблуждение. Им придется замечать соединение деталей, быть шокированными наглостью просьб оценить вероятности таких безумно сложных предсказаний. Им придется штрафовать вероятность существенно - как минимум в четыре раза, в соответствии с деталями эксперимента.

Размышления о возможных причинах приостановки дипломатических отношений между США и Советским Союзом так же помогли бы прогнозистам. «США и Советский Союз приостановили дипломатические отношения без причины» не являлся сценарием, им был «США и Советский Союз приостановили дипломатические отношения по любой причине».

Что насчет субъектов, оценивавших «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций»? Опять же, они должны быть шокированы союзом «и». Более того, им нужно сложить силу утверждений (логарифм вероятности со знаком минус), а не взять среднее. Им следует думать: «Рейган может снизить поддержку местных администраций, а может и не снизить (1 бит), но увеличение поддержки незамужних матерей кажется маловероятным (4 бита). Итоговая сила утверждения: 5 бит»3. Или: «Рейган не поддержит незамужних матерей. Один промах и он вне игры. Другое предположение только ухудшает дело».

По аналогии, давайте рассмотрим шестигранную игральную кость с четырьмя зелеными гранями и двумя красными. Испытуемым давали на выбор три серии исходов — 1 [КЗККК], 2 [ЗКЗККК] или 3 [ЗККККК] — и просили поставить на ту из них, которая с их точки зрения встретится в серии из двадцати бросков4. Шестьдесят пять процентов испытуемых выбрали [ЗКЗККК], вероятность получения которой меньше, чем вероятность получения [КЗККК], так как любая серия, содержащая [ЗКЗККК] включает и [КЗККК]. Как испытуемые могли преуспеть больше? Заметив вкрапление? Возможно; но это лишь лечение симптома, оно не решит фундаментальной проблемы. Вычисляя вероятности? Это определенно решило бы фундаментальную проблему, но мы не всегда можем вычислить точную вероятность.

Испытуемые проиграли эвристически, думая: «Ага! Цепочка 2 имеет наибольшую пропорцию зеленых и красных! Я должен ставить на нее!» Чтобы выиграть эвристически, им следовало думать: «Ага! Цепочка 1 короче. Я должен ставить на нее!».

Бритва Оккама должна вызывать у них сильные эмоции - каждая деталь должна ощущаться как бремя, даже один поворот кости.

Однажды, я беседовал кое с кем, очарованным одним неосмотрительным футуристом (тем, который добавляет множество изящно звучащих деталей). Я пытался объяснить почему я не был так же очарован этими потрясающими, невероятными теориями. Так что я рассказал про конъюнктивное заблуждение, конкретно про эксперимент «приостановленные отношения ± вторжение в Польшу». И он сказал: «Ладно, но как это связано с -», и я ответил: «Более вероятно, что вселенная копируется по любой причине, чем что она копируется посредством черных дыр, которые создаются продвинутыми цивилизациями, созданных в результате эволюции этой вселенной для этой конкретной цели». И он сказал «Ох».

До этого он не ощущал дополнительные детали, как бремя. Вместо этого они были подтверждающими деталями, добавляющими художественной правдоподобности рассказу. Кто-то подает вам группу странных идей, одна из них - вселенная копируется. Далее, он предоставляет поддержку утверждению о копировании. Но это не поддержка группы, несмотря на то, что рассказывается, как одна история.

Вам следует распутывать детали. Следует рассматривать их отдельно и вопрошать: «Откуда мы знаем эту деталь?». Кто-то набрасывает картину падения человечества в нанотехнологическое столкновение, где Китай отказывается подчиняться международному соглашению о контроле, за этим следует гонка вооружений… Подождите-ка… Откуда вы знаете, что это будет Китай? Это хрустальный шар в вашем кармане или вы просто рады быть футуристом? Откуда взялись все эти детали? Откуда взялась эта конкретная деталь?

Ибо сказано:

Если можешь облегчить бремя своё, сделай это.
Нет такой соломинки, что бессильна сломать твой хребет.

• 1. https://en.wikipedia.org/wiki/The_Mikado
• 2. Tversky and Kahneman, «Extensional Versus Intuitive Reasoning.»
• 3. Здесь «сила утверждения» — его двоичный логарифм со знаком минус; чем она больше, тем менее вероятно утверждение. В примере вероятности утверждений должны быть 1/2 и 1/16 соответственно, вероятность всего утверждения — 1/32. — Прим. перев.
• 4. Amos Tversky and Daniel Kahneman, «Judgments of and by Representativeness,» in Judgment Under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (New York: Cambridge University Press, 1982), 84–98.

Международный Аэропорт Денвера открылся на 16 месяцев позже срока и с превышением бюджета на 2 млрд \$1.

Еврофайтер Тайфун, совместный оборонный проект нескольких европейских стран, был завершён с отставанием в 54 месяца, итоговая стоимость составила 19 млрд \$ вместо изначальных 7 млрд \$.

Сиднейский Оперный Театр, возможно, самый легендарный по превышению начальной стоимости проект. Изначально, оценка предполагала завершение в 1967 за 7 млн \$, но в итоге был завершен в 1973 за 102 млн \$2.

Неужели эти отдельные катастрофы привлекли наше внимание благодаря селективной доступности? Неужели они являются симптомами бюрократического или правительственного провала? Да, очень может быть. Но так же тут играет роль соответствующее когнитивное искажение, повторенное экспериментально с отдельными планирующими индивидуумами.

Бюлер и др. просили студентов оценить сроки сдачи своих академических проектов3. Конкретно они просили сказать, когда проекты будут сданы с 50%, 75%, 99% вероятностью. Попробуйте догадаться сколько студентов закончили до или после оцененного в 50%, 75%, 99% вероятности срока сдачи?

• 13% испытуемых уложились в срок, оцененный с 50% вероятностью успеха.

• 19% уложились в срок, оцененный в 75% вероятности успеха.

• и лишь 45% (менее половины!) уложились в срок, оцененный в 99% вероятности успеха.

Как Бюлер и др. отметили: «Результаты оценки 99% вероятности особенно удивляют: даже если их просили сделать крайне осторожное предсказание, по отношению к которому они чувствовали бы сильную уверенность, самоуверенность студентов намного превзошла их реальные достижения4.

В целом, этот феномен известен как «ошибка планирования». Ошибка планирования - это когда люди думают, что могут планировать, ха, ха.

Ньюби-Кларк и др. нашли ключ к скрытой подоплеке алгоритма планирования. Обнаружили, что

• Просьба спрогнозировать сценарии на лучшей реалистичной догадке

и

• Просьба спрогнозировать сценарии на самом удачном стечении обстоятельств…

… Привели к неразличимым результатам5.

Когда людей просили предоставить «реалистичный» сценарий, они воображали, что все пойдет как запланировано, без неожиданных задержек или непредвиденных катастроф - такой же сценарий, как и при самом удачном стечении обстоятельств.

Как оказалось, реальность преподносит обстоятельства хуже, чем «самое неудачное стечение обстоятельств», какое мы обычно воображаем.

В отличие от большинства когнитивных искажений, для борьбы с ошибкой планирования есть хорошая эвристика. Она не сработает для масштабного бардака вроде Международного Аэропорта Денвера, но пойдет для личного планирования или организации чего-то небольшого масштаба. Просто используйте «наружное наблюдение» вместо «взгляда изнутри».

У людей есть склонность генерировать предсказания, думая о конкретных, уникальных деталях задания, первыми приходящих на ум. И создавать сценарии того, как они будут выполнять задание - это мы, обычно, и называем планированием. Когда вы желаете, чтобы что-то было сделано, вам необходимо спланировать где, когда, и как; подумать сколько времени и ресурсов это потребует; визуализировать все шаги от начала до успешного завершения. Все это - «взгляд изнутри», и он не принимает в расчет неожиданные задержки и непредвиденные катастрофы. Как мы уже увидели, просьба визуализировать «худший сценарий» явно недостаточно сильно гасит оптимизм - они воображают недостаточно Мёрфично.

Взгляд снаружи - когда вы специально избегаете мыслей о конкретных, уникальных деталях проекта, и просто вопрошаете, сколько времени заняло завершение похожего проекта в прошлом. Это кажется контринтуитивным, ведь взгляд изнутри позволяет заметить больше деталей. Мысль об аккуратно сотканном предсказании, в котором была учтена вся доступная информация, выдающем лучшие результаты, искушает.

Но эксперименты показали: чем подробней испытуемые визуализировали, тем оптимистичнее (менее точными) они становились. Бюлер и др. просили испытуемых описать исключительно подробно их планы по шоппингу на Рождество: где, когда и как6. В среднем, эта группа ожидала покончить с покупками менее чем за неделю до Рождества. Другую группу просто попросили сказать, за какой срок до Рождества они планируют купить все необходимые рождественские подарки, и средний ответ был: за четыре дня. Обе группы закончили в реальности за три дня до Рождества в среднем.

Точно так же, Бюлер и др. сообщили об исследовании, в котором японские студенты ожидали закончить их сочинения за десять дней до срока сдачи. Закончили же они за один день до срока. Когда их спрашивали о прошлых сочинениях, выяснилось, что они так же были закончены «за день до срока». Такова сила взгляда снаружи против взгляда изнутри.

Похожее исследование свидетельствует, что опытные посторонние, знающие меньше деталей конкретного задания, но имеющие в памяти выполнение похожих, менее оптимистичны и более точны, чем те, кто проводит планирование.

Похоже, есть относительно надежный способ исправить ошибку планирования, если вам предстоит делать что-то похожее на то, что вы делали ранее. Просто задайтесь вопросом о том, сколько такие проекты длились в прошлом, игнорируя детали. Еще лучше: посоветуйтесь с опытным аутсайдером о том, сколько времени заняло выполнение похожих проектов в прошлом.

Вы получите ответ, который будет звучать отвратительно долгим, который, очевидно, был дан без учета всех особых причин по которым ваше конкретное задание будет выполнено быстрей. Но ответ остается правдой. Смиритесь.

• 1. Я видел так же предположения о 3,1 млрд \$
• 2. Roger Buehler, Dale Griffin, and Michael Ross, “Inside the Planning Fallacy: The Causes and Consequences of Optimistic Time Predictions,” in Gilovich, Griffin, and Kahneman, Heuristics and Biases, 250–270.
• 3. Roger Buehler, Dale Griffin, and Michael Ross, “It’s About Time: Optimistic Predictions in Work and Love,” European Review of Social Psychology 6, no. 1 (1995): 1–32.
• 4. Roger Buehler, Dale Griffin, and Michael Ross, “Inside the Planning Fallacy: The Causes and Consequences of Optimistic Time Predictions,” in Heuristics and Biases: The Psychology of Intuitive Judgment, ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman (New York: Cambridge University Press, 2002), 250–270.
• 5. Ian R. Newby-Clark et al., “People Focus on Optimistic Scenarios and Disregard Pessimistic Scenarios While Predicting Task Completion Times,” Journal of Experimental Psychology: Applied 6, no. 3 (2000): 171–182.
• 6. Buehler, Griffin, and Ross, “Inside the Planning Fallacy.” https://www.lesswrong.com/posts/CPm5LTwHrvBJCa9h5/planning-fallacy#cite….

Существует когнитивное искажение «знание задним числом». Оно проявляется так: люди, знающие, чем закончилась ситуация, верят, что исход можно было легко предсказать заранее. Когда мы знаем результат, мы переосмысливаем ситуацию с учетом этого результата. Даже если мы знаем об этом искажении, мы не можем воспринимать ситуацию так, как её воспринимает человек, который не знает того, что знаем мы.

С этим тесно связана иллюзия прозрачности: мы всегда знаем, что означают наши слова, и ожидаем, что остальные тоже это знают. Мы правильно понимаем смысл, читая написанное нами, обладая знаниями о том, что мы действительно имели в виду. Этим смыслом сложно поделиться с кем-то, кто будет руководствоваться лишь словами.

Джун порекомендовала ресторан Марку; Марк обедает там и обнаруживает, что там (а) посредственные еда и сервис или (б) вкусная еда и безупречный сервис. Затем Марк оставляет сообщение на автоответчик Джун: «Джун, я только что пообедал в ресторане, который ты мне порекомендовала, и я должен сказать, что это было изумительно, просто изумительно». Кейсар рассказал сценарий (а) группе людей, и 59% решило, что сообщение Марка было саркастическим и что Джун распознает сарказм.(1)

Среди тех, кому рассказали сценарий (б), только 3% решили, что Джун должна подумать о сообщении Марка как о саркастическом. Кейсар и Барр, по видимому, указывают, что испытуемые слышали голосовое сообщение. Кейсар показал, что если испытуемым сказали, что ресторан ужасен, но что Марк хотел скрыть свою реакцию, то они верили, что Джун не распознает сарказм в подобном сообщении.

Они предсказывали, что Джун должна распознать сарказм, когда Марк пытался скрыть негативную реакцию, так же легко, как когда он искренне хвалил ресторан. Так что они восприняли сообщение Марка прозрачным. Как будто они ожидали, что Джун поймет всё, что Марк захочет ей сказать.

«The goose hangs high» («Дело на мази») - старая английская идиома, которая не используется в современном языке. Кейсар и Блай сказали группе испытуемых, что «the goose hangs high» означает, что будущее выглядит многообещающим; другой группе сказали, что она означает, что будущее кажется мрачным. Затем испытуемых спросили, какое значение из этих двух кажется более подходящим для идиомы. Каждая группа решила, что именно услышанный ими смысл будет восприниматься как значение идиомы.

(Также тестировались другие идиомы: “come the uncle over someone”, “to go by the board” и “to lay out in lavender”. Ах, английский, прелестный язык).

Кейсар и Хенли тестировали калибровку ораторов. Будут ли они недооценивать, переоценивать, или оценивать верно, как часто слушатели понимают их? (6). Ораторам были предоставлены неоднозначные выражения («Мужчина преследует женщину на велосипеде») и снимающие неоднозначность изображения (мужчина бежит за женщиной, которая едет на велосипеде). Ораторов попросили произнести выражения перед аудиторией и оценить, как много слушателей поняли вложенный смысл. Ораторы думали, что были поняты в 72% случаев, тогда как настоящая цифра - 61%. Когда слушатели не понимали, ораторы оценивали понимание в 46%. Когда слушатели понимали, ораторы оценивали непонимание в 12%.

Другие субъекты, подслушавшие объяснение, показали отсутствие таких ошибок: они оценивали понимание в 56%.

Как заметили Кейсар и Барр, за два дня до атаки Германии на Польшу, Чемберлен послал письмо, вложив туда намерение показать, что Британия вступит в бой, если вторжение состоится (7). Письмо, составленное из дипломатичных выражений, было воспринято Гитлером как примирительное - и танки поехали.

Так что не стоит винить тех, кто не понял твои очевидные слова, в разговоре или письменно. Есть шанс, что твои слова более туманны, чем кажутся.

1. Boaz Keysar, “The Illusory Transparency of Intention: Linguistic Perspective Taking in Text,” Cognitive Psychology 26 (2 1994): 165–208, doi:10.1006/cogp.1994.1006.
2. Keysar and Barr, “Self-Anchoring in Conversation.”
3. Boaz Keysar, “Language Users as Problem Solvers: Just What Ambiguity Problem Do They Solve?,” in Social and Cognitive Approaches to Interpersonal Communication, ed. Susan R. Fussell and Roger J. Kreuz (Mahwah, NJ: Lawrence Erlbaum Associates, 1998), 175–200.
4. Keysar and Barr, “Self-Anchoring in Conversation.”
5. Boaz Keysar and Bridget Bly, “Intuitions of the Transparency of Idioms: Can One Keep a Secret by Spilling the Beans?,” Journal of Memory and Language 34 (1 1995): 89–109,
   doi:10.1006/jmla.1995.1005.
6. Boaz Keysar and Anne S. Henly, “Speakers’ Overestimation of Their Effectiveness,” Psychological Science 13 (3 2002): 207–212, doi:10.1111/1467-9280.00439.
7. Keysar and Barr, “Self-Anchoring in Conversation.”

Эволюция приспособила homo sapiens к жизни в маленьких (не более 200 человек) племенах охотников и собирателей, не знающих письменности. В этих условиях — в так называемой «среде эволюционной адаптации» — всё накопленное знание сохранялось в памяти и передавалось устно.

В таком мире все фундаментальные знания — всеобщи. Любая информация, которую нельзя назвать строго приватной, является публичной, и из этого правила нет исключений.

В среде эволюционной адаптации было очень маловероятным оказаться от кого-то на расстоянии, большем чем один понятийный шаг, одно логическое умозаключение. Когда ты обнаруживал новый оазис, тебе не надо было рассказывать своим соплеменникам, что такое оазис, или почему стоит пить воду, или как перемещать ноги для того, чтобы ходить. Где находится оазис, знаешь только ты; это знание приватно. Но у всех остальных уже есть предпосылки для того, чтобы понять описание оазиса, все уже владеют понятиями, необходимыми, чтобы думать о воде; это знание универсально. В тех редких случаях, когда какие-то объяснения были необходимы, тебе почти никогда не нужно было разъяснять свои понятия. В самом худшем случае, нужно было рассказать об одном новом понятии, но не о двух (или больше) одновременно.

В среде эволюционной адаптации не было абстрактных дисциплин, сжимавших огромные кучи свидетельств в элегантные теории, описанные в книгах, выводы которых на десятки понятий и сотни умозаключений удалены от всеобщего информационного фундамента.

В среде эволюционной адаптации лишь лгуны или идиоты пытаются рассказывать о вещах, обоснование которых не очевидно. У их слушателей вряд ли возникнет мысль о том, что, возможно, этот парень располагает какой-либо достоверной фундаментальной информацией, неизвестной никому в твоём окружении. Невозможность такого положения дел была надёжной неизменной характеристикой среды эволюционной адаптации.

И наоборот, если ты сказал что-то вопиюще очевидное, а твой собеседник с этим не согласился, то он либо идиот, либо намеренно упирается с целью позлить тебя.

И к тому же, если кто-то рассказывает о какой-то вещи, обоснование которой не очевидно, а затем ждёт от тебя понимания и поддержки, — и возмущается, не найдя их — то он явно безумен.

И я думаю, что этот эффект (вкупе с иллюзией прозрачности и самоякорением(English)) объясняет многие аспекты тех легендарных затруднений, с которыми сталкиваются учёные, пытающиеся общаться с обывателями (или даже просто с учёными из других областей науки). Я часто вижу следующую картину: объяснение не удаётся. Популяризатор науки делает один шаг назад, хотя правильным было бы сделать два, или даже больше шагов назад. Слушатель же, в свою очередь, считает, что всё должно стать понятным через один шаг, хотя на самом деле для этого необходимо больше шагов. Обе стороны ведут себя так, словно понятийное расстояние между ними очень мало; будто бы всеобщие знания очень близки к любому новому знанию.

Биолог, говоря с физиком, может обосновать теорию эволюции, сказав, что она — «простейшее объяснение». Но легендарная история науки не впиталась в души большинства остальных людей; они не видят этих столетий, от Ньютона до Эйнштейна, подаривших фразе «простейшее объяснение» весь её потрясающий смысл, превративших её в Слово Силы, что произносится при рождении теорий и высекается на их надгробных камнях. Для не-учёного фраза «но это — простейшее объяснение!» звучит, как любопытный, но вряд ли решающий аргумент; простота не выглядит могущественным инструментом для постижения офисных интриг или для починки автомобиля. Должно быть, биолог слишком ослеплён любовью к своим идеям для того, чтобы непредвзято взглянуть на альтернативные объяснения, которые звучат настолько же убедительно (они звучат убедительно для меня, поэтому они должны звучать убедительно для любого человека из моего окружения).

Биолог может понять, что впервые теория эволюции звучит странновато. Однако, если кто-то отвергает эволюцию даже после того, как биолог рассказал, что это наиболее простое объяснение и пояснил, почему… Ну, видимо, не-учёные просто глупы, и нет смысла с ними разговаривать.

Хорошее выступление должно проложить понятийный путь, начинающийся от позиций, которые аудитория уже знает или принимает. Если ты задашь недостаточную глубину рекурсии, то в итоге ты будешь просто разговаривать сам с собой.

Каждое новое заявление должно очевидным образом опираться на аргументы, сказанные тобой ранее и принятые аудиторией. Как только эта цепочка нарушается, аудитория начинает считать тебя жертвой секты.

То же самое произойдёт, если ты позволишь себе опираться на аргумент более сильно, чем готовы разрешить слушатели. Например, если ты посчитаешь фразу «эволюция — простейшее объяснение» решающим аргументом (таким она и является), а не любопытным, чуточку забавным нюансом (так она выглядит в глазах человека, не привыкшего чтить Бритву Оккама).

И не давай слушателям намёков на то, что ты считаешь их отставшими от тебя на дюжину понятийных шагов, или то, что ты думаешь, что располагаешь какими-то особыми неизвестными им фундаментальными знаниями. Слушатели не знают о том, что эволюционная психология предсказывает существование дефекта мышления, ведущего к недооценке понятийных расстояний. Они не думают, что у пробок на дороге общения есть какая-то особенная причина. Поэтому их просто будет раздражать твоя снисходительность.

И если ты считаешь, что можешь кратко объяснить понятие «систематической недооценки понятийных расстояний», быстренько бросив пару слов, то вынужден тебя огорчить…

Свет покидает Солнце, падает на шнурки и отражается от них; часть фотонов проходит сквозь зрачок и попадает на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.

Мыши видят, но они не знают, что у них есть зрительная кора, и поэтому они не могут систематически бороться с оптическими иллюзиями. Мышь живёт в ментальном мире, где есть кошки, дыры, сыр и мышеловки, — но нет мышиных мозгов. Их камеры не могут сфотографировать линзы собственного объектива. Но люди могут посмотреть на причудливую картину и осознать, что часть того, что они видят, является линзами их объектива. Ты не обязан всегда верить своим глазам, но ты обязан понимать, что у тебя есть глаза — у тебя должны быть отдельные участки памяти для карты и для местности, для чувств и реальности. Если ты считаешь этот навык тривиальным, вспомни, насколько он редок в царстве животных.

Вся идея Науки — это, в сущности, поиск наиболее надёжного способа отразить в зеркале разума содержимое целого мира. Мыши никогда не смогли бы изобрести такую идею. Размышляя о всех вопросах вроде «мы проводим повторяемые эксперименты, чтобы фальсифицировать теорию», мы можем разобраться, почему именно наука работает. Наука — это не отдельный магистерий, далёкий от реальной жизни и непонятный для простых смертных. Нельзя сказать, что науку можно применять только в лабораториях. Наука — это постижимый и объективно существующий процесс, который связывает содержимое мозга с реальностью.

Наука довольно логична, если как следует о ней подумать. Но мыши не могут думать о мышлении, и поэтому у них нет науки. Не проглядите заключённого в этом чуда, не упустите потенциальной мощи, которую нам дарит этот факт. Нам — в смысле «личностям», а не «научным сообществам».

Нужно признать, что задача понять мыслительный механизм может быть сложнее задачи понять часовой механизм — но между этими задачами нет фундаментальных различий.

Однажды я спросил посетителей канала #philosophy: «Верите ли вы в то, что ядерная война случится в течение ближайших 20 лет? Если нет, то почему?». Один человек сказал: «Я не думаю, что в ближайшие 100 лет начнётся ядерная война: все игроки, участвующие в принятии подобных решений, сейчас в ней не заинтересованны». Я спросил: «Но почему ты считаешь, что ситуация сохранится в течение 100 лет?». «Просто надежда», ответил он.

Если поразмыслить об этом мыслительном процессе, то можно увидеть, что перспектива ядерной войны пугает этого человека, и поэтому его мозг отвергает соответствующее убеждение. Но если представить себе миллиард миров — ответвления Эверетта или дупликаты Тегмарка(English) — то станет ясно, что такие размышления не создают корреляции между оптимистами и мирами без ядерной войны, как должно было бы быть, если бы они были бы рациональными.

(В этот момент у кого-то может появится соблазн сказать «Но если у меня есть надежда, я буду работать лучше, заработаю больше денег, тем самым помогу мировой экономике, и в результате страны будет не так просто столкнуть в пучину злобы, бедности и отчаяния, когда возможность ядерной войны всерьёз угрожает будущему. Получается, что надежда имеет отношение к реальности». Раз уж дошло до такого, мне придётся вытащить теорему Байеса и количественно измерить силу этого свидетельства. Оптимизм не может иметь столь огромный эффект на мире; его недостаточно для того, чтобы сместить вероятность ядерной войны на 20%, или насколько там оптимизм смещает степень убеждённости. Сильно изменять свои убеждения из-за события, несущего очень малый заряд сцепленности — практика, не способствующая точному картографированию.)

Задуматься о том, какие убеждения сделают тебя счастливым — посмотреть внутрь, а не наружу. Ответ может сказать что-то новое о твоей психике, но это не свидетельство, сцепленное с окружением. Я не имею ничего против счастья, но счастье должно порождаться картиной мира, а не преступным использованием ментальных карандашей в целях сокрытия правды.

Если ты можешь это увидеть — если ты можешь заметить, что надежда слишком сильно влияет на твои размышления первого уровня; если ты можешь увидеть свой мозг как рисующий карты механизм, в котором есть недочёты — то ты можешь что-нибудь исправить. Мозг — дефектная линза, не совсем точно показывающая действительность. Это верно в отношении мозга как мыши, так и человека. Но мозг человека — это линза, могущая понять свои изъяны, могущая увидеть свои систематические ошибки, свои искажения, а после применить к ним исправления второго уровня. Этот факт делает дефектную линзу намного могущественней на практике. Делает её не совершенной, но намного более эффективной.

Начало одной древней притчи звучит так:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук? Кто-то говорит «да, оно порождает колебания воздуха». Другой говорит «нет, никакой мозг не производит обработку слуховой информации».

Представим, что после того, как дерево упало, эти двое вместе входят в лес. Будет ли первый ожидать увидеть дерево, упавшее влево, а второй — дерево, упавшее вправо? Представим, что перед падением дерева двое оставили рядом с ним включённый диктофон; а после — воспроизводят его запись. Будет ли кто-либо из них ждать не тех звуков, что другой? Представим, что они присоединили электроэнцефалограф к каждому мозгу на планете — планирует ли кто-нибудь увидеть график, который не рассчитывал увидеть второй? Несмотря на то, что эти люди спорят, один говорит «нет», а другой «да», ожидаемые ими переживания не отличаются. Спорщики считают, что у них разные модели мира, но в этих моделях нет никаких различий по отношению к тому, какие будущие наблюдения им предстоят.

Соблазнительно попытаться уничтожить этот класс ошибок с помощью запрета всех убеждений, не являющихся ожиданиями какого-либо чувственного опыта. Но в мире есть многое, что не ощущается напрямую. Мы не видим атомов, из которых состоит кирпич, но эти атомы действительно существуют. Под твоими ногами пол, но ты не ощущаешь его напрямую, ты видишь отражённый от него свет (или, точнее, ты видишь результат обработки этого света сетчаткой и зрительной корой). Сделать вывод о существовании пола на основе его зрительного наблюдения — значит подумать о незримых причинах, стоящих за ощущениями. Этот шаг выглядит очень незначительным и очевидным, но это всё же шаг.

Ты стоишь на вершине небоскрёба, рядом с тикающими старинными часами, имеющими часовую, минутную и секундную стрелки. В твоей руке шар для боулинга, и ты сбрасываешь его с крыши. На какой по счёту щелчок стрелок ты ожидаешь услышать грохот шара, упавшего на землю?

Чтобы точно ответить на этот вопрос, тебе нужно использовать убеждения вроде «гравитация Земли равна 9,8 м/с^2» и «высота этого здания равна 120 метрам». Эти убеждения нельзя назвать бессловесными ожиданиями чувственного опыта; они довольно словесные, пропозициональные. Можно, не сильно погрешив против истины, описать эти убеждения как предложения, составленные из слов. Но эти убеждения имеют выводимое последствие, которое является прямым чувственным ожиданием — если секундная стрелка часов стоит на числе 12, когда ты бросил шар, то ты ожидаешь увидеть её на числе 1, когда ты услышишь грохот пять секунд спустя. Для того, чтобы ожидать чувственный опыт настолько точно, насколько это возможно, необходимо обрабатывать убеждения, не являющиеся ожиданиями чувственного опыта.

Великая сила Homo Sapiens состоит в том, что мы, лучше чем любой другой вид на планете, можем научиться моделировать невидимое. И в этом же состоит одна из наших величайших слабостей. У людей нередко встречаются убеждения о вещах, которые не просто незримы, но и нереальны.

Тот же самый мозг, что может логически вывести и построить сеть причин, лежащую за чувственным опытом, может построить и сеть причин, не соединённую ни с каким чувственным опытом (или очень плохо соединённую). Алхимики были убеждены в том, что флогистон вызывает огонь — очень упрощённо, это можно представить, как узел с надписью «флогистон», от которого тянется стрелка к чувственному опыту тёплого костра — но это убеждение не производило предсказаний на будущее; связь между флогистоном и наблюдениями всегда корректировалась после наблюдений, вместо того, чтобы как-нибудь ограничить наблюдения заранее. Или, скажем, учитель литературы говорит тебе, что знаменитый писатель Валки Вилкинсен — «пост-утопист». Что изменилось в твоих ожиданиях по поводу его книг в свете этой новой информации? Ничего. Это убеждение — если вообще можно называть это убеждением — вообще никак не связано с чувственным опытом. Но, тем не менее, тебе лучше запомнить о связи между Валки Вилкинсеном и атрибутом «пост-утопист»: тогда ты сможешь извергнуть это обратно на будущем экзамене. Если тебе сообщат, что «пост-утописты» показывают «охлаждение колониальных чувств», то ситуация совершенно аналогична: если автор письменного теста спросит, показывал ли Вилкинсен охлаждение колониальных чувств, то стоит ответить утвердительно. Убеждения связаны друг с другом, хоть и не связаны ни с каким ожидаемым опытом.

Люди могут построить целые сети убеждений, соединённые только друг с другом — будем называть это явление «плавающими» убеждениями. Это уникальный человеческий изъян, не имеющий аналогов у остальных животных, извращение способности Homo Sapiens строить абстрактные и гибкие сети убеждений.

Одна из добродетелей рационализма — эмпиризм — состоит в привычке постоянно задаваться вопросом о том, какой опыт предсказывается этим убеждением — или, ещё лучше, какой запрещается. Ты убеждён, что флогистон — причина огня? Тогда что ты ожидаешь увидеть, исходя из этого? Ты считаешь Валки Вилкинсена пост-утопистом? Тогда что ты рассчитываешь встретить в его книгах? Нет, не «охлаждение колониальных чувств»; какое переживание случится с тобой? Веришь ли ты в то, что если дерево падает в лесу, и нет никого рядом, чтобы это услышать, то оно всё равно создаёт звук? Тогда какой опыт должен выпасть на твою долю?

Ещё лучше спросить о том, какой опыт тогда с тобой точно не случится. Ты веришь в то, что жизненная сила объясняет загадочную разницу между живым и неживым? Тогда какие происшествия это убеждение запрещает, какое событие совершенно точно опровергнет это убеждение? Ответ «никакое» говорит о том, что это убеждение не ограничивает возможные переживания. Оно позволяет случиться с тобой чему угодно. Оно плавает.

Споря по поводу вопроса, вроде бы связанного с фактами, всегда держи в уме различие ожиданий будущего, из-за которого происходит спор. Если найти это различие не удаётся, то, скорее всего, вы спорите о названиях ярлыков в сети убеждений — или, ещё хуже, о плавающих убеждениях: ракушках-прилипалах на сети убеждений. Если ты не представляешь, какой опыт следует из того, что Валки Вилкинсен принадлежит к пост-утопистам, то ты можешь спорить бесконечно (а ещё ты можешь опубликовать бесконечное количество статей в литературных журналах).

И самое главное: не спрашивай, во что верить, — спрашивай, чего ожидать. Каждый вопрос об убеждениях должен порождаться вопросом о предсказаниях, и именно этот вопрос о предсказаниях должен быть в центре внимания. Каждое смутное убеждение должно рождаться как смутное ожидание, а затем оплачивать жилплощадь прогнозами будущего. Если убеждение становится злостным неплательщиком — высели его.

Во времена Византийской империи светская жизнь оказалась разделена на два лагеря: Синий и Зелёный. Синие и Зелёные убивали друг друга на дуэлях, в драках «стенка на стенку», в засадах и погромах. Прокопий Кесарийский говорил о них: «Вражда к противникам возникает у них без причины и остаётся навеки; не уважаются ни родство, ни свойство, ни узы дружбы. Даже родные братья, приставшие один к одному из этих цветов, другой к другому, бывают в раздоре между собою». Эдвард Гиббон писал: «Поддержка одной из группировок стала необходимой для любого кандидата, будь он светским или духовным лицом».

Кто же были эти Синие и Зелёные? Всего лишь спортивные болельщики — сторонники синей и зелёной команд в гонках на колесницах.

А теперь представьте общество будущего, которому пришлось сбежать в сеть подземных туннелей и пещер и закрыть все входы. Мы не будем уточнять, бежали ли они от болезни, войны или от радиации. Первым подземным жителям удалось наладить производство еды, возобновление воздуха, найти воду, организовать освещение и выжить. Их потомки благоденствовали и даже стали строить города. О верхнем мире остались лишь легенды, написанные на клочках бумаги, и один из таких клочков описывал небо, бескрайний простор воздуха над полом без стен. Небо было лазурного цвета, и в нем летали странные объекты, напоминающие пучки белого хлопка. Значение слова «лазурный» вызывало противоречия, некоторые говорили, что оно обозначает синий цвет, а другие — зелёный.

В ранние дни подземного сообщества соперничество Синих и Зелёных доходило до открытого насилия, но теперь царит перемирие — мир, рождённый отвращением к бессмысленной вражде. Культурные обычаи изменились, существует многочисленный и преуспевающий средний класс, воспитанный в духе правового государства и непривычный к насилию. В школах преподаётся история: как долго длилась вражда между Синими и Зелёными, как много людей погибло, как мало в итоге изменилось. Граждане подготовлены к странной новой философии, гласящей, что люди — это люди, не важно, за Синих они или за Зелёных.

Сам конфликт не исчез. Общество всё ещё разделено на Синие и Зелёные области, в любом актуальном культурном или политическом вопросе выделяется «Синяя» и «Зелёная» позиции. Синие ратуют за налоги на личные доходы, Зелёные поддерживают налоги на продажи торговцев. Синие придерживаются более строгих законов о браке, в то время как Зелёные хотели бы упростить бракоразводный процесс. Синие пользуются поддержкой центральных городских районов, а периферийные фермеры и продавцы воды обычно оказываются в лагере Зелёных. Синие верят, что Земля — это огромная шарообразная скала в центре вселенной, а Зелёные считают, что Земля — это огромная плоская скала, вращающаяся вокруг другого объекта, называемого Солнцем. Отнюдь не каждый Синий или Зелёный гражданин принимает «Синюю» или «Зелёную» позицию по любому вопросу, но довольно тяжело найти городского торговца, который считает, что небо было синим, и в то же время голосует за налоги на личные доходы и более свободные законы о браке.

Подземелье всё ещё поляризовано. Царит хрупкий мир. Есть некоторое число людей, искренне считающих, что Синие и Зелёные должны быть друзьями. Обычное дело, когда Зелёный покровительствует Синему магазину или Синий любит посещать Зелёную таверну. Из перемирия, изначально рождённого усталостью, медленно растёт дух терпимости и даже дружбы.

Однажды в Подземелье произошло небольшое землетрясение. Группа из шести туристов почувствовала содрогание земли, находясь на прогулке среди руин древнего поселения, где-то в верхних пещерах. Один из туристов упал и поранил колено, и группа решила повернуть назад, опасаясь новых землетрясений. На обратном пути один из них заметил странное дуновение воздуха, какой-то запах, исходящий из давно заброшенного туннеля. Не обращая внимания на предостережения спутников, этот человек одолжил лампу и направился к туннелю. Каменный коридор шёл выше… и выше… и наконец закончился дырой, выходящей из этого мира. Каменные стены закончились. Пространство, бесконечное пространство простиралось в никуда, здесь хватило бы места для тысячи городов. Невообразимо далеко наверху и слишком ярко, чтобы смотреть не щурясь, жгучий огонёк лучился светом, освещающим всё вокруг, как ничем не прикрытая нить накаливания какой-то гигантской лампы. В воздухе, ничем не поддерживаемые, висели непостижимые пучки белого хлопка. И цвет бескрайнего сияющего потолка был…

На этом месте история разветвляется, в зависимости от того, кто именно из туристов решил последовать по коридору к поверхности.

Адитья Синяя стояла под синей бесконечностью и медленно улыбалась. Улыбка не была радостной. В ней была ненависть и раненная гордость. Она припоминала каждый свой аргумент в спорах с Зелёными, каждое соперничество, каждую вырванную победу. «Ты всё время была права», — шепнуло ей небо, — «и теперь ты можешь это доказать». Какое-то мгновенье Адитья стояла, впитывая послание, упиваясь им, а затем она повернулась и ушла в коридор, неся его миру. Шаг, ещё шаг… её пальцы сжались в кулак. «Перемирие закончено», — сказала она.

Бэррон Зелёный бессмысленно глазел на хаос цветов долгие секунды. А потом запоздавшее понимание взорвалось в его животе, как удар молота. Слёзы потекли из его глаз. Бэррон думал о Катэйской Резне, когда армия Синих вырезала всё население городка Зелёных, включая детей. Он думал о древнем Синем генерале — Аннасе Релле, который объявил Зелёных «чумной ямой, язвой, нуждающейся в прижигании». Он думал об огоньках ненависти, которые он замечал в глазах Синих, и что-то внутри него треснуло. «Как ты можешь быть на их стороне?!» – закричал он небу и начал рыдать. Стоя под злобным синим свечением, он знал, что вселенная всегда была обителью зла.

Чарльз Синий ошеломлённо созерцал синий потолок. Как профессор смешанного колледжа он всегда аккуратно подчёркивал, что Синяя и Зелёная точки зрения в равной степени верны и заслуживают терпимого отношения, небо — это метафизическая сущность, а «лазурный» — цвет, который может восприниматься по-разному. На мгновенье Чарльз задумался, не увидит ли какой-нибудь Зелёный, встав на его место, зелёный потолок, или не будет ли потолок зелёным завтра, но он не стал бы делать выживание цивилизации ставкой в этом споре. Это был всего лишь природный феномен, не имеющий никакого отношения к морали или к обществу… Но феномен, который наверняка поймут неправильно, как опасался Чарльз. Он вздохнул и повернулся к коридору. Завтра он придёт сюда один и закроет проход.

Дарья, когда-то Зелёная, пыталась дышать посреди обломков своего мира. «Я не зажмурюсь» — сказала она себе. — «Я не отвернусь». Всю свою жизнь она была Зелёной, а теперь она должна стать Синей. Её друзья, её семья… все они отвернутся от неё. Говори правду, даже если твой голос дрожит, когда-то говорил ей отец. Но сейчас отец был мёртв, а мать никогда не сможет понять. Дарья смотрела в спокойный синий глаз неба, пытаясь принять его, и наконец её дыхание успокоилось. «Я ошибалась», — скорбно сказала она себе. В конце концов, не так уж это и сложно. Она найдёт новых друзей, и, возможно, семья сможет простить её… А может, они даже отважатся сами встать под этим небом и пройти этот экзамен, подумала она с надеждой. «Небо синее», — произнесла Дарья в качестве эксперимента, и ничего ужасного с ней не произошло, правда, у неё не получилось заставить себя улыбнуться. Дарья Синяя печально выдохнула и пошла обратно в свой мир, думая о том, что она скажет.

Эддин Зелёный посмотрел в синее небо и цинично рассмеялся. Наконец-то он понял учебник мировой истории, правда, ему всё равно не верилось, что они были такими дураками. «Глупцы», — произнёс Эддин, — «глупцы, глупцы, всё это время оно было здесь». Ненависть, убийства, войны, и всё это время оно было просто явлением, о котором кто-то когда-то написал на бумаге, как обычно пишут о любом другом явлении. Никакой поэзии, никакой красоты, ничего такого, о чём любой здравомыслящий человек станет беспокоиться. Просто одно бессмысленное слово, влияние которого распространилось за любые разумные границы. Эддин устало прислонился к стене пещеры, пытаясь придумать, как не дать миру взорваться от этого открытия, и задаваясь вопросом, а не заслуживают ли все они именно этого.

Феррис невольно открыл рот, он замер на месте в абсолютном изумлении и восхищении. Его глаза жадно метались туда-сюда, с неохотой покидая одно зрелище, чтобы впиться взглядом в другое. Синее небо, белые облака, бескрайняя неизвестность снаружи, полная мест и предметов, а, возможно, и людей, которых никогда не видели в Подземелье. «О, так вот какой это цвет», — сказал Феррис и отправился исследовать.

Дополнение от ex-Parrot

Лоретта Зелёная посмотрела на небо и сказала: «Оно синее. Следовательно, это не небо. Несмотря на безграничность, несмотря на открытость и несмотря на эти штуки, похожие на клочки белого хлопка. Вообще, после того, как я задумалась, они не кажутся так уж сильно похожими на хлопок» .

Джон Экуменист сказал: «Как я всегда и говорил. Оно лазурное!»

Карл Саган как-то рассказал притчу(English) о человеке (для удобства дадим ему имя Кредерус), который пришёл к нему и заявил: «В моём гараже живёт дракон». Потрясающе! В течение столетий по всему миру гуляли легенды о драконах, но до сих пор ни у кого нет никаких убедительных свидетельств их существования. Конечно же, любой человек ответит: «Я хочу посмотреть на настоящего дракона, где этот гараж?». Но гость вынужден нас огорчить: дракон невидим.

Далее Саган замечает, что невидимость не делает гипотезу о драконе нефальсифицируемой. Можно войти в гараж и услышать громкое дыхание из пустоты, увидеть неожиданно возникающие следы на земле, а потом при помощи инструментов обнаружить, что что-то в гараже поглощает кислород и выделяет углекислый газ.

Поэтому стоит ответить: «Ничего страшного, я попробую услышать его дыхание». Но Кредерус отвечает, что дракон совершенно бесшумен. — А что, если я измерю содержание углекислоты в воздухе? — Нет, дракон не дышит. — Можно распылить в воздухе муку, тогда она налипнет на дракона, и его контур можно будет увидеть. — Дракон проницаем для муки.

Мораль этой басни в том, что плохая гипотеза должна ловко маневрировать, чтобы избежать опровержения. Но я рассказываю эту историю не для того же, что и Карл Саган. Я хочу проиллюстрировать другую идею.

Где-то в недрах разума Кредеруса явно хранится правильная модель ситуации, поскольку он заранее ожидает определённых результатов всех этих проверок (а именно — таких результатов, которые ему придётся оправдывать).

Некоторые философы запутываются в подобных сценариях, не понимая, верит ли Кредерус в дракона, или всё-таки нет. Можно подумать, что в человеческом мозге мало места, и храниться может только одно убеждение за раз! Реальный разум намного сложнее. Как я уже говорил, убеждения бывают разными, не все можно назвать «прямыми ожиданиями чувственного опыта». Кредерус явно не ожидает увидеть в гараже ничего необычного, иначе он не оправдывался бы заранее. Также возможно, что в его фонде словесных убеждений хранится «В моём гараже живёт дракон». Рационалисту может показаться, что эти два убеждения должны конфликтовать друг с другом, даже несмотря на то, что они разных видов. Но, тем не менее, если написать «небо зелёное» на фотографии синего неба, то бумага и не подумает исчезать в языках пламени.

Добродетель эмпиризма должна не позволить нам совершать подобные ошибки. Рационалисты должны постоянно выяснять, какие переживания предсказывают их убеждения — требовать, чтобы убеждения окупались. Но проблема Кредеруса лежит глубже, и её не исцелить этим простым советом. Довольно просто соединить убеждение в драконе с ожидаемым наблюдением гаража: если ты веришь в живущего в гараже дракона, то ты, открыв дверь, рассчитываешь увидеть этого дракона. Если ты не видишь дракона, то это означает, что в гараже дракон не живёт. Действия довольно просты. Ты даже можешь попытаться повторить это со своим гаражом.

Но нет, эта невидимость — симптом чего-то похуже.

Возможно, ты помнишь тот момент из детства, когда ты уже начал сомневаться в существовании деда Мороза, но ещё считал правильным верить в деда Мороза, и поэтому пытался отвергнуть сомнения. Дэниел Деннет заметил: когда трудно верить в X, намного легче верить в то, что ты обязан верить в X. Как можно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное? Эта фраза вводит в замешательство; непонятно, что это означает в смысле ожидаемых переживаний, непонятно, во что именно ты бы верил, если бы верил. Намного проще поверить в то, что правильно, хорошо, добродетельно и полезно верить в то, что Первичное Космическое Небо одновременно полностью зелёное и полностью синее. Деннет называет это «верой в убеждение» (того же термина буду придерживаться и я).

Ну и затем, раз мы имеем дело с человеческим разумом, всё как обычно усложняется. Думаю, что даже Деннет слишком сильно упростил то, как эта психологическая уловка работает на практике. К примеру, если человек верит в убеждение, то он не может признаться себе в том, что он просто верит в убеждение: ведь добродетельно верить, а не верить в убеждение, следовательно если ты веришь в убеждение, а не просто веришь, то ты не добродетелен. Никто не скажет (даже про себя): «Я не считаю, что Первичное Космическое Небо одновременно синее и зелёное, но я считаю, что мне следует так считать», разве что этот человек необычайно хорошо умеет признавать свои недостатки. Люди не верят в веру в убеждения, они просто верят в убеждения.

(Если вы находите предыдущий абзац сложным для понимания, попробуйте поизучать математическую логику, которая учит остро различать такие вещи, как утверждение P, доказательство P и доказательство того, что P доказуемо. Такие же коренные различия есть и между P, желанием P, верой в P, желанием верить в P и верой в то, что ты веришь в P.)

Вера в убеждения бывает разной. Она может быть явной: человек осознанно повторяет про себя «Добродетельно верить в то, что Первичное Космическое Небо одновременно совершенно синее, и совершенно зелёное» (и при этом считает, что он в это верит, разве что этот человек необычайно хорошо умеет признавать свои недостатки). Бывают и менее бросающиеся в глаза формы. Возможно, Кредерус боится публичного осмеяния, которое, как он считает, неизбежно последует, если он публично признает, что был неправ (хотя, фактически, любой рационалист искренне порадуется за него, а остальные будут скорее высмеивать Кредеруса, если он, отнюдь, продолжит заявлять о драконе, живущем в гараже). Возможно, Кредеруса передёргивает от перспективы признаться себе в том, что дракона нет (точно также, как его передёргивало бы от физической боли): это противоречит его представлению о себе как о победителе-первооткрывателе, увидевшем в своём гараже то, что упустили все остальные.

Будь все наши мысли теми осознанными предложениями на естественном языке, которыми обычно манипулируют философы, человеческий мозг был бы намного проще для понимания. Быстро утекающие мысленные образы, невысказанные вспышки боли, исполняемые без сознательного ведома желания — всё это составляет такую же часть личности, как и слова.

Несмотря на то, что я не соглашаюсь с Деннетом касательно некоторых деталей и тонкостей, я всё равно считаю, что введённое им понятие вера в убеждение — ключ к понимаю Кредеруса. Однако, необходимо более широко трактовать понятие «убеждения», не ограничивать его вербальными утверждениями. «Убеждение» может включать в себя неявные регуляторы ожиданий. «Вера в убеждение» может содержать неявные ориентиры когнитивного поведения. С точки зрения психологии, утверждение «Кредерус не убеждён в том, что в его гараже живёт дракон; но он убеждён в том, что полезно быть убеждённым в существовании дракона в гараже» в лучшем случае нереалистично. Но вполне допустимо сказать, что Кредерус рассчитывает на отсутствие дракона, и оправдывается, словно он убеждён в наличии дракона.

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы продолжать стоять на своём и верить в дракона — или чтобы продолжать уклоняться от мысли изменения представления о себе как о верящем в дракона — совсем необязательно думать: «Я хочу верить в дракона, живущего в моём гараже». Достаточно лишь нежелания перспективы признания в ложности заявленных убеждений.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могла бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждения.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу».

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил:

— Ну, я не имел ввиду, что вы не сможете создать интеллект. Я хотел сказать, что он не может испытывать эмоции таким же образом, что и мы.

— Итак, если я создам искусственный интеллект, в который не будет заложено ничего навроде заранее написанного сценария, и моё творение начнёт говорить о чём-то, похожем на нашу духовную жизнь, то тогда ваша религия неверна.

— Ну, гм, видимо нам придётся остаться при своих мнениях на этот счёт. «Согласиться не соглашаться» — в таких случаях говорят англичане.

— На самом деле, так нельзя. Есть теорема из области рациональности — теорема Ауманна о согласии — которая говорит о том, что два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.

Мы коротко прошлись по этой теме. И, наконец, он сказал:

— Ну, кажется, на самом деле я пытался сказать вот что: я считаю, что вы не можете создать что-то вечное.

— Ну, я тоже так считаю!— ответил я. — Я рад, что мы смогли прийти к консенсусу по этому вопросу, как и требует теорема Ауманна о согласии.

Я протянул свою руку и он пожал ее, а потом побрёл дальше.

Женщина, которая стояла рядом и слушала наш разговор, серьёзно посмотрев на меня, сказала: «Это было прекрасно».

— Большое спасибо, — ответил я.

Самое жаркое место в аду закреплено за теми, кто во время кризиса оставались нейтральными.
– Данте Алигьери, эксперт по аду. Ой, то есть Джон Ф. Кеннеди, который приписывал цитаты кому попало.

Нейтральность и неторопливость с выводами - широко известный прием, который часто применяется в тех случаях, когда люди желают выставить себя взрослыми, мудрыми, непредвзятыми, или просто показать свое превосходство над другими.

Примером этого выступают мои родители, которые отвечали на теологические вопросы вроде «Почему в Древнем Египте, несмотря на обилие хороших записей о множестве разных событий, нет записей о том, что евреи хотя бы были там?» фразами: «Когда я был в твоем возрасте, я тоже задавал такие вопросы, но теперь я это перерос».

Другой пример – директор школы, который, представ перед двумя детьми, пойманными за дракой на игровой площадке, строго говорит: «Неважно кто начал драку, важно лишь кто ее закончил». Ну разумеется важно, кто начал драку. Директор, возможно, не имеет доступа к точной информации на этот счет, но если так, то ему стоит так и сказать, а не отрицать важность того, кто же ударил первым. Представим, что родитель ударил директора – как высоко оценит суд мудрость фразы «не важно кто начал драку» в этом случае? Но для взрослых детская драка – всего лишь неудобство, и для их удобства совершенно не важно, кто ее начал. Для их удобства важно только то, чтобы она закончилась и закончилась так быстро, как только можно.

Похожая динамика, по-моему, управляет международными дипломатическими случаями, когда Великие Силы строго говорят меньшим группам прекратить конфликты прямо сейчас. Великим Силам не важно кто начал: кто спровоцировал, кто непропорционально ответил на провокацию, ведь длящееся неудобство для Великих Сил - это только всего лишь функция длящегося конфликта. Блин, почему бы Израилю и Хамасу не найти наконец общий язык?

Это я называю «притворяться Мудрым». Разумеется, есть множество способов продемонстрировать мудрость. Но демонстрировать ее отказываясь делать догадки, отказываясь анализировать свидетельства, отказываясь выносить суждения, отказываясь принимать сторону, оставаясь в стороне, взирая высокомерно и снисходительно, т.е. демонстрировать мудрость ничего не говоря и не делая - ну, это я нахожу особенно претенциозным.

Паулу Фрейре сказал: «Умывать руки во время конфликта между сильным и бессильным – значит встать на сторону сильного, а не быть нейтральным.1 Игровая площадка на которой учителей не волнует кто начал конфликт представляет собой хорошее место для хулиганов, и отвратительное для их жертв. Это касается и международной политики: мир, где Великие Силы отказываются принимать сторону и лишь требуют немедленных договоренностей – удобный мир для агрессоров и ужасный для тех, на кого эта агрессия направлена. Но, разумеется, это очень удобный мир, если вы в нем Великая Сила или школьный директор.

Так что это поведение по крайней мере отчасти можно объяснить элементарным эгоизмом со стороны Мудрого.

Однако, в то же время, это еще и выражение превосходства. В конце концов, что подумают о директоре другие взрослые, если он встанет на чью-то сторону в обыкновенной детской драке? Ну как же, это ведь понизит статус директора до обычного участника столкновения!

То же самое касается любого уважаемого старшего – исполнительного директора, влиятельного академика, основателя форума – чья репутация непредвзятого человека основывается на том, что он практически никогда не выносит суждений сам, пока другие занимают стороны. Стороны обращаются к ним за поддержкой, но почти всегда впустую. Ведь Мудрых почитают как судей только при условии, что они почти никогда не выносят суждений – ведь в противном случае они были бы рядовыми участниками спора, ничем не лучше других.

(Как ни странно, судьи в судах могут себе позволить регулярно выносить реальные приговоры без автоматической потери своей репутации непредвзятых. Может потому, что все понимают, что они должны судить, ведь это их работа. Или потому, что судьям не приходится раз за разом разрешать вопросы, разделяющие на две части племя, от чьего уважения они зависят).

Существуют случаи, в которых рационально подождать с суждениями. Это, когда люди торопятся с выводами исключительно из-за своих искажений. Как сказал Майкл Руни: «Эту ошибку я неоднократно замечал у студентов, которые начинают изучать философию: столкнувшись с причинами стать скептиками, они вместо этого становятся релятивистами». Выходит, что в случаях, когда рационально не торопиться с выводами о чем-либо, слишком многие вместо этого приходят к решению, что все выводы одинаково приемлемы.

Как мы можем избежать связанной с предыдущей, но отдельной ошибки –псевдорационального поведения, заключающегося в демонстрации вашей неискаженной непредвзятости путем необоснованного утверждения, что текущий баланс свидетельств нейтрален? «Ох, ну, разумеется, есть немало убежденных дарвинистов, но я думаю, что свидетельства не позволяют нам сделать окончательный вывод о превосходстве естественного отбора над разумным творением».

Тут я предлагаю вспомнить, что нейтральность это точное суждение. Это совсем не то же самое, что оставаться вне и над. Это выражение ясной и конкретной позиции о том, что баланс свидетельств в конкретном деле допускает только одну трактовку - нейтральную. Это суждение тоже может оказаться неверным. Вывод о нейтральности может обсуждаться так же, как и вывод о правоте любой из сторон.

Точно так же дело обстоит и с политическими вопросами. Если какие-то люди утверждают, что и у пролайф («движения в защиту жизни») и у прочойс («движения в защиту репродуктивного выбора») позиции есть разумные идеи, и им определенно стоит стремиться к компромиссу и уважению, то они не занимают позицию вне дискуссии. Они выносят конкретное суждение, настолько же конкретное как и суждения «пролайф правы» или «прочойс правы».

Кстати говоря… этот текст не является приглашением к дискуссии об абортах или Палестино-Израильском конфликте в комментариях. Этот сайт - не для этих дискуссий, есть другие места чтобы обсуждать эти полностью заслуживающие обсуждения темы. Может быть потом, когда LessWrong станет достаточно большим… но сейчас не время.

Но дело не в том, что рационалисты слишком зрелые, чтобы говорить о политике. Дело не в том, что рационалисты выше этой глупой потасовки, до участия в которой унижаются только обычные сторонники политических партий и юные энтузиасты.

Робин Хэнсон отмечает, что способность участвовать в горячих спорах - ограниченный ресурс. Если вам удастся найти, где применить те же силы с большим результатом, то с вашей стороны разумно тратить силы на обсуждения, от которых может быть больше пользы, чем на те, в которых множество участников тратит много сил.
Но в таком случае ваши приоритеты – это следствие вашей ограниченности в ресурсах. Это не значит, что вы мудро и спокойно парите над схватками, в которых решаете не участвовать.

Мой ответ Полу Грэму на Хакер Ньюс, похоже, стоит повторить здесь:

Есть разница между:

• Принятием нейтрального суждения

• Отказом вложить незначительные ресурсы.

• Претензией на то, что любой из вариантов выше является признаком большой мудрости, зрелости и демонстрацией превосходства, с подтекстом, что исходные стороны конфликта - это худшие точки зрения, которые не так уж сильно отличаются с высоты вашего полета.

• 1. Paulo Freire, The Politics of Education: Culture, Power, and Liberation (Greenwood Publishing Group, 1985), 122.

Самое раннее известное мне упоминание научного эксперимента — это, как ни иронично, история об Илии и жрецах Ваала (English).

Народ Израиля колеблется между Иеговой и Ваалом, поэтому Илия объявляет, что проведёт эксперимент, чтобы решить эту проблему— какое новаторство по тем временам! Жрецы Ваала поместят своего быка на алтарь, а Илия поместит на алтарь быка Иеговы, но никому из них не будет позволено зажечь огонь; чей Бог истинный, тот и заставит огонь сойти на Его жертву. Жрецы Ваала служат для Илии контрольной группой — такое же древесное топливо, такой же бык и такие же жрецы, возносящие молитвы, но ложному богу. Затем Илия льёт воду на свой алтарь, разрушая симметрию эксперимента, но ведь это было так давно — тем самым он обозначает добровольное принятие бремени доказательства — эквивалент современного уровня значимости в 0,05. Огонь сходит на алтарь Илии, что является экспериментальным наблюдением. Народ Израиля, кричащий: «Господь есть Бог!» — экспертная оценка.

А потом они оттащили 450 жрецов Ваала к реке Кишон и перерезали им глотки. Это сурово, но необходимо. Надо жёстко отсечь опровергнутую гипотезу — и сделать это быстро, прежде чем она сможет найти предлог для самозащиты. Если бы жрецам Ваала сохранили жизнь, они бы начали болтать, что религия на самом деле — отдельный магистерий, недоступный ни подтверждению, ни опровержению.

В былые дни люди действительно верили в то, что говорила им их религия, а не просто считали религию важной. Библейские археологи, отправившиеся искать Ноев Ковчег, не считали, что впустую тратят своё время; они предполагали стать знаменитыми. И лишь после того, как не смогли найти подтверждающих свидетельств — а нашли опровергающие — только тогда эти святоши совершили то, что Уильям Бартли назвал возвращением к убеждению: «Я верю, ибо я верую».

В былые дни не существовало концепции религии как отдельного магистерия. Ветхий Завет — это свалка культурного потока сознания: история, право, притчи о морали, и, да, модели того, как работает Вселенная. Вы не найдёте ни в одной строчке Ветхого Завета трансцендентного восхищения сложностью Вселенной. Но вы найдёте множество вполне научных заявлений (English), вроде Вселенной, созданной за шесть дней (что является метафорой Большого Взрыва), или кроликов, жующих жвачку (что является метафорой…).

В былые дни заявление о том, что местную религию «невозможно подтвердить», привело бы вас на костёр. Одно из главных верований ортодоксального иудаизма заключается в том, что Бог появился на горе Синай и произнёс громовым голосом: «Ага, это всё правда». В байесианской перспективе это, чёрт возьми, весьма однозначное доказательство существования нечеловечески могущественной сущности. (Хотя и не того, что эта сущность, собственно, Бог, или что эта сущность добродетельна — это могли быть и подростки-инопланетяне.) Абсолютное большинство религий в истории человечества — не считая придуманных совсем недавно, — рассказывают истории о событиях, которые представляли бы собой совершенно безошибочное доказательство, если бы действительно случились. Независимость религии от фактических реалий — весьма недавняя и исключительно западная концепция. Люди, создававшие оригинальные писания, даже не знали о разнице между одним и другим.

Римская империя унаследовала древнегреческую философию, установила закон и порядок в своих провинциях, вела бюрократические записи и насаждала религиозную терпимость. Новый Завет, созданный уже во времена Римской империи, благодаря этому несёт на себе своеобразную печать модерна. Вы не можете придумать историю о том, как Бог полностью уничтожает город Рим (à la Содом и Гоморра), потому что римские историки ткнули бы вас в это носом, и вы не смогли бы просто закидать их камнями.

Но в былые дни люди, придумавшие истории Ветхого Завета, могли сочинять всё, чего бы им ни захотелось. Ранние египтологи были неподдельно шокированы тем, что не нашли абсолютно никаких следов еврейских племён, когда-либо бывавших в Египте — найти записи о Десяти казнях они и не мечтали, но они хоть что-нибудь обнаружить надеялись. Как оказалось, кое-что всё-таки нашли. Они обнаружили, что в предположительное время Исхода Египет правил большей частью Ханаана. Это гигантская историческая ошибка, но, поскольку библиотек не существует, вас некому ткнуть в неё носом.

А вот в Римской империи были библиотеки. Поэтому Новый Завет не заявлял о больших красочных широкомасштабных геополитических чудесах, что было привычным для Ветхого Завета. Вместо этого Новый Завет заявляет о меньших чудесах, которые, тем не менее, помещаются в те же самые доказательные рамки. Мальчик падает на землю, у него изо рта идёт пена; причина тому — нечистый дух; резонно ожидать, что нечистый дух убежит от истинного пророка, но не убежит от шарлатана; Иисус изгоняет нечистый дух; таким образом, Иисус — истинный пророк, а не шарлатан. Это совершенно обычное байесовское рассуждение, если принять в качестве базовой предпосылку, что эпилепсия вызывается демонами (и что прекращение эпилептического припадка доказывает, что демон сбежал).

Религия высказывала своё мнение не только в фактических и научных вопросах, религия высказывала своё мнение обо всём. Религия создала кодекс законов до возникновения законодательных органов; религия записывала историю до историков и археологов; религия устанавливала сексуальную мораль до женской эмансипации; религия расписывала формы государства до конституций; и религия отвечала на все научные вопросы: от биологической таксономии до формирования звёзд. Ветхий Завет не говорит о чувстве восхищения сложностью Вселенной — он слишком занят назначением смертной казни женщинам, носящим мужскую одежду, что, по тем временам, было вполне удовлетворительным содержанием религиозного текста. Современная концепция религии как чего-то строго морального порождена тем, что все остальные сферы были отняты у неё более компетентными институтами. Мораль — это всё, что осталось.

Или, скорее, люди думают, что мораль — это всё, что осталось. Возьмите свалку культуры, какой она была 2500 лет назад. Со временем человечество безмерно продвинется вперёд и части древней культурной свалки станут уже вопиюще устаревшими. Мораль не защищена от человеческого прогресса — например, сейчас мы весьма неодобрительно смотрим на такую одобренную Библией практику, как рабство. Почему люди думают, что такая мораль всё ещё допустима?

В действительности, нет ничего несущественного в этической проблеме убийства тысяч невинных перворождённых младенцев мужского пола, совершённого с целью убедить неизбранного фараона выпустить рабов, которые, если рассуждать логически, могли быть просто телепортированы из страны. Это должно быть более вопиющим, чем сравнительно тривиальная научная ошибка в заявлении, что у кузнечиков четыре ноги. Однако если вы заявите, что Земля плоская, на вас посмотрят, как на идиота. А вот если вы скажете, что Библия — источник вашей морали, ни одна женщина не даст вам пощёчины. Для большинства людей концепция рациональности определяется тем, что, по их мнению, может сойти им с рук; они думают, что одобрение библейской морали сойдёт им с рук; так что для того, чтобы закрыть глаза на моральные проблемы Библии, нужен лишь весьма терпимый уровень самообмана. Все согласились не замечать слона в посудной лавке, и такое состояние дел какое-то время может сохраняться.

Может быть, однажды человечество продвинется дальше, и каждый, кто предложит Библию в качестве источника морали, столкнётся с тем же отношением, с каким столкнулся Трент Лотт (Trent Lott), поддержавший президентскую кампанию Строма Термонда (Strom Thurmond). И тогда скажут, что истинной сутью религии всегда была генеалогия или ещё что-нибудь.

Идея, что религия — это отдельный магистерий, который нельзя ни доказать, ни опровергнуть, — это Большая Ложь, повторяющаяся снова и снова, так что люди говорят её не вдумываясь; но, критически рассмотренная, она оказывается попросту неверной.
Это — невероятное искажение того, как религия исторически зарождалась, как писания выражают свои верования, что говорят детям для того, чтобы убедить их, и того, во что до сих пор верит большинство религиозных людей на Земле. Нельзя не восхищаться беспредельной дерзостью этой лжи, стоящей на уровне с «Океания всегда воевала с Остазией». Прокурор показывает всем окровавленный топор, а обвиняемый, шокированный на мгновение, заявляет, поразмыслив: «Но вы не можете опровергнуть мою невиновность какими-то там доказательствами — это отдельный магистерий!»

А если это не сработает, возьмите листок бумаги и намалюйте себе карточку «Бесплатный выход из тюрьмы».

Однажды я посетил конференцию по теме «совместимы ли религия и наука?». Одна женщина-язычник с жаром рассказывала о своих представлениях о сотворении Земли: гигантская первичная корова была рождена в первичной бездне, а затем создала первичного бога при помощи слюны и языка; потомки первичного бога убили корову и сотворили Землю из её плоти, и так далее. История была длинной, подробной и более абсурдной, чем модель мира, в которой Земля покоится на спине огромной черепахи. И эта женщина явно разбиралась в науке достаточно, чтобы это понимать.

Я до сих пор не могу подобрать слов, чтобы описать, как именно говорила эта женщина. Она говорила… гордо? С самодовольством? Осознанно щеголяя собой?

Казалось, что женщина рассказывала этот миф о сотворении целую вечность (на самом деле, вероятно, прошло не более пяти минут). Странное нечто, гордость/удовлетворение/выставление себя напоказ, явно имело какое-то отношение к её знанию того, что эти убеждения были возмутительны с научной точки зрения. И она не презирала науку: она выступала за то, что наука и религия совместимы. Она даже рассказала о том, что, если взглянуть на землю, в которой жили викинги, то нетрудно понять, почему они верили в первичную бездну (этим объяснением она свела свои верования к чему-то заурядному!), но при этом всё равно настаивала на своей вере в этот миф, говоря об этом с исключительным удовлетворением.

Я не думаю, что понятие «вера в убеждение» можно растянуть настолько, чтобы покрыть это событие. Слишком странной была эта речь. Она не повторяла легенду с фанатичной верой кого-то, кому нужно подбодрять себя. Она не надеялась убедить в чём-то аудиторию, и ей не нужна была наша поддержка для того, чтобы чувствовать себя полноценной.

Деннет, автор понятия «веры в убеждение», считает, что большую часть того, что мы называем «религиозными верованиями» (или «религиозными убеждениями») стоит изучать как «религиозные провозглашения». Представим, что пришелец-антрополог изучает группу современных студентов-филологов, все из которых, кажется, считают, что Валки Вилкинсен является пост-утопистом. В этом случае правильный вопрос звучит не как «почему все они разделяют это странное убеждение?», а как «почему все они пишут это странное предложение на письменном экзамене?». Даже если предложение совершенно бессмысленно, ты всё равно знаешь, когда следует его громко пропеть.

Я думаю, что всё же несколько чересчур считать, что религиозные верования заключаются лишь в громком повторении определённых фраз: большинство людей довольно честны, и после произнесения религиозных предложений вслух чувствуют себя обязанными повторить их мысленно, чтобы эта мысль прозвучала и в сознании.

Но даже понятие «религиозных утверждений» вряд ли покрывает рассказ язычницы о своей вере в первичную корову. Если кому-то нужно произнести религиозное убеждение вслух, чтобы понравиться священнику или собрату по вере — да что там, просто, чтобы подтвердить своё представление о себе как о верующем — ему стоит притвориться верящим намного убедительнее, чем притворялась эта женщина. Пересказывая легенду с нарочито подчёркнутой гордостью, она даже не пыталась быть убедительной, даже не пыталась заставить аудиторию поверить в то, что она воспринимала свою религию всерьёз. Кажется, именно это меня и ошеломило. Несколько известных мне людей верят в свою веру касательно совершенно абсурдных вещей; но когда они страстно рассказывают о предмете своей веры в убеждения, они намного сильнее стараются убедить себя в том, что воспринимают всё это всерьёз.

Наконец, я понял, что язычница не пыталась убедить в чём-то нас и не пыталась убедить в чём-то себя. Её пересказ легенды о сотворении вообще не имел отношения к сотворению мира. Пятиминутная обличительная речь была одобрительным возгласом, что-то вроде транспаранта на футбольном стадионе. Транспарант с надписью «ВПЕРЁД СИНИЕ» не утверждает ничего о фактах и не пытается быть убедительным. Это просто кричалка.

Та странная подчёркнутая гордость… язычница словно участвовала в гей-параде обнажённой (Замечу мимоходом: не имею ничего против участия в гей-параде в обнажённом виде. Лесбиянство не относится к числу вещей, которые могут быть уничтожены правдой). Это было не просто выражением одобрения, как участие в гей-параде, это было оскорбительно эпатажным выражением одобрения, как участие в гей-параде голышом. В этом проглядывало убеждение в том, что её не смогут раскритиковать или арестовать, ведь всё это сделано во имя прославления её сообщества.

Именно поэтому для неё столь большое значение имела смехотворная абсурдность её слов. Попытка звучать более разумно эквивалентна надеванию одежды.

Я уже разделил убеждения на контроллеры ожиданий, веру в убеждения, провозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.

Ещё один подвид неполноценных убеждений — убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».

Зная человеческую психологию, можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего — не иметь ни малейшего представления о том, как видят мир обычные люди — чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие «отвага и альтруизм террориста» является одеянием Врага — поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, — забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?

Убеждение-как-одеяние может объяснить, почему люди могут придавать такой вес неполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.

С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду (Этот факт — фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм в других странах, но это уже другой разговор). Идентификация с племенем — очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.

Во время Сингулярного Саммита 2007, один из ораторов ратовал за создание демократичного мультинационального проекта по разработке Искусственного Интеллекта. Я подошел к микрофону и задал вопрос:

Предположим, группа демократических республик сформирует консорциум по разработке ИИ; в процессе будет много политизирования: некоторые группы будут иметь необычайно сильное влияние, другие будут отодвинуты на задний план, другими словами, результат будет напоминать другие продукты современной демократии. С другой стороны, группа независимых ботаников разработает ИИ у себя в подвале. Снабдит его инструкциями опросить всё население земного шара: даже раздать мобильники всем, кто их не имеет, и выполнить то, что будет утверждено подавляющим большинством голосов. Какой из вариантов более «демократичный» и с каким вы будете чувствовать себя более спокойно?

Я хотел узнать, верит ли он в прагматическую адекватность демократического политического процесса или он верит в моральную правильность голосования.

Но оратор ответил:

Первый сценарий выглядит как редакторская статья в журнале «Reason», а второй - как сюжет голливудского фильма.

Смутившись, я спросил:

Так какой демократический процесс вы имели в виду?

Оратор ответил:

Что-то вроде Проекта Человеческого Генома (это был интернационально финансируемый проект).

Я спросил:

Как разные группы будут разрешать свои разногласия в структуре вроде Проекта Человеческого Генома?

И оратор ответил:

Я не знаю.

Благодаря этому обмену репликами, я вспомнил цитату одного диктатора или кого-то еще, которого спрашивали о его намерениях двигать его карманное государство к демократии:

«Мы полагаем, что уже находимся в демократической системе. Некоторые факторы пока отсутствуют, вроде выражения воли народа».

Суть демократии в специфическом механизме разрешения политических конфликтов. Если все группы имеют одинаковые предпочтения, то в демократии не будет нужды - мы и так будем сотрудничать. Процесс разрешения может выражаться через голосование, или выбранного представителя, или даже через чувствительного к голосованию ИИ, но выражение должно быть хоть каким-нибудь. Какой смысл призывать к «демократическому» решению, если не подразумевается какой-то механизм разрешения конфликтов?

Думаю, слово «демократия» в данном контексте не относится к какому-то конкретному предложению или убеждению. Это скорее эквивалент светящейся таблички «Аплодисменты» в студии, которая загорается как сигнал к тому, что аудитория должна начать аплодировать.

Этот случай запомнился лишь потому, что я перепутал табличку «Аплодисменты» с политическим предложением, к моему стыду. В большинстве случаев таблички «Аплодисменты» более прямолинейны и могут быть выявлены простым реверсивным тестом. Например, кто-то скажет:

«Мы должны сбалансировать риски и возможности ИИ»

Если перевернуть это высказывание, мы получим:

Мы не должны соблюдать баланс рисков и возможностей ИИ.

Поскольку обратное звучит абсурдно, следовательно, неперевернутое утверждение, возможно, нормально, подразумевая, что это не несет новой информации. Есть множество хороших причин для утверждения, которое не является информативным вне контекста. «Нам нужно соблюдать баланс рисков и возможностей ИИ» может быть темой для обсуждения; может делать ударение на важности определенных планов для баланса; может критиковать планы, не соблюдающие баланс. Связывая другие утверждения, предложение может передать новую информацию ограниченному рационалисту - но сама по себе связь может быть неочевидной. Но без уточняющих положений, утверждение не более чем табличка «Аплодисменты!»

Порой мне хочется толкнуть речь, целиком состоящую из табличек «Аплодисменты», чтобы посмотреть, сколько времени пройдет, прежде чем аудитория начнет хохотать.

Я здесь, чтобы предложить взвесить риски и возможности продвинутого Искусственного Интеллекта. Нам следует избегать рисков и, если получится, реализовывать возможности. Нам не следует беспричинно подвергаться совершенно необязательным рискам. Для достижения этих целей нам следует планировать рационально и мудро.

Нам не следует действовать из страха и паники, или поддаваться технофобии; однако, не следует и действовать в слепом энтузиазме. Нам следует уважать интересы всех партий, принимающих участие в Сингулярности. Мы должны убедиться, что преимущества продвинутых технологий будут доступны для как можно большего числа индивидов, а не для нескольких. Мы должны, по мере сил наших, избегать конфликтов с применением этих технологий; и мы должны предотвратить попадание этих технологий в руки опасных индивидов. Нам следует думать над этими вопросами до, а не после, когда уже будет поздно что-либо предпринимать…

Что случится с процентом по облигациям: он поднимется, опустится, или не изменится? Если ты работаешь экспертом в телепрограмме, где тебе нужно объяснить произошедшее постфактум, то тебе незачем волноваться. Какая бы из этих трёх возможностей ни реализовалась, ты всё равно сможешь объяснить, почему результат отлично вписывается в разработанную тобой теорию рынка. Нет смысла думать о том, что эти три возможности каким-то образом противоречат друг другу или несовместимы между собой, поскольку ты в любом случае на сто процентов выполнишь свою работу в качестве эксперта.

Хотя подожди. Представь, что ты только совсем недавно появился на телевидении и недостаточно опытен для того, чтобы придумывать правдоподобные объяснения на лету. Нужно заранее подготовить заметки для завтрашнего прямого эфира, а времени у тебя не так уж и много. Тогда было бы очень полезно знать, какой именно результат произойдёт на самом деле, — поднимется или опустится ли процент по облигациям — ведь тогда понадобится подготовить лишь один набор оправданий.

Увы, предвидеть будущее невозможно. Что ты собираешься делать? Ты определённо не будешь использовать «вероятности». Школа рассказала нам, что такое «вероятности»: так называются числа от нуля до единицы в тексте некоторых задач; сейчас же никто не сообщил тебе никаких чисел от нуля до единицы. Что ещё хуже, ты чувствуешь себя как-то неуверенно, а — если тебе не изменяет память — во время вычисления ответа на такие задачи у тебя никогда не было таких ощущений. Лекции по математике читаются в чистых и знакомых аудиториях — разве уместно применять математику не в стенах института, а в запутанных и непонятных жизненных ситуациях? Использовать какой-либо стиль мышления в непригодной для него обстановке — всегда плохая идея. Ясно, о «вероятностях» вспоминать не надо.

Тем не менее, у тебя есть всего лишь 100 минут для того, чтобы подготовить оправдания. Нельзя потратить все 100 минут, обдумывая сценарий «повышение», и ещё потратить все 100 минут, набрасывая реплики для сценария «понижение», и ещё потратить 100 минут на размышления о сценарии «неизменность».

Если какая-нибудь проверочная комиссия собирается исследовать твоё расходование времени, то лучше бы потратить равное количество времени на подготовку к каждому возможному исходу. Никто не сообщил тебе чисел от нуля до единицы, и поэтому у тебя на руках нет никакой документации, могущей обосновать неравные временные затраты. Ты легко можешь представить, что именно скажут тебе проверяющие: «И почему же вы работали над оправданием №3 ровно 42 минуты, мистер Финклдинджер? Почему не 41 или 43 минуты? Признайте свою необъективность! Вы отдаёте предпочтение своим субъективным любимчикам!»

Однако ты с облегчением вспоминаешь, что никакая проверочная комиссия и не собирается искать в твоих поступках повода для обвинений. Это замечательно, ведь завтра прозвучит важное объявление от Федерального Резерва Банка США, и кажется маловероятным, что цены на процент по облигациям не изменятся. У тебя нет ни малейшего желания тратить драгоценные 33 минуты на подготовку речи, которую ты не планируешь произносить.

В голове всплывают наброски объяснений: подробные рассказы о том, почему каждое событие правдоподобно вытекает из твоей теории рынка. Но почти сразу становится ясно, что сейчас правдоподобность не поможет: все исходы правдоподобны. Каждый сценарий вписывается в твою теорию рынка, но это не имеет никакого отношения к тому, как следует поделить время на подготовку. Между сотней минут и способностью вписывать события в теорию есть принципиальное отличие: первое — ограниченно, второе — нет.

И всё же… У тебя нет зацепок, но всё же ты, кажется, ожидаешь эти события с разной силой. Какие-то оправдания кажутся тебе более важными, какие-то — менее. И — восхитительная деталь — если представить что-то, делающее повышение процента более вероятным, то объяснения для сценариев понижения и неизменности кажутся уже менее нужными.

Кажется, что существует связь между тем, насколько ты ожидаешь увидеть каждый из исходов, и тем, как ты хочешь разделить время подготовки между их оправданиями. Разумеется, эту связь невозможно измерить. У тебя есть 100 минут на подготовку, но здесь и не пахнет сотней «единиц предвкушения», или чего-нибудь такого. (Хотя ты всё-таки понял, что твоя функция полезности растёт примерно как логарифм от времени, потраченного на подготовку оправдания того события, которое произойдёт на самом деле.)

Но всё же… В мысли о том, что ожидание конечно, — и конечное ожидание подобно конечному времени на подготовку объяснений, а не бесконечной способности объяснять — явно что-то есть. Возможно, имеет смысл думать об ожидании, как о каких-нибудь ресурсах: например, как о деньгах. После такого сравнения сразу же тянет подумать о том, где можно достать ещё ожидания, но это бессмысленно: сколько ожидания бы ты не раздобыл, времени на подготовку от этого не прибавится. Нет, задача решается по-другому: нужно попытаться использовать свои ограниченные запасы ожидания наилучшим образом.

Ни о чём подобном на лекциях по статистике не говорилось. Никто не рассказал, что делать, когда это чёртово ощущение неопределённости так сильно давит на мысли. Никто не рассказал, что делать, когда неизвестно никаких чисел от нуля до единицы. Хотя при чём тут это? Если уж использовать числа, то с равным успехом можно использовать любые числа: нет никаких зацепок, указывающих на то, какой раздел математики следует использовать, если здесь стоит использовать вообще хоть какой-нибудь раздел математики. Может быть, пригодятся пары чисел: число слева, число справа. Такой подход можно будет назвать «теорией Декстера-Синистера», поскольку именно так «правый» и «левый» звучат на латыни. Или что-нибудь ещё, какой-нибудь другой метод и иная аксиоматика. (Во всяком случае, число «100» — 100 минут на подготовку — точно должно где-то участвовать, это понятно)

Почему никто не открыл правил фокусировки неопределённости? Правил, позволяющих распределить ожидание таким образом, чтобы большинство ожидания попало в тот исход, который произойдёт на самом деле?

Но как будет называться это искусство? И как будут выглядеть эти правила?

«Предложение „снег белый“ истинно тогда и только тогда, когда снег белый» — Альфред Тарский.

«Говорить, что сущее есть и не-сущее не есть, — значит говорить истинное» — Аристотель, «Метафизика 4».

Если две эти цитаты не выглядят удовлетворительным определением «истины» — прочтите это. Сегодня я расскажу о «свидетельствах» (причём речь будет идти об убеждениях-о-фактах, говорящих о том, каким является мир, а не об эмоциях или морали. О разнице между этими понятиями сказано здесь).

Человек идёт по улице, неожиданно его шнурки развязываются. Некоторое время спустя, по какой-то непонятной причине, он становится убеждён в том, что его шнурки развязаны. Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки. Происходит последовательность событий — цепочка из причин и следствий — начавшаяся во внешнем мире и закончившаяся внутри мозга, в конечном итоге которой человек приобретает имеющиеся у него убеждения. На выходе этого процесса — состояние разума, которое отражает состояние шнурков.

Что такое «свидетельство»? Это событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий. Если, к примеру, объект исследования — твои шнурки, то входящий в зрачки свет есть свидетельство, сцепленное со шнурками. Замечу, что здесь я использую слово «сцепленность» не в том смысле, что принят в квантовой механике (entanglement, в русской литературе иногда встречается как «запутанность»); две вещи «сцеплены», если благодаря соединяющей их цепочке причин и следствий, их состояния становятся скореллированными.

Не каждое воздействие создаёт нужный для свидетельства вид сцепленности. Не очень впечатляюще построить машину, гудящую, если в неё ввести выигрышный лотерейный номер, если эта машина будет точно также гудеть и на все остальные лотерейные номера. Отражённый от ботинков свет не будет полезным свидетельством касательно шнурков, если фотоны были бы одними и теми же вне зависимости от того, завязаны ли шнурки.

Говоря более формально: событие называется свидетельством о сущности А, тогда и только тогда, когда это событие проявляется по-разному в зависимости от различных состояний сущности А (говоря на языке теории информации, взаимная информация события и сущности А должна быть больше нуля).

Сцепленность заразительна, если с ней правильно обращаться, и именно поэтому людям нужны и глаза, и мозг. Если фотоны отразятся от шнурков и затем столкнутся с камнем, то камень не сильно изменится. Камень не будет сцеплен со шнурками никаким полезным с практической точки зрения образом, его состояние будет одним и тем же вне зависимости от того, были ли завязаны шнурки. Именно поэтому камни не стоит приглашать в суд в качестве свидетелей. Фотоплёнка, напротив, будет сцеплена со шнурками через отражённые от обуви фотоны, и поэтому её можно предъявить как улику. Если твои глаза и мозг работают правильно, то ты сам становишься сцеплен со своими шнурками.

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.

Если твои глаза и мозг работают правильно, то твои убеждения становятся сцепленными с фактами. Рациональное мышление порождает убеждения, сами по себе являющиеся свидетельствами.

Если твой язык говорит правду, то твои рациональные убеждения — которые есть свидетельства — могут быть свидетельствами в глазах кого-то ещё. Сцепленность передаётся по цепочке причин и следствий, а слова произнесённые есть причина, и слова услышанные есть следствие. Сказав «У меня развязались шнурки» по телефону, ты делишься сцепленностью с другом.

Поэтому среди честных людей, верящих в честность друг друга, рациональные убеждения будут заразительны. Именно поэтому выглядит столь подозрительным заявление о том, что твои убеждения не заразительны: заявление о том, что ты веришь, исходя из каких-то личных причин, не распространяющихся на остальных. Если твои убеждения сцеплены с реальностью, то они должны быть заразительны среди честных людей.

Если твоя модель реальности говорит о том, что результаты работы твоих когнитивных процессов не должны быть заразительны, то твоя модель реальности говорит о том, что твои убеждения не есть свидетельства, что твои убеждения не сцеплены с реальностью. В этом случае нужно что-то исправить, и отметить свои убеждения как «ложные».

Разумеется, если ты до конца осознаёшь — ощущаешь — смысл всего этого, то это означает, что ты уже отметил свои убеждения как «ложные». Потому что «убеждение не сцеплено с реальностью» означает «убеждение не истинно». В ту же секунду, когда ты перестал верить в то, что «предложение „снег белый“ истинно», ты автоматически перестал верить и в то, что снег белый, или на очень глубоком уровне сломалось что-то очень важное.

Поэтому объясни, почему используемый тобой тип мышления порождает убеждения, отражающие реальность. Объясни, почему ты считаешь себя рациональным. Объясни, почему, используя подобный твоему тип мышления, люди будут думать «снег белый» если, и только если, снег белый. Если ты не веришь в то, что результаты работы твоих когнитивных процессов сцеплены с реальностью, то почему ты доверяешь результатам работы своих когнитивных процессов? Ведь это должно быть одним и тем же!

Предположим, ваш добрый друг, комиссар полиции, говорит вам по строжайшему секрету, что криминальный главарь вашего города - Вилки Вилкинсен. Как рационалист, вы обязаны поверить этому заявлению? Попробуем так: если вы возьмете и оскорбите Вилки, я назову вас безрассудным. Так как благоразумно вести себя так, как если бы Вилки имел существенно большую-чем-по-умолчанию вероятность быть криминальным главарем, следовательно, заявление комиссара полиции должно быть сильным Байесовским свидетельством.

Наша судебная система не поместит Вилки под стражу на основе заявления комиссара полиции. Оно не рассматривается как правовое свидетельство. Возможно, если упекать за решетку всех обвиненных комиссарами полиции в том, что они возглавляют преступную организацию, то вы по-началу поймаете множество боссов, плюс, тех, кто не нравился комиссарам. Власть имеет свойство портить людей с временем, так что со временем вы будете ловить все меньше реальных боссов (которые будут применять более серьезные меры для обеспечения своей анонимности) и все больше невинных (несдержанная власть привлекает коррупцию, как мед привлекает мух).

Но это не значит, что заявление комиссара полиции не является рациональным свидетельством. Оно все еще обладает однозначными отношениями правдоподобия, и ты все еще будешь безрассудным, оскорбляя Вилки. Но на социальном уровне, преследуя социальную цель, мы осознанно определяем «правовое свидетельство», как совокупность лишь конкретных типов свидетельств, например, наблюдения комиссара полиции в ночь на четвертое апреля.
Все правовые свидетельства, в идеале, должны быть рациональными свидетельствами, но не наоборот. Мы внедряем особые, сильные стандарты, прежде чем объявлять, что данное рациональное свидетельство является еще и «правовым».

Набирая эту фразу в 8:33 вечера, Pacific time, 18-го августа 2007, я ношу белые носки. Следует ли тебе, как рационалисту, верить этим словам? Да. Могу я давать показания об этом в суде? Да. Это научное заявление? Нет, ведь нет эксперимента, который бы ты мог провести, дабы верифицировать это. Наука собрана из множества обобщений, применяемых к множеству частных случаев, чтобы ты мог провести новые реальные эксперименты, которые тестируют обобщения, и следовательно, подтвердить для себя, что обобщение является правдой, не полагаясь на чей-то авторитет. Наука - публичное, воспроизводимое знание человечества.

Как и судебная система, наука - социальный процесс, включающий подверженных ошибкам людей. Мы хотим защитить фонд убеждений, которые особенно надежны. Так же мы хотим социальные правила, которые бы способствовали производству нового знания. Так что мы внедряем особые, сильные, дополнительные стандарты прежде чем объявить конкретное рациональное знание «научным», добавив его в фонд убеждений. Должен ли рационалист верить в историческое существование Александра Великого? Да. У нас есть лишь грубая картинка древней Греции, не слишком достоверная, но это лучше чем максимальная энтропия. Но мы зависим от авторитетов, Плутарха, например; мы не можем игнорировать его и проверить все сами. Историческое знание - ненаучное знание.

Должен ли рационалист верить, что Солнце взойдет 18-го сентября 2007 года? Да, но не с абсолютной уверенностью, таков уж принцип ставок. (Для педантов: стоит ли верить, что 18-го сентября 2007 года вращение Земли и её орбита относительно Солнца останутся примерно такими же?) Это заявление, которое я написал в своем эссе 18-го августа 2007-го является научным убеждением?

Отрицание применимости прилагательного «научный» к заявлению «Солнце взойдет 18-го сентября 2007-го» может показаться ошибочным. Если наука не может делать предсказания о будущих событиях, которым еще предстоит произойти, то она бесполезна; она не будет способна предсказывать результаты эксперимента перед его проведением. Предсказание о том, что Солнце взойдет, определенно, является экстраполяцией научного обобщения. Оно основано на моделях Солнечной системы, которые ты можешь подтвердить самостоятельно.

Но представь, что ты создаешь новый эксперимент для верификации предсказания №27 в новом контексте теории Х. У тебя может не быть причин полагать, что предсказание ошибочно; ты можешь лишь хотеть проверить его в новом контексте. Утверждение о «научности» этого убеждения может показаться опасным, до завершения эксперимента. Уже есть «традиционное предсказание» и «предсказание теории Х». Но если ты уже знаешь «научное убеждение» о результате, зачем осложнять себе жизнь экспериментом?

Ты начинаешь, надеюсь, понимать, почему я отождествляю Науку с обобщениями, а не с историей экспериментов. Исторические события случаются лишь раз; обобщения же применяются для множества событий. История не воспроизводима, научные обобщения - да.

Является ли мое определение «научного знания» истинным? Это не слишком хорошо сформулированный вопрос. Особые стандарты, что мы внедряем для науки имеют практическую цель. Нигде на звездах или горах не написано, что p < 0.05 является стандартом научной публикации. Сейчас многие утверждают, что 0.05 - слишком слабый стандарт; что будет полезно понизить его до 0.01 или 0.001.

Может быть будущие поколения, действуя в соответствии с убеждением, что научное знание - публичное и воспроизводимое, будут помечать как «научные» лишь те статьи, что напечатаны в бесплатных журналах. Ведь если ты требуешь плату за знание, является ли оно знанием человечества? Можем ли мы доверять результатам, если людям приходится платить, чтобы критиковать их? Действительно ли это наука?

Вопрос «Действительно ли это наука» плохо сформулирован. Является ли байесовским свидетельством журнал с закрытым доступом и ценой подписки 20000$ в год? Вместе с частными заявлениями комиссара полиции о том, что Вилки — криминальный босс, думаю я, ответ — «Да». Но следует ли канонизировать журналы с ограниченным доступом как «науку»? Должны ли мы допускать их в защищенный фонд убеждений? Как по мне, так науке послужит больше, если научным будет считаться публичное, воспроизводимое знание в фонде человечества.

Напомню, что свидетельство — это «событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий», а сцепленность — «событие проявляется по-разному в зависимости от различных состояний цели». Так какое количество сцепленности — сколько свидетельств — требуется для того, чтобы поддержать убеждение?

Начнём с простого вопроса (достаточно простого для того, чтобы можно было получить ответ математически): насколько нужно сцепиться с лотереей, чтобы выиграть? Скажем, есть 70 шаров, вытаскиваемых в случайном порядке, и, чтобы выиграть, нужно, чтобы совпало шесть чисел. Тогда существует 131 115 985 возможных комбинаций, и вероятность того, что произвольный лотерейный билет выиграет, равна 1/131 115 985 (это 0,0000007%). Чтобы выиграть в лотерею, необходимы свидетельства, достаточно избирательные для того, чтобы благоволить одной комбинации, а не 131 115 984 её альтернативам.

Скажем, существуют вероятностные тесты, различающие выигрышные и проигрышные билеты. Например, можно ввести комбинацию в чёрный ящик, который всегда гудит, если комбинация выигрышна, и не всегда гудит, если комбинация проигрышна. Допустим, вероятность этого лишь 1/4 (или, в байесианской терминологии, отношение правдоподобия чёрного ящика — четыре к одному: если комбинация была выигрышной, то ящик загудит с вероятностью в четыре раза больше, чем для проигрышной).

Но возможных комбинаций очень много. Если ввести в ящик 20 проигрышных комбинаций, 5 из них (в среднем) заставят его загудеть — просто из-за вероятности ошибиться в 25%. Если ввести в ящик все 131 115 985 возможных комбинаций, то ящик загудит не только после выигрышной, но и после 32 778 996 проигрышных (в среднем).

Этот чёрный ящик не позволит выиграть лотерею, но это лучше, чем ничего. Благодаря ему, вероятность выигрыша вырастает от 1/131 115 985 до 1/32 778 997. Наблюдается прогресс в деле отыскания истины внутри обширного пространства возможностей.

Теперь предположим, что можно использовать второй ящик для того, чтобы проверить комбинацию дважды, независимо. Оба ящика точно загудят на правильную комбинацию, а вероятность гудка в ответ на неправильную комбинацию — 1/4 независимо для каждого ящика, и поэтому оба ящика загудят на проигрышную комбинацию с вероятностью лишь в 1/16. Можно сказать, что суммарное свидетельство, полученное в результате двух независимых тестов, имеет отношение правдоподобия 16:1. Число проигрышных лотерейных билетов, прошедших оба теста — 8 194 749 (в среднем).

Раз всего возможно 131 115 985 лотерейных билетов, то соблазнительно сказать, что необходимы свидетельства, чья суммарная сила будет примерно 131 115 985 к 1 — то есть нужно событие (или серия событий), в 131 115 985 раз более вероятное при условии, что комбинация выигрышная, чем при условии, что комбинация проигрышная. Но на самом деле этого свидетельства хватит лишь на то, чтобы дать 50% вероятность выигрыша. Почему? Потому что, если применить фильтр этой силы к 131 миллиону проигрышных билетов, то один (в среднем) проигрышный билет его пройдёт. Выигрышный билет тоже его пройдёт, и в результате получатся два прошедших фильтр билета. Вероятность выиграть 50%, если купить можно лишь один.

Лучше посмотреть на ситуацию следующим образом. Вначале, есть 1 выигрышный билет и 131 115 984 проигрышных, поэтому шансы выиграть 1:131 115 984. Шансы ящика загудеть — 1 (для выигрышного билета) к 0,25 (для проигрышного). Умножив 1:131 115 984 на 1:0,25 , получаем 1:32 778 996. После добавления ещё ящика свидетельств, шансы опять умножаются на 1:0,25 , и теперь они равны 1 к 8 194 749: 1 выигрышный билет и 8 194 749 проигрышных.

Удобно измерять свидетельства в битах — не в тех битах, которые можно найти на жёстком диске, а в математических битах, которые концептуально от них отличаются. Эти биты — просто логарифмы вероятностей по основанию 1/2. Например, если возможны четыре случая — A, B, C и D, чьи вероятности 50%, 25%, 12,5% и 12,5% соответственно, и я говорю, что случилось D, то тем самым я передаю тебе 3 бита информации, так как вероятность сообщённого результата — 1/8.

Удачное совпадение: 131 115 984 чуточку меньше, чем 2 в 27-й степени. Поэтому 14 ящиков, или 28 бит свидетельствующей информации — событие, в 268 435 456 раз более вероятное при условии, что гипотеза-о-билете верна, чем при условии, что она ложна, — увеличит шансы с 1:131 115 984 до 268 435 456:131 115 984, что примерно равно 2:1. Шансы 2:1 означают, что на каждые две победы приходится один проигрыш, то есть, если взять в руки 28 битов свидетельствующей информации, то вероятность выигрыша будет 2/3. Добавим ещё один ящик, 2 бита свидетельствующей информации, и шансы сдвинутся до 8:1. Появление ещё двух ящиков превратит шансы выигрыша в 128:1.

Так что, если ты хочешь получить право на сильное убеждение в том, что ты выиграешь лотерею (то есть, скажем, чтобы вероятность твоей неправоты была меньше 1%), то 34 бит свидетельствующей информации о выигрышной комбинации вполне достаточно.

В общем случае, для ответа на вопрос «сколько свидетельств для этого понадобится?» нужно использовать примерно такие же правила оценки. Чем больше пространство возможностей, или чем сильнее априорная невероятность гипотезы по сравнению с её ближайшими соседями, или чем более уверенным хочется быть, тем больше нужно свидетельств.

Правила нельзя обмануть. Никто не может формировать убеждения, основываясь на неадекватных свидетельствах. Скажем, у тебя есть ряд из 10 ящиков, и ты вбиваешь комбинации в каждый из них. Ты не можешь остановиться на первой комбинации, успешно прошедшей все ящики, и сказать: «Но шанс на то, что это случится для проигрышного билета — один к миллиону! Чёрт с этими полурелигиозными обычаями байесианцев, я закончил!». Этот тест пройдёт не только победитель, но ещё и 131 проигрышный билет (в среднем). Ты пришёл к слишком сильному выводу, основываясь на недостаточном количестве свидетельств, не сумев побороть громадность пространства возможностей и априорную невероятность. Это не надуманное бюрократическое предписание, это математика.

Конечно, можно быть убеждённым в чём-то, основываясь на неадекватных свидетельствах, если сильно хочется; но убеждения при этом не могут быть истинными. Ситуацию можно сравнить с попыткой завести машину без бензина, игнорируя глупое, закостенелое, несправедливое и смехотворное правило «автомобилю нужен бензин для того, чтобы ездить». Было бы намного удобнее и дешевле, если бы люди отменили этот закон, разве это не очевидно вообще всем? Что же, можно попробовать, если сильно хочется. Можно даже закрыть глаза и представить себе, что машина движется. Но для того, чтобы на самом деле прибыть к правдивым убеждениям, необходимы свидетельства-бензин и, чем дальше ехать, тем больше бензина понадобится.

В 1919 году сэр Артур Эддингтон возглавил экспедиции в Бразилию и на остров Принсипи, чтобы пронаблюдать солнечные затмения и тем самым опытным путем проверить то, что предсказывает новая теория, созданная Эйнштейном, — общая теория относительности. Некий журналист спросил Эйнштейна, что тот будет делать, если наблюдения Эддингтона разойдутся с предсказаниями теории. Как известно, Эйнштейн ответил: «Тогда мне будет жаль Господа Бога. Теория всё равно верна».

Это заявление звучит чрезмерно дерзко, словно бросая вызов общепринятой в Традиционной Рациональности позиции, которая утверждает, что эксперимент — главный судья. Эйнштейн словно был одержим столь великой гордыней, что отказывался преклонить голову перед тем, что говорит мироздание, как это должен делать всякий ученый. Кто способен узнать, верна ли теория, еще до экспериментальной проверки?

Конечно, Эйнштейн оказался прав. Я стараюсь не подвергать критике людей, когда они правы. Если они по-настоящему ее заслуживают, мне не придется долго ждать случая, который прояснит их ошибку.

И Эйнштейн, возможно, был не столь уж опрометчиво дерзок, как это звучало.

(От переводчика: далее под силой эксперимента или сложностью гипотезы будет иметься в виду их разрешающая способность в битах в соответствии с подходом Шеннона. Для тех, кто слабо знаком с теорией информации, можно, не вдаваясь в детали, сказать, что это мера длины кратчайшего сообщения, описывающего гипотезу. См. также статью о бритве Оккама)

Чтобы назначить вероятность, большую 50%, одной верной гипотезе из набора в 100 млн возможных, вам нужно как минимум 27 бит свидетельств, или около того. Если у вас нет столь информативного способа проверки, нельзя рассчитывать, что вы сможете найти верную гипотезу: недостаточно сильные эксперименты оставят более чем одну идею потенциально истинной. Если вы попробуете произвести проверку, дающую ложноположительный исход в одном случае из миллиона (т. е. силой примерно в 20 бит), то в итоге получите сотни возможных гипотез. Чтобы просто отыскать верный ответ в широком пространстве возможностей, нужно много свидетельств.

Традиционная Рациональность подчеркивает роль подтверждения: «Если вы хотите убедить меня в истинности X, вам потребуется предоставить мне Y свидетельств». Я часто соскальзывал к подобной формулировке, когда на самом деле хотел сказать что-то вроде «Чтобы обосновать убежденность в этом заявлении с вероятностью большей 99%, нужно 34 бита свидетельств». Или «для того, чтобы присвоить вашей гипотезе вероятность больше 50%, вам нужно 27 бит свидетельств». Традиционная формулировка подразумевает, что вы начинаете исследование с догадок или неких только вам понятных рассуждений, которые приводят вас к гипотезе, и только затем накапливаете «свидетельства», подтверждающие ее, чтобы убедить научное сообщество или обосновать свою убежденность.

Однако с байесовской точки зрения вам, чтобы просто задать гипотезу на пространстве возможных теорий, нужны свидетельства в объеме, примерно равном сложности этой гипотезы. (Вопрос пока не в том, чтобы убедить кого-либо или обосновать что-либо.) Если перед вами сто миллионов альтернатив, вам нужно не меньше 27 бит свидетельств, чтобы просто однозначно сосредоточиться на единственной версии.

Это справедливо, даже если вы называете свою идею «догадкой» или «озарением». Работа интуиции — реальный процесс в настоящем мозге. Если ваш разум не обладает хотя бы десятью битами байесовски непротиворечивых, неизбыточных и соответствующих гипотезе данных, то он не в состоянии выделить корректную гипотезу силой в 10 бит — ни сознательно, ни подсознательно, ни как-либо еще. Если вы хотите отыскать одну из миллионов целей с помощью только лишь 19 бит связанной информации, подсознание не сможет сделать это лучше, чем сознание. Подсознательные догадки могут казаться загадочными тому, в чью голову приходят, но не в состоянии нарушить принципы устройства мироздания.

Вы уже видите, к чему я веду: в момент, когда Эйнштейн изначально формулировал гипотезу, когда уравнения начали приходить ему в голову, у него уже должны были быть достаточные экспериментальные данные, чтобы его внимание смогло сосредоточиться единственным образом именно на уравнениях ОТО. Иначе они не получились бы верными.

Теперь подумаем, насколько похоже на правду, что Эйнштейн мог владеть именно такими экспериментальными данными, чтобы ОТО завладела его вниманием, но ее достоверность была бы оценена лишь в 55%? Предположим, что сложность гипотезы ОТО — 29,3 бита. Правдоподобно ли, чтобы в курсе физики, который изучал Эйнштейн, было ровно 29,5 бит свидетельств?

Неправдоподобно. Если у Эйнштейна было достаточно экспериментальных данных, чтобы единственным способом разработать уравнения ОТО в самом начале, то, вероятно, у него уже было достаточно свидетельств, чтобы быть чертовски уверенным в истинности общей теории относительности.

Из-за того, что мозг человека — несовершенный обработчик информации, на деле у Эйнштейна, возможно, было чрезмерно больше свидетельств, чем в принципе требуется идеальному байесовскому агенту, чтобы присвоить ОТО внушительную степень доверия.

Слова учёного «Тогда мне будет жаль Господа Бога, теория всё равно верна» не звучат так уж пугающе, если вы взглянете на них с этой точки зрения и будете помнить, что из всего пространства вариантов именно общая теория относительности оказалась справедливой.

Чем сложнее объяснение, тем больше свидетельств необходимо, чтобы просто определить его в пространстве убеждений (в Традиционной Рациональности это формулируется вводящим в заблуждение образом, скажем, «чем сложнее утверждение, тем больше требуется оснований, чтобы его принять»). Как можно измерить сложность объяснения? Как определить, сколько свидетельств потребуется?

Допустим, вы, проведя какие-то эксперименты, получили ряд интересных результатов. Почему эти данные выглядят именно так, а не иначе? На ум приходят несколько объяснений, но какое из них выбрать?

Кажется, пришло время вспомнить принцип бритвы Оккама, точнее, следующую его формулировку: «следует считать верным самое простое объяснение, не противоречащее собранным данным». Но как оценить степень простоты? Роберт Хайнлайн как-то заявил, что самое простое объяснение звучит так: «Женщина, живущая дальше по улице — ведьма, значит это сделала она».

Становится понятно, что длина предложения на естественном языке — не очень хороший способ измерить «сложность». И нельзя утверждать, что теория «вписывается» в факты просто потому что не может опровергнуть их - этого недостаточно.

Но в чём причина того, что длина предложения — плохая мера сложности? Потому что, произнося предложение, ты используешь обозначения для понятий, которые знает слушатель, и именно в них слушатель уже хранит сложность. Скажем, можно превратить предложение Хайнлайна в аббревиатуру «ЖЖНВТСО!», тогда всё объяснение можно сообщить одним словом. Или, ещё лучше, можно дать предложению короткий произвольный код навроде «фнорд!». Уменьшают ли эти действия сложность? Нет, потому что тогда собеседнику нужно заранее сказать, что «ЖЖНВТСО!» означает «Женщина, живущая напротив — ведьма, так сделала она». «Ведьма», в свою очередь, тоже обозначение для ряда очень необычных утверждений, и то, что все знают, каких именно, не означает, что «ведьма» — это просто.

Гигантский электрический искровой разряд падает с неба, сжигая дерево, и древние скандинавы говорят: «Наверное, какая-то могущественная личность разгневалась и бросила в дерево молнию». Человеческий мозг — самый сложный артефакт во всей известной вселенной. Гнев выглядит простым лишь потому, что мы не видим всей паутины нейронов, отвечающей за эту эмоцию (Представь, как трудно было бы объяснить пришельцам без чувства юмора, почему мы смеёмся над «Летающим цирком Монти Пайтона». Но это не говорит, что люди лучше пришельцев — у людей нет ощущения фнордотоватости). Сложность гнева, и, конечно, сложность разума, не бросилась в глаза авторам гипотезы о Торе, агенте-швыряющим-молнии.

Чтобы человек понял гипотезу Тора, нужно всего лишь бросить пару фраз. Чтобы человек понял уравнения Максвелла, нужно пересказать ему несколько книг. У людей есть встроенное понятие «гнев», но нет встроенного понятия «дифференциальное исчисление». Придётся объяснять язык, и язык, лежащий за языком, и основы математики, и лишь потом можно начинать лекцию об электричестве.

И всё же кажется, что в каком-то смысле уравнения Максвелла проще, чем человеческий мозг, или чем швыряющий-молнии-агент.

Вот разгадка: как выяснилось, намного проще написать компьютерную программу, симулирующую уравнения Максвелла, чем компьютерную программу, симулирующую пронизанный эмоциями разумный мозг Тора.

В алгоритмической теории информации «сложность описания» измеряется длиной кратчайшей компьютерной программы, выводящей это описание. Прежде чем говорить о «кратчайшей компьютерной программе», нужно задать пространство компьютерных программ, для чего нужен язык и интерпретатор. Индукция Соломонова использует машины Тьюринга (точнее, последовательности битов, задающие машины Тьюринга). Что делать, если тебе не нравятся машины Тьюринга? Можешь заплатить некоторый фиксированный штраф за сложность и спроектировать универсальную машину Тьюринга, которая будет интерпретировать любой код на том языке, который тебе нравится. Штраф за сложность зависит лишь от размера универсального интерпретатора для выбранного языка программирования, и поэтому различные формулировки в некотором смысле совершенно равносильны.

На мой взгляд, лучшая формулировка индукции Соломонова — требующая, чтобы компьютерная программа делала не детерминистическое предсказание, а приписывала строкам вероятности. Например, программа, объясняющая поведение симметричной монеты, будет просто приписывать одинаковую вероятность всем $2^N$ строкам длины $N$. Как понимать «объясняющая поведение» или «не противоречащая данным»? Чем больше вероятность, которую программа приписывает полученным данным, тем лучше программа их «объясняет». И сумма всех вероятностей должна равняться единице, и поэтому, чтобы лучше «объяснить» одну возможность, программа должна забрать сколько-то вероятностной меры у другой возможности, и теперь она будет «объяснять» её хуже. Монета не может в 100% случаев выпадать орлом, и в 100% случаев выпадать решкой.

Что можно сказать про оптимальный компромисс между сложностью программы и её способностью объяснять данные? Если забыть о сложности и думать только об объяснении, то лучшими будут программы, предсказывающие данные детерминистически, то есть приписывающие им 100% вероятность. Если монета выпала «ОРРООР», то программа, заявляющая, что монета фиксирована и изначально должна была показать «ОРРООР», объясняет данные в 64 раза лучше, чем программа, считающая монету симметричной. С другой стороны, если рассматривать только сложность, то гипотеза о симметричной монете всегда проще любой другой гипотезы. Даже если монета выпадает «ОРООРОООРООООРОООООР…». Гипотеза «монета симметрична» действительно проще и объясняет эту последовательность точно также хорошо, как и любую другую последовательность из 20 бросков — не лучше и не хуже — но легко увидеть другую гипотезу, выглядящую не слишком уж сложной, и объясняющую эти наблюдение намного лучше.

Программа, которой позволили хранить дополнительный бит информации, способна в два раза урезать пространство возможностей, и, следовательно, приписать в два раза больше вероятности точкам в оставшемся пространстве. Отсюда выходит, что один бит сложности должен стоить как минимум двукратного улучшения способности объяснять. Поэтому программа, в явном виде хранящая инструкцию «приписать ОРРООР 100% и 0% всем остальным», не сможет выиграть у всех остальных программ. Шесть бит, отведённые на хранение «ОРРООР» сводят на нет всю достоверность, полученную 64-кратным улучшением способности объяснять. Иначе, рано или поздно, придётся решить, что все симметричные монеты фиксированы.

Если, конечно, эта программа не написана умно, и не пытается сжать строки данных. Во всех остальных случаях перемещение информации из данных в код не помогает укрепить достоверность программы.

Как именно работает индукция Соломонова? Нужно расcмотреть все допустимые программы (если допустима любая программа, то индукция становится невычислимой), причём каждая программа имеет априорную вероятность, равную $(1/2)^N$, где $N$ — её длина в битах, а затем вероятность корректируется, исходя из того, насколько хорошо программа объясняет данные на текущий момент. В результате получается группа «экспертов» различной степени достоверности, могущая предсказывать следующие биты: просто просуммируй мнения, умножив их на весовой коэффициент авторитета.

Принцип минимальной длины сообщения почти эквивалентен индукции Соломонова. Сначала ты посылаешь строку, описывающую код, а затем строку, описывающую данные, используя этот код. Объяснение, создающее кратчайшее суммарное сообщение, считается лучшим. Если приравнять набор возможных кодов к пространству всех компьютерных программ и считать сообщение-с-определениями универсальным интерпретатором, то принцип минимальной длины сообщения почти эквивалентен индукции Соломонова (почти — потому, что он выбирает кратчайшую программу, а не суммирует все возможные программы).

Это позволяет яснее увидеть проблему с использованием фразы «женщина, живущая напротив — ведьма, так сделала она» для объяснения закономерности в последовательности «0101010101». Если ты отправляешь другу письмо, пытаясь описать последовательность, которую ты наблюдал, тебе придётся сказать: «женщина, живущая напротив — ведьма, она сделала так, что последовательность вышла 0101010101». Обвинения в колдовстве не позволили сократить вторую половину сообщения. Тебе по-прежнему нужно описать, во всех подробностях, порождённые её запретным искусством данные.

Колдовство объясняет известные данные в том смысле, что оно качественно их разрешает. Но это лишь потому, что колдовство позволяет вообще всё, как и флогистон. Поэтому, после того, как слово «ведьма» сказано, тебе всё равно предстоит описать все наблюдения, не упуская даже мельчайшей детали. Посылая сообщение о колдовстве, ты не сжимаешь сообщение с данными. Первое сообщение — бесполезный пролог, мёртвый груз, увеличивающий суммарную длину.

Подвох фразы «так сделала ведьма» спрятан в слове «так». Как именно сделала ведьма?

Конечно, благодаря эффекту знания задним числом, якорению, лжеобъяснениям, лжепричинности, предвзятости подтверждения и целенаправленным размышлениям, может казаться совсем очевидным то, что, если женщина ведьма, то, конечно же, она заставит монету выпасть 0101010101. Но это уже отдельный разговор.

(Этот случай произошёл ещё в те давние седые времена, когда я посещал IRC-чаты. Время затуманило память и мой рассказ может быть неточным)

Итак, дело происходило в IRC-чате. Один из посетителей спрашивает совета у сведущих в медицине людей. Его друг обратился к нему со следующей историей: у него начались внезапные боли в грудной клетке, поэтому бедняга вызвал скорую, и скорая приехала, но медработники сказали «ничего страшного» и уехали, боль в груди же становится всё сильнее и сильнее. «Что мне делать?» — спрашивает он у людей в чате, пересказав эту историю.

Эта история сбила меня с толку. Я помню, как я читал о бездомных Нью-Йорка, вызывающих скорую только для того, чтобы оказаться где-нибудь в тёплом месте, и о медиках, вынужденных отвозить их в пункт неотложной медицинской помощи. Даже на 27-й итерации, ведь, в противном случае, медкомпания может быть засужена на очень серьёзную сумму денег. Аналогично, пункты неотложной помощи юридически обязаны лечить всех, вне зависимости от их платежеспособности (Эти серьёзные расходы ложатся на плечи госпиталя, поэтому госпитали закрывают свои пункты неотложной помощи… В связи с этим мне очень интересно узнать, в чём смысл обучать экономистов, если мы всё равно собираемся их игнорировать?).

Так что я не совсем понимал, как могли произойти описанные события. Любого жалующегося на боль в груди человека, должны были бы немедленно увезти на скорой.

А затем я потерпел неудачу как рационалист. Я вспомнил несколько случаев, когда мой доктор совершенно отказывался паниковать в ответ на сообщения о симптомах, которые, на мой взгляд, были крайне тревожными. И медицинское учреждение всегда оказывалось правым. Каждый раз. Боли в грудной клетке как-то были и у самого меня, но доктор терпеливо разъяснил мне, что я описываю мышечную боль, а не инфаркт.

Поэтому я написал в чате: «Что же, если врачи сказали «ничего страшного», то это действительно так и есть — они бы увезли больного в госпиталь, если бы его состояние грозило бы хоть чем-нибудь серьёзным».

Таким вот способом я всё же впихнул историю в уже существующую модель, хотя в глубине души ощущал, что объяснение немного натянуто…

Некоторое время спустя этот товарищ возвращается в чат и сообщает, что его друг целиком всё выдумал: от болей в груди до отказа врачей помочь. Очевидно, это был не самый честный его друг.

И лишь в эту секунду я осознал то, что должен был понять сразу же: слова неизвестного знакомого знакомого по IRC-каналу могут быть не так достоверны(English), как опубликованная в журнале статья. Увы, вера легче неверия; мы верим инстинктивно, но неверие требует сознательного усилия(English).

Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила. И я знал, насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметил проблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.

Ощущение натянутости заслуживает львиной доли внимания.

Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».

Запоздалое впихивание свидетельств в гипотезу сыграло свою роль в самой горестной главе истории Соединенных Штатов, интернировании японцев в начале Второй Мировой. 21 февраля 1942 года Эрл Варрен, губернатор Калифорнии, в ответ на замечание об отсутствии случаев саботажа, шпионажа или иной подрывной деятельности живущих в Америке японцев, сказал:

«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности» — Робин Дэйвс, «Rational Choice in an Uncertain World».

Рассмотрим утверждение Варрена через призму теоремы Байеса. Когда мы видим свидетельство, распределение вероятностей между гипотезами меняется: вероятность гипотез, которые считали появление такого свидетельства более правдоподобным, увеличивается за счёт вероятности гипотез, которые считали появление такого свидетельства менее правдоподобным. На исход влияют лишь относительные отношения правдоподобия и вероятности: можно приписать свидетельству очень большое правдоподобие, но всё равно потерять вероятностную меру из-за того, что какая-то другая гипотеза приписала этому свидетельству ещё большее правдоподобие.

Варрен, похоже, утверждает, что отсутствие саботажа закрепляет его убеждение о существовании Пятой Колонны. Да, возможно, Пятая Колонна совершит саботаж потом. Но вероятность того, что отсутствие саботажа совершила существующая Пятая Колонна ниже вероятности того, что отсутствие саботажа совершила несуществующая Пятая Колонна.

Пусть E — наблюдение отсутствия саботажа, H1 — гипотеза о американо-японской Пятой Колонне и H2 — гипотеза о том, что её не существует. Чему бы ни равнялась вероятность того, что Пятая Колонна не совершит саботажа (величина P(E|H1)), она не может быть больше вероятности того, что отсутствие Пятой Колонны не совершит саботажа (величины P(E|H2)). Поэтому наблюдение отсутствия саботажа увеличивает вероятность того, что Пятой Колонны не существует.

Отсутствие саботажа не доказывает, что Пятой Колонны не существует. Отсутствие доказательства — не доказательство отсутствия. В логике A->B, «из А следует B» не эквивалентно ~A->~B, «из не-А следует не-B».

Но в теории вероятности отсутствие свидетельства — свидетельство отсутствия. Если E — бинарное событие и P(H|E) больше P(H), «наблюдение E увеличивает вероятность H», то P(H|~E) меньше P(H), «неудачное наблюдение E уменьшает вероятность H». P(H) — это взвешенное среднее P(H|E) и P(H|~E), и поэтому она обязательно лежит между ними.

В большинстве случаев, которые встречаются в реальном мире, явление не обязано постоянно создавать свидетельства своего существования, но ждать этих свидетельств от отсутствия этого явления ещё более безнадёжно. Отсутствие наблюдений может быть как сильным свидетельством отсутствия, так и очень слабым свидетельством отсутствия — зависит от вероятности, с которой явление создаёт эти наблюдения. Отсутствие довольно слабо разрешённого события (пусть даже альтернативная гипотеза не разрешает его вообще) — довольно слабое свидетельство отсутствия (но всё же свидетельство). В этом заключается ошибка креационистов, ссылающихся на «пробелы в летописи окаменелостей»: окаменелости формируются редко, и поэтому бессмысленно праздновать отсутствие наблюдения, слабо разрешённого теорией, достоверность которой уже установлена множеством сильных положительных наблюдений. Однако, если не зафиксировано вообще ни одного положительного наблюдения — время беспокоиться; отсюда и парадокс Ферми.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. Сила модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может — только запреты могут упорядочить ожидания будущего. Если ты не замечаешь, вероятность каких наблюдений твоя модель уменьшает, то ты с тем же успехом можешь выбросить эту модель, и с тем же успехом можешь жить без этих наблюдений; без мозга и без глаз.

Фридрих Шпее фон Лангенфельд, духовник приговорённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.

Шпее давал последние напутствия более двумстам осуждённым ведьмам. У него имелась возможность посмотреть на каждую ветвь дерева обвинений и увидеть, что абсолютно любые слова или действия обвинённой лишь укрепляли уверенность инквизиторов в её вине. Однако в каждом отдельном случае люди видели только одну ветвь дилеммы. Именно поэтому учёные формулируют свои экспериментальные предсказания заранее.

Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» — частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: ожидаемая апостериорная вероятность с учётом будущего свидетельства должна равняться априорной вероятности.

P(H) = P(H)
P(H) = P(H,E) + P(H,~E)
P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)


Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) - P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности — ноль.
Следовательно, для каждого ожидаемого свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.

Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожидание встретить свидетельство — до того, как ты увидел, в чём именно оно заключается — не должно сдвигать твоей априорной убеждённости.

Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие — свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать нас в существовании Бога.

Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.

Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.

Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, какие бы будущие стратегии ты ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.

С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.

…временами я ужасаюсь извращённости человеческой психики.

Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию»1, стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что ты и так мог предсказать и ожидал увидеть».

Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом (эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающиеся угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).

Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:

1. У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).
2. Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).
3. Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).
4. Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).
5. Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).

Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.

Все утверждения из этого списка (которые Мейерс взял из книги Пола Лазарсфельда2) прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.

А ещё я мог перевернуть результаты ещё раз — тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?

Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?

Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тра­тят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой — перевёрнутый результат того же социологического исследования.3 Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.

Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».

(довольно очевидный вывод, не так ли?)

Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.

Без сознательного усилия невозможно почувствовать должный уровень шока.

• 1. David G. Meyers, «Exploring Social Psychology» (New York: McGraw-Hill, 1994), 15–19.
• 2. Paul F. Lazarsfeld, «The American Solidier—An Expository Review», Public Opinion Quarterly 13, no. 3 (1949): 377–404.
• 3. Daphna Baratz, «How Justified Is the “Obvious” Reaction?» (Stanford University, 1983).

Давным-давно жила-была в одном городе учительница физики. В один прекрасный день она пригласила в класс своих студентов и показала им широкую квадратную металлическую пластину рядом с обогревателем. Студенты прикладывали ладони к пластине и ощущали, что сторона пластины рядом с обогревателем кажется холодной, а дальняя от обогревателя сторона кажется тёплой. «В чём дело, как вы думаете?» — спросила учительница. Некоторые заговорили о конвекции воздушных потоков, остальные предположили наличие странных примесей в пластине. Студенты предложили много изобретательных объяснений, никто не снизошёл до фраз «Я не знаю» или «По-моему, это просто невозможно».

А разгадка была в том, что учительница развернула пластину ненагретой стороной к обогревателю перед тем, как студенты вошли в комнату.1 2

Посмотрим на студента, растерянно бормочущего «Э… Ну, может быть, это из-за теплопроводности и всего такого?». Являются ли его слова полноценным убеждением? Слова достаточно легко произнести громким, убедительным голосом. Но контролируют ли они ожидание?

Подумаем о маленьком невинном предлоге «из-за», который стоит перед словом «теплопроводности». Подумаем о других вещах, которые он может предварять: например, можно сказать «из-за флогистона» или «из-за волшебства».

«Магия — не научное объяснение!» — можете закричать вы. Действительно, легко заметить, что эти две фразы — «из-за теплопроводности» и «из-за волшебства» — принадлежат различным литературным жанрам. Слово «теплопроводность» можно найти в лексиконе Спока из «Звёздного пути», а про «волшебство» может рассуждать Руперт Джайлз из «Баффи — истребительницы вампиров».

Но, будучи байесианцами, мы игнорируем жанры литературы. В наших глазах модель определяется через её воздействие на ожидания будущих событий. Ты сказал «теплопроводность»; на какие будущие переживания ты рассчитываешь, исходя из этой модели? В нормальных условиях эта модель подскажет тебе, что более тёплой на ощупь должна быть сторона пластины, которая ближе к обогревателю. Если фраза «из-за теплопроводности» может объяснить ещё и то, что ближняя к обогревателю сторона ощущается холоднее, то эта фраза может объяснить вообще всё что угодно.

Ну и, как все уже — я надеюсь — поняли к этому моменту: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Если постоянно злоупотреблять фразой «из-за теплопроводности», то эта модель превратится в замаскированную гипотезу максимальной энтропии. В плане предсказаний такое предположение изоморфно фразе «это магия». Выглядит как объяснение, но им не является.

Представим, что мы измеряем температуру металлической пластины в различных точках и в разное время, вместо того, чтобы высказывать догадки вслух. Видя металлическую пластину рядом с нагревателем, обычно мы ожидаем увидеть, что температуры точек удовлетворяют равновесию диффузионного уравнения с учётом граничных условий, наложенных окружающей средой. У тебя может не получиться правильно определить температуру в первой точке измерения, но после измерения нескольких первых точек — я не настолько физик, чтобы знать, сколько именно точек потребуется — уже можно с отличной точностью вычислить температуру остальных.

Истинный гуру искусства Ограничения Ожиданий По Поводу Материальных Явлений С Помощью Чисел — один из тех людей, которых мы называем «физиками» — сделает измерения и скажет «Эта пластина находилась в равновесии с окружением две с половиной минуты назад, потом её повернули на 180 градусов, и сейчас она снова к нему приближается»

Ошибка студентов не просто в том, что они не сумели ограничить свои ожидания. Их менее явная, и более глубокая ошибка заключалась в том, что они думали, что занимаются физикой. Они сказали «потому что», дополненное чем-то похожим на изречения Спока в «Звёздном пути», и решили, что тем самым они приобщились к магистерию науки.

Это не так. Они просто переместили магию из одного жанра литературы в другой.

• 1. История позаимствована из коллекции шуток Иохима Верхагена (Joachim Verhagen). Упомянутую историю можно найти поиском по словосочетанию «heat conduction».
• 2. Замечу, что в оригинале история гораздо короче, чем в изложении Юдковского. — Прим.перев.

В юности я читал популярные книги по физике, например «КЭД — странная теория света и вещества» Ричарда Фейнмана. Я знал: свет — это волны, звук — это волны, материя — это волны. Мне было девять лет и я гордился своей научной грамотностью.

Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет — это волны, звук — это волны, материя — это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».

Вполне естественно думать, что если учёный говорит: «Свет — это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет — это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет — это волны» либо истинно, либо ложно, не так ли?

И это — ещё одна плохая привычка, которой нас учат в школе. У слов нет встроенных значений. Когда я слышу слоги «бо-бёр», в моём мозгу возникает образ большого грызуна; но это факт о состоянии моего разума, а не о слогах «бо-бёр». Последовательность слогов «это волны» (или «из-за теплопроводности») — это не гипотеза. Это набор колебаний воздуха, либо форма, принятая чернилами на бумаге. Внутри разума может быть связь между этой фразой и какой-нибудь гипотезой, но эта фраза, сама по себе, не является ни истинной, ни ложной.

Однако, если сказать школьному учителю «это волны», то ты получишь пятёрку с плюсом: учитель считает ответ «это волны» правильным, поскольку он наблюдал, как физик создаёт эти же колебания воздуха. А раз пятёрки с плюсом раздают за определённые фразы (написанные либо произнесённые), то студенты начинают думать, что у фраз есть истинностное значение. В конце концов, свет либо волны, либо не волны, так?

И это ведёт к ещё более ужасной привычке. Представим, что учитель ставит перед тобой странную задачу: ближняя сторона металлической пластины, лежащей рядом с обогревателем, ощущается менее тёплой, чем дальняя. Учитель спрашивает, в чём дело. Ответить «я не знаю» нельзя: тогда ты не только не получишь пятёрку с плюсом, но даже не будешь считаться участвовавшим в уроке. Но в течение этого семестра учитель использовал фразы «из-за теплопроводности», «из-за конвекции» и «из-за теплового излучения». Видимо, одну из них учитель и желает услышать в ответ. Поэтому ты тянешь: «Нууу… может быть, из-за теплопроводности?».

Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка подобрать пароль.

Даже вспомнить уравнение диффузии (математическое описание процесса теплопроводности) — не то же самое, что и сформировать гипотезу о металлической пластине. Это не школа, и никто не собирается проверять, способен ли ты написать уравнение диффузии по памяти. Это байесоткачество, и мы начисляем очки за ожидания будущих переживаний. Если ты используешь уравнение диффузии — измерив температуру нескольких точек термометром, а затем пытаясь предсказать результат следующего измерения — то тогда это определённо привязано к переживаниям реального мира. Даже если студент просто представляет себе движение тепла, и поэтому подносит спичку к холодной стороне для того, чтобы измерить, куда течёт тепло, то этот мысленный образ движения привязан к переживаниям и контролирует ожидание будущего.

Если ты не используешь уравнение диффузии: не подставляешь в него числа и не получаешь данные, влияющие на твои ожидания определённых переживаний, то тогда твоя когнитивная карта полностью отрезана от местности. То, что осталось, даже нельзя назвать убеждением — это просто речевое поведение.

Школьная система построена вокруг речевого поведения, выражается ли оно через колебания воздуха, или через узор чернил на бумаге. От речевого поведения зависит, получишь ли ты пятёрку с плюсом, или двойку вместе с вызовом родителей. Осознавать различие между объяснением и паролем — первый шаг на пути избавления от этой вредной привычки.

Не слишком ли это жестоко? Ведь, когда человек пытается разрешить загадку металлической пластины, мысль «теплопроводность?» может быть первым шагом к нахождению ответа, верно? Может быть, но только в том случае, если этот человек старается разрешить загадку, а не подобрать пароль. Если нет учителя, готового указать на ошибку, то ловушка становится ещё страшнее. Тогда можно считать фразу «Свет — это вакаликс» хорошим объяснением, можно думать, что слово «вакаликс» — правильный пароль. Когда мне было 9 лет, это случилось и со мной: не потому что я был глуп, а потому, что это то, что случается обычно, по умолчанию. Это привычный для людей образ мыслей, и чтобы его избежать, нужно приучить себя не попадать в эту ловушку. Человечество падало в такие ямы и сидело в них тысячелетиями.

Возможно, если вдолбить студентам, что слова не считаются, а имеют значение лишь контроллеры ожиданий, то никто больше не застрянет в западне алгоритма «Теплопроводность? Нет? Тогда конвекция? Тоже не то?». Возможно, тогда мысль «может быть, теплопроводность?» будет началом действительно полезного пути, например:

«Теплопроводность?»

Но это только фраза — что она означает?

Уравнение диффузии?

Но это только символы — как мне их применить?

Будь уравнение диффузии справедливым, чего бы я рассчитывал почувствовать?

Я определенно не рассчитывал бы обнаружить, что отдаленная от обогревателя часть металлической пластины будет теплей.

Я замечаю своё замешательство. Возможно ближняя сторона всего лишь ощущается более холодной? Скажем, она изготовлена из какого-нибудь плохо проводящего тепло материала и поэтому передает меньше теплоты моей руке? Я попробую измерить температуру…

Ладно, не сработало. А если проверить, приложимо ли вообще уравнение диффузии к этой металлической пластине? Тепло течет как обычно, или происходит нечто иное?

Можно поднести спичку к пластине и попробовать измерить, как тепло распространяется с течением времени…

Если не выкорчевать сорняк лжеобъяснения «Эмм, может быть из-за теплопроводности?», то студент, скорее всего, застрянет на стадии паролей и вакаликса. Это происходит по умолчанию, это происходило со всем человечеством на протяжении тысяч лет.

В трейлере фильма «Люди Икс» голос за кадром говорит: «В каждом человеке… есть генетический код… вызывающий мутации». Несложно заметить, что, мутировав, можно приобрести разнообразные полезные способности. К примеру, мутант Шторм без труда метает молнии.

Прошу тебя, дорогой читатель, подумать о биологических приспособлениях, необходимых для производства электричества; о природной защите от собственного электричества; а также о структурах внутри мозга, отвечающих за тонкое управление разрядом молнии. Если мы бы и в самом деле обнаружили бы организм, который приобрёл такие способности за одно поколение, в результате мутации, то это бы одним махом вдребезги бы опровергло неодарвинистскую модель естественного отбора: это было бы ещё убийственнее, чем скелет кролика, датируемый докембрием. Если теорию эволюции действительно можно растянуть так, чтобы она не возражала против истории Шторм, то она станет способной объяснить всё, что угодно, и нам прекрасно известно, к чему такое ведёт.

Серия комиксов «Люди X» использует термины вроде «эволюция», «мутация» и «генетический код» лишь для создания атмосферы наукообразия; лишь для того, чтобы она относилась к науке как литературному жанру. И меня пугает то, как часто я встречаю людей (особенно в СМИ), воспринимающих науку исключительно как жанр литературы.

Я сталкиваюсь с людьми, которые твёрдо верят в эволюцию и не воспринимают всерьёз креационистов. При этом они вообще не имеют представления о том, что запрещено законами эволюционной биологии, а что нет. Они могут говорить про «следующий шаг эволюции человечества», как если бы естественный отбор имел бы свой план действий. Хуже того, они могут говорить о явлениях, вообще находящихся за пределами эволюционной биологии, вроде улучшений дизайна компьютерных чипов, дробления корпораций, или загрузке человека в компьютер, называя всё это «эволюцией». Если это относится к эволюционной биологии, то эволюционная биология относится ко всем явлениям на Земле.

Вероятно, большинство людей, которые верят в эволюцию, используют фразу «вследствие эволюции», потому что они хотят чувствовать себя причастными к научной тусовке. Выражение становится деталью имиджа, символическим одеянием, навроде лабораторного халата. Если бы научная тусовка вместо «вследствие эволюции» говорила бы «вследствие разумного замысла», то такие люди вдохновенно повторяли бы и это — это совершенно бы не затронуло их ожидания того, что можно встретить в мире. Для них нет разницы, говорить ли «из-за эволюции» или «из-за разумного замысла». По их мнению, эволюция никоим образом не запрещает существования Шторм, а научные словечки имеют единственное назначение — возможность отождествлять себя с племенем.

Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат; а учёные не похожи на футбольную команду, за которую они болеют.

Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.

Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».

…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».

Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.

Разумеется, никто не использовал теорию флогистона для того, чтобы предсказать результат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.

Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.

Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.

Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:

[Дождь] -> [Тротуар мокрый] -> [Тротуар скользкий]

Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.

Почему огонь горячий и яркий?

[«Флогистон»] -> [Огонь горячий и яркий]

Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.

Современная трактовка вероятностных рассуждений о причинности может точно описать, в чём именно состояла ошибка флогистонщиков. Байесовские сети были разработаны для того, чтобы, кроме всего прочего, не учитывать свидетельства дважды в том случае, когда логический вывод между причиной и следствием возможен в обе стороны. Например, я добыл кусочек ненадёжной информации о том, что тротуар мокрый. Это заставляет меня подумать: «возможно, идёт дождь». Но если идёт дождь, то утверждение «тротуар мокрый» стало более правдоподобным, так? То же самое ведь касается и скользкости тротуара, верно? Но если тротуар скользкий, то он, скорее всего, мокрый — и тогда нужно опять повысить вероятность того, что идёт дождь.

Джуда Перл приводит в качестве метафоры алгоритм подсчёта солдат в колонне. Представьте, что вы стоите в колонне и видите рядом только двух солдат: одного спереди и одного сзади. Всего трое солдат. Вы спрашиваете своего соседа: «А сколько солдат видишь ты?» Он вертит головой и говорит: «Троих». Получается, всего солдат шесть. Очевидно, что так решать эту задачу совершенно не стоит.

Умнее будет спросить у стоящего впереди солдата: «Сколько солдат перед тобой?», и у стоящего позади: «Сколько солдат за тобой?». Сообщение с вопросом «сколько солдат перед тобой?» можно передать дальше без особых затруднений. Если я стою первым, то я передам назад «1 солдат впереди». Человек, стоящий прямо за мной, получит сообщение «1 солдат впереди» и скажет второму своему соседу «2 солдата впереди». В это же время кто-то получает сообщение «N солдат позади» и передаёт стоящему впереди солдату сообщение «N+1 солдат позади». Сколько же всего солдат? Сложите оба полученных числа и добавьте единицу для себя — это и есть общее число солдат в линии.

Ключевая идея состоит в том, что каждый солдат должен отдельно отслеживать эти два сообщения, прямое и обратное, и сложить их вместе только в конце. Нельзя добавлять солдат из обратного сообщения, которое ты получил, в прямое сообщение, которое ты передашь дальше. Разумеется, сообщение с общим числом солдат никогда не появляется в этой цепочке: никто не произносит этого числа вслух.

Аналогичный принцип применяется в строгих вероятностных рассуждениях о причинности. Получение из не связанного с мокрым тротуаром источника каких-либо свидетельств о дожде создаст прямое сообщение от узла [дождь] к узлу [мокрый тротуар], и тем самым усилит ожидание увидеть мокрый тротуар. Наблюдение мокрого тротуара создаст обратное сообщение, идущее к убеждению о дожде, а затем это сообщение распространится от узла [дождь] до всех его соседей, кроме узла [мокрый тротуар]. Каждый кусочек свидетельства учитывается ровно единожды; корректировки никогда не застревают между узлами, скача туда и обратно. Точный алгоритм можно найти в классической книге «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference» Джуды Перла.

Так что же было неправильно в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел [огонь] посылает обратное сообщение со свидетельством узлу [флогистон], вынуждая нас обновить убеждения о флогистоне. Но тогда мы не можем считать это успешным предсказанием теории флогистона. Сообщение должно идти в единственном направлении, не отражаясь назад.

Увы, для обновления сетей убеждений люди используют не строгий алгоритм, а его грубое приближение. Мы изучаем родительские узлы, наблюдая за дочерними узлами, и предсказываем поведение дочерних узлов, используя убеждения о родительских узлах. Но ящик с документацией по прямым сообщениям не отделён от ящика с документацией по обратным сообщениям толстой непроницаемой стеной. Мы просто помним: «флогистон горячий, и из-за этого огонь тоже горячий». Всё это выглядит так, будто теория флогистона предсказывает «горячесть» огня. Или, что ещё хуже, нам кажется: «флогистон делает огонь горячим».

Лишь после того, как кто-нибудь заметит полное отсутствие предсказаний заранее, не ограничивающий ожиданий причинно-следственный узел получит ярлык «фальшивка». До этого момента он не будет отличаться от остальных узлов в сети убеждений. Утверждение «флогистон делает огонь горячим» ощущается фактом точно так же, как и все остальные известные тебе факты.

Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)

Рассуждения об «эффекте знания задним числом» — это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.

Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.

Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.

И ребёнок спросил:

— Откуда взялся этот булыжник?

— Я отломил его от большого камня в центре деревни.

— Откуда взялся этот камень?

— Наверное, он скатился с большой горы, что возвышается над нашей деревней.

— Откуда взялась эта гора?

— Оттуда же, откуда и все камни. Это кости Имира, изначального великана.

— Откуда появился изначальный великан Имир?

— Из мировой бездны по имени Гинунгагап.

— Откуда появилась мировая бездна Гинунгагап?

— Никогда этого не спрашивай.

Рассмотрим кажущийся парадокс первопричины. Наука отследила цепочку событий до Большого Взрыва, но отчего случился сам Большой Взрыв? Можно и нужно сказать, что Большой Взрыв произошёл в «ноль часов ноль минут», и поэтому нельзя говорить о времени «до Большого Взрыва», поскольку к этому понятию неприменима обычная концепция времени. Но, говоря так, мы используем существующие физические законы, которые звучат довольно структурировано, что тоже требует объяснений. Откуда появились физические законы? Можно ответить, что вся Вселенная является компьютерной симуляцией, но тогда это симуляция должна быть запущена в каком-то другом мире, подчиняющемся другим законам физики — а откуда взялись они?

После того, как вопросы доходят до этой стадии, некоторые люди отвечают «Бог!».

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал: это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертариа́нцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в универсальный контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Семантический стоп-сигнал отличает неспособность представить следующий очевидный вопрос.

Представь, что ты глядишь на свою руку, ничего не зная ни о клетках, ни о биохимии, ни о ДНК. У тебя есть некоторые познания в анатомии, полученные путём препарирования, поэтому тебе ясно, что в ладони есть мышцы. Однако, ты не знаешь, почему они движутся, вместо того, чтобы неподвижно лежать, как кусок глины. Твоя рука — просто кусок… эмм… вещества, и почему-то этот предмет исполняет твои мысленные приказы. Разве это не волшебство?

«Животное тело не ведёт себя, как термодинамическая система… сознание говорит каждому человеку, что он является, в какой-то степени, предметом своей воли. Это проявляется в том, что живые существа могут мгновенно прикладывать к определённым движущимся частицам материи внутри своих тел силы, направляющие движение этих частиц, для того, чтобы создавать наблюдаемые механические эффекты… Вопрос о влиянии животной или растительной жизни на материю беспредельно далёк от любых научных изысканий, начатых до настоящего времени. Сила управлять движением материи, ежедневно проявляемая в чуде свободы воли человека, и в поколениях растений, выросших из единого зерна, безгранично непохожа на любой возможный результат движения атомов, каким бы удачным он ни оказался… Современным биологам придётся запомнить ещё один принцип, и на этот раз — жизненно важный». (Лорд Кельвин)

В этом состоит теория витализма: загадочные различия между живой и неживой материей могут быть объяснены посредством «жизненной силы» («elan vital» или «vis vitalis»). «Жизненная сила» внедряется в живую материю и подчиняет её приказам сознания. Жизненная сила участвует в химических реакциях, из-за чего неживая материя не может проявлять часть свойств живой материи. В частности, без помощи жизненной силы невозможно получить живую материю из неживой; поэтому проведённый Фридрихом Вёлером химический синтез мочевины нанёс сильный удар по теории витализма, показав, что обыкновенной химии по силам получить биологический продукт.

Называть «жизненную силу» объяснением или даже лжеобъяснением вроде флогистона — значит, переоценивать эту теорию. «Жизненная сила», в первую очередь, работает, как затычка для любопытства. Ты спрашиваешь «почему?», слышишь ответ «жизненная сила!», и на этом разговор окончен.

Когда ты говоришь «жизненная сила!», тебе кажется, будто ты знаешь, почему двигается твоя рука. В твоей голове есть маленькая причинно-следственная диаграмма, которая говорит: [«жизненная сила!»] -> [рука двигается].

Однако на самом деле ты не знаешь ничего, что не знал раньше. Например, ты не сможешь сказать, будут ли твои руки отдавать или поглощать тепло, пока не пронаблюдаешь это в действительности. Ты не сможешь предсказать этого заранее. Твоё любопытство удовлетворено, но оно удовлетворено пустышкой. Раз любому наблюдению ты можешь сказать «Почему? Жизненная сила!», то витализм одинаково хорошо объясняет все исходы, не способен противоречить вообще хоть каким-нибудь фактам, является замаскированной гипотезой максимальной энтропии, и так далее.

Но главный урок нужно извлечь из благоговения виталистов пред жизненной силой, из их старания провозгласить её тайной, стоящей выше всей науки. Встретив великого дракона по имени Неизвестность, виталисты не обнажили клинков, чтобы попытаться пронзить его сердце, но мирно склонили головы в знак подчинения. Они превратили биологию в священную тайну и гордились своим невежеством, потому и не желая отказаться от незнания, когда на сцене появились свидетельства.

Великий Секрет Живого был бесконечно далёк от науки! Не просто слегка вдали, заметьте, но бесконечно далёк! Лорд Кельвин явно получал колоссальное наслаждение от незнания.

Но невежество — это то, что рисуется на карте, а не то, что можно обнаружить, гуляя по местности. Если я не имею ни малейшего представления о неком явлении, то это факт о состоянии моего разума, а не о самом явлении. Явление может быть таинственным в глазах некого определённого человека. Не существует явлений, таинственных самих по себе. Поклоняться явлению, потому что оно выглядит столь потрясающе таинственно, — означает поклоняться собственному невежеству.

Витализм, как и флогистон, заключил загадку в отдельную субстанцию. Огонь был загадкой, и теория флогистона заключила загадку в таинственную субстанцию под названием «флогистон». Жизнь была священной тайной, и витализм заключил священную тайну в таинственную субстанцию под названием «жизненная сила». Ни один из ответов не попытался сконцентрировать плотность вероятности модели, сделать какие-то результаты более ожидаемыми, чем другие. Эти «объяснения» просто закутали вопрос в твёрдый непрозрачный чёрный шарик.

В одной из комедий Мольера доктор объясняет действие снотворного тем, что в нём содержится «фактор усыпления». Тот же самый принцип. Это универсальный недочёт человеческой психики: столкнувшись с таинственным явлением, нам легче объяснить его через таинственную субстанцию с внутренне присущими ей свойствами, чем через лежащие в основе сложные процессы.

Но ещё более страшная ошибка — допущение того, что ответ может быть таинственным. Если явление кажется таинственным, то это факт о наших знаниях, а не факт о самом явлении. Виталисты увидели таинственный пробел в своих знаниях и постулировали таинственную штуку, заполняющую этот пробел. Тем самым они перемешали карту и местность. Всё недоумение и замешательство находятся в карте, а не внутри отдельных субстанций.

Именно поэтому раз за разом на протяжении всей человеческой истории люди поражаются тому, что невероятно таинственный вопрос имеет приземлённый не-таинственный ответ. Окутанными тайной могут быть только вопросы, но не ответы.

Поэтому я называю теории вроде витализма «таинственными ответами на таинственные вопросы».

Признаки таинственных ответов на таинственные вопросы:

Во-первых, объяснение работает не контроллером ожиданий, а затычкой для любопытства.

Во-вторых, в гипотезе нет движущихся частей: модель является не определённым сложным механизмом, а, скорее, просто сплошной субстанцией или силой. В гипотезе говорится, что таинственная субстанция или таинственная сила находятся вот здесь и вызывают вот это, но причина, по которой таинственная сила ведёт себя именно таким образом, инкапсулирована в пустую тавтологию.

В-третьих, люди, предлагающие это объяснение, дорожат собственным незнанием. Они с гордостью говорят о том, что обычная наука терпит поражение от этого явления, и о том, как это явление непохоже на все остальные обыденные явления.

В-четвёртых, несмотря на этот ответ, явление по-прежнему остаётся тайной, сохранив ту же степень завораживающей необъяснимости, что и вначале.

Провалы флогистона и витализма — примеры исторического знания задним числом. Посмею ли я выступить и назвать какую-то современную теорию, которую считаю настолько же ошибочной?

Я называю эмерджентность или эмерджентный феномен — обычно определяемый как исследование систем, поведение которых на высоких уровнях являются следствием или «появляется» (to emerge) из взаимодействия многих низкоуровневых элементов. (Википедия: «То, как сложные системы и паттерны появляются из множества относительно простых взаимодействий»). Если воспринимать буквально, это утверждение подходит для любого феномена нашей вселенной, выше уровня отдельных кварков, что и является частью проблемы. Представьте, что можно показать на обвал рынка и сказать «Это не кварк!». Похоже на объяснение? Нет? Ну так и «Это эмерджентный феномен!» тоже не подходит.

Я протестую против прилагательного «эмерджентный», а не против глагола «появляется». Нет ничего плохого во том, чтобы сказать «X появляется на основе Y», где Y — специфическая, детальная модель с динамическими частями. «Возникает на» — еще один способ выразить ту же мысль: гравитация возникает из кривизны пространства-времени, в соответствии со специфической математической моделью Общей Теории Относительности. Химия возникает на основе взаимодействия атомов, в соответствии со специфической моделью квантовой электродинамики.

Представим, я буду говорить, что гравитация объясняется «возникновением», или что химия — «возникающий феномен», и утверждать, что это мое объяснение.

Слово «появляется» приемлемо, так же, как и «появляется из» или «вызвано» приемлемы, если ссылаются на специфическую модель, которую можно оценить саму по себе.

Однако, «эмерджентность» обычно используется иначе. Оно используется как объяснение само по себе.

Я уже потерял счет случаям, когда я слышал «Интеллект — эмерджентный феномен!», как объяснение интеллекта. Это применение подходит всем пунктам, характеризующим мистический ответ на мистический вопрос. Что ты узнал, сказав, что интеллект «эмерджентный»? Ты не можешь сделать новых предсказаний. Ты не знаешь ничего о поведении реальных разумов, о чем бы не знал ранее. Это воспринимается как новый факт, но ты не ожидаешь других результатов. Твое любопытство вроде бы удовлетворено, но не накормлено. Гипотеза не имеет динамических частей, нет детализированной внутренней модели для манипуляций. Те, кто предлагают гипотезу «эмерджентности», признаются в своем незнании внутреннего устройства и гордятся этим; они противопоставляют «эмерджентные» науки и «обычные».

И даже после того, как ответ «Как? Эмерджентность!» дан, феномен не перестаёт быть таинственным и обладать той же непроницаемостью, что и прежде.

Интересное упражнение: удалить прилагательное «эмерджентный» из предложения и посмотреть, изменилось ли что:

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это результат нейронных вспышек.

• До: поведение колонии муравьем — это эмерджентный результат взаимодействия многих отдельных муравьев.

• После: поведение колонии муравьев — это результат взаимодействия многих отдельных муравьев.

• Даже лучше: Колония состоит из муравьев. Мы можем успешно предсказывать поведение колонии, используя модели, включающие только индивидуальных муравьев, без общих переменных колонии, показывая, что мы понимаем, как поведение колонии возникает на основе поведения муравьев.

Еще одно интересное упражнение: заменять слово «эмерджентный» на старое, то, которым люди пользовались до эмерджентности:

• До: жизнь — эмерджентный феномен.

• После: жизнь — магический феномен.

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это магический результат нейронных вспышек.

Не правда ли, что каждое утверждение дает одинаковый объем информации о поведение феномена? Что каждая гипотеза подходит под одинаковый набор результатов?

«Эмерджентность» очень популярна, как раньше «магия» была популярна. «Эмерджентность» имеет глубокую притягательность для человеческой психологии по тем же причинам. «Эмерджентность» — такое замечательное простое объяснение, и это приятно произносить; это дает тебе священную тайну для поклонения. «Эмерджентность» популярна, потому что это «доширак» для любопытства. Можно объяснить что угодно, используя эмерджентность, так что люди это и делают; ведь это так замечательно — объяснять что-то. Люди остаются людьми, даже если посещали пару научных курсов в колледже. Найдя способ избежать оков обычной науки, они возвращаются к тем же проделкам, что и их предки, одеваясь в одежды науки, но сохраняя ту же самую видовую психологию.

Однажды…

Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.

Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретёт для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?

И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему?»

Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определённый алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).

И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».

Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думаем словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…

Я спросил:

— Ты читал «Техническое объяснение технического объяснения»(English)?

— Да, — ответил Марчелло.

— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.

— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.

Тогда я и подумал: «Возможно, это парень обучаем».

Сложность — далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней — тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.

Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, — попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь и вновь, постоянно игнорируя собственное непонимание.

Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного — причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.

Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка — игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.

Подозреваю, что в научных кругах присутствует сильное давление, способствующее сокрытию таких проблем, ведь нужно выдавать бумаги с шлейфом законченности. Тебя будут больше почитать, если в твоей будто бы полной работе будет присутствовать «эмерджентный феномен», а не за незаконченную, в которой есть ярлыки «понятия не имею, как это работает» или «а тут происходит чудо». Журнал может даже не принять такую работу, ведь, кто знает, вдруг необъяснённые явления и являются моментами, где всё самое интересное происходит? И да, случается так, что все немагические части оказываются также и неважными. Это цена, которую приходится порой платить за вход в неизведанное и попытки решить проблемы мелкими шажками. Но это так же означает, что понимание того, что ты еще не закончил чрезвычайно важно. Часто люди даже не осмеливаются исследовать неизведанное, ужасно боясь потратить время впустую.

И, если ты работаешь над революционным ИИ-стартапом, то давление ещё выше, а желание спрятать проблемы ещё больше, иначе придётся признать, что ты не знаешь пока как создать ИИ, и твоя жизнь обратится в прах. Но, возможно, я слишком усложняю, ведь контрабанда происходит неосознанно. Далеко ходить за примерами не нужно: просто послушай, как люди обсуждают философию, религию или науки, в которых у них нет профессиональной подготовки.

Марчелло и я пришли к соглашению о работе с ИИ: если мы сталкиваемся с чем-то, чего мы не понимаем, а это случалось довольно часто, мы будем говорить об этом как о «магии». Например, «Х магически делает У», чтобы напоминать себе о том, что тут присутствует нерешённая проблема, провал в понимании. Гораздо полезней говорить «магия», чем «сложность», ведь последнее слово создает иллюзию понимания. Мудрей говорить «магия» и оставлять себе напоминание о работе, которую надо сделать позже.

Однажды, проводя занятие у студентов, я выписал на доске три числа: 2-4-6. «Я загадал правило, — сказал я, — которому подчиняются последовательности трех чисел. Данная последовательность подходит под это правило. Каждый из вас найдет у себя на парте листы бумаги. Выпишите последовательность трех чисел на карточке, а я в зависимости от того, подходит ли последовательность под правило, напишу на листе «да» или «нет». Это можно повторять до тех пор, пока вы не будете уверены, что угадали правило. После этого вы должны записать правило внизу листа».

Вот последовательность предположений одного из студентов:

4, 6, 2 — нет,

4, 6, 8 — да,

10, 12, 14 — да.

После этого студент записал свою версию правила. Как вы думаете, что он написал? А вы бы тоже остановились здесь или хотели бы протестировать еще триплет чисел? Если да, то какой? Остановитесь здесь и немного подумайте, прежде чем продолжить чтение.

Вышеприведенное упражнение основано на классическом эксперименте Питера Уэйсона, задаче «2-4-6». Несмотря на то, что испытуемые, которым дают эту задачу, выражают большую уверенность в своих предположениях, только 21% из них успешно угадывают задуманное экспериментатором правило, и все повторные опыты продолжали показывать тот же уровень успехов в районе 20%.

Исследование называлось «On the failure to eliminate hypotheses in a conceptual task» (Еженедельник экспериментальной психологии 12: 129-140, 1960). Испытуемые, которым предлагалась задача «2-4-6», обычно пытались придумать положительные примеры, а не негативные — они применяли гипотетическое правило для создания триплета, а потом смотрели, будет ли он отмечен как «да».

Таким образом, кто-то, кто формирует гипотезу «числа, каждое из которых больше предыдущего на два», тестирует триплет 8-10-12, видит, что подходит и уверенно объявляет свое правило. Кто-то, кто формирует гипотезу Х-2Х-3Х, тестирует триплет 3-6-9, обнаруживает, что триплет подходит, и тоже объявит правило.

В каждом из этих случаев настоящее правило одно и то же: три любых числа в порядке возрастания.

Однако, чтобы додуматься до этого, вы должны придумывать триплеты, которые не должны быть правильными, такие как 20-23-26 и проверять, будут ли они отмечены как «нет». Что люди обычно не склонны делать в этом эксперименте. В некоторых случаях испытуемые изобретают, «тестируют» и объявляют правила куда более сложные, чем настоящий ответ.

Данное когнитивное явление часто валят в одну кучу с предвзятостью подтверждения. Однако, на мой взгляд, явление склонности тестирования положительных примеров, а не отрицательных, следует отделять от явления стремления защитить изначальное убеждение. «Положительное искажение» иногда используется как синоним для предвзятости подтверждения и может описывать данный недостаток куда лучше.

Раньше казалось, что теория флогистона может объяснить прекращение огня в закрытой коробке (воздух переполнился флогистоном и больше не может вместить), но теория флогистона точно так же могла бы объяснить и тот вариант, если бы огонь продолжал гореть. Чтобы заметить это, вы должны искать негативные примеры вместо положительных, смотреть на ноль, а не на единицу; что, как показал эксперимент, идет вразрез с человеческим инстинктом.

Следуя инстинкту, мы живем в половинчатом мире.

Можно днями читать про положительное искажение и всё еще не увидеть его в момент срабатывания. Положительное искажение работает не на уровне логики или даже эмоциональной привязанности. Задача 2-4-6 «холодная», логичная, не эмоционально «горячая». Ошибка находится ниже уровня слов, на уровне образов, инстинктивных реакций. Поскольку проблема появляется не из-за следования осознанному правилу, которое говорит «Думай только о положительных примерах», ее нельзя решить, сказав вслух «Мы должны думать как о положительных, так и о негативных примерах». Какие примеры автоматически всплывают в вашей голове? Вы должны уметь еще до вербального формулирования думать о негативном примере, а не о положительном. Вы должны научиться поворачиваться лицом к нулю, а не убегать от него.

Некоторое время назад я писал, что сила гипотезы определяется тем, что она не может объяснить, а не тем что может — если вы одинаково легко объясняете любой исход, то у вас ноль знаний. Так, чтобы указать на то, что объяснение не является полезным, недостаточно задуматься над тем, что оно может объяснить хорошо — вам нужно также искать результаты, которые нельзя объяснить, это и будет истинной силой теории.

Теперь, после всего сказанного напомню, что вчера я бросил вызов «сложности» как понятию. Один комментатор привел сверхпроводимость и ферромагнетизм как примеры сложности. Я ответил, что несверхпроводимость и неферромагнетизм тоже примеры сложности, в чём и состоит проблема. Но я не имел в виду критиковать комментатора! Несмотря на то, что я много читал про предвзятость подтверждения, я не воскликнул «Эврика!», когда в первый раз прочитал про задачу «2-4-6». Это невербальная реакция, работающая очень быстро, и которую надо тренировать заново. Сам я всё еще работаю над этим.

Так что большая часть навыка рационалиста находится за пределами уровня слов. Это делает трудной работу по попыткам передать Искусство через посты в блоге. Люди согласятся с вами, а уже в следующем предложении сделают нечто, ведущее совершенно в другом направлении. Не подумайте, что я жалуюсь! Основная причина, по которой я пишу здесь — наблюдать, какие из моих слов не передаются.

Прямо сейчас вы ищете положительные примеры положительного искажения или ищете, что вы могли не увидеть из-за положительного искажения? Вы смотрите во свет или во тьму?

В «Рациональном выборе в неопределенном мире» Робина Доуза описан эксперимент, проведенный Тверским1 2:

Множество психологических экспериментов были проведены в конце 50-х начале 60-х, в которых испытуемых просили предсказать результат события, имевшего элемент случайности и, при этом, еще и предсказуемую базовую ставку. Например, испытуемых просили предсказать цвет следующей карты (синяя/красная) при условии, что 70% карты были синими, но последовательность красных и синих карт была совершенно случайной.

В такой ситуации, стратегия, обеспечивающая большее количество успеха - ставить на наиболее часто встречающиеся события. Например, если 70% карт были синими, то предсказывая появление синей карты дает 70% успеха в каждом случае.

Испытуемые же предпочитали сопоставлять вероятности - предсказывать наиболее вероятный вариант с учетом относительной частоты появления. Например, испытуемые предсказывали появление синей карты 70% раз и красной 30% раз. Такая стратегия давала 58% долю успеха, потому что испытуемые были правы 70% времени, когда выпадала синяя карта (что происходило с вероятностью .70) и 30% времени, когда выпадала красная карта (что происходило с вероятностью 0,3); (0,7 × 0,7) + (0,3 × 0,3) = 0,58.

Даже больше, испытуемые предсказывали наиболее часто повторяющееся событие с большей вероятностью, чем оно происходило, но и близко не подходили к частоте в 100%, даже если им платили за точность их предсказаний… Например, испытуемые, которым платили по пятаку за каждое сбывшееся предсказание из тысячи,.. предсказывали [наиболее часто встречающееся событие] 76%.

Не стоит думать, что этот эксперимент про небольшие изъяны в игорных стратегиях. Он кратко рассказывает о наиболее важной идее всей рациональности.

Испытуемые продолжали выбирать красный, как будто они полагали, что способны предугадать случайную последовательность. Доуз пишет про это: «Несмотря на получение фидбека от тысячи случаев, испытуемые не могли поверить, что в это ситуации они не в состоянии предугадать».

Но ошибка должна иметь более глубокие последствия. Даже если испытуемые сформулировали какую-то гипотезу, им совершенно необязательно делать ставки на ее основе. Они могут говорить: «Если гипотеза верна - следующая карта будет красной», и ставить на синюю. Они могут выбирать синюю каждый раз, собирая как можно больше пятаков, отмечая мысленно как можно больше паттернов, которые они замечают. Если их предсказания сбываются, они могут легко переключится на новую стратегию.

Я бы не стал упрекать испытуемых за постоянное изобретение новых гипотез - откуда им знать, что цепочка за границами их способностей предсказывать? Но я буду упрекать за ставки на догадки, когда в этом не было необходимости для сбора информации, и буквально сотни предыдущих догадок были опровергнуты.

Неужто люди настолько самонадеянны?

Я бы предположил, что дело обстоит проще - стратегия «всегда-на-синее» просто не приходила испытуемым в голову.

Люди видят кучу синих карт вперемешку с несколькими красными, и полагают, что выигрышная стратегия - больше на синий, но иногда на красный.

Идея оптимальной стратегии, с учетом неполной информации, не предполагающая ставку на типичную последовательность карт - контринтуитивна.

Идея оптимальной стратегии, предполагающая законное поведение, даже если среда содержит элементы случайности - контринтуитивна.

Кажется, что твое поведение, следом за окружающей средой, должно быть непредсказуемым, но нет! Случайный ключ не отпирает случайный замок просто потому что они «оба случайные».

Ты не гасишь огонь огнем, ты гасишь огонь водой. Но эта мысль подразумевает лишний шаг, новый концепт, не активируемый напрямую формулировкой задачи. Поэтому, не приходящий в голову первым.

В дилемме красных и синих карт наше неполное знание говорит нам ставить в каждом раунде на синюю. Совет, даваемый нам нашим неполным знанием, одинаков от раунда к раунду. Если 30% времени мы будем идти против нашего неполного знания и ставить на красную карту, мы будем проваливаться, ведь теперь, мы нарочно тупим, ставя на, как нам прекрасно известно, менее вероятный исход.

Если ты будешь ставить на красную карту в каждом раунде, то ты будешь проигрывать так, как это максимально возможно; ты будешь на 100% тупым. Если ты ставишь на красную карту 30% времени, то ты оказываешься на 30% тупым.

Если твое знание неполно, если реальность, как кажется, содержит элемент случайности - случайное поведение не решит проблему. Делая свое поведение случайным, напротив, ты уводишь себя от цели, а не приближаешь. Если реальность туманна, выбрасывание интеллекта лишь ухудшает ситуацию.

Это контринтуитивно - думать, что оптимальная стратегия предполагает законное поведение, даже в условиях неопределенности.

Поэтому не так уж много вокруг рационалистов; для большинства, восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.

Ты слышал, как непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.

Это настолько же не очевидно, как и всегда ставить на синюю карту, при встрече с совокупностью синих и красных карт. Но каждая ставка на красную - ожидаемый проигрыш, как и каждое отступление от принципов Пути, когда рассуждаешь.

Как много эпизодов Звездного Пути опровергается? Как много теорий ИИ?

• 1. Dawes, Rational Choice in An Uncertain World; Yaacov Schul and Ruth Mayo, “Searching for Certainty in an Uncertain World: The Difficulty of Giving Up the Experiential for the Rational Mode of Thinking,” Journal of Behavioral Decision Making 16, no. 2 (2003): 93–106, doi:10.1002/bdm.434.
• 2. Amos Tversky and Ward Edwards, “Information versus Reward in Binary Choices,” Journal of Experimental Psychology 71, no. 5 (1966): 680–683, doi:10.1037/h0023123.

Говорят, что всё, что родители запрещают делать детям, они делали сами — так они знают, почему это делать не стоит.

Давным-давно, в непостижимо далеком прошлом, я был преданным Традиционным Рационалистом, думая о себе, как о квалифицированном, в соответствии с ее стандартами, тем не менее, я не знал тогда Пути Байеса. Когда юный Элиезер столкнулся с кажется-мистическим вопросом, принципы Традиционной Рациональности не остановили его от производства Таинственного Ответа. Это, на данный момент, моя самая постыдная ошибка, думать о которой мне до сих пор больно.

Что за таинственный ответ на таинственный вопрос? Этого я говорить не стану, так как это длинная и запутанная история. Я был молод, был всего лишь Традиционным Рационалистом, который не ведал учения Тверски и Канемана. Я знал про Бритву Оккама, но не про конъюнктивное заблуждение. Я полагал, что мне удастся думать сложные мысли самому, в том же стиле, который я наблюдал в научных книгах, но не осознавал, что единственно верная сложность — та, где каждый шаг описан с безжалостной точностью. Сегодня, одним из главных советов, который я даю начинающим рационалистам: «Не пытайтесь строить сложных цепочек рассуждений и планов».

Нет нужды говорить больше: даже после того, как я придумал мой «ответ», феномен не потерял свою таинственность и непрошибаемость, которые имел с самого начала.

Не стоит думать, что юный Элиезер был глуп. Все те ошибки, в совершении которых виновен Элиезер, совершаются солидными учеными и в солидных изданиях и сегодня. Ему потребовался более утонченный навык, чем то, что могла дать Традиционная Рациональность.

Действительно, юный Элиезер старательно и кропотливо следовал предписаниям Традиционной Рациональности, сбиваясь при этом с пути.

Как Традиционный Рационалист, юный Элиезер внимательно следил, чтобы его Таинственный Ответ делал прямое предсказание будущего опыта. Конкретно, я ожидал, что будущие неврологи откроют использование квантовой гравитации нейронами, а ля Сэр Роджер Пенроуз. Подразумевалось, что нейроны будут обладать некоторой мерой квантовой запутанности, а это можно обнаружить наблюдениями, или не обнаружить. Ты либо будешь наблюдать это, либо нет, так ведь?

Но моя гипотеза не делала ретроспективных предсказаний. Ведь согласно Традиционной Науке, они не считаются — так что зачем тратить силы на их производство? Но для Байесовского Агента, если гипотеза сегодня не имеет предпочтительных отношений правдоподобия над «я не знаю», возникает вопрос: почему ты веришь сегодня во что-то более сложное чем «я не знаю». Но я не ведал Пути Байеса, так что я не думал про отношения правдоподобия или фокусирование плотности вероятности. Я ведь Сделал Фальсифицируемое Предсказание; разве не таков Закон?

Как Традиционный Рационалист, юный Элиезер был внимателен и не верил в магию, мистицизм, углеродный шовинизм и все такое прочее. Я гордо провозглашал, что мой Мистический Ответ «Такая же физика, как и вся остальная физика!». Как будто можно спасти магию от когнитивной изоморфности магии, называя ее квантовой гравитацией. Но я не ведал Пути Байеса и не видел уровень, на котором моя идея становилась изоморфна магии. Я отдавал мою верность физике, но это не спасло меня; какое дело теории вероятностей до чьей-либо верности? Я избегал всего, что запрещала мне Традиционная Рациональность, но даже то, что оставалось — было магией.

Не сомневайтесь, моя верность Традиционной Рациональности помогла мне выбраться из ямы, что я выкопал для себя. Если бы я не был Традиционным Рационалистом, со мной было бы покончено. Но Традиционной рациональности было все еще недостаточно. Это уводило меня от запрещенных ошибок, но приводило к другим.

Когда я думаю о себе, осторожно следовавшем правилам Традиционной Рациональности, получая при этом неверный ответ, то начинаю понимать, почему люди, называющие себя «рационалистами» не правят миром. Нужно дофига и больше рациональности, прежде чем она приведет хоть куда-то, а не к новым интересным ошибкам.

Традиционная Рациональность преподается как искусство, а не как наука. Читаешь биографии известных физиков, описывающие уроки, которым их научила жизнь, и стараешься делать то же, что и они. Но ты не прожил их жизнь, и половина того, что они описывают — инстинкт, который выработался у них.

Традиционная Рациональность сделана так, что было бы приемлемым для меня провести следующие тридцать лет, исследуя мою глупую идею, пока я был бы способен фальсифицировать её, со временем, и был бы честен сам с собой по поводу предсказаний, которые делает моя гипотеза, столкнувшись с опровержением, и прочее и прочее. Этого достаточно для того, чтобы Колесо Науки двигалось вперед, но немного жестоко по отношению к тем, кто тратит по тридцать лет своей жизни. Традиционная рациональность — прогулка, не танец. Она предназначена привести тебя к ответу, в итоге, но позволяет слишком тратить время на любование цветами по пути.

Традиционные Рационалисты могут согласиться не соглашаться. Традиционная Рациональность не имеет идеи о том, что рассуждения — точно искусство, предполагающее, что есть лишь одна корректная вероятность, с учетом имеющихся свидетельств. В Традиционной Рациональности тебе позволено гадать и тестировать свои догадки. Но опыт подсказывает мне, что если ты гадаешь, не зная, то получаешь неправильный ответ.

Путь Байеса тоже неточное искусство, насколько я его освоил пока. Эти статьи все еще пытаются передать словами то, что лучше будет постигнуто опытом. Но, по крайней мере, тут в основе лежит математика, плюс, экспериментальные свидетельства когнитивной психологии по поводу того, как люди действительно думают. Может быть, этого будет достаточно, чтобы преодолеть стратосферических размеров порог дисциплины, позволяющей получать правильные ответы, вместо новых интересных ошибок.

Однажды, во времена моей дикой и безбашенной юности, когда я еще не ведал Пути Байеса, я дал Таинственный Ответ на вроде бы таинственный вопрос. Это стало следствием цепочки из множества ошибок, однако, среди них была одна критическая: юная версия меня не осознавала, что получение ответа должно делать вопрос менее запутанным. Я пытался объяснить Таинственный Феномен, что означало — дать причину для него, вписывающуюся в интегрированную модель реальности. Почему же это должно было сделать феномен менее Таинственным, когда такова его природа? Я ведь пытался объяснить Таинственный Феномен, а не превратить (посредством какой-то неведомой алхимии) в обыденный, такой, который вообще не потребует странного объяснения.

Будучи Традиционным Рационалистом, я был в курсе историй о астрологии и астрономии, алхимии и химии, витализма и биологии. Но Таинственный Феномен был не таким. Он был чем-то новым, чем-то странным, чем-то более сложным, чем-то, чему обычная наука не могла дать объяснение на протяжении веков…

…как будто звезды и материя, и жизнь не были таинственными в течении сотен и тысяч лет, с самого восхода человеческой мысли, до того момента, как наука взяла и решила их…

Мы узнаём про астрономию и химию, и биологию в школе; нам кажется, что эти знания всегда были частью сферы научного знания, что они никогда не были таинственными. Когда наука бросает вызов новой Великой Загадке, дети этого поколения проявляют скепсис, ведь они не видели, что наука способна объяснить что-то, кажущееся мистическим для них. Наука годится лишь для объяснения научных субъектов, вроде звёзд или материи с жизнью.

Я думал, что урок истории в том, что астрологи с виталистами и алхимиками имели особый изъян характера, тенденцию в пользу таинственности, что и приводило их к таинственным объяснениями совершенно не-таинственных вопросов. Но правда ведь, если феномен странный — объяснение тоже должно быть странным?

Лишь позже, когда я начал видеть обыденную структуру внутри тайны, я начал понимать, на месте кого же я оказался. Лишь позже я понял, насколько разумным казался витализм в то время, насколько неожиданным и смущающим оказался ответ вселенной: «Жизнь обыденная, ей не требуется странных объяснений».

Мы изучаем историю, но мы не живём ей, не переживаем этот опыт. Если бы только я постулировал астрологическую тайну и позже открыл бы механику Ньютона, постулировал алхимическую тайну и открыл бы химию, постулировал бы витализм и открыл бы биологию. Я бы посмотрел на мой Таинственный Ответ и решил бы: ни за что на свете, я не попадусь на это снова.

Есть такая привычка мышления, которую я называю ошибкой обобщения на основе вымышленного свидетельства. Журналисты, которые, например, ведут речь про Терминатора, в обсуждении про ИИ, не относятся к этому сюжету, как к пророчеству или свершившейся правде. Но фильм приходит на ум, он доступен, как будто-то бы он является иллюстрированным историческим случаем. Как если бы журналисты видели, как это случилось на какой-то другой планете, и может произойти и на нашей. Подробней про это в секции 7 в «Когнитивных искажениях, влияющих на оценку глобальных рисков»1.

Есть и обратная обобщению на основе вымышленного свидетельства ошибка: неспособность в достаточной степени учитывать исторические свидетельства. Проблема с обобщением на основе вымышленного свидетельства в том, что оно вымышленное — оно никогда не происходило. Оно не начертано на основе того же распределения, что и наша вселенная; художественная литература систематически отличается от реальности. Но история же действительна случилась и должна быть доступной.

В мире наших предков не было фильмов; всё, что ты видел своими глазами, было правдой. Стоит ли удивляться, что вымысел, который мы видим в реалистичном кино, оказывает на нас такое серьезное влияние? Наоборот, то, что реально происходило, доступно нам на бумаге; оно произошло, но мы не видели этого. Мы не помним, что это происходило с нами.

Обратная ошибка — обращаться с историей как с обычными рассказами, анализировать той же частью разума, что используется при чтении новелл. Ты можешь произнести, что это «правда», а не «вымысел», но это не означает, что ты воспринимаешь это так серьезно, как следовало бы. Множество искажений являются следствием недостаточно серьезного восприятия сухой, абстрактной информации.

Однажды, я дал Таинственный Ответ на таинственный вопрос, не осознавая, что совершаю ту же самую ошибку, что и астрологи, придумавшие мистическое объяснение звёздам, или алхимики, придумавшие мистические свойства материи, или виталисты, постулировавшие мутное «élan vital» для объяснения биологии.

Когда я посмотрел на ситуацию с другой стороны, то ощутил шок неожиданной связи с прошлым. Я осознал, что изобретение и уничтожение витализма, о котором я читал лишь в книгах, действительно происходило с реальными людьми, которые переживали опыт так же, как и я переживал изобретение и разрушение моего собственного таинственного ответа. И я понял, что если бы я действительно переживал опыт прошлого, если бы я жил во времена научных революций, а не читал о них в книгах, я, вероятно, не совершил бы эту же ошибку снова. Я бы не стал изобретать очередной таинственный ответ; достаточно было бы тысяч предыдущих.

Итак, — подумал я, — для того, чтобы действительно ощутить силу истории, я должен думать, как Элиезер, живший в прошлом, должен думать о событиях так, как если бы они случились со мной (с соответствующей переоценкой искажения доступности исторической литературы — мне следует помнить себя тысячей крестьян на одного лорда). Я должен погрузить себя в историю, вообразить жизнь сквозь эры, которые я наблюдал лишь посредством чернил на бумаге.

Почему мне следует помнить полёт Братьев Райт? Меня там не было. Но, как рационалист, посмею ли я не помнить, если событие действительно произошло? Действительно ли есть большая разница, видеть событие собственными глазами — что, по сути, представляет собой воздействие отраженных фотонов и даже не прямой контакт, — и наблюдать событие через книгу по истории? Фотоны и книги по истории спускаются по цепочке причин и следствий от самого события.

Мне нужно было пересилить ложную амнезию, вызванную рождением в конкретную эпоху. Я должен был вспомнить, сделать доступными все воспоминания, а не только те, что чисто случайно принадлежат мне и моему времени.

Земля внезапно стала старше.

С точки зрения моих старых воспоминаний, Соединённые Штаты существовали всегда — не было времени, когда не было бы Соединённых Штатов. Я не помнил, до того момента, как поднялась Римская Империя, принесла мир и порядок, и, просуществовав множество веков, что я даже забыл, что могло быть иначе, пала, и варвары захватили мой город, и знание, которым я обладал, было потеряно. Современный мир стал более хрупким для меня, ведь я перестал воспринимать его, как мой первый современный мир.

Так много ошибок, снова и снова, ведь я не помнил, что совершал их в каждой эре, в которой я никогда не жил.

Только представьте, люди ещё удивляются, почему преодоление искажений важно.

Неужели ты не помнишь, как много раз ошибки убивали тебя? Я заметил, что внезапная амнезия часто следует сразу за роковой ошибкой. Но поверьте мне, это случалось. Я помню, хоть меня там и не было.

Так что в следующий раз, когда ты усомнишься в странности будущего, вспомни, как ты был рожден в племени охотников-собирателей тысячи лет назад, когда еще никто не знал о Науке. Вспомни, как ты был шокирован до глубины души, когда Наука объяснила великие и ужасные священные тайны, которые ты так восхвалял. Вспомни, как ты думал, что сможешь летать, если съешь нужный гриб, как ты разочарованно усвоил, что никогда не сможешь полететь, а потом полетел. Вспомни, как ты всегда думал, что рабство — это правильно и хорошо, а потом передумал. Не надо воображать, как бы ты мог предсказать перемены — ведь это проявление амнезии. Вспомни, что на самом деле ты не угадал. Вспомни, как век за веком мир менялся так, как ты и представить не мог.

Может так ты будешь менее шокирован тем, что будет дальше.

• 1. Eliezer Yudkowsky, “Cognitive Biases Potentially Affecting Judgment of Global Risks,” in Global Catastrophic Risks, ed. Nick Bostrom and Milan M. Ćirković (New York: Oxford University Press, 2008), 91–119.

Наше племя бродит по лугам в поисках съедобных растений и добычи, а с неба время от времени льётся вода.

— Почему с неба иногда падает вода? — спрашиваю я у бородатого мудреца нашего племени.

Старик погружается в размышления, — он никогда не задавался этим вопросом раньше — и через некоторое время отвечает:

— Иногда небесные духи сражаются, и во время этих битв с небес капает их кровь.

— Откуда появились небесные духи? — спрашиваю я.

Голос старца превращается в шепот:

— Они зародились в далёком прошлом в таких далях и безднах, что нам и не снились.

Твоё незнание причин, по которым идёт дождь, предоставляет тебе несколько вариантов действий. Во-первых, ты можешь просто не спрашивать «почему?» — не уделять вопросу никакого внимания или просто вообще никогда не задаваться этой мыслью. Это — команда «пренебречь», и именно её изначально выбрал старец. Во-вторых, ты можешь попытаться придумать какое-нибудь объяснение, то есть выбрать команду «объяснить», как сделал старец в ответ на первый вопрос. В-третьих, ты можешь смаковать тайну, выбрав команду «поклониться».

Прочитав эту историю, трудно не заметить то, что каждый выбор «объяснить», если всё получится, предоставляет тебе объяснение (например, «небесные духи»). Но это объяснение вновь возвращает нас к трилемме: объяснить, поклониться, пренебречь? После каждого нажатия «объяснить» наука трещит своими шестернями, возвращает ответ, и затем всплывает новое диалоговое окно. Рационалисты считают своим долгом постоянно нажимать «объяснить», но это выглядит, как дорога без конца.

Нажмёшь «объяснить» для жизни — получишь химию. Нажмёшь «объяснить» для химии — получишь атомы. Нажмёшь «объяснить» для атомов — получишь электроны и нуклоны. Нажмёшь «объяснить» для нуклонов — получишь хромодинамику и кварки. Нажмёшь «объяснить» для того, чтобы узнать, откуда взялись кварки — вернёшься во времена Большого Взрыва…

Если нажать «объяснить» для Большого Взрыва, то придётся некоторое время подождать, пока наука, треща своими шестернями, будет искать ответ. И, возможно, она когда-нибудь вернёт замечательное объяснение — но это повлечёт за собой ещё одно диалоговое окно. И, если мы продолжим достаточно долго, то мы должны увидеть особенное диалоговое окно с Объяснением, Не Требующим Объяснения, и оно закончит эту цепочку. Возможно, это будет самое важное объяснение из числа всех объяснений: как уже известных, так и тех, что ещё станут известными человеку.

Погодите! Я только что нажал «поклониться».

Не забывайте, что поклоняться можно по-разному. Поклоняться можно и не зажигая свечей вокруг алтаря.

Если бы я сказал «Хм, это какой-то парадокс. Интересно, как он разрешается?», то это означало бы, что я нажал «объяснить» и теперь терпеливо жду ответа.

И если весь вопрос кажется тебе неважным, или неуместным, или тебе кажется, что лучше подумать о нём потом — значит, ты нажал «пренебречь».

Выбирай кнопку с умом.

Представьте что я, находясь под наблюдением телекамер, поднял руки, произнёс «абракадабра!» — и произвёл слепящий сгусток света, висящий в воздухе невдалеке от моих вытянутых рук. Представьте, что я осуществил этот акт отъявленной, безошибочно-подлинной магии под прямым наблюдением со стороны Джеймса Рэнди (известный скептик и разоблачитель псевдонаучных теорий — прим. перев.) и всех армий скептиков. Думаю, большинству людей будет довольно любопытно, что же здесь происходит.

А теперь представим, что я не отправлялся на телевидение. Я не хочу делиться ни своей силой, ни правдой, которая за ней стоит. Я хочу, чтобы моя магия оставалась в секрете. Но при этом я хочу также иметь возможность пользоваться ею где и когда захочу. Я хочу призывать сгусток света, чтобы почитать книгу в поезде — но так, чтобы при этом никому не становилось любопытно. Есть ли заклинание, останавливающее любопытство?

Конечно есть! Когда кто-то спрашивает: «Как ты это сделал?», я просто отвечаю: «Наука!»

Это не столько настоящее объяснение, сколько эдакая «затычка для любопытства». Оно не говорит, станет ли свет ярче или потускнеет, изменятся ли тон или насыщенность его цвета, и, конечно же, не объясняет, как сделать такой огонёк самому. Вопрошающий не получил новых знаний, которых у него не было до того, как я произнёс магическое слово. Но он отворачивается, удовлетворившись тем, что не происходит ничего необычного.

Что ещё лучше, тот же трюк работает с обыкновенным выключателем света. Клацаем выключателем — и загорается лампочка. Почему? В школе нам объясняют, что паролем для лампочки накаливания является «Электричество!». Надеюсь, что к данному моменту вы уже не столь склонны к тому, чтобы обозначать лампочку «понятой» на основе такого «объяснения». Позволяет ли фраза «Электричество!» проводить расчёты, контролирующие ожидания? Нужно ещё много чего изучить! (Физики должны проигнорировать этот абзац и заменить его проблемой в эволюционной теории, где суть теории, опять-таки, заключается в вычислениях, которые умеет проводить очень малое количество людей).

Если бы вы считали, что лампочка накаливания научно необъяснима, она захватила бы всё ваше внимание. Вы бы бросили все дела и занялись бы исключительно лампочкой.

Но что значит фраза «научно объяснима»? Она значит, что кто-то ещё знает, как работает лампочка. Когда вам говорят, что лампочка «научно объяснима», вы не узнаёте ничего нового; вы не знаете, загорится ли лампочка ярче или потускнеет. Но раз кто-то уже знает о лампочке, эти знания в ваших глазах уже не так ценны. Вы становитесь менее любопытным.

Кто-то обязан сказать: «Если лампочка была неизвестна науке, вы можете получить славу и богатство исследуя её». Но я не говорю о жадности. Я не говорю о карьерных амбициях. Я говорю о чистом любопытстве—чувстве интереса. Почему ваше любопытство должно уменьшаться, если кто-то, не вы, знает как работает лампочка? Это ли не призрак? Для вас недостаточно знать; другие люди должны также быть невежественны, иначе вы не будете счастливы?

Хорошо, что знание может служить не только любопытству, как например социальная полезность технологий. Для таких инструментальных благ это важно как некоторая сущность в локальном пространстве знаний. Но что это должно значить для моего любопытства?

Кроме того, учитывайте последствия если вы допускаете «кто-то ещё знает ответ» в качестве семантического стоп-сигнала.

Однажды вы заходите в вашу комнату и видите гигантского зелёного слона, по видимому парящего в воздухе, окружённого аурой серебристого света. Вы скажете: «Какого чёрта?»

И голос, исходящий сверху от слона, говорит:

Кто-то уже знает почему слон здесь.

«О, — говорите вы. — Тогда это не важно». И идёте в кухню, как ни в чём не бывало.

Я не знаю великую единую теорию для законов физики этой вселенной. Я также многого не знаю о человеческой анатомии за исключением мозга. Я не могу указать где у меня почки, и я не могу тотчас вспомнить что делает моя печень.(Я не горжусь этим. Увы, со всей той математикой, которую мне нужно исследовать, я, скорее всего не научусь анатомии в какое-либо ближайшее время)

Следует мне, столь далеко как простирается любопытство, быть более заинтересованным моим незнанием элементарных законов физики, когда факт, что я немногое знаю о том, что происходит внутри моего тела?

Если бы я поднял свои руки и сотворил заклинание света, вы бы заинтересовались. Следует ли вам быть менее заинтересованным самим фактом поднятия моих рук? Когда вы поднимаете руку и водите ладонью вокруг, этот акт воли координируется (превыше других зон мозга) вашим мозжечком. Я поспорю, вы не знаете как работает мозжечок. Я знаю немного поверхностных деталей, недостаточных для проведения вычислений… но что с того? Какое имеет значение, если вы не знаете? Почему должен быть двойной стандарт любопытства для колдовства и движений рук?

Осмотрите себя в зеркале. Знаете ли вы, на что смотрите? Знаете ли вы, что выглядывает из-за ваших глаз? Знаете, чем вы являетесь? На некоторые из этих вопросов Наука знает ответы, на некоторые нет. Но почему это различие значимо для вашего любопытства, если вы не знаете?

Вы знаете, как работают ваши колени? Вы знаете, как сделана ваша обувь? Вы знаете, как светится ваш монитор? Вы знаете, почему вода мокрая?

Мир вокруг вас полон загадок. Расставляйте приоритеты, если вам нужно. Но не жалуйтесь, что жестокая наука опустошила мир тайн. С таким рассуждением я могу заставить вас проглядеть слона в вашей комнате.

Классическая работа Дрю МакДермота «Искусственный интеллект и естественная глупость» критикует ИИ программы, которые пытаются представить понятия вроде счастья, как состояние ума, при помощи семантической сети: 1


СОСТОЯНИЕ-УМА
^
| ЭТО
|
СЧАСТЬЕ


И разумеется, внутри узла СЧАСТЬЕ ничего нет. Это просто токен языка Лисп с говорящим английским названием.

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все ещё восхищаться системой, если СОСТОЯНИЕ-УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит далеко не столь впечатляюще».

Или если я слегка перефразирую идею: если ты заменишь случайными символами вообще все осмысленные английские слова, то ты никак не поймёшь, что означает G1071 (G1072, 1073). Эта программа ИИ описывает гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь все говорящие английские названия, обратно они не вернутся.

Представим, что физик сказал тебе: «Свет — это волны», и ты ему полностью поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ)

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что именно ему сказали. Не „понял“, а всего лишь „заметил“». Предположим, что физик сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (на всякий случай: это неправда). Заметишь ли ты разницу в ожидаемом опыте?

Как можно понять, что не стоит доверять кажущемуся знанию «Свет — это волны»? Один из способов: «смогу ли я восстановить это знание, если оно почему-то исчезнет из моей головы?»

Это похоже по духу на замену говорящих английских названий из программы ИИ с целью узнать, сможет ли кто-то понять к чему они должны «относиться». Также здесь можно привести пример Искусственного Вычислителя, который запрограммирован записывать и выдавать ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ. Он, разумеется, не сможет восстановить это знание, если стереть его из его памяти (если только ещё кто-нибудь не запишет его обратно). Аналогично и знание «Свет — это волны» будет потеряно безвозвратно, если только ты не спросишь о нём заново у физика. Ты не сможешь создать это знание сам, как может это сделать физик.

Тот же опыт, что заставляет нас формулировать убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобёр грызёт дерево, то ты будешь знать как «зверь-что-грызёт-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрёл свои убеждения о «бобрах», когда кто-то другой рассказал тебе факты о «бобрах», то, возможно, ты не опознаешь бобра, если его увидишь.

Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.

Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».

Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.

Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.

Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.

Пастух строит систему учёта овец, которая работает, если добавлять камень в корзину каждый раз, когда овца покидает амбар, и изымать - когда овца возвращается. Если ты, ученик, не понимаешь работу этой системы, если для тебя это магия, которая непонятно почему работает, то ты не поймёшь, что делать, если случайно бросишь лишний камень в корзину. Если ты не можешь что-то создать сам, ты не сможешь это и восстановить, если ситуация этого потребует. Ты не сможешь вернуться к истокам, подправить параметры и заново получить результат, если у тебя нет истоков. Предположим, тебе известен факт «два плюс четыре равно шести». Один из элементов изменяется на «пять». Как ты узнаешь, что «два плюс пять равно семи», когда всё, что ты знаешь: «два плюс четыре равно шести»?

Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчёта овец. Если бы первый изобретатель узнал об этом факте, он мог бы его использовать для улучшения своей системы. Однако, ты не в состоянии вернуться к истокам и переизобрести новую систему подсчёта.

Если источник мысли находится внутри тебя самого, то с приобретением новых знаний и навыков мысль может меняться. Она поистине становится частью тебя и растёт вместе с тобой.

Старайся стать источником для всех своих мыслей, стоящих обдумывания. Если мысль первоначально пришла извне, убедись, что она также исходит изнутри. Постоянно спрашивай себя: «Как я восстановлю это знание, если оно исчезнет?» Найдя ответ на этот вопрос, представь, что знание, которое помогло бы тебе в таком случае, тоже удалено. И когда увидишь фонтан - посмотри, что ещё из него течёт.

• 1. Drew McDermott, «Artificial Intelligence Meets Natural Stupidity», SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.
• 2. Richard Rorty, «Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion», The Boston Globe (October 2003).

Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное «па» в танце.

А как насчёт инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчёт студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнёс к хорошей скромности.

А что насчёт студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Даже если это решение обусловлено эмоциями схожими с эмоциями предыдущего студента, оно менее мудро.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность — относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным взаимодействиям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что тот же студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.

Конец эпохи в физике не обязательно сопровождается салютом и фанфарами. Гораздо чаще он начинается с чего-то, что кажется лишь маленькой несостыковкой… Но из-за того, что физики придерживаются своей высокомерной идеи, что их модели должны работать абсолютно всегда, а не просто бОльшую часть времени, они всегда стараются выяснить причину этих маленьких несостыковок. Обычно несостыковка исчезает после более внимательного её изучения. А иногда она разрастается настолько, что опровергает всю теорию. По этому поводу сказано: «Если ты не стремишься к совершенству, ты остановишься ещё до того, как сделаешь свои первые шаги».

Но подумайте, как нагло с точки зрения общества выглядит стремление быть правым абсолютно всегда! Я подозреваю, что если бы Наука заявляла, что теория эволюции верна бОльшую часть времени, но не во всех случаях, — или если бы Наука признавала, что, возможно, Земля иногда может быть плоской, но никто не знает этого точно, — то у учёных определённо была бы лучшая репутация в обществе. Наука не казалась бы такой враждебной, потому что мы бы тогда не спорили с людьми, которые считают Землю плоской — оставалось бы место для компромисса. Если вы много спорите, вас считают конфликтным человеком. Если вы регулярно отказываетесь идти на компромисс, это ещё хуже. Считайте это вопросом статуса в племени: учёные определенно заработали дополнительные очки уважения за такие социально полезные вещи, как медицина и мобильные телефоны. Но этот статус не оправдывает их настойчивости в вопросе того, что только научные идеи об эволюции имеют право изучаться в школах. В конце концов, у священников тоже высокий статус. Учёные пытаются прыгнуть выше головы — они заработали немного уважения и теперь считают, что имеют право быть вождями всего племени! Им стоит быть поскромнее и иногда идти на компромисс.

Многие люди, похоже, имеют весьма туманное представление о «скромности рационалиста». Опасно придерживаться правила, которое вы понимаете лишь отчасти. У вашей картины мира может быть такое количество степеней свободы, что она оправдает практически любой поступок. Когда люди пользуются смутными моделями, с помощью которых они могут отстаивать что угодно, в итоге они обычно верят в то, во что хотели верить изначально. Это так удобно, что люди часто не хотят отказываться от этой неопределённости. Но этика нужна для того, чтобы управлять нашим поведением, а не для того, чтобы под него подстраиваться.

«Скромность» — это добродетель, которую часто понимают неверно. Это не значит, что нам нужно отказаться от понятия скромности, но нам стоит использовать его осторожно. Возможно, стоит взглянуть на алгоритм действий, который предлагает «скромная» модель поведения, и спросить: «Если я буду поступать таким образом, я стану сильнее или слабее?» Если вы просто смотрите на мост и думаете о проблеме индукции, может казаться разумным рассуждение о том, что ничто не вечно, независимо от предпринятых мер предосторожности. Однако, если вы сравните, что изменится в реальном мире, если вы добавите несколько дополнительных тросов, и что изменится, если вы просто пожмёте плечами, то вроде бы довольно очевидно, в каком случае мост станет более надёжным.

Подавляющее большинство примеров «скромности рационалиста», которые я видел, были отговорками для пожимания плечами. Например, человек, покупающий лотерейный билет, говорит: «Но вы не знаете наверняка, что я проиграю». Человек, не верящий в эволюцию, говорит: «Но вы не можете строго доказать мне, что это правда». Человек, отказывающийся решать задачу, которая выглядит очень сложной, говорит: «Её наверное, слишком тяжело решить». Проблема здесь в предвзятом скептицизме, также известном как «искажение опровержения» — мы более критически рассматриваем утверждения в пользу теории, в которую мы не хотим верить. Скромность, в её самом неверно понимаемом виде, это самое универсальное оправдание для того, чтобы не верить во что-то. Ведь, в конце концов, нельзя быть в чём-то уверенным до конца. Остерегайтесь абсолютно универсальных оправданий!

Ещё одна проблема в том, что скромность не требует от вас никаких жертв. Деннет в своей книге «Разрушая чары: религия как природное явление» говорит, что, хотя во многие религиозные утверждения очень трудно верить, людям намного легче удаётся верить в то, что они должны в них верить. Деннет использует для этого термин «вера в убеждение». Что бы могло означать реальное убеждение? Что бы значила реальная вера в то, что трое эквивалентны одному? Намного легче убедить себя, что вы должны каким-то образом верить, что трое эквивалентны одному, и говорить это вслух в нужный момент проповеди. Деннет предполагает, что многие «религиозные убеждения» должны рассматриваться как «религиозные провозглашения» — люди считают, что они должны в них верить, и знают, что они должны именно так говорить.

Довольно легко отвечать на каждый контраргумент: «Ну, разумеется, я могу и ошибаться». А затем, почтительно преклонив колени перед Скромностью и выполнив надлежащий ритуал, можно поступать точно также, как поступали и до этого.

Всегда хочется заработать наибольшее количество очков с наименьшими усилиями. Всегда хочется учитывать все поступающие свидетельства таким образом, чтобы как можно меньше изменять свои убеждения и особенно действия. Джон Кеннет Гэлбрейт сказал: «Оказавшись перед выбором между тем, чтобы изменить свои убеждения, и тем, чтобы доказать себе, что в этом нет нужды, почти каждый выбирает второе.»1 И чем большие неудобства человек будет испытывать после изменения своих убеждений, тем больше усилий он потратит на доказательства его ненужности.

Но, знаете, если вы не собираетесь меняться, нет смысла тратить такие усилия на то, чтобы это рационализировать. Я часто видел людей, которые получали новую информацию, соглашались с ней, а затем подробно объясняли, почему они собираются делать то же самое, что делали до этого, но с другим оправданием. Смысл мышления в том, чтобы строить планы. Если вы не планируете менять свои планы, зачем тратить силы на их оправдания? Когда вы получаете новую информацию, самое трудное — среагировать на неё и обновить свои убеждения, вместо того чтобы позволить этой информации исчезнуть в чёрной дыре. И неправильно понимаемая скромность создаёт прекрасную чёрную дыру — вам нужно лишь признать, что вы тоже можете ошибаться. По этому поводу сказано: «Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью».

• 1. John Kenneth Galbraith, Economics, Peace and Laughter (Plume, 1981), 50.

«Вера в Санту даёт детям ощущение чуда и заставляет их вести себя хорошо в надежде на получение подарков. Если Санта-убеждение разрушается правдой, дети теряют ощущение чуда и прекращают вести себя хорошо. Таким образом, даже если это убеждение ложно, это благородная ложь, которая полезна по определённым причинам».

Обычно это называют ложной дилеммой, софизмом исключения среднего, софизмом компромисса. Даже если мы принимаем лежащие в основе фактические и моральные исходные посылки, приведённые выше в аргументах, это не может быть использовано. Даже предположение, что политика Санты (заставлять детей верить в Санта-Клауса) лучше, чем не делать ничего, это не значит что данное убеждение является наилучшим из всех возможных альтернатив. Другие варианты поведения также могут дать детям ощущение чуда, наподобие просмотра фантастического шоу или снабжения их научно-фантастической литературой. Это всё равно, что давать детям взятки за хорошее поведение — дети будут вести себя хорошо только в те моменты, когда на них смотрят взрослые. При этом похвала, без взяток, ведёт к безусловному хорошему поведению.

Благородная ложь представляет собой общий случай софизма компромисса; и ответом на данный софизм является то, что если нам действительно нужно достичь чего-то, мы можем создать третью альтернативу по достижению этого.

Как мы можем получить третью альтернативу? Первый шаг в этом — решить поискать её, последний — решение принять её. Звучит очевидно, однако большинство людей терпят неудачу на этих двух шагах, а не на самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые появляются честно, потому что трудно найти превосходящие стратегии. Но есть сомнительная причина ложной дилеммы — это суждение о том, что это лучше, чем не делать ничего. В этом случае, судящий не хочет искать третью альтернативу; нахождение таковой разрушит его суждение. Последнее, что сантаист хотел бы услышать, это то, что похвала работает лучше взяток или что космические корабли могут вдохновлять так же как летающие олени.

Лучшее — враг хорошего. Если цель — по-настоящему помогать людям, тогда превосходящая альтернатива это причина для праздника — как только мы находим лучшую стратегию, мы можем помогать людям более эффективно. Но если цель просто оправдать определённую стратегию, претендуя при этом на помощь людям, третья альтернатива становится вражеским аргументом, соперником.

Современные когнитивные психологи рассматривают принятие решений как поиск альтернатив. В настоящей жизни, недостаточно сравнивать варианты, вы должны в первую очередь создавать варианты. Во многих проблемах число альтернатив велико, так что вам нужен критерий остановки поиска. Когда вы ищете дом для покупки, вы не будете перебирать все дома в городе; в определённый момент вы остановитесь и купите.

Но что, если наши сознательные мотивы для поиска — критерий, который мы признаём для себя — не совпадает с подсознательными влияниями? Когда мы выполняем вроде бы альтруистический поиск, поиск альтруистического способа действий и находим стратегию, при которой выигрывают все кроме нас — мы не останавливаемся; мы продолжаем искать. Разумеется, при этом мы говорим, что ищем стратегию, которая принесёт другим ещё больше пользы. Но предположим, что мы нашли стратегию, которая приносит другим меньше пользы, но зато благоприятна и для нас? Мы тут же останавливаемся! На деле, мы скорее всего будем сопротивляться любому предложению продолжить поиск снова — например оправдываясь недостатком времени (хотя у нас всегда находятся когнитивные ресурсы для поиска оправданий текущей стратегии).

Будьте внимательней, когда обнаруживаете, что вы отстаиваете оборонительный способ действий, а не оптимальный; или думаете, что иметь небольшое преимущество в сравнении с нулевым действием лучше, чем выбирать наибольшее преимущество из всех действий.

Ложные дилеммы часто представляются как оправдание неэтичных действий, как нечто попавшееся под руку и очень удобное. Лгать, например, часто удобнее, чем говорить правду; и верить в то, с чего вы начали рассуждение, — более удобно, чем обновлять убеждения. Отсюда популярность аргументов в пользу Благородной Лжи; это служит как защита уже существующего убеждения — никто не видел Благородного Лжеца, который создаёт новую Благородную Ложь; они продолжают лгать о том, с чего начали. Лучше остановить эти поиски быстро!

Чтобы сделать лучше, спросите себя напрямую: если бы я увидел, что есть альтернатива, превосходящая мою текущую, я бы обрадовался или бы замешкался в нежелании, перед тем, как перешёл на неё? Если ответы «нет» и «да», боюсь, что вы не ищете третью альтернативу.

Что приводит к другому хорошему вопросу, который нужно задать себя напрямую: потратил ли я хотя бы пять минут на то, чтобы закрыть глаза и рассмотреть даже самые дикие и креативные варианты в попытках придумать лучшую альтернативу? Причём это должны быть именно пять минут на часах — иначе вы просто моргаете — закрываете и сразу же открываете глаза и говорите: «Ну, я поискал альтернативы, но их нет». Моргание это хорошее средство уйти от своих обязанностей. Поэтому рекомендуется смотреть пять минут именно по часам.

И эти дикие и креативные варианты — были ли вы достаточно внимательны, чтобы не просмотреть хороший? Прилагали ли усилия, чтобы убедиться в том, что любой рассмотренный выбор очевидно плохой?

Удивительно, как много Благородных Лжецов и прочих подобных готовы принять этические нарушения — оплакивая свои муки совести — когда они не потратили и пяти минут на поиск альтернатив. Существуют определённые ментальные поиски, которые мы подсознательно желаем видеть неудавшимися; и когда шансы на успех нам не подходят, люди часто выбирают самый доступный возможный вариант — сдаться.

Традиционно принято критиковать лотереи за то, что играют в них те, кто меньше всего может позволить себе проиграть; что лотерея — унитаз для спуска денег, сливающий средства тех, кому они больше всего нужны. Некоторые апологеты лотерей (и даже кое-какие комментаторы блога LessWrong.com) пытаются оправдать покупку лотерейных билетов как разумную: мы нечувствительно теряем доллар в день, покупая приятное предвосхищение, мечтая о себе-миллионере.

Но рассмотрим, что же именно здесь подразумевается. Такой ход мыслей должен означать, что вы захламляете свой ценный мозг иллюзией, действительная достоверность которой — что-то около нуля: тонкая полоска везения, которую вы не властны сделать реальностью. Лотерейные шары определят ваше будущее. Эта иллюзия о том, что богатство настигнет вас без усилий: без стремления мыслить и учиться, без талантов, даже без упорства.

Это и делает лотереи ещё одним видом «унитаза», только сливающим эмоциональную энергию. Они потворствуют тому, чтобы люди вкладывали свои мечты, свои надежды на лучшее будущее в крохотную вероятность. Если бы не лотерея, возможно, они могли бы подумать о том, чтобы поступить в технический колледж, или открыть своё дело, или продвинуться по службе, — о чём-то, что в самом деле могут сделать именно они, о надеждах, которые бы требовали от них стать сильнее. В своих фантазиях, эдак к 20-й визуализации пленительной мечты, мозг человека, возможно, заметит способ действительно её осуществить. Разве фантазии и мозги не для этого? Но разве может этот приземлённый, ограниченный рамками действительности расклад сравниться с подслащённой перспективой мгновенного богатства (не когда на продажу выставлены акции соблазнительных интернет-стартапов, а в обычный вторник)?

Правда, почему бы нам просто не сказать, что покупать лотерейные билеты — идиотское занятие? Люди бывают глупы время от времени, так что это не должно быть такой уж удивительной гипотезой.

Не является открытием, что человеческий мозг не проводит 64-битные вычисления с плавающей точкой, и не может снизить эмоциональную силу положительного предвосхищения, умножив её на 0,00000001, если не приложить к этому усилий. Также неудивительно, что многие люди не осознают, что численное вычисление ожидаемой полезности должно превосходить или замещать их неточные финансовые инстинкты, и что вместо них стоит верить этому вычислению как единственному аргументу, который уравновешивал бы их положительное предвосхищение — но вычисление это эмоционально слабый аргумент, поскольку представляет собой цифры на бумаге, а не видения сказочных богатств.

Кажется, этого достаточно, чтобы объяснить популярность лотерей. Почему же столь многих спорщиков тянет оправдать эту образцовую форму саморазрушения?

Чтобы преодолеть искажение мышления, нужно: 1) сначала заметить его, 2) затем подробно проанализировать, 3) определить, чем же оно плохо, 4) выяснить, как его обойти, и, наконец, 5) осуществить это. Досадно, как много людей, пройдя первые два шага, застревают на третьем — по правде говоря, самом легком из всех пяти. Систематическая ошибка мышления — это баг, а не фича, и мы должны не пытаться сделать из неё что-то хорошее, а просто избавиться от неё.

Люди продолжают настаивать на том, что лотереи это не бессмысленная трата надежды, а сервис, который даёт возможность купить фантазию — «мечты о становлении миллионером за меньшие деньги, нежели мечты о становлении голливудской звездой в кино». Один комментатор написал: «Есть большая разница между нулевыми шансами стать богатым и ничтожно малыми. Покупка билета позволяет вашей мечте о богатстве перейти от нулевых шансов к ничтожно малым».

На деле же, и это один из моментов, которые я хочу донести, между нулевым и ничтожно малым шансом стать богатым разница ничтожно малого порядка. Если вы сомневаетесь, положим, что этот ничтожно малый шанс — единица, делённая на гуголплекс.

В любом случае, если мы притязаем на то, что сильная сторона лотереи — возможность купить надежду на ничтожно малые шансы, то это предполагает, что мы соглашаемся на разработку новой улучшенной лотереи. Она выплачивает выигрыш в среднем раз в пять лет, в случайный момент времени, который определяется, скажем, моментом распада атомов слаборадиоактивного элемента. Вы сможете однажды купить билет за доллар и обрести не просто несколько дней крохотного шанса стать богатым, а несколько лет такового. Более того, богатство может настигнуть вас в любой момент! В любую минуту может зазвонить телефон, чтобы рассказать вам, что вы, да-да, именно вы — миллионер!

Представьте, насколько это было бы лучше, чем обычная схема розыгрыша лотереи, которая проводится только в определённое время, несколько раз в неделю. Скажем, шеф приходит и дает вам указание переработать проект, или пополнить складские запасы, или сделать еще что-нибудь надоевшее. И вместо того, чтобы браться за работу, вы можете поставить перед собой телефон и глядеть на него, надеясь на чудесный звонок, ведь есть крохотный шанс, что именно в этот момент вы, да-да, вы получите суперприз! И даже если этого не случится сейчас, что ж, не стоит разочаровываться: это может произойти в следующую минуту!

Подумайте, насколько больше фантазий возможно с Новой улучшенной лотереей. Вы можете покупать в магазине, добавляя дорогие вещи в вашу покупательскую корзину. Если ваш телефон не зазвонит, чтобы вам сообщили, что вы выиграли, вы всегда можете выложить всё обратно, не так ли?

Возможно, Новая улучшенная лотерея может даже отображать постоянно плавающее распределение вероятностей по возможности того, что сейчас кто-то выиграет, или по шансам на победу определённых лотерейных билетов, а также общий прогноз, выражающийся через вышеуказанные распределения Пуассона. Вообразите, насколько приятным это могло бы быть! Батюшки, прямо сейчас шансы выиграть где-то в десять раз выше, чем обычно! И, вы только посмотрите, у номера 42, на который я сделал особую ставку, вероятность выпадения в эту минуту удвоилась! Можно отобразить эту информацию на экранах мобильников, владельцы которых в игре, и они смогут просто посмотреть в телефон и узнать свои шансы. Только представьте, как волнующе это будет! Куда увлекательней, чем пытаться свести собственные доходы и расходы. Куда интереснее, чем делать домашнюю работу! Эта новая мечта должна стать настолько притягательной, что сможет соревноваться не только с надеждой поступить в технический колледж, но даже с возможностью рано возвращаться с работы. Люди смогут просто неотрывно глазеть на экран весь день, и им не надо будет мечтать о чём-нибудь ещё!

Действительно, давать людям соблазнительные мечтания, которые никогда не станут реальностью, — значимая услуга, так уж и быть. Она должна быть таковой, ведь люди готовы расставаться с деньгами. Хотя на самом деле это может быть и не так, ведь люди могут и ошибаться.

Пока что современные государства, обладающие подлой монополией на лотереи, всё ещё не предлагают эту удобную и очевидную услугу. Почему? Потому что хотят назначить цену повыше. Они хотят, чтобы люди тратили деньги каждую неделю. Чтобы люди тратили сотни долларов ради трепетного ожидания выигрыша, десятки и сотни раз, вместо того, чтобы смотреть на экран телефона, ожидая счастливого момента. Так что если вы убеждены, что лотерея — это услуга, то цена её несоизмеримо завышена (в особенности для беднейших в обществе), и ваш священный долг как гражданина — требовать учреждения Новой улучшенной лотереи.

Несколько лет назад я беседовал с одним человеком, и по ходу разговора он сказал, что не верит в эволюцию. Я ответил: «Сейчас не девятнадцатый век. Когда Дарвин впервые предложил теорию эволюции, в ней ещё можно было сомневаться. Но мы живём в двадцать первом веке. Мы можем читать гены. У человека и шимпанзе ДНК совпадают на 98%. Мы знаем, что люди и обезьяны являются родственниками. Это факт».

Он сказал: «Может быть, совпадение ДНК является случайным».

Я ответил: «Шансы на это равны примерно двум в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс всё равно есть, не так ли?»

Есть несколько причин, по которым прошлый-я не может праздновать чистую с моральной точки зрения победу в этом споре. Первая причина заключается в том, что я не помню, откуда взял число $2^{750000000}$, хотя, скорее всего, я не слишком ошибся на уровне «мета-порядка». Другая причина в том, что мой прошлый-я не задумывался о том, насколько откалиброванной была эта уверенность. На протяжении всей истории человечества люди, оценивавшие вероятность некоего события в 1 к $2^{750000000}$, ошибались, несомненно, чаще, чем один раз в $2^{750000000}$ случаях. К слову, позже оценка совпадения ДНК была снижена с 98% до 95% — причём относится она только к 30 000 известных генов, а не ко всему геному, поэтому моя оценка была неверна даже на уровне «мета-порядка».

Однако, ответ моего собеседника по-прежнему кажется мне довольно забавным.

Я не помню, что я ответил на его последнюю реплику — скорее всего, что-то вроде «Нет» — но я запомнил этот разговор, поскольку благодаря ему, я чуть лучше понял то, как Непросвещённые понимают законы мышления.

Я впервые понял, что для человеческой интуиции есть качественная разница между «Невозможно» и «Шансы очень малы, но их стоит учитывать». Это можно увидеть и на Overcoming Bias в обсуждении «Новой Улучшенной Лотереи», где один пользователь написал: «Между нулевыми шансами на выигрыш и шансами, равными эпсилону, существует большая разница». На что я ответил: «Нет, не большая — порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон один, делённое на гуголплекс».

Проблема в том, что теория вероятностей позволяет рассчитать значения, которые настолько малы, что на них бессмысленно тратить ресурсы своего мозга — но к этому времени они уже будут рассчитаны. Люди путают карту с территорией, поэтому на интуитивном уровне вероятность, явно определённая в виде символов, ощущается как «шанс, который нужно учитывать», даже если число, описываемое этими символами, настолько мало, что, представив его в виде реального объекта, мы бы не смогли его даже разглядеть, поскольку оно было бы меньше пылинки. Для описания настолько маленьких чисел есть слова, но нет чувств — столь малого количества нейронов и нейромедиаторов не хватит, чтобы ощутить хоть что-то. Именно поэтому люди и покупают лотерейные билеты — никто не способен по-настоящему прочувствовать ничтожность столь малой вероятности.

Но ещё более любопытным мне показалось качественное деление между аргументом «точным» и аргументом «вероятностным» — причём «вероятностный» аргумент в этом случае можно просто проигнорировать. Мол, вероятность, равная нулю, требует полного отказа от неё, а вероятность, равная один к гуголу, всё ещё может учитываться.

Разумеется, мы живём в свободной стране и никто не посадит вас в тюрьму за неверные рассуждения. Но если вы собираетесь игнорировать аргумент о том, что вероятность равна всего лишь один к гуголу, зачем обращать внимание на аргумент о том, что вероятность равна нулю? То есть, если вы всё равно собираетесь игнорировать любые свидетельства, чем «вероятностное» свидетельство хуже «точного»?

В жизни я часто обнаруживал, что научился чему-то на ужасно вопиющих ошибках в рассуждениях других людей. Например, в данном случае, правило заключается в следующем: если очень хочется принять во внимание ничтожную вероятность один к гуголу, то совершенно точно придётся принять во внимание и вероятность 0,9. Это одного поля ягоды.

Вспомните об этом, если захотите сказать: «Но вы не можете доказать мне, что я не прав». Если вы собираетесь игнорировать аргумент, основанный на вероятности — почему бы просто сразу не проигнорировать всё доказательство?

Софистик: «Мир не чёрный и белый. Не существует чистого добра и чистого зла. Всё серое. Таким образом, нет никого, кто был бы лучше другого»

Zetet: «Зная только серый, вы заключаете, что все виды серого — это один оттенок. Вы смеётесь над простотой двухцветной точки зрения, однако заменяете её одноцветной…»

— Marc Stiegler, David’s Sling

Я не знаю, есть ли у ошибки, допущенной Софистиком, официальное название, но я называю её «софизмом серого». Мы видели его проявление в предыдущем посте, когда собеседник, считавший, будто шансы, равные двум в степени семьсот пятьдесят миллионов к одному, против его утверждения означают, что «шансы ещё есть». Для него любые вероятности — просто «неопределенности», и поэтому он считает, что может их игнорировать, если ему так удобней.

«Луна сделана из зеленого сыра» и «Солнце сделано по большей части из водорода и гелия» — предложения о некоторой неопределённости, однако они неопределённы не в равной степени.

Всё — оттенки серого, однако есть оттенки серого столь светлые, что они почти белые, и есть оттенки столь тёмные, что они почти чёрные. Или даже если нет, мы всё равно можем сравнить оттенки и сказать «это темнее» или «это светлее».

Годы назад, одним из маленьких и странных, формирующих меня как рационалиста, моментов было чтение этого параграфа из «Игрока в игры» Иэна Бэнкса, особенно предложение, выделенное жирным:

«Карательная система не знает невиновных. Любая машина насилия считает, что все либо за неё, либо — против. Мы — против. И вы были бы тоже, дай вы себе труд задуматься. Уже один образ мышления делает вас врагом. Может, это и не ваша вина, потому что каждое общество воспитывает в своих гражданах определенные ценности, но дело в том, что некоторые общества придают ценностям максимальное значение, а некоторые — минимальное. Вы происходите из общества второго типа, а рассказать вас о себе просит общество первого типа. Уклониться будет так трудно, что вы и представить себе не можете, сохранить нейтралитет — практически невозможно. Вы просто не можете не сочувствовать той политике, в которой воспитаны, поскольку она не является чем-то независимым от остальных частей вашего «я». Она — составляющая вашей личности. Мне это известно, и им это известно. И вам лучше принять всё как есть».

Сейчас не надо писать негодующих комментариев, говорящих, что если бы общества не вкладывали свои ценности, тогда каждое последующее поколение должно было бы начинать с нуля. Это не то, что я вынес из параграфа.

То, что я вынес из параграфа, было что-то, что кажется очевидным в ретроспективе, что я, возможно, мог бы взять из сотни разных мест; но именно этот параграф что-то сдвинул во мне.

Это было само понятие Количественного Пути, применённого к жизненным проблемам, таким как моральные суждения и стремление к самосовершенствованию. То, что даже если бы вы не могли включить или выключить, вы всё ещё хотели бы увеличить или уменьшить.

Слишком очевидно, чтобы это стоило обсуждать? Я бы сказал что это не так уж очевидно, для многих блоггеров, говорящих об Overcoming Bias: «Невозможно, никто не может полностью избавиться от искажений». Меня не волнует, если это говорит профессиональный экономист, ясно что они ещё не въехали в то, как применять Количественный Путь в повседневной жизни и делах наподобие самосовершенствования. Если я не могу что-то убрать совсем, может быть неплохо было бы это хотя бы уменьшить.

Или обсудим разговор между Робином Хансоном и Тайлером Ковеном. Робин Хансон сказал, что он предпочитает уделять 75% внимания предписаниям экономической теории, в противовес своей интуиции: «Я стараюсь в основном напрямую применять экономическую теорию, добавляя немного личных или культурных суждений». Тайлер Ковен ответил:

— С моей точки зрения нет такой вещи как «применяемая напрямую экономическая теория»… теории всегда применяются через наши личные и культурные фильтры, и не может быть каких-то других путей.

Да, но вы можете попробовать минимизировать этот эффект, или вы можете делать вещи, связанные с увеличением его. И даже если вы пытаетесь минимизировать его, тогда во множестве случаев я не думаю, что неразумно называть выход «прямым» — даже в экономике.

«Все несовершенны». Махатма Ганди был несовершенен и Иосиф Сталин был несовершенен, но они не были одинаково несовершенны. «Все несовершенны» это отличный пример замены двухцветной точки зрения на одноцветную. Если вы скажете: «Никто не совершенен, но некоторые люди менее несовершенны, нежели другие», вы можете не получить аплодисментов; но тем, кто старается делать лучше, вы дадите надежду. Никто не совершенен, в конце концов.

(Всякий раз, когда кто-то говорит мне «перфекционизм плох для тебя», я отвечаю: «Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди».)

Точно так же глупы те, кто говорит: «Каждая научная парадигма накладывает какие-то из своих предположений на то, как она интерпретирует эксперименты» и действует так, словно он доказал, будто наука стоит на одной ступени с шарлатанством. Любое мировоззрение накладывает какие-то из своих структур на свои наблюдения, но есть те точки зрения, что пытаются минимизировать этот эффект, и те, что гордятся им. Нет белого, но есть тени серого, что намного светлее других, и глупо относиться к ним так, словно они все на одном уровне.

Если Луна вращалась вокруг Земли последние несколько миллиардов лет, если вы видели её в небе последние годы, и вы ожидаете увидеть ееёна своем месте завтра — это неопределенность. И если вы ожидаете, что невидимый дракон излечит вашу дочь от рака, — это тоже неопределённость. Но у них совершенно разные степени неопределенности: одно дело — ожидать вещи, которые уже случались так, что их можно было предсказать до двенадцати знаков после запятой, и совсем другое — ожидать, что произойдёт нечто, что противоречит наблюдаемому порядку вещей. И называть их одним словом «вера» кажется немного натянутым.

Это психология особого рода, которая приводит к «Наука тоже основана на вере, вот так!» Обычно это говорится людьми, которые утверждают, что вера — это хорошо. Тогда почему они говорят «Наука тоже основана на вере!» в таком злобно-торжествующем тоне, а не как комплимент? И довольно опасный комплимент, с их точки зрения. Если наука основана на «вере», тогда наука относится к тем же явлениям что и религия: их тогда можно непосредственно сопоставить. Если наука — это религия, то это религия, что лечит болезни и открывает тайны звёзд. И тогда возможно сказать: «священники науки могут честно и открыто, с доказательствами, ходить по Луне, что можно счесть чудом веры, а ваши священники от веры не могут того же». Вы уверены что вы хотите продолжать, верующие? Возможно, в дальнейшем отражении, вы предпочтёте отказаться от этого дела с «Наука тоже религия!»

Есть странная динамика: вы пытаетесь очистить свой оттенок серого, и достигаете точки, где становится уже светлее, и кто-то встаёт и говорит глубоко возмущённым тоном: «Но это же не белый! Это серый!» Одно дело, когда кто-то говорит: «Это не такое светлое, как вы думаете, поскольку там есть определённые проблемы X, Y, Z». Другое дело, когда кто-то злобно говорит: «Это не белый! Это серый!» без указания на определённые темные пятна.

В этом случае я начинаю в большей степени, чем обычно, подозревать, что психология несовершенна: что кто-то, возможно, заключил сделку со своими ошибками и теперь отказывается слышать о любой возможности улучшения. Когда кто-то находит оправдание тому, что он не пытается стать лучше, он часто отказывается признать, что кто-то может стараться стать лучше. Любой способ улучшения и любое свидетельство, что возможно двигаться вперед, чтобы стать лучше, они воспринимают как преступление против них. Таким образом, они гордо говорят сначала «Я рад, что я серый», а затем, уже злобно: «И ты тоже серый!»

Если нет белого и чёрного, всё ещё есть более светлое и более тёмное, и не все серые тона одинаковы.

Приложение: нам ещё привели цитату из Азимова: «Когда люди думали, что Земля плоская, они ошибались. Когда они думали, что она сферическая, — они тоже ошибались. Но если вы думаете, что считать её сферой или плоскостью одинаково ошибочно, вы заблуждаетесь больше, чем все они вместе взятые».

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Всё, что у вас есть, — это теории; вы не знаете наверняка, что вы правы. Вы, учёные, меняли своё мнение о том, как работает гравитация — откуда нам знать, что завтра вы не поменяете своё мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть её с помощью нескольких предложений, вы сильно разочаруетесь.

Мир непросвещённых делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если учёные меняли своё мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять — как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать её против любого возможного контраргумента и ни в чём не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признаёт, что наука неидеальна — что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определённости, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймёт первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав её отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

— Вы сами признали, что вам нельзя доверять — так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания, якобы, исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определённые вещи, а ученики обязаны ему верить и повторять всё, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь своё мнение разрешается — с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом — написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником — эта неопределённость не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями — и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путём и Количественным Путём довольно сильно раздражает тех, кто смотрит на неё со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надёжным, чем основанные всего лишь на вероятностях догадки учёных — догадки о том, например, что завтра Луна взойдёт в определенном месте и определённой фазе, точно так же, как это было при каждом ночном наблюдении со времён изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому непросвещённые и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признаёт ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определённость» как теннисным мячом, используя его с легкостью пёрышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить ещё хоть одну крошечную долю вероятности. «Я идеален», — говорят они без всякой задней мысли, — «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы всё это объяснить — ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: — «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определёнными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это — разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

• «Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

• «Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Учёные понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и всё. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории — абсолютно каждое новое свидетельство может быть в её пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые всё равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что учёные имеют меньше права на определённость, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всём.»

• «Учёные не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идёте ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда учёный говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что её невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

• «Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените своё мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределённость может быть меньше пылинки, но она всё равно будет. А если вы не готовы поменять своё мнение даже под влиянием слов самого Бога — тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок. И её вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определённости?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определённости жить можно — что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространённых методов защиты Абсолютного Авторитета — это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

• Моральные релятивисты говорят:
  • Мир не делится на чёрное и белое, следовательно:
  • Все серое, следовательно:
  • Ни один человек не лучше другого, следовательно:
  • Я могу делать всё, что захочу, и вы меня не остановите, муа-ха-ха-ха-ха.
• Но мы должны иметь возможность предотвращать убийства.
• Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод — это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» — неверно, из убеждения релятивистов в том, что «Мир не делится на чёрное и белое», не следует, что на самом деле мир делится лишь на чёрное и белое. Ошибка здесь (и достаточно её одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом всё равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, что стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведённой до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот ещё что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что ещё нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что её изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определёнными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чём он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чём-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определённой идее, не слишком хорошо отражает откалиброванную уверенность в ней — они между собой даже не связаны.

А что до «абсолютной уверенности» — ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибётесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймёте, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 — это не просто определённость; это бесконечная определённость.

На самом деле, мне кажется, что во избежание непонимания публики учёным стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определённые причины для сомнений.

В «Что такое «свидетельство»?», я писал:

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.
Cihan Baran ответил(English):

Я не могу представить себе ситуацию, в которой 2 + 2 = 4 было бы ложно. Возможно, это означает, что я убеждён в «2 + 2 = 4» безоговорочно.

Признаю, я тоже не могу представить ситуацию, в которой «2 + 2 = 4» было бы ложно (конечно, есть различные переобозначения, но это не «ситуации» и речь тогда идёт уже не о 2, 4, = или +). Но это не делает моё убеждение безоговорочным. Я легко представляю ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Скажем, я просыпаюсь ранним утром, вытаскиваю из ушей два кусочка ваты, кладу их на прикроватный столик рядом с двумя другими кусочками ваты — и замечаю, что теперь кусочков ваты три, и при этом никаких кусков ваты не появлялось и не исчезало, несмотря на то, что согласно моей памяти, 2 + 2 должно было равняться 4. К тому же, если представить это действие мысленно, становится очевидно, что для того, чтобы получить XXXX из XX и XX, необходимо взять дополнительный X. Вдобавок, 2 + 2 = 4 противоречит остальной мысленной арифметике, поскольку вычитание XX из XXX даёт XX, но вычитание XX из XXXX даёт XXX. Это снова конфликтует с памятью о том, что 3 – 2 = 1, но странно доверять памяти перед лицом физических и мысленных подтверждений того, что XXX – XX = XX.

Ещё я проверю карманный калькулятор, Гугл, и, возможно, свою копию «1984», где Уинстон пишет, что «Свобода — это возможность сказать, что дважды два — три». Всё это убедительно говорит о том, что весь остальной мир тоже считает, что 2 + 2 = 3, соглашаясь с моими мысленными вычислениями и не соглашаясь с моей памятью.

Как я мог так заблуждаться? Что могло настолько сбить меня с толку? В голову приходят несколько объяснений. Во-первых, какая-нибудь нейрологическая неполадка (наверное, я слишком сильно чихнул) увеличила все суммы в моей памяти на единицу. Во-вторых, гипноз. В-третьих, глюк или намеренное изменение компьютерной симуляции, в которой я нахожусь. В любом случае, скорее что-то неладно с моей памятью, чем 2 + 2 когда-то действительно равнялось 4. И, конечно же, ни одно из этих трёх правдоподобных объяснений не избавит меня от ощущения очень, очень сильного замешательства.

Другими словами, свидетельства, убедившие меня в том, что 2 + 2 = 3, относятся к тому же классу свидетельств, что сегодня убеждают меня в том, что 2 + 2 = 4: перекрёстный огонь физических наблюдений, мысленных представлений и социального согласия.

Когда-то я понятия не имел, что 2 + 2 = 4. Это убеждение возникло не из-за какого-то случайного процесса — тогда мозгу было бы безразлично, что именно запомнить, «2 + 2 = 4» или «2 + 2 = 7». Ответ, хранящийся в моём мозге, поразительно похож на результат размещения двух кусочков ваты рядом с двумя другими кусочками ваты — и это заставляет задуматься, какая именно сцепленность породила это странное соответствие между разумом и реальностью.

Ведь для убеждения-о-фактах существует лишь два варианта: либо он попал в мозг благодаря процессу сцепления разума с реальностью, либо нет. Если нет, то убеждение может быть верным лишь благодаря стечению обстоятельств. Если в убеждении есть хотя бы намёк на внутреннюю сложность (то есть, его симуляция требует компьютерную программу больше 10 битов длиной), то пространство вариантов становится столь большим, что возможность совпадения исчезает.

Безоговорочные факты — не то же самое, что и безоговорочные убеждения. Если сильные свидетельства убеждают меня в том, что факт безоговорочен, то это не означает, что я всегда верил в этот факт, без нужды в сильных свидетельствах.

Я убеждён, что 2 + 2 = 4, но я легко могу придумать ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: ситуация из того же класса, что и ситуация, сегодня убеждающая меня в том, что 2 + 2 = 4. Потому я не боюсь, что я пал жертвой слепой веры.

Если здесь есть христиане, знающие теорему Байеса (нумерофобы, пожалуйста, покиньте помещение), то я хотел бы спросить вас о ситуации, убедившей бы вас в истинности ислама. Предположительно, это будет примерно той же самой ситуацией, что породила вашу сегодняшнюю веру в христианство: вы вытащены из чрева мусульманки, воспитаны мусульманскими родителями, постоянно говорившими о том, что следует быть мусульманином (причём убеждение в истине ислама должно быть безоговорочным). Или всё не так просто? Если да, то какая ситуация заставит вас принять ислам, или, хотя бы, не-христианство?

В «Абсолютном авторитете» я говорил о том, что бесконечная определённость нам не требуется:

Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведённой до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом всё равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99,9999% случаев, и не в (1 − 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света — это уже совсем другой вопрос. Карта — это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы — не говоря уж об абсолютной уверенности — это совсем другое дело. Если вы подбросите монетку и закроете её рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности — это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос — можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперёд и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4,0000004») или истинно в 999 999 999 999 из 1 000 000 000 000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своём предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию — как убедить меня в том, что 2 + 2 = 3 — это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения работы мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки — то есть утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против предвзятого скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в $(1 − 1/гуголплекс)$ и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде $3↑↑↑3$. Но даже уверенность величиной в $1 - 1/3↑↑↑3$ ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас меняют, как ваш мозг оценивает убедительность утверждения, которое вы сейчас читаете, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.

Положительная и отрицательная бесконечности - это не целые числа, а, скорее, специальные символы для описания поведения целых чисел. Люди иногда говорят что-то вроде «5 + бесконечность = бесконечность», потому что, если начать отсчет с 5 и подниматься все выше и выше, никогда не останавливаясь, мы будем бесконечно получать все большие и большие числа. Но из этого не следует, что «бесконечность - бесконечность = 5». Не получится начать безостановочный отсчет с 0 вверх, затем безостановочный отсчет вниз, и в итоге прийти к числу 5.

Из этого можно заключить, что бесконечность не только не является целым числом - она не ведет себя как целое число. Если вы по неосторожности попытаетесь смешать бесконечности с целыми числами, вам придется определить особые нестабильные правила поведения, которые не нужны при работе с 1, 2, 3 и всеми остальными целыми числами.

Хотя бесконечность и не является целым числом, не стоит переживать по поводу того, что можно запутаться при работе с числами. Люди видели пять овец, миллионы песчинок и септиллионы атомов, но никто никогда не встречал бесконечность чего бы то ни было. То же самое справедливо и для непрерывных величин - люди измеряли пылинки размером в миллиметры, животных размером в метры, города длиной в километры и галактики размером в тысячи световых лет, но никто и никогда не измерял что-то размером в бесконечность. В реальном мире понятие бесконечности особо не требуется.

(Более эрудированным читателям добавлю, что им не нужно детально объяснять мне, скажем, разницу между порядковыми и кардинальными числами. Да, я знаком с различными определениями бесконечности из теории множеств, но я не вижу пользы от их применения в теории вероятности. Подробнее ниже.)

При традиционном способе написания вероятностей их величины находятся между 0 и 1. Монета может выпасть орлом с вероятностью 0.5; синоптик может присвоить вероятность 0.9 тому, что завтра пойдет дождь.

Но это не единственный способ записи вероятностей. Вероятности можно, например, преобразовывать в шансы с помощью формулы O = (P / (1-P)). Так, вероятность 50% превратится в шансы 0.5/0.5, или 1, обычно записываемые как 1:1, в то время как вероятность 0.9 превратится в шансы 0.9/0.1, или 9, обычно записываемые как 9:1. Чтобы сделать обратное преобразование, нужно использовать формулу P = (O / (1+O)), и это превращение полностью обратимо и является изоморфным - вычисление величины вероятности возможно двумя обратимыми способами. Ввиду изоморфности вероятностей и шансов выбирать удобный способ можно на свое усмотрение.

Шансы, например, удобнее использовать при выполнении Байесианских обновлений. Представим, что я бросаю шестигранный кубик: если выпадает любая сторона, кроме 1, существует 10%-ный шанс услышать звонок, а если выпадает сторона 1, шанс услышать звонок становится 20%. Я бросаю кубик и слышу звонок. Каковы шансы на то, что выпала сторона 1? Априорные шансы - 1:5 (что соответствует числу 1/5 = 0.2), а отношение правдоподобия - 0.2:0.1 (что соответствует числу 2), и можно просто перемножить эти два числа и получить апостериорные шансы 2:5 (что соответствует числу 2/5 или 0.4). Затем, если мне нужно, я перевожу все это обратно в вероятности и получаю (0.4/1.4) = 2/7 = ~29%.

Итак, с шансами удобнее работать при Байесианских обновлениях - если использовать вероятности, придется применять теорему Байеса в ее более сложном виде. Но вероятности удобнее для вопросов вроде «Если я брошу шестигранный кубик, каковы шансы увидеть число от 1 до 4?» Можно сложить все вероятности величиной 1/6 для каждой стороны и получить 4/6, но нельзя сложить отношение шансов 0.2 для каждой стороны и получить отношение шансов 0.8.

Зачем я обо всем этом говорю? Чтобы показать, что «отношение шансов» - такой же разрешенный способ перевода неопределенности в реальные числа, как и «вероятности». Отношения шансов более удобны для одних операций, вероятности - для других. Знаменитое доказательство, называемое теоремой Кокса (плюс некоторые ее дополнения и усовершенствования), демонстрирует, что все способы выражения неопределенности, которые имеют разумные ограничения, в итоге оказываются друг другу изоморфны.

Почему важно то, что отношения шансов разрешены так же, как и вероятности? Вероятности в своем обычном виде записываются в виде чисел от 0 до 1, и оба крайних числа - 0 и 1 - кажутся вполне достижимыми величинами: можно легко встретить 1 зебру или 0 единорогов. Но при переводе вероятностей в шансы 0 остается 0, однако 1 превращается в положительную бесконечность. В этом случае абсолютная истина не кажется настолько легкодостижимой.

Форма, в которой Байесианские обновления делать даже удобнее - логарифмы отношения шансов; это тот способ, которым советовал думать о вероятностях Э. Т. Джейнс. Например, априорная вероятность утверждения равна 0.0001 - это соответствует логарифму отношения шансов величиной около -40 децибел. Затем вы видите свидетельство, которое кажется в 100 раз более правдоподобным в случае истинности этого утверждения, чем в случае его ложности. Это 20 децибел свидетельств. Теперь апостериорный логарифм отношения шансов равен примерно -40 дБ + 20 дБ = -20 дБ, что равно апостериорной вероятности около 0.01.

При переводе вероятностей в логарифмы отношения шансов 0 превращается в отрицательную бесконечность, а 1 - в положительную. Теперь и бесконечная определенность, и бесконечная невероятность кажутся еще более недостижимыми.

При использовании вероятностей величины 0.9999 и 0.99999 кажутся отличающимися всего на 0.00009, а 0.502 находится гораздо дальше от 0.503, чем 0.9999 - от 0.99999. Чтобы получить вероятность 1 из вероятности 0.99999, кажется, что надо преодолеть дистанцию всего лишь в 0.00001.

Но если перевести вероятности в отношения шансов, 0.502 и 0.503 становятся 1.008 и 1.012, а 0.9999 и 0.99999 превращаются в 9,999 и 99,999. А если перевести их в логарифмы отношения шансов, 0.502 и 0.503 превращаются в 0.03 и 0.05 децибел, а 0.9999 и 0.99999 становятся 40 и 50 децибелами.

При работе с логарифмами отношения шансов разница между двумя величинами неопределенности равна количеству свидетельств, которые нужны при переходе от одной величины к другой. Таким образом, логарифмы отношения шансов предоставляют удобный способ нахождения величины в пространстве степеней уверенности.

Использование логарифмов отношения шансов позволяет увидеть, что достижение бесконечной определенности требует бесконечно сильного свидетельства, также как и достижение бесконечной абсурдности требует бесконечно сильного контрсвидетельства.

Кроме того, все виды стандартных теорем в теории вероятности оговаривают особые случаи при использовании 1 и 0 - например, что происходит при попытке сделать Байесианское обновление наблюдения, которому была присвоена вероятность 0.

Так что, думаю, вполне разумно говорить о том, что 1 и 0 не входят в пространство величин вероятностей; как и отрицательная и положительная бесконечности, которые не подчиняются основным аксиомам булевой алгебры и не являются обычными числами.

Главная причина, по которой все это может расстроить тех, кто использует обычную теорию вероятности - это то, что придется заново выводить теоремы, полученные на основе предположения, что можно сложить все вероятности и получить 1.

Однако в реальном мире при броске кубика вероятность выпадения любого числа в диапазоне от 1 до 6 не является действительно бесконечной. Кубик может упасть на ребро, или уничтожиться в результате падения метеорита, или Темные Повелители Матрицы вмешаются и напишут «37» на одной из его сторон.

Если вы задали магический символ для «всех неучтенных возможностей», тогда вы можете игнорировать все события, описываемые этим магическим символом, и получить величину в виде магического символа «Т», который означает бесконечную уверенность.

Но я бы предпочел найти способ, в котором теорема работает без использования магических символов с особым поведением. Это было бы гораздо более изящно. Подобно математикам, которые отказываются принимать закон исключенного третьего или бесконечные множества, я бы хотел быть приверженцем теории вероятности, который не верит в абсолютную определенность.

Некоторые отзывы на «Лотереи: бессмысленная трата надежды» упрекали меня за резкость в критике чужих решений; если кто-то другой выбирает купить лотерейные билеты, кто я такой, чтобы быть несогласным? Это особый случай более важного вопроса: Какое мне дело, если кто-то скорее предпочтёт верить в то, что приятно, чем в то, что верно? Не может ли каждый сам выбрать: стоит ли заботиться о правде?

Очевидным придирчивым возражением будет: «Почему тебя волнует то, волнует ли меня, чьё-то мнение о правде?» Это отчасти непоследовательно для вашей функции полезности: содержать негативное определение чьей-то функции полезности иметь определение полезности кого-то ещё. Но это лишь придирка, не ответ.

Ну вот мой ответ: я верю, что для меня, как человека, правильно быть заинтересованным в будущем и в том, чем станет человеческая цивилизация в будущем. Один из этих интересов - человеческое стремление к истине, медленно растущее в поколениях (ведь это не всегда было Наукой). Я хочу быстрее повысить это стремление, в этом поколении. Это моё желание ради Будущего. Ради всех нас, игроков на этом безграничном игровом поле, берём мы за него ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная идея? Да, и не просто крайне «опасная». Люди сгорали насмерть из-за того, что какой-то жрец решил, что они думают не тем образом, которым следует думать. Решение сжечь людей, поскольку они «не думают должным образом» — отвратительный образ мысли, не так ли? Вы бы не хотели, чтобы люди думали так, потому это и отвратительно. Люди, которые думают так… ну, мы обязаны что-то с ними сделать…

Я согласен! Вот моё предложение: давайте выступать против плохих идей, но не поджигать их носителей.

Силлогизм, который мы желаем избежать, гласит: «Я думаю, Сьюзи сказала плохую вещь, следовательно, Сьюзи должна быть сожжена». Некоторые попытки избежать этого силлогизма исходят из обозначения неправильной мысли, что Сьюзи сказала плохую вещь. Никто никогда не должен никого судить; любой, кто осуждает, совершает страшный грех, и должен быть выставлен за это к позорному столбу.

С моей стороны, я отрицаю по следующей причине. Мой силлогизм гласит: «Я думаю, Сьюзи сказала что-то неправильное, поэтому я буду выступать против её слов, но я не буду её сжигать или останавливать её речь насилием или законом…»

Все мы игроки на этом безграничном игровом поле, и один из моих интересов на будущее — сделать игру честной. Контринтуитивная идея, лежащая в основе науки, о том, что фактические разногласия должны решаться через эксперименты и математику, а не насилие и запреты. Это важное замечание может быть расширено за пределы науки, к честному бою ради всего будущего. Вам следует побеждать благодаря убеждению людей, и не следует позволять себе сжигать их. Это один из принципов Рациональности, которому я торжественно клянусь в верности.

Люди, которые защищают релятивизм или эгоизм, не представляются мне действительно релятивизмичными или эгоистичными. Если бы они были действительно релятивизмичными, они бы не судили. Если бы они были действительно эгоистичны, они бы занимались заработком денег вместо горячих споров с остальными. Скорее, они выбрали сторону Релятивизма, чья цель на этом безграничном игровом поле — предотвратить игроков — всех игроков — от определённых суждений. Или они выбирают сторону Эгоизма, чья цель — сделать всех игроков эгоистичными. И затем они играют в игру, честно или нечестно, в соответствии со своей мудростью.

Если здесь есть какие-то настоящие Релятивисты или Эгоисты, мы их не слышим — они остаются безмолвными, не-игроками.

Я не могу помочь, но забочусь о том, как вы думаете, потому что, как бы я ни не мог помочь, я вижу вселенную: каждый миг человек отворачивается от истины, делая историю человечества немного более мрачной. Во многих случаях это лишь небольшая тьма. (Кто-то всё время не прекращает получать боль). Врущие самим себе в уединении своих мыслей не омрачают человеческую историю так сильно, как врущие людям или сжигающие их. Уже здесь есть часть меня, которая не может помочь, но горюет. И всё время пока я не пытаюсь сжечь вас — лишь спорю с вашими идеями — я верю, что это верно для меня как человека, поэтому я забочусь о людях — моих товарищах. Это также позиция, которую я защищаю в отношении Будущего.

Когда речь идёт о политике, люди начинают терять голову. Причины этой особенности настолько до банальности очевидны, что можно привести их ещё раз. В среде эволюционной адаптации политическая обстановка была вопросом жизни и смерти (а также секса, богатства, союзников, репутации и многого другого). И сегодня, начиная спор о том, должны ли «мы» поднять минимальную заработную плату, ты применяешь весь богатый набор адаптаций к среде эволюционной адаптации. Ты возвращаешься во времена, когда тебя могли убить за нахождение на неверной стороне баррикады (зато, если ты находился на верной стороне баррикады, то уже ты получал возможность убить немало досаждавшего тебе соперника!).

Если ты хочешь высказать какое-то соображение, касающееся науки или рациональности, то совершенно не стоит хоть каким-нибудь образом задевать современную политику, когда есть возможность этого избежать. Если твоя основная мысль неотделимо связана с политикой — расскажи о Людовике XVI и великой французской революции. Политика — та важная область, в которой следует применять рациональность, но в которой категорически не следует изучать рациональность.

Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже.

Учёные, привыкшие в своей профессиональной деятельности непредвзято осматривать вопрос со всех сторон и здраво взвешивать все «за» и «против», превращаются в скандирующих лозунги зомби, как только разговор затрагивает область, занятую Синими или Зелёными; как только в разговоре становится уместным вспомнить об отношении своей группировки к обсуждаемому вопросу.

Традиционный пример задачи на немонотонное мышление из области искусственного интеллекта звучит так: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон квакер и республиканец. Является ли Никсон пацифистом?»

В чём, хочется мне спросить, заключается смысл выбора именно этой ситуации в качестве примера? Автор хочет растормошить в читателе политические эмоции и отвлечь его от основного вопроса? Автор хочет, чтобы республиканцам было неуютно на курсах изучения искусственного интеллекта, чтобы ни один республиканец не отважился заниматься этой областью информатики? И нет, я не республиканец, как вы могли бы подумать. И не демократ.

Этот пример отвлекает. Почему кто-то, столкнувшись с задачей продемонстрировать пользу немонотонных рассуждений, выбрал именно его? Скорее всего, причина в том, что автор не смог удержаться от соблазна бросить хорошее, добротное язвительное замечание в сторону этих ненавистных Зелёных. Отвешивать оплеухи приятно; разве можно не поддаться желанию откусить кусочек шоколадного печенья?

Но не все приятные вещи полезны. И несчастные читатели явно не видят никакой пользы в необходимости продираться через уйму разъярённых комментариев, спровоцированных брошенной вскользь насмешкой, не несущей никакой смысловой нагрузки.

Я говорю не о том, что этот сайт должен держаться в стороне от политики, или о том, что нам надо перенять у Википедии нейтральную точку зрения. Просто попытайся сопротивляться соблазну сделать добротный ощутимый язвительный комментарий, если этого возможно избежать. Если интересующая тебя тема напрямую касается попыток убрать теорию эволюции из школьной программы — говори, но не обвиняй в этом всю партию республиканцев целиком: твоими читателями могут быть республиканцы, и они могут считать, что причина состоит в действиях нескольких негодяев, а не во взглядах всей партии. Не имеет никакого значения, кто виноват на самом деле, и что ты думаешь по этому поводу. Возможность обсуждать щекотливые вопросы, не скатываясь в цветную политику, очень полезна для духовного развития нашего сообщества.

Робин Хансон недавно предложил разрешить магазины(English), в которых можно было бы продавать запрещенные продукты. Есть ряд отличных аргументов в пользу подобной политики — врожденное право на личную свободу, карьерный стимул для бюрократов запрещать всё и вся, то, что законодатели столь же предвзяты, как и все. Но даже так (ответил я), некая бедная, честная, но не особо образованная мать пятерых детей может пойти в эти магазины и купить «Напиток доктора Снейкойла из серной кислоты» для своих воспаленных суставов и умереть, оставив своих отпрысков рыдать на национальном телевидении.

Я просто сделал простое фактическое наблюдение. Почему ряд людей решили, что это аргумент в пользу регулирования?

Если судить по вопросам, то даже простой факт (например, что жизнь на Земле возникла в результате естественного отбора), согласно естественным ожиданиям, должен быть аргументом для одной из сторон в битве; факты сами по себе не принадлежат к какой-либо стороне, и так называемый «баланс свидетельства» должен отражать это. На самом деле согласно Байесовскому определению доказательств «сильные свидетельства» - это именно те доказательства, которые мы ожидаем найти только у одной стороны аргументации.

Но нет причин, чтобы сложные действия со многими последствиями демонстрировали это однобокое свойство. Почему кажется, будто люди хотят, чтобы их политические дебаты были однобокими?

Политика — это убийца разума. Аргументы там — солдаты. Если вы определились на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать все аргументы, которые, как представляется, благоприятствуют врагу. Иначе получается, будто вы бьете в спины своих солдат. Если вы находитесь внутри этого шаблона, то политические дебаты будут для вас однобокими — издержки и недостатки вашей любимой политики будут для вас вражескими солдатами, которых следует атаковать всеми возможными методами.

Также следует опасаться другого подобного неудачного шаблона — думать, что Очень Мудрый Путь — это идеально ровный компромисс между любыми двумя политическими позициями, которые получают больше всего эфирного времени. У политики могут быть несбалансированные недостатки и преимущества. Если политические вопросы не склоняются в ту или иную сторону, то мы не будем в состоянии принимать решения о них. Однако существует людская тенденция отрицать все издержки любимой политики или отрицать все преимущества нелюбимой политики; таким образом люди склонны думать, что компромиссы в политике отклоняются гораздо дальше, чем это есть на самом деле.

Если вы разрешите к продаже некоторые из запрещенных товаров, то какая-то бедная, честная, малообразованная мать пятерых детей купит что-либо, что убьет ее. Это предсказание о фактическом следствии, а в качестве фактического вопроса оно выглядит довольно простым - здравомыслящий человек должен с готовностью признаться, что это правда, независимо от того, какую позицию он занимает по вопросам политики. Это признание не мешает вам думать, что запрещение вещей просто делает их более дорогими, что те, кто регулирует запреты, будут злоупотреблять своей властью, или что ее личная свобода перевешивает ваше желание вмешиваться в ее жизнь. Однако факт остаётся фактом: она умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди показывают сильную отрицательную реакцию на воспринимаемую несправедливость; из-за этого мы воспринимаем данный факт очень тяжело. Есть два распространенных способа решения возникающего когнитивного диссонанса. Во-первых, можно изменить свое мнение о фактах — отрицать, что несправедливые события вообще могут иметь место, или отредактировать историю так, чтобы она казалась справедливой. Во-вторых, можно скорректировать свою мораль — отрицать что события несправедливы.

Некоторые либертарианцы могут сказать, что если вы идете в магазин «запрещенных товаров», игнорируя предупреждающие таблички, которые говорят, что «ВЕЩИ ИЗ ЭТОГО МАГАЗИНА МОГУТ УБИТЬ ВАС», и покупаете там что-либо, что вас убивает, то это только ваша вина и вы сами этого заслуживаете. Если это морально правильно, то получается, будто нет вообще никакого недостатка в том, чтобы продавать запрещенные продукты. Получается не просто чистый выигрыш, это будет односторонний компромисс без каких-либо недостатков.

Другие возражают, что регулирующие органы можно обучить выбирать рационально и учитывать интересы потребителя; если бы это соответствовало фактам, то (согласно их принципам) не было бы недостатков в регулировании.

Нравится вам это или нет, но при рождении существует лотерея на интеллект — хотя это один из тех случаев, когда несправедливость Вселенной настолько велика, что большинство людей предпочитает отрицать факты. Экспериментальные доказательства чисто генетического компонента, который составляет 60-80%, являются ошеломляющими, однако даже если это опровергнут, вы не выбираете, какими окажутся ваши родители или начальная школа.

Мое воспитание говорит мне, что отрицание реальности — это морально неправильно. Если бы я мог выдавать желаемое за действительное в отношении того, что напиток из серной кислоты может быть для меня полезен, то получалось бы, что я делаю что-то, против чего меня предупреждали и пошел бы против своего воспитания. Некоторые люди рождаются в определенных условиях — мы не будем говорить о генах, поскольку эта часть слишком уж несправедлива, — где местный знахарь говорит им, что правильно — это верить, а неправильно — проявлять скепсис. Из самых лучших побуждений они следуют этому совету и умирают. В отличии от вас, их не научили, что люди отвечают за личный выбор, когда следуют примеру общества. Вы правда думаете, что настолько умны, что были бы по-научному скептичны, даже если бы родились в шестом веке н.э.? Да, при рождении существует лотерея, независимо от того, во что вы верите касательно генов.

Говорить «Люди, которые покупают опасные продукты, заслуживают того, чтобы пострадать!» — не значит трезво мыслить. Это всего лишь способ отрицать то, что ты живешь в несправедливой вселенной. По-настоящему трезвомыслящий человек скажет: «Да, серная кислота может стать причиной ужасной болезненной смерти, и нет, мать пятерых детей не заслуживает этого, однако мы все же откроем такие магазины, поскольку согласно нашим вычислениям для нас это будет выгодно». Вы можете представить, чтобы политик так сказал? Я тоже не могу. Но поскольку экономисты имеют влияние на политику, это может помочь, если они подумают об этом в частном порядке — возможно, даже скажут это в журнальных статьях, однако преподнося это в запутанной форме со множеством смыслов, чтобы СМИ не имели возможности цитировать их.

Я не думаю, что случай, когда кто-либо делает глупый выбор и умирает, может быть поводом для праздника. Я расцениваю это как трагедию. Людей не всегда можно спасти от последствий их действий; однако я провожу моральную черту при смертной казни. Если вы мертвы, то вы не можете учиться на своих ошибках.

К сожалению, вселенная не согласна со мной. И мы еще посмотрим в будущем, кто останется правым.

Добавлено: две основных причины для политической однобокости это такие когнитивные искажения как аффектированное решение и вера в справедливый мир(just-world fallacy) (English).

Богиня правосудия повсеместно изображается держащей в одной руке весы. У весов есть свойство — когда одна чашка опускается, вторая поднимается выше. Это очень удобно и легко отслеживаемо. И также обычно является грубым искажением.

В человеческом дискурсе существует естественная тенденция превращать обсуждение в своего рода битву, продолжение войны, спорт; и в спорте вам нужно следить только за тем, сколько очков набрала ваша команда и команда противника. Там есть только две стороны, и каждое очко, проигранное одной стороной, это очко, заработанное другой. Каждый в таком обсуждении мысленно ведет счет, у какого оратора больше очков в споре. В конце дебатов победителем получается тот, у кого очков больше; и таким образом, всё что он сказал, должно быть истинно, а всё, что говорил его противник, соответственно, ложно.

«Аффективная эвристика в оценке рисков и преимуществ» (English) описывает то, как испытуемые в своих оценках смешивают возможные преимущества технологии (например ядерной энергии) и возможные риски данной технологии в единое общее хорошее или плохое ощущение касательно технологии. Предположим, что я сначала рассказываю вам, что определённый вид ядерных реакторов производит меньше отходов, чем все другие. А потом упоминаю, что данный реактор менее стабилен, нежели остальные и угроза расплавления, если одновременно произойдет много сбоев, у него куда выше.

Если реактор имеет большую вероятность сбоя, то это кажется аргументом «против него» или аргументом «против» любого, кто захочет строить такой реактор. А если реактор производит меньше отходов, то это аргумент «за» реактор или «за» его постройку. Так что же, данные факты противостоят друг другу? Ни в коем случае. По крайней мере в реальном мире. Эти два факта могут находиться по разные стороны баррикад в различных дебатах, однако логически они не связаны; факты понятия не имеют на какой они стороне. Количество отходов, производимое реактором, зависит от физических свойств его конструкции. Другие физические свойства делают его более нестабильным. Даже если ряд этих свойств один и тот же, вам следует рассматривать вероятность расплавления и ожидаемый выход отходов отдельно. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные приведённым выше, показывают, что люди склонны оценивать технологии — и многие другие задачи — по общему плохому или хорошему ощущению. Если вы скажете людям, что конструкция реактора позволяет сократить объём производимых отходов, они также неосознанно снизят вероятность расплавления реактора. Это означает, что будет получен неправильный ответ на физические вопросы, у которых есть вполне определённые ответы, основанные на фактах, поскольку вы смешиваете логически не связанные вопросы — рассматривая факты как солдат разных армий в войне и думая, что любой солдат одной стороны может сражаться с любым солдатом другой стороны.

Весы могут служить Правосудию, если оно исследует сугубо фактический вопрос вины или невиновности. Джон Смит либо убил Джона Доу, либо нет. Однако мы знаем (согласно Э. Т. Джейнсу), что все байесовские свидетельства состоят из потоков вероятности между гипотезами; нет такой вещи как свидетельство, которое «поддерживает» или «возражает» отдельной гипотезе, кроме тех случаев, когда и другие гипотезы становятся хуже или лучше. Так что если Правосудие исследует отдельный, строго фактический вопрос с пространством бинарных ответов, весы будут подходящим инструментом. Однако если требуется рассматривать более сложный случай, то ей потребуется отбросить либо свои весы, либо свой меч.

Не все аргументы можно свести к «за» или «против». Леди Рациональность носит с собой блокнот, куда она пишет все факты, которые не принадлежат ни одной из сторон.

«Фундаментальная ошибка атрибуции — склонность делать выводы об уникальных и постоянных чертах человека на основе его поведения, которое может полностью объясняться ситуацией, в которой он находится.» — Gilbert and Malone (English)

Мы склонны слишком поспешно усматривать соотношение между действиями других людей и их личностными чертами. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы сразу признаем его «злым человеком». Но когда вы сами пинаете торговый автомат, то это из-за того, что ваш автобус опоздал, электричка ушла чуть раньше, ваш отчет был сдан не вовремя, а теперь еще и дурацкий торговый автомат уже второй день подряд просто жрет ваши деньги на обед. Конечно, думаете вы, в такой ситуации любой может пнуть автомат.

Мы объясняем наши собственные действия окружающей ситуацией, рассматривая свое поведение как совершенно нормальный ответ на сложившиеся условия. Но когда кто-либо еще пинает торговый автомат, мы не можем увидеть, что произошло с этим человеком ранее. Мы видим только удар по автомату без известной нам причины, вследствие чего заключаем, что этот человек злой по своей натуре — поскольку он накинулся на автомат безо всякой причины.

Давайте рассмотрим исходные вероятности. В мире куда больше опоздавших автобусов, нежели мутантов, которые родились с очень высоким уровнем агрессии, и которые из-за этого спонтанно бьют торговые автоматы. На данный момент средний человек, на деле, мутант. Если я правильно помню, то в среднем отдельный человек имеет от 2 до 10 соматически выраженных мутаций. Однако, как бы ни были расположены ДНК, очень маловероятно, что они приведут к повышенной агрессивности. Точно так же, любой аспект чьей-то личности скорее всего не очень далеко от среднего значения. Предположение обратного сдвигает нас в сторону невероятности.

Но даже когда люди точно знают о причинах ситуации, они чаще всего оценивают наблюдаемое поведение неправильно. Когда субъектам говорят, что рассказчику случайным способом определяют, говорить ли ему в защиту абортов или против абортов — люди продолжают думать, что мысленно рассказчик считает именно так, как указано в его речи. (Jones and Harris 1967, «The attribution of attitudes.)

Кажется довольно интуитивным объяснять дождь водными духами; объяснять огонь некоей огненной субстанцией (флогистоном), которая проистекает из горящей материи; объяснять усыпляющий эффект лекарства его «снотворной силой». Но реальность обычно включает в себя более сложные механизмы: циклы испарения и конденсации лежат в основе дождей, окисляющее горение в основе огня, химическое воздействие на нервную систему для снотворных. Однако механизмы звучат куда сложнее, нежели сущности; о них труднее думать, их сложнее понять. И таким образом, когда кто-либо пинает автомат, нам проще всего думать, что он имеет внутреннюю склонность пинать автоматы.

Но только до тех пор, пока мы сами не оказываемся на месте пинающего — в этом случае мы считаем, что ведем себя совершенно нормальной в данной ситуации; конечно же любой бы так делал. На самом деле мы переоцениваем вероятность того, что другие отреагировали бы так же как и мы — это так называемый «эффект ложного консенсуса». Пьющие студенты ощутимо переоценивают долю их товарищей, которые тоже пьют, однако непьющие наоборот — недооценивают количество пьющих. «Фундаментальная ошибка атрибуции» говорит о нашей склонности объяснять поведение других их внутренней диспозицией (их личностными чертами), при этом меняя данную тенденцию на обратную для самих себя (свое поведение мы объясняем внешней диспозицией или обстоятельствами).

Чтобы понять, почему люди действуют так, как они действуют, нам нужно прежде всего осознать, что каждый человек считает свое поведение абсолютно нормальным. Не следует задавать вопрос, какая странная черта характера у них с рождения, из-за какой они могут вести себя так, как это видится. Лучше спросите, в какой ситуации, по мнению этих людей, они находятся. Да, личностные черты бывают самыми разными — но никаких наследственных черт не хватит, чтобы объяснить все возможные виды поведения, которые вы можете наблюдать.

Предположим, что я даю вам две кнопки, красную и зеленую. Красная разрушает мир, зеленая блокирует нажатие красной. Какую вы нажмете? Зеленую. Любой, кто дает отличающийся ответ скорее всего усложняет вопрос.

И до сих пор люди иногда спрашивают меня, почему я хочу спасти мир (English). Словно это последствия психологической травмы в детстве или что-то типа того. На самом деле это кажется достаточно очевидным решением…с моей точки зрения.

У меня могут быть взгляды, которые требуют объяснения — почему я верю в эти вещи, когда большинство людей не верит? — но при данных убеждениях мои реакции не кажутся заслуживающими подробных и необыкновенных объяснений. Возможно, я жертва ложного консенсуса; возможно, я переоцениваю количество людей, которые нажали бы зеленую кнопку, если дать им эту задачу. Но знаете, я все же побился бы об заклад, что таких по меньшей мере немалое количество.

Большинство людей считают себя совершенно нормальными, с их точки зрения. Даже люди, которых вы ненавидите, люди, которые делают ужасные вещи — никто из них не является исключительным мутантом. Жаль, но это вовсе не мутации. Когда вы поймете это, вы будете готовы прекратить быть шокированными человеческими поступками.

Как ранее обсуждалось, мы склонны слишком поспешно усматривать связь между действиями других людей и их врожденными установками. Мы скорее предположим, что их необычное для нас поведение объясняется их необычными чертами личности, нежели спросим напрямую или попытаемся представить ситуацию, которая объясняла бы данное поведение. Мы предполагаем, что с человеком что-то не так.

Когда кто-либо задевает нас — совершая действие, которое мы (правильно или неправильно) не одобряем — тогда, согласно моим наблюдениям, данное когнитивное искажение усиливается вдвое. Похоже, что появляется очень сильная склонность обвинять в злых поступках злую личность того, кто их совершает. Однако если попробовать рассматривать вопрос не с точки зрения морали, а как определенный вопрос об исходной вероятности, мы должны спросить, во что мог бы верить Враг касательно ситуации, что могло бы снизить кажущуюся нелепость их поведения. Это позволит нам предположить менее исключительные установки и таким образом уйти немного от невероятных предположений.

11 сентября 2001 года девятнадцать мужчин-мусульман угнали четыре реактивных самолета в откровенно самоубийственной попытке нанести вред США. Как бы вы предположили теперь, почему они могли это сделать? Потому что они видели в США маяк свободы и были рождены с врожденной ненавистью к свободе?

По жизни, большинство людей не ведут свою жизнь так, чтобы видеть себя злодеями. Каждый в своей истории видит себя героем. История Врага, если смотреть его глазами, вряд ли будет рассказывать о том, что он плохой. Если вы пытаетесь придумать мотивацию, которая заставила Врага выглядеть плохо, вы скорее всего будете совершенно неправы касательно того, что на самом деле происходит в его голове.

Однако политика — это убийца разума. Дебаты — война; аргументы — солдаты. Если вы решили, на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать аргументы, которые говорят в пользу противоположной стороны, иначе получится, что вы предаете своих солдат.

Даже если Враг является злым по своей природе, это должно быть аргументом в пользу вашей стороны. И любой аргумент в пользу вашей стороны следует поддерживать, не имеет значения насколько глупым способом — иначе вы ослабите давление где-то на поле боя. Все стараются превзойти соседа в патриотическом осуждении и никто не осмеливается возразить. Так что вскоре Врагу приписываются рога, крылья, как у летучей мыши, пламя изо рта и клыки с разъедающим плоть ядом. Если же вы отрицаете что-либо из этого списка и пытаетесь вернуться к фактам, то вы встаете на сторону врага; вы предатель. Очень немногие поймут, что вы защищаете не Врага, но истину.

Если бы только злодеи делали ужасные вещи, то история людского вида была бы совсем другой. Ведь злые по своей природе люди крайне редки.

Или, возможно, это страх, что понимание приведет к прощению. Куда легче просто застрелить злодея. Куда легче идти в бой с кличем: «Умрите, порочные мерзавцы!» — нежели с кличем: «Умрите, люди, такие же как и я, но выросшие в других условиях!». Тогда ведь вы будете ощущать вину, убивая людей, которые на самом деле не являются чистым злом.

Для меня это похоже на глубинное стремление к однобоким политическим дебатам, в которых стараются получить наилучшую политику без недостатков. Если армия пересекает границу или если душевнобольной идет на вас с ножом, то альтернативами будет: а) защищаться, б) позволить себя убить. Если вы защищаетесь, то вы можете убить сами. Если вы убиваете кого-либо, кто в альтернативном развитии событий мог бы быть вашим другом, то это трагедия. В самом деле трагедия. С другой стороны, позволить себя убить — это тоже трагедия. Почему должен быть выбор, который не приводит к трагедии? Кто сказал, что у лучшей политики не может быть недостатков? И если кто-то должен умереть, то по возможности это должен быть зачинщик насилия, чтобы предотвратить возможные дальнейшие трагедии и таким образом минимизировать общее число смертей.

Если Враг является средним человеком, который действует согласно своим убеждениям о текущей ситуации, которые призывают его проявить жестокость в качестве стандартной реакции, тогда это не значит, что его убеждения на самом деле точны. Не значит, что он прав. Это значит, что вы будете вынуждены застрелить кого-то, кто является героем в своей истории, и в его романе главный герой умрет на 80 странице. Это трагедия, однако это меньшая трагедия, нежели та, что случилась бы при альтернативном развитии событий. Это выбор, который полицейские делают каждый день, чтобы спасти наши чистые маленькие миры от падения в бездну хаоса.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что происходит в его сознании — это знание не обеспечивает вас оправданием для удара по противнику. Не дает вам ощущения праведного гнева. Не улучшает ваше мнение о себе. И если ваша оценка заставляет вас ощущать невыносимую печаль, то, возможно, сейчас видите мир таким, каков он есть. А в редких случаях вы можете ощутить, как мурашки ужаса бегут по вашей спине, если вы имеете дело с настоящим психопатом или же неврологически здоровыми людьми, убеждения которых практически полностью разрушают их способность здраво мыслить (Сайентологи или «Лагерь Иисуса»).

Так что давайте будем честны и скажем вслух — люди, угнавшие самолёты 11 сентября, не были злодеями по природе. Они не ненавидели свободу. Они тоже были героями в своих собственных историях и они умерли за то, что, как они верили, было правильным — за истину, справедливость и мусульманский путь. Если они видели себя таким образом, то это не значит, что их убеждения были правильны. Если они видели себя таким образом, то это не значит, что мы должны согласиться с тем, что они поступили справедливо. Если они видели себя таким образом, это не значит, что пассажиры рейса 93 должны были остаться внутри и позволить этому произойти. Это значит лишь то, что в альтернативной вселенной, если бы угонщики выросли в другом окружении, они могли бы стать полицейскими, а не преступниками. И это в самом деле трагедия. Добро пожаловать на Землю.

— … После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Допустим, вы знаете, что кто-то ошибался в 99,99 % случаев, отвечая на вопросы вида «да/нет». Это значит, что вы можете получать верные ответы в 99.99% случаев, просто инвертируя его ответы. Ему придётся проделать всю работу по получению качественных свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом. И всё это лишь для того, чтобы надёжно ошибаться. Нельзя быть настолько глупым, не будучи сверхумным.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

• Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

• Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

• Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

• Ad hominem аргумент — некорректен.

• Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

• Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

• Допустим, ваш компьютер вдруг перестал работать. Не стоит думать, что вся система никуда не годится и что новую сборку придётся заказать без процессора от АМD, видеокарты от ATI, жесткого диска от Maxtor и без кулеров — ведь все эти компоненты есть в вашей неработающей системе. Возможно, вам нужно всего лишь заменить провод питания.

• Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.

Байесианец с черным поясом steven в своем блоге пытается объяснить асимметрию между хорошими аргументами и весомым авторитетом, однако он не сумел дать ответы на все комментарии к предыдущей статье, так что этим займусь я.

Первая ситуация: Барри — знаменитый геолог. Чарли — четырнадцатилетний подросток, неоднократно попадавший в полицию и подверженный психопатическим приступам. Барри решительно доказывает Артуру определенное контринтуитивное утверждение о скалах и Артур присваивает его утверждению вероятность в 90%, что оно истинно. Тогда Чарли также приводит равное контринтуитивное утверждение о скалах, и Артур присваивает его утверждению только 10% вероятности, что оно истинно. Очевидно, что Артур принимает во внимание авторитет источника, когда решает, чьим утверждениям верить.

Вторая ситуация: Дэвид делает контринтуитивное утверждение касательно физики и дает Артуру подробное объяснение аргументов, включая отсылки. Эрни делает аналогичное контринтуитивное утверждение, однако аргументирует крайне слабо, кое-где предлагая просто поверить ему. Как Дэвид, так и Эрни утверждают, что это наилучшее объяснение, которое они могут дать (любому человеку, не только Артуру). Артур присваивает 90% вероятности быть истинным утверждению Дэвида, и только 10% утверждению Эрни.

Может показаться, что оба сценария в принципе похожи: в обоих во внимание берутся полезные свидетельства: сильный авторитет против слабого, сильный аргумент против слабого.

Однако теперь предположим, что Артур просит Барри и Чарли привести полное объяснение с отсылками; и оба они делают одинаково хорошие объяснения, которые, как видит Артур, совпадают. Тогда Артур просит Дэвида и Эрни показать свои документы и оказывается, что они примерно одинаковы тоже — возможно они оба клоуны, а может оба — физики, не имеет значения.

Предполагая, что Артур компетентен достаточно, чтобы разобраться во всех приведенных аргументах — иначе они не более чем шум — кажется, что Артур должен рассматривать Дэвида как обладающего значительным преимуществом над Эрни, в то время как Барри если и превосходит Чарли, то совсем немного.

В самом деле, если технические аргументы достаточно хороши, то у Барри нет никакого преимущества перед Чарли. Хороший технический аргумент это то, что может уменьшить степень доверия к личному авторитету говорящего.

Точно так же, если мы верим Эрни, что он выдал нам лучший аргумент из тех, что мог, включая все логические шаги, которые он выполнил и все источники, на которые опирался — и которые цитировал — тогда мы можем игнорировать любую информацию о документах Эрни. Не имеет значения, клоун он или физик. (Опять же предполагается, что мы достаточно эрудированы, чтобы понять его аргументы. В любом другом случае Эрни просто произносит какие-то загадочные слова и то, поверим ли мы им, зависит в большей степени как раз-таки от его авторитета.)

Таким образом кажется, что между аргументами и авторитетом есть своеобразная асимметрия. Если мы знаем об авторитете, то мы все еще хотели бы услышать и аргументы; однако когда мы услышали аргументы, вряд ли нам нужно будет знать авторитетность источника.

Очевидно (скажет неопытный человек) авторитет и аргумент являются фундаментально различными видами свидетельства, различие которых непостижимо при помощи до скуки ясных методов байесовской теории вероятности. Поскольку при одинаковой силе свидетельства, 90% против 10%, ситуации ведут себя по-разному. Как же нам поступить?

Здесь примерно половина технической демонстрации того, как представить эту разницу в теории вероятности. (Остальное вы можете принять на веру, положившись на мой авторитет, или посмотреть в отсылках.)

Если $p(H|E_1) = 90\%$ и $p(H|E_2) = 9\%$, какова вероятность $p(H|E_1,E_2)$? Если признание Е₁ истиной дает нам возможность присвоить Н вероятность в 90%, и признание Е₂ истиной дает возможность присвоить Н вероятность в 9%, какую вероятность мы должны присвоить Н, если верны и Е₁ и Е₂? Это просто не что-либо, что вы можете вычислить в теории вероятности из имеющейся информации. Нет, отсутствующая информация это не априорные сведения об Н. Е₁ и Е₂ могут быть не независимыми друг от друга.

Предположим, что Н это «моя дорожка скользкая», Е₁ это «разбрызгиватель работает» и Е₂ это «сейчас ночь». Дорожка становится скользкой, если разбрызгиватель работает не меньше минуты и остается такой до тех пор, пока он не выключится. Так что если мы знаем, что разбрызгиватель включен, то с 90% вероятностью дорожка скользкая. Разбрызгиватель включен 10% ночного времени, так что если сейчас ночь, то вероятность того, что дорожка скользкая — 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть если нам известны оба факта — вероятность того, что дорожка скользкая, равна 90%.

Мы можем представить это графически следующим образом:

Ночь → Разбрызгиватель → Скользкая дорожка

Ночь может приводить к включению разбрызгивателя, а включение разбрызгивателя может приводить к скользкой дорожке.

Тут важны направления стрелок. Если я напишу:

Ночь → Разбрызгиватель ← Скользкая дорожка

Это означало бы, что если я не знаю ничего о разбрызгивателе, то вероятности того, что была ночь и что дорожка скользкая будут независимы друг от друга. Для примера предположим, что я бросаю одну кость и вторую кость, а потом складываю выпавшие числа в сумму:

Кость 1 → Сумма ← Кость 2.

Если вы не скажете мне сумму, а сообщите только число с первой кости — я не смогу узнать ничего о том, что выпало на второй кости. Однако если вы сообщите мне число на первой кости и общую сумму, то узнать число на второй кости не составит труда.

Определение того, являются ли разные куски информации зависимыми или независимыми друг от друга при заданной начальной информации, на самом деле является достаточно технической темой. Почитать об этом можно в книге Джуды Перла «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference and Causality». (Если у вас есть время на книги, то рекомендую вам прочесть эту.)

Если вы знаете, как читать причинные графы, тогда вы взглянете на граф про кости и сразу же увидите:

$p(кость\space 1,кость 2) = p(кость\space 1)*p(кость\space 2)$

$p(кость\space 1,кость 2|сумма) ≠ p(кость\space 1|сумма)*p(кость\space 2|сумма)$

Если вы смотрите на верную диаграмму про дорожку, вы видите следующие факты:

$p(скользкая\space дорожка|ночь) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|разбрызгиватель) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|ночь, разбрызгиватель) = p(скользкая\space дорожка|разбрызгиватель)$

То есть, вероятность того, что дорожка скользкая, учитывая знание о разбрызгивателе и ночи, равно вероятности, которую мы присваиваем скользкой дорожке, если знаем только о разбрызгивателе. Знание о разбрызгивателе делает знание о ночи неактуальным касательно дорожки.

Это известно как «затмение», и критерий, который позволяет нам распознавать такие условные независимости в причинно-следственных графах, называется Д-разбиение.

Для случая с аргументом и авторитетом, причинно-следственная диаграмма будет выглядеть так:

Истина → Качество аргумента → Убеждение эксперта.

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

$p(истина|аргумент,эксперт) = p(истина|аргумент)$

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду.»1.

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Солнце не погаснет, даже если тот, кто утверждает, что оно светит, подвержен искажениям.

Как вы не можете всегда проводить эксперимент, так и не всегда вы можете проверить вычисления. Иногда у вас нет достаточно исходной информации, иногда не хватает частной информации, иногда просто нет времени. Есть ряд ситуаций, в которых стоило бы оценить рациональность источника. Вы всегда должны делать это с ощущением пустоты в сердце, ощущением чего-то пропущенного

Всегда, когда вы только можете, танцуйте как можно ближе к исходному вопросу — заставьте себя это делать — приближайтесь максимально к тому, чтобы ухватить задачу!

• 1. Jerry Cleaver, Immediate Fiction: A Complete Writing Course (Macmillan, 2004).

Моё прошлое эссе напомнило одному из читателей «Политику и английский язык» Джорджа Оруэлла. Я был польщён — особенно потому, что тема этого эссе уже пришла мне в голову.

Если вам вправду интересен взгляд творца на рациональность, читайте Оруэлла. Рационалистам следует его читать не меньше, чем писателям. Оруэлл не ученый, но сочинитель; его орудие не числа, но слова; его противник не Природа, но зло в людях. Чтобы отправить человека за решётку, не говорите «Я собираюсь заключить мистера Дженнингса в тюрьму на семь лет без суда». Подпустите тумана, не дайте слушателям вообразить происходящее. Скажите: «Ненадёжный элемент подвергнут альтернативному судебному процессу».

Голос Оруэлла — вопль против тоталитаризма и неясного мышления, за которым зло любит себя прятать. Его труды о языке — такая же классика для рационалиста, как и книги Фейнмана, Сагана или Докинза.

«Писателям дан совет избегать пассивного залога». Знание науки не укажет на проблему в этой фразе, но если вы хотя бы немного писали, то сразу поймёте, что не так. Я составил предложение в пассивном залоге и не уточнил, кто именно даёт писателям такой совет. Пассивный залог убирает тех, кто действует; остаются лишь те, на кого подействовали. «Ненадёжный элемент подвергнут альтернативному судебному процессу», — кем подвергнут? В чём заключается «альтернативный судебный процесс»? Убрав действие из предложения, можно спрятать, что происходит на самом деле.

Статьи в научных журналах часто пишутся в пассивном залоге. (Простите, некоторые учёные пишут их в пассивном залоге. Не то чтобы статьи самозарождались и некого было обвинить.) Куда весомее сказать «Испытуемым был назначен Progenitorivox», чем «Я раздал студентам по упаковке препарата и сказал пить по таблетке каждый вечер». Если убрать учёного из описания, полезные данные останутся. Но на самом деле учёный там был, испытуемые — живые студенты, препарат не «был назначен», а студенты глотали таблетки по инструкции. Пассивный залог сужает правду.

Судя по комментариям к моим эссе, многие поспорят с тем, что пассивный залог в научной статье чем-то плох. Ведь если подумать, то понятно, что учёный там был. Это не кажется логической ошибкой. Вот поэтому рационалистам нужно читать Оруэлла, а не только Фейнмана или даже Джейнса.

Научная литература даёт знания, художественная — опыт. Медицина предскажет, что будет с человеком без скафандра в вакууме. А художественная литература заставит вас это пережить.

Некоторые рационалисты попытаются разобрать неясную фразу и увидеть, нет ли там ещё одного смысла, попробуют воссоздать логичную трактовку. Они прочтут фразу доброжелательно, предполагая о мыслях автора лучшее. Но писатели стараются не полагаться на такое отношение. То, как вас поймут, и есть то, что вы сказали, и неважно, о чём вы думали. Нельзя спорить с читателем, сколь умны бы ни были ваши обоснования.

Писатель знает: читатель не остановится подумать. Художественный опыт — непрерывный поток впечатлений. Писатель-рационалист следит, какой опыт создают слова. Если вы, вникая в смысл фразы, неторопливо обдумываете слова, препарируете формулировки, перебираете возможные значения и выискиваете зёрна истины, — то вы покидаете пределы первого впечатления — того, что видят и чувствуют другие читатели.

Прозаик заметит, что фраза «Испытуемым был назначен препарат» вопиюще неправильна. Что переживёт читатель? Только отстранённое ощущение властности, только чувство, что тебе сказали что-то веское. Прозаик увидит, что слова слишком расплывчаты и скрывают настоящую историю: строгого профессора, который с упаковкой таблеток в руках объясняет взволнованной студентке, что делать.

Я не говорю, что научные статьи нужно писать как романы. Но рационалисты должны лучше осознавать, как слова рождают опыт. Рационалистам нужно понимать разум и как с ним взаимодействовать — начиная с того, как их собственное сознание воплощается в языке. Рационалист должен ясно видеть настоящее, практическое действие фраз, а не только значение, которое складывается из буквального смысла слов.

Более прямо: то, что вы имели в виду, не оправдывает того, как вас поняли!

Неважно, какую рациональную трактовку вы соорудите для фразы, призванной сорвать овации, вроде «ИИ должен быть разработан только в рамках демократических процессов». Трактовка не искупит её иррационального влияния — демонстративного запроса на одобрение, не говоря о том, насколько эта фраза размыта.

Оруэлл предостерегал, как действуют речевые штампы, как меняют они опыт мышления1:

Когда видишь на трибуне усталого болтуна, механически повторяющего привычные фразы: звериный оскал, железная пята, кровавая тирания, свободные народы мира, встать плечом к плечу, — возникает странное ощущение, что смотришь не на живого человека, а на манекен… Оратор, пользующийся такой фразеологией, уже сильно продвинулся по пути от человека к машине. Из гортани его выходят надлежащие звуки, но мозг в этом не участвует, как должен был бы, если бы человек сам выбирал слова.

…

Но самое главное — пусть смысл выбирает слова, а не наоборот. Самое худшее, что можно сделать со словами в прозе, — это сдаться на их милость. Когда вы думаете о конкретном предмете, вы думаете без слов, а затем, если хотите описать то, что представили себе, вы начинаете поиски и находите нужные точные слова. Когда вы думаете о чем-то отвлеченном, вы склонны первым делом хвататься за слово, и, если не удерживаться от этого, сложившийся диалект ринется к вам на помощь, сделает за вас вашу работу — правда, затемнив или даже изменив исходный смысл. Может быть, лучше всего не прибегать к словам, покуда вы не проясните для себя смысл через образы и ощущения.

Пирс мог бы написать последний абзац. Многие искусства ведут к одному Пути.

• 1. Цит.: «Политика и английский язык», перевод В. П. Голышева. — Прим. ред.

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» 1 описывает шесть явлений:

• Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

• Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

• Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

• Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

• Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

• Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)

Вы могли бы вспомнить таких людей, правда? Обладателей высокого интеллекта, которые не очень-то преуспевают в делах, но чертовски хороши в спорах? Поможете ли вы им, если просто расскажете об искажениях? Сделаете ли их успешными рационалистами?

Один мой знакомый узнал о проблеме калибровки и сверхуверенности. После этого он стал говорить: «Исследования показывают, что эксперты часто ошибаются, так что им верить нельзя. Поэтому, когда я делаю прогнозы, я стараюсь опираться на то, что история будет идти как шла». Сказав это, он погружался в запутанную и сомнительную экстраполяцию. В чужих доводах искажения и лжеаргументы бросаются в глаза сильнее, чем в своих.

Я рассказал ему об ошибке опровержения и эффекте сноровки. И когда в очередном разговоре я произнёс что-то, что ему не понравилось, он обвинил меня в софистике. Он не указывал мне на конкретные ошибки, не искал в моих словах слабых мест. Он просто вздохнул и сказал, что я обратил свой разум против себя. Теперь он овладел ещё одним Универсальным Контраргументом.

Представьте, что встречаете человека, который кажется умным, но говорит то, что вам не нравится. Если образ искушённого спорщика сразу приходит вам на ум, это плохой знак.

Я пытаюсь учиться на ошибках. Свой последний рассказ об искажениях я начал с того, что описал ошибку конъюнкции и эвристику доступности, обрисовав этими примерами понятие искажения. Затем я перешёл к ошибке подтверждения, ошибке опровержения, эффекту сноровки, предвзятому скептицизму и другим явлениям, которые проявляются в формировании взглядов. Следующие полчаса я усердно и въедливо говорил об этих опасностях и рассматривал их со всех точек зрения, с каких только мог.

Чтобы слушатели заинтересовались, хватило бы и просто описать пару ошибок. Но что дальше? Книги об искажениях — в основном когнитивная психология ради неё самой. Мне нужно было предупредить о худшем за одну лекцию — иначе моим слушателям, быть может, никто бы этого не рассказал.

В тексте или устно, я теперь стараюсь не упоминать о калибровке и сверхуверенности, пока не расскажу об ошибке опровержения, предвзятом скептицизме, искусных спорщиках и дисрациональности. Прежде всего — не навреди!

• 1. Taber, C.S. and Lodge, M. (2006), Motivated Skepticism in the Evaluation of Political Beliefs. American Journal of Political Science, 50: 755-769. doi:10.1111/j.1540-5907.2006.00214.x

Политика — убийца разума. Спор — это война, аргументы — солдаты. У вас появляется искушение толковать любой возможный исход эксперимента в пользу своей теории, словно вы защищаете крепость от атак со всех сторон. Но так нельзя. Это математически невозможно. Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против.

Но если вы защитили своё любимое убеждение не до конца, всё в порядке. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то один раз из двадцати вы увидите контрсвидетельство. Всё хорошо. Это нормально. Этого даже стоит ожидать, пока на каждое свидетельство против теории приходится 19 наблюдений в её пользу. Вероятностная модель выдержит пару ударов и выстоит, при условии, что удары прекратятся.

Однако многим — особенно в тех вопросах, где они не являются специалистами, — кажется, что истинные теории не имеют права на ошибку, а ложные ошибаются всегда.

Некоторые люди хватаются за одно наблюдение, которое считают свидетельством в пользу теории, как за исчерпывающее её доказательство. По их словам, теория его «объясняет», как будто больше ничего и не нужно. Как будто не бывает свидетельств в поддержку ложной теории, ни единого наблюдения. Тогда для доказательства хватало бы любого и единственного факта в пользу теории.

Немногим умнее «опровергать» вероятностную теорию одним наблюдением, словно ничто никогда не указывает против верной теории. Но именно так люди спорят уже который век, пытаясь развеять все вражеские доводы и отрицая, что у врага есть хоть что-то в свою поддержку. Люди спорят однобоко. В их картине мира не найдётся ни грамма фактов против их теорий. Даже одно вероятностное контрсвидетельство разрушит всё.

Кто-то сейчас возмутится: «Нельзя оставлять врагу ни пяди, если хочешь выиграть настоящий спор! Если смириться хотя бы с одним возражением, враг снова и снова будет им размахивать — такого нельзя допустить! Ты проиграешь! Что может быть хуже?»

Неважно. Рациональность — не для победы в спорах, а для выбора верной стороны. Когда вы уже решили, за кого играть, рациональность уже сделала своё дело, хорошо ли или плохо. Но как выбрать сторону? Если неверный выбор пугает вас, пусть даже немного, то стоит учесть все свидетельства.

Рациональность — танец, а не прогулка. Каждое движение в нём должно быть точным, ни дюймом левее или правее. С каждой крупицей наблюдений в вашу пользу — сдвигайте уверенность вверх. С каждой крупицей против — вниз. Да, вниз. Даже если теория верна, вы должны иногда понижать свою степень убеждённости — если только это не точная теория.

Если ваше убеждение получает пару ударов — всё в порядке. С вероятностными теориями такое бывает. (А вот если ошибается точная теория, у неё проблемы!) Просто слегка сдвиньте уверенность — вероятность, шансы или ощущение убеждённости в голове — немного вниз. И ждите дальнейших свидетельств. Если теория верна, то наблюдения скоро это покажут и снова сдвинут вероятность вверх. Если теория ошибочна, то она вам не нужна.

Чёрно-белое, бинарное, качественное мышление порождает проблему: любое наблюдение либо разрушает теорию, либо нет. Когда против теории всё-таки появляются незначительные свидетельства, возникает внутреннее противоречие. Чтобы его разрешить, мы отбрасываем эти свидетельства. При этом мы перестаём плавно обновлять убеждения и учитывать всё, что знаем. Если же мы рассуждаем на языке вероятностей, то видим, что в пользу верной теории в среднем указывает бо́льший вес наблюдений, нежели против неё. И можно без страха сказать себе: «Это свидетельство немного не укладывается в мои взгляды, я сдвину свою убеждённость вниз». Да, вниз, но не разрушая свою теорию. Рассуждайте количественно.

Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против. Уверенность всегда может сдвинуться вниз — ожидайте это в той же степени, в какой ожидаете её сдвига вверх. Если, как вам кажется, вы уже знаете, что за свидетельство получите, то вы уже должны довольно сильно верить в свою теорию — назначать ей вероятность, близкую к единице. Тогда этой вероятности почти некуда расти. И каким бы маловероятным вам не казалось увидеть свидетельство против, итоговый сдвиг вниз, который оно должно произвести, будет большим: нужно точно уравновесить возможный сдвиг вверх. Математическое ожидание апостериорной вероятности равняется априорной.

Глупо бояться сдвигать вероятность вниз, если правильный ответ вообще вас интересует. Каждое будущее наблюдение в одинаковой степени может сдвинуть убеждённость в обе стороны.

Быть может, опровергающие свидетельства будут приходить снова и снова, а поддерживающие — лишь изредка. Ваша уверенность будет неуклонно ползти вниз — пока, наконец, вы не поймёте, куда несёт вас ветер наблюдений. В эту минуту не ищите оправданий — ваша любимая теория уже рухнула. Отпразднуйте это! Откройте шампанское или закажите пиццу. Нельзя стать сильнее, пока вы держитесь за те же убеждения, в которые верили и раньше.

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искусный спорщик с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает спорщика.

Искусный спорщик начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, спорщик его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда искусный спорщик пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В тот миг, когда в каждом из миров искусный спорщик записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть определённый процент таких, в которых алмаз находится в ящике А. Это состояние не изменится, независимо от того, что искусный спорщик написал на строчках выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её охотнее. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что именно говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же искусного спорщика говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Это эссе вручает вам повод остерегаться собственных размышлений, а не Универсальный Контраргумент против тех выводов, которые вам не нравятся. «Моя оппонентка — искусная спорщица» — неплохой аргумент… если вы стремитесь сохранить свои убеждения неизменными. Самый искусный спорщик мира может сказать, что светит солнце, и всё ещё будет светло.

В прошлом эссе я обсуждал проблему искусного спорщика, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Спорщик отмечает, что на ящике стоит синяя печать. На ящиках с алмазами встречается чаще, нежели на пустых — это известный факт. Что это всё значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает искусный спорщик?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал искусный спорщик. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях искусный спорщик может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

• Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.
• Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.
• Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.
• Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?

Ответ зависит от стратегии ведущей. Если она открывает дверь всегда и только ту, за которой ничего нет, то переключайтесь. Если ведущая всегда открывает вторую дверь, что бы ни было за ней, то деньги с равной вероятностью могут лежать за первой или третьей. Если ведущая вообще открывает дверь лишь тогда, когда вы сразу указали туда, где лежат деньги, то вам определённо стоит держаться изначального выбора.

Важно не только то, что за второй дверью пусто, но и то, что ведущая открыла именно её. Классическая задача Монти-Холла сбивает многих с толку, поскольку они учитывают лишь то, что за второй дверью денег нет — в итоге выходят равные вероятности, что деньги за первой и за третьей дверью. Вот почему байесианцам нужно учитывать все свои знания.

Услышав «четвёртый бросок — орёл», мы не обрабатываем то, что на четвёртом броске выпал орёл, не берём все возможные миры с орлом на четвёртом броске. Вместо этого мы рассматриваем миры, где какое-то правило породило слова «четвёртый бросок — орёл». Факт, который мы узнали, не сводится к тому, что сказано. Не позволяйте смыслу самих слов вас запутать.

Чаще всего судебное разбирательство — борьба двух противоположных сторон, ведь легче найти двух людей с искажениями, нежели одного беспристрастного. Идея тут в том, что любое свидетельство выгодно либо обвинению, либо защите, так что суд увидит все наблюдения. Два искусных спорщика в задаче с ящиками хуже, чем одна любопытная исследовательница, но ненамного — если ящика всего два. Однако в жизни перед нами встают проблемы, где сторон много, и запутанные ситуации без очевидного ответа, которые не решить двум противоположным сторонам, которые ругаются друг с другом.

Осторожно, не злоупотребляйте идеей отсеивания свидетельств, не применяйте её как Универсальный Контраргумент против свидетельств, которые вам не нравятся: «Они отфильтрованы, так что я отброшу их». Если неприятный аргумент застиг вас врасплох, то вы уже немного вникли в вопрос и ответ вас волнует — настолько, что вы уже выбрали сторону. Тогда вы, скорее всего, уже знаете главные доводы в свою пользу. Из неприятного аргумента нельзя заключить, что есть какие-то ещё свидетельства в поддержку вашей стороны, которых вы не видели и которые уравновесили бы этот довод. Всё, что вы узнали нового, — лишь неудобные наблюдения; синяя печать на ящике Б — всё ещё свидетельство.

Но будьте не менее осторожны, когда задумываетесь о вопросе впервые и слышите только одну сторону. В некотором смысле нельзя верить теории естественного отбора, не послушав креационистов хотя бы пять минут, — и вот уже тогда можно смотреть, какая из теорий убедительнее.

В «Нижней строчке» я описал проблему двух ящиков: в одном из них алмаз, и различные внешние признаки подсказывают, в каком. Я описал подходы любопытной исследовательницы и искусного спорщика. Исследовательница выписывает все признаки, обрабатывает их и, наконец, пишет в заключении: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Искусный спорщик работает на того, кто платит больше; он сначала пишет «Таким образом, алмаз в ящике Б», а потом выбирает подходящие признаки и записывает выше.

Первый образ действий — рациональность. Второй обычно называют «рационализацией».

«Рационализация». Интересный выбор слова — и, по мне, неудачный. Нельзя «рационализировать» что-то нерациональное. Всё равно что говорить «правдофикация» вместо «ложь».

На алгоритмическом уровне есть большая разница между следующими подходами:

• Начать со свидетельств, подсчитать на их основе вероятность и получить наиболее правдоподобный вывод. То есть выписать все признаки и от них перейти к ответу, что будет зависеть от этих признаков.
• Начать с заключения и подобрать те свидетельства, которые это заключение поддерживают. То есть записать ответ на нижнюю строчку, а потом выбрать подходящие признаки и поставить выше.

Кто додумался назвать столь разные мыслительные процессы такими похожими словами, как «рациональность» и «рационализация»? Я бы хотел, чтобы названия отражали разницу в этих алгоритмах яснее. Скажем, «рациональность» и «огромная отстойная чёрная дыра мышления».

Не каждое изменение — улучшение, но каждое улучшение — изменение. Нельзя сделать конкретное утверждение более истинным, просто приводя доводы в его пользу. Можно убедить в нём больше людей, но нельзя изменить, верно ли оно. Чтобы улучшать свои убеждения, мы должны их менять. Рациональность — это то, как мы обновляем свои взгляды и этим повышаем степень их истинности. Рационализация же закрепляет убеждения в том же виде. Стоило бы назвать её «антирациональностью» — как по её плодам, так и из-за того, что она зеркально противоположна рациональности по алгоритму.

«Рациональность» — прямой поток, который собирает свидетельства, оценивает их и делает заключение. Алгоритм исследовательницы направлен вперёд. Сначала она собирает свидетельства, выписывая все видимые признаки ящиков. Затем она их обрабатывает и получает неизвестную раньше вероятность того, что в ящике Б алмаз. Рациональные рассуждения всё время идут вперёд, исследовательница ещё не знает, что получит, поэтому мы говорим, что она любопытна. На Пути Байеса априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» — обратный поток: от заключения к избирательно взятым свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и не поменяется. Ваша цель — найти, какие доводы написать выше. Неизвестны они, а не заключение.

Боюсь, традиционная рациональность плохо учит разнице между потоками вперёд и назад. Учёный выдвигает гипотезу на свой вкус и ищет эксперимент, который подтвердил бы её, — и традиционная рациональность его не осуждает. Она смотрит на него с одобрением и говорит: «Твоя уверенность в себе — тот механизм, что движет Науку вперед». Ну да, выходит, что движет. Легче найти обвинителя и защитника с различающимися искажениями, нежели одного непредвзятого человека.

Но не всё, что происходит, — правильно. Лучше, если учёный, придумав гипотезу, проверит её из любопытства — будет ставить опыты, которые изменят его убеждения в неизвестную сторону.

Если вы искренне не знаете, куда идёте, то вам интересно. Любопытство — первая добродетель: без неё вопросы бесцельны, а мастерство некуда приложить.

Ощутите, куда течёт Сила, и убедитесь, что не задом наперёд.

Представьте, что зарабатываете на жизнь избирательными кампаниями и с недавних пор читаете блог о рациональности. Однажды вас нанимает Мортимер К. Снодграсс, кандидат в мэры Гедлиберга. Один вопрос не даёт вам покоя: «Как безукоризненно и рационально обосновать, что Снодграсс — лучший кандидат?»

Извините, но никак.

— Что? — удивляетесь вы. — Но ведь я построю своё выступление только из полноценных аргументов! Что если каждый факт, который я приведу, будет столь правдив, сколь мне вообще известно? Что если я назову лишь весомые свидетельства для теоремы Байеса?

Всё ещё не получится, извините. В ту минуту, когда вы ставите заключение впереди рассуждений, вы забиваете гол в свои ворота.

В этом году «Гедлибергские известия» проанкетировали кандидатов, задав им вопросы вроде «Дуете ли вы?»1 и «Умеешь ли картинки на лету цветами ветра рисовать?»2 Увы, метеорит разрушил здание редакции, и номер не вышел в печать. Жаль, ведь ваш кандидат, Мортимер Снодграсс, ответил на 15 из 16 вопросов куда лучше соперников. Заминка возникла лишь в 11-м вопросе: «Вы суперзлодей?»

Вам очень хочется опубликовать анкету в ходе кампании. Без 11-го вопроса, конечно.

В эту минуту вы переходите грань меж рациональностью и рационализацией. Избиратели теперь не могут просто сравнить факты. Им нужно учесть, что свидетельства отсеиваются, и догадаться, что некоторые факты скрыты.

Вообще говоря, вы переходите грань ещё раньше — когда размышляете, в каком свете анкета рисует вашего кандидата, чтобы решить, публиковать ли ее.

— Что?! — возмущены вы. — Мне теперь публиковать факты, неудобные кандидату?

Но взгляните глазами избирателей, которые решают, кому отдать голос. Зачем бы вам прятать ценные сведения? Вы бы не стали так делать, питая искреннее любопытство. Вы бы не стали так делать, двигаясь в рассуждениях вперёд, от свидетельств к пока неизвестному выбору кандидата. Но вы идёте назад: от определённого кандидата к поиску доводов.

Рассуждение, где вывод следует из предыдущих посылок, называется «логически верным». Следующее рассуждение логически неверно:

• все прямоугольники — четырёхугольники,
• все квадраты — четырёхугольники,
• следовательно, все квадраты — прямоугольники.

Посылки истинны и даже заключение истинно, но силлогизм всё еще не становится логически верным. Стоит разделять верные и неверные способы вывода и не оправдывать неверные, даже когда их заключения справедливы. Пусть разные способы и дали один ответ сейчас — в свете будущих свидетельств ответы будут отличаться. Да и небрежность входит в привычку.

Более того, неверный силлогизм не поможет найти настоящее объяснение. Может, все квадраты — прямоугольники, но не потому, что те и другие — четырёхугольники. Этот силлогизм лицемерен: настоящие причины в нём не связаны с названными.

Чтобы на самом деле честно и обоснованно представить своего кандидата, придётся делать так:

• до того, как кто-нибудь вас наймёт, соберите все доступные свидетельства обо всех кандидатах;
• составьте критерии, по которым сами выбирали бы, кто лучше;
• прогоните кандидатов по списку критериев;
• определите, кто лучше всех;
• предложите провести ей или ему кампанию.
• Когда вас спросят, почему стоит голосовать за этого кандидата, предъявите свой список.

Только такая цепочка рассуждений рациональна: нижняя строчка вытекает из всего, что записано выше. Над нижней строчкой будет честным записать лишь то, что на самом деле её определяет.

• 1. Отсылка к вопросу, который избиратель задал Бараку Обаме. — Прим. перев.
• 2. Строчка песни «Цвета ветра» из мультфильма «Покахонтас». — Прим. перев.

Моя прабабушка умерла несколько лет назад, не дожив до ста, разрушаясь медленно и мучительно. Я никогда особо не знал её, но по воспоминаниям из детства, она готовила для всей семьи. Я помню её фаршированную рыбу, её лицо и то, как она была добра ко мне. На похоронах мой двоюродный дедушка, который ухаживал за ней годами, сказал, глотая слезы, что Бог забирал его мать по частям: её память, её речь и наконец её улыбку. И когда Бог забрал её улыбку, он знал, что ей недолго осталось, потому что это означало, что её почти нет.

Я слушал это в замешательстве. Каждый, с кем случилось бы подобное, счёл бы это невыносимо ужасным и я не ожидал, что дедушка свяжет это с Богом. Обычно еврей как-то избегает мысли о логическом следовании того факта, что Бог допустил подобную трагедию. Согласно еврейской теологии, Бог непрерывно следит за вселенной и стоит за каждым событием в ней, но обычно вывод логических заключений из этой мысли приберегается для счастливых случаев. Говоря «Бог помог!», когда у вас родился ребенок, и опуская эти слова в случае выкидышей или детских смертей, вы можете сформировать довольно однобокую картину личности великодушного бога.

Таким образом я был удивлен услышать, что мой дедушка расценивает медленное угасание бабушки как осознанное и стратегически запланированное действие Бога. Это нарушало правила религиозного самообмана, как я их понимал.

Если бы я заметил мое собственное замешательство, я бы мог сделать успешное шокирующее предсказание. Вскоре мой дедушка перестал верить. (Единственный член моей обширной семьи, который так сделал, не считая меня, насколько мне известно)

Современный ортодоксальный иудаизм непохож на остальные религии, о которых я слышал, и я не знаю, как объяснить это тому,кто сам не изучал Мишну и Гемару. Там существует традиция вопрошания, но особого рода… Не слишком удивительно было бы услышать от рабби на недельной проповеди указание на противоречие между семью днями творения и 13.7 миллиардами лет с большого взрыва - поскольку, как он думает, у него есть по-настоящему умное объяснение для этого, которое включает в себя три других библейских отсылки, Мидраш и наполовину понятую статью в «Scientific American». В ортодоксальном иудаизме вам позволено замечать противоречия и несостыковки, но только для того, чтобы объяснить их, и любой, кто предложит самое запутанное объяснение, получает приз.

Это традиция вопросов. Но вы атакуете цели только чтобы защитить их. Вы атакуете только те цели, которые в состоянии защитить.

В современном ортодоксальном иудаизме я не замечал особого акцента на ценности слепой веры. Вам позволено сомневаться. Но не позволено сомневаться успешно.

Думаю, что большинство образованных ортодоксальных евреев ставили свою веру под сомнение в какой-то момент жизни. Но вопрошание скорее всего проходило так: «Согласно скептикам, Тора говорит, что вселенная была создана за семь дней, что не совпадает с научными данными. Но сумели бы племена Израиля, собравшиеся на горе Синай, понять научную истину, даже если бы им рассказали её? Было ли у них слово для «миллиарда»? Куда легче рассматривать историю о творении в семь дней как метафору - сначала Бог создал свет, под чем подразумевается большой взрыв…»

Является ли это самой слабой точкой, которую человек мог бы атаковать в своем иудаизме? Двигаясь дальше в Торе вы можете найти место, где Бог убивает всех младенцев-первенцев Египта, чтобы убедить неизбранного фараона освободить рабов, которых логичней было бы просто телепортировать за пределы страны. Любой ортодоксальный еврей почти наверняка знаком с этим сюжетом, ведь предполагается, что он присутвует при том, как каждый год в синагоге перечитывают всю Тору. Кроме того, этому событию посвящён один из важнейших праздников. Само название «Песах» отсылает к тому, как Бог проходил мимо домов евреев и убивал первенцев Египта.

Современные ортодоксальные евреи это открытые, добрые и цивилизованные люди; куда более цивилизованные, чем несколько редакторов Старого Завета. Даже старые рабби были более цивилизованны. Есть ритуал в Седере, где вы выливаете десять капель вина из вашего бокала, по одной за каждое из десяти бедствий, чтобы сделать акцент на страдании египтян. (конечно, предполагается сочувствовать страданиям египтян, но не настолько чтобы встать и сказать «Это неправильно! Делать такие вещи - плохо!») это показывает интересный контраст - рабби существенно добрее чем создатели Старого Завета, они видят жестокость бедствий. Но Наука была слабее в те дни, так что рабби могли обдумывать более неприглядные аспекты Библии, не боясь, что это полностью уничтожит их веру.

Вы даже не спрашиваете, отразился ли инцидент плохо на Господе, так что нет необходимости быстро ляпнуть «Пути Господни неисповедимы!» или «У нас нет мудрости, чтобы судить решения Бога!» или «Если Бог убивает детей, значит так правильно!» Это часть метода «просто-не-думай-об-этом».

Как я подозреваю, причина, по которой образованные религиозные люди остаются религиозными, это то, что когда они сомневаются, они подсознательно очень аккуратно атакуют свои убеждения только в самых защищенных местах — местах, которые, как они знают, они могут защитить. А повторно отработанная защита приводит к тому, что такие места будут ощущаться как ещё более укреплённые.

Наверняка же ощущается хорошо, например, повторять заранее продуманную защиту для «Разве Наука не говорит, что вселенная просто бессмысленные атомы, мельтешащие вокруг?», поскольку это подтверждает смысл вселенной и то, как она происходит от господа и т.д…Куда более комфортно думать об этом, чем о неграмотной матери-египтянке, плачущей над детской кроваткой, в которой лежит её истерзанный сын. Любой, кто спонтанно задумывается о последнем, а потом ставит свою веру под сомнение, тот сомневается в ней по-настоящему и, скорее всего, недолго еще пробудет верующим. Смысл поста не в том, чтобы ударить по ортодокосальному иудаизму. Уверен, там есть ответ на вопрос об умерщвлении первенцев, и даже не один. Смысл в том, что, когда идет спонтанный самоанализ, люди куда более вероятно атакуют наиболее сильные места убеждений, защищенные ответами для повторений, чем слабые и уязвимые места. Сходным образом, люди склонны останавливаться на первом же ответе, а не продолжать критиковать дальше. Лучшим названием было бы не «Избегая по-настоящему слабых мест убеждения», а «Не атакуя наиболее болезненные слабости ваших убеждений при спонтанном самоанализе».

Больше всего приверженность к религии поддерживается людьми, которые просто-не-думают-о настоящих слабых местах их религии. Я не думаю, что это дело навыка, скорее это дело инстинкта. Люди не думают о настоящих слабых местах их убеждений по той же самой причине, по которой не трогают горящую газовую конфорку; это больно.

Как справляться лучше: когда вы сомневаетесь в одном из наиболее заветных своих убеждений, закройте глаза, очистите свой разум, стисните зубы и осознанно подумайте о том, что ранит сильнее всего. Не повторяйте стандартные возражения, которые обычно дают вам возможность ощутить себя лучше. Спросите себя, что умные люди, не согласные с вами, сказали бы на ваше возражение, и на последующее тоже. Всякий раз, когда вы обнаруживаете себя уходящим от возражения, о котором вы мельком подумали, вытащите его на передний край вашего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в свое сердце и прокрутите несколько раз. Перед лицом боли, повторяйте только одно:

Правда не перестаёт быть правдой.
Признание не сделает её хуже.
Отказ узнавать правду не заставит её исчезнуть.
И именно с правдой вам придётся взаимодействовать.
Невозможно жить в неправде, ибо её не существует.
Люди способны вынести правду,
Ведь она и так их окружает повсюду.

(Юджин Джендлин)

В то время, как я не согласен с некоторыми положениями Fast and Frugal — как по мне, так они делают слишком много лимонада из лимонов — похоже, что они склонны развивать наиболее психологически реалистичные модели любой школы теории принятия решений. Большинство экспериментов представляют испытуемым варианты, среди которых те выбирают, тем самым получается экспериментальный результат. Ребята с того сайта понимают, что в реальной жизни вам надо создавать варианты, и они изучают, как испытуемые это делают.

Сходным образом, несмотря на то, что многие эксперименты предоставляют свидетельства на блюдечке с голубой каёмочкой, в реальной жизни вы должны собрать свидетельства, что может быть затратно, и в какой-то момент решить, что у вас достаточно свидетельств, чтобы остановиться и сделать выбор. Это всё равно, что покупать дом — можно было бы выбрать наперёд 10 домов, тщательно осмотреть каждый из них и только после этого принять какое-то решение. Но в жизни всё происходит иначе. Вы смотрите на один дом, потом на другой, затем сравниваете их; вы подправляете свои стремления — заново рассматриваете как близко на самом деле вам надо поселиться к месту работы и как много вы готовы за это заплатить; вы решаете какой дом смотреть следующим; и в какой-то момент вы решаете что видели достаточно домов и делаете выбор.

Согласно Гиловичу, различие между предвзятым скептицизмом и предвзятым доверием указывает на то, как заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Предвзятый скептик спрашивает, заставит ли свидетельство принять вывод; предвзятый простак спрашивает, позволит ли свидетельство принять вывод.

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, предвзятая остановка и предвзятое продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Крупный скандал в истории статистики связан с именем основателя, выдающегося учёного Р.А. Фишера. Фишер заявлял об отсутствии причинной связи между курением и раком лёгких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Видимо у курильщиков есть ген, который определяет их склонность как к курению, так и к раку лёгких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм предвзятого скептицизма, предвзятое продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определённо нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается предвзятой остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и ещё в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить тёплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать предвзятую остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы ещё не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твёрдо выделить на обдумывание лучшего варианта. Вы должны подозревать предвзятое продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно ещё свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями ноутбука за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют ноутбуков?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю ноутбуков, экспертам, которые выдают решения о таких ноутбуках — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои ноутбуки». Но было бы куда эффективнее купить 5000 обычных ноутбуков, таким образом обеспечив поддержку производителю и выдачу ноутбуков напрямую.

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не предвзятая остановка. Назвать это «предвзятой остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает ноутбук за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить ноутбук. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить ноутбук за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить ноутбуками как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить ноутбук за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже учёной степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить учёную степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».

Поэтому идея отвергается сразу же, как только срабатывает соответствующий шаблон. Если же затем кто-нибудь спрашивает: «Почему нет?», мозг начинает поиск оправдания. Но этот поиск не обязательно находит истинную причину. Под «истинной причиной» я подразумеваю не наилучшую причину, которую можно представить, а скорее то, что сильнее всего повлияло на принятие решения в тот самый миг, когда сработала реакция отвержения.

Вместо этого поиск оправдания находит правдоподобно звучащий факт: «У говорящего нет степени».

Но точно так же у меня нет степени, когда я говорю о рациональности. Почему это возражение не применяется в этих случаях?

И что более важно, если бы у меня была степень, люди не посчитали бы её решающим доводом в пользу того, что они обязаны верить всему, что я говорю. Скорее всего, происходила бы та же исходная реакция отвержения — по тем же самым причинам, — но последующий поиск оправданий приводил бы чему-нибудь ещё.

Если бы у меня была степень, люди бы говорили: «Почему я должен вам верить? Вы всего лишь человек с учёной степенью! Таких много. Возвращайтесь, когда будете авторитетом в этой области и профессором какого-нибудь солидного университета».

Но действительно ли люди верят случайному профессору из Гарварда, который говорит что-то странное? Конечно же, нет. (Хотя если бы я был гарвардским профессором, мне было бы легче привлечь внимание СМИ. Журналисты не склонны мне доверять, и скорее всего они бы точно так же не доверяли случайному человеку с учёной степенью. Но профессор из Гарварда, который верит в странное, — это хороший новостной сюжет.)

Если ваши тезисы кажутся человеку неправильными — не просто магически звучащими техническими звуками о лептонных кварковых переплетениях в N+2 измерениях, — и слушатель незнаком с вами лично и с обсуждаемым предметом, то, подозреваю, для среднего слушателя ваши академические регалии перевесят первое впечатление, если вы находитесь где-то на уровне нобелевского лауреата. И то не факт. Но в любом случае, вам нужны такие академические регалии, которые воспринимаются как находящиеся «за гранью обыденности».

Насколько я представляю, примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии, и люди сказали: «А где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он потратил шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. «Наносистемы» — великая книга. Но разве те люди, которые говорили: «Возвращайтесь, когда получите степень!» изменили после этого своё мнение о молекулярной нанотехнологии? Насколько я знаю, нет.

И то же самое происходит и с Институтом исследований машинного интеллекта. Когда мы делаем то, что якобы должно вызывать у людей больше доверия, ничего не меняется. «Вы разрабатываете какие-либо программы? Я не собираюсь поддерживать организацию, где не пишут код» → OpenCog → ничего не изменилось. «У Элизера Юдковски нет академических регалий» → Место директора по исследованиям занимает профессор Бен Герцель → ничего не изменилось. Единственное, что, по-видимому, действительно повышает уровень доверия, — это знаменитые люди, ассоциируемые с организацией, такие как Питер Тиль, спонсирующий нас, или Рей Курцвейл в совете директоров.

Если вы недавно открыли своё дело, то вам и вашим советчикам стоит помнить, что если в качестве причины отказа вам указывают на какие-то ваши неудачи, то проблема может быть и не в них, и вам стоит тщательно всё обдумать, особенно если ситуация требует больших вложений. Если венчурный капиталист говорит: «Если бы только ваши продажи росли немного быстрее!», если потенциальный клиент говорит: «Неплохо, но у вас нет фичи Х», это может и не быть настоящей причиной. Возможно исправление этого поможет, а, возможно, и нет.

И то же самое следует учитывать при разногласиях. Робин Хансон и я считаем, что два рационалиста не могут согласиться не соглашаться: общее знание об эпистемологическом разногласии может появиться только в случае, если что-то пошло очень сильно не так.

Я подозреваю, что, если два рационалиста намереваются разрешить разногласие, которое не исчезло после первого обмена мнениями, им стоит ожидать, что настоящую причину разногласия либо сложно передать, либо сложно обнаружить. Такими причинами, например, могут быть:

• Малоизвестное, но хорошо обоснованное научное или математическое знание;
• Длинные понятийные расстояния;
• Плохо переводимые в слова интуитивные ощущения, возможно проистекающие из специфичных представлений;
• Образ мысли, присущий представителям определённой профессии (по вполне разумным причинам);
• Шаблоны, приобретённые с опытом;
• Просто мыслительные привычки;
• Эмоциональные привязанности к вере в определенный исход;
• Страх опровержения прошлых ошибок;
• Самообман на глубоком уровне, дающий повод для гордости или другие личные выгоды.

Если при решении вопроса все настоящие причины отказа можно легко предъявить, разногласие, скорее всего, будет разрешено очень быстро, почти наверняка — на первой встрече.

«Это моя настоящая причина отказа?» Именно этот вопрос должны задавать себе оба спорщика, чтобы им было легче иметь дело с противоположной стороной. Однако, по моим наблюдениям, попытки провести с собеседником сеанс публичного психоанализа приведут к ухудшению диалога очень-очень быстро.

И всё-таки, у спорщиков должна быть возможность вежливо спросить: «Это ваша настоящая причина отказа?» — если существует какой-то продуктивный способ получить ответ на этот вопрос. Возможно, стоит ввести правило, которое допускает открытый вопрос: «Этот простой и прямолинейный довод — ваша настоящая причина отказа, или дело в ваших интуитивных ощущениях, или профессиональном взгляде на мир?» Более неудобные возможности лучше оставить на совести собеседника, это уже их область ответственности.

Но идеальный аналитик мог бы пойти дальше: по одному-единственному предмету или живому существу он способен не только представить себе всю вселенную, но и ее развитие — от начала до самого конца
— Э.Э. Док Смит, «Первый Ленсмен»

Но стоит любому из вас сосредоточить свою мысль на одном-единственном факте или на каком-нибудь маленьком предмете, например, на камешке, на семени растения или на каком-нибудь крошечном живом существе, хотя бы на короткое время, как вы начнете постигать изреченную мной истину»
— Э.Э. Док Смит, «Серый Ленсмен»

Я обоснованно уверен, что отдельный камень, взятый с одного из пляжей Земли, не указывает на континенты и страны, политиков и людей этой Земли. Другие планеты во времени и пространстве, другие ветви Эверетта, сгенерировали бы тот же камень. С другой стороны, сущность единичного камня похоже включала бы наши законы физики. В этом смысле цельность нашей вселенной — все ветви Эверетта — можно было бы вывести из этого камня. (Если бы, как похоже и есть, не было бы по-настоящему свободных переменных)

Так что единичный камень, возможно, не заключает в себе всю Землю. Но единичный камень заключает в себе немало. Из изучения этого камня вы можете вывести законы физики и то, что из них следует. Размышляя об этих законах, вы можете увидеть, как будут формироваться планеты, и можете предположить, с какого вида планет этот камень. Внутренние кристаллическая и молекулярная структура камня формируются под воздействием гравитации, что расскажет вам о массе планеты; смесь элементов в камне даст вам возможность узнать больше о формировании планеты.

Я не геолог, так что не могу говорить точно, но легко представляю как показываю камень геологу и говорю: «Этот камень с пляжа в Халф Мун Бэй», — и мне тут же отвечают «Странно» или «Вы лжете». Возможно это не такой камень или он недостаточно округлый, чтобы быть с пляжа — я не знаю камни в достаточной мере, чтобы предположить связи и признаки, по которым меня можно было бы уличить.

«Только Бог может солгать абсолютно правдиво». Я думаю, была ли религия, которая изрекла пословицу? Я (фальсифицируемо) предположил бы, что нет: это мнение рационалиста, даже если вы изрекаете это в теологическом смысле. Слова «все связано со всем, потому что Бог создал весь мир и поддерживает его» могут генерировать некоторые хорошие теплые чувства во время проповеди, но не дадут вам особо много, если вы пытаетесь определить по камням с каких пляжей они взяты.

Монетка на Земле оказывает гравитационное ускорение на Луну порядка $4{,}5 \cdot 10^{-31} м/с^2$, так что в некотором смысле будет не слишком неправильно сказать, что любое событие связано со всеми прошлыми событиями. И поскольку выводы могут распространяться назад и вперед через причинные сети, эпистемологические сцепленности могут легко пересекать границы светового конуса. Но я бы не хотел быть астрономом-криминалистом, который смотрит на Луну и пытается по ней узнать, выпала ли монетка орлом или решкой — влияние меньше чем квантовая неопределенность или термальный шум.

Если вы скажете «Все сцеплено со всем» или «Все логически сцеплено и некоторые сцепленности намного сильнее прочих», вы, возможно, по-настоящему мудры вместо Глубокой Мудрости.

Физически каждое событие в некотором смысле является суммой прошлого светового конуса, без границ или ограничений. Но список значимых сцепленностей куда короче и это дает вам нечто вроде сети. Это высокоуровневая систематичность, на которую я ссылаюсь, когда говорю о Великой Сети Причинности.

Я использую эти Заглавные Буквы по большей части в шутку; но если бы что-либо заслуживало бы Заглавных Букв, то, конечно, Великая Сеть Причинности венчала бы список.

— Что за запутанную сеть мы плетем, когда в первый раз практикуем обман, — сказал сэр Вальтер Скотт. Не вся ложь вырывается из-под контроля — мы не живем в настолько праведной вселенной. Но иногда происходит так, что некто лжет о факте и потом вынужден лгать о сцепленном факте, а потом еще об одном, который сцеплен с предыдущим:

— Ты где?

— Э, я в поездке по делам фирмы.

— Что за поездка?

— Не могу сказать, это частные переговоры с важным клиентом.

— Ух ты, они допустили тебя к таким переговорам? Отличные новости! Я должен позвонить твоему шефу и поблагодарить его за это.

— Жаль, но его сейчас нет в офисе…

Люди не боги и часто им не удается представить все факты, которые им понадобится исказить, чтобы получить правдоподобную ложь. «Бог сделал меня беременной» звучало бы правдоподобней в старые времена, когда наши модели мира еще не содержали сведений об Y-хромосомах. Многие подобные факты лжи сегодня могут не выдерживать проверки, когда генетические проверки стали распространенными. Насильников заключают под стражу, ложные обвинения раскрываются, годы спустя, на основании тех свидетельств, о которых они и не думали. Студент, изучающий эволюционную биологию может видеть почерк естественного отбора в каждом волке, который преследует зайца; и каждом зайце, который убегает; и каждой пчеле, которая жалит, вместо того, чтобы вежливо предупреждать — но уловки креационистов для самих креационистов звучат убедительно, я уверен.

Не вся ложь раскрывается, не все лжецы бывают наказаны; мы не живем в настолько праведной вселенной. Но не вся ложь так безопасна, как полагают лжецы. Как много грехов станут известны Байесовскому сверхинтеллекту, думаю я, если он проведет (не разрушив?) нанотехнологический скан всей Земли? Как минимум, вся ложь, для которой существует какое-либо свидетельство в любом мозгу. Некоторая такая ложь может раскрыться раньше других, если нейробиологи преуспеют в создании по-настоящему хорошего детектора лжи через моделирование мозга. Пол Экман (пионер в области изучения микродвижений лицевых мускулов) пожалуй сможет раскрыть немалую долю мировой лжи, если у него будет возможность.

Не вся ложь раскрывается, не все лжецы бывают наказаны. Но Великая Сеть обычно недооценивается. Просто знание, которое люди уже накопили, заняло бы много человеческих жизней, чтобы быть изученным. Любой, кто думает, что не являющийся Богом, может солгать идеально без всякого риска, недооценивает сцепленность Великой Сети.

Честность — лучшая политика? Не знаю, так ли это: даже моя этика иногда молчит. Но по сравнению с прямой ложью, честность или молчание вовлекают меньше рекурсивно распространяющихся рисков, которые вы берете, даже не зная этого.

Судья Маркус Эйнфелд, 70 лет, Королевский адвокат с 1977 года, Живое Достояние Австралии 1997 года, лауреат премии мира ООН 2002 года, президент-основатель австралийской комиссии по правам человека и равным возможостям, ушедший на пенсию несколько лет назад, но регулярно привлекаемый для участия в особо важных делах…

…был осужден на два года тюрьмы за серию попыток исказить ход судебного процесса и дачу ложных показаний, которая началась с попытки избежать штрафа в 36 фунтов за превышение скорости на 6 миль в час.

В предыдущем эссе изложена морализаторски звучащая теория о честных людях, которые не умеют лгать, о том, что все поступки оставляют где-нибудь следы, и о том, что ложь иногда заканчивается «Чёрным лебедем» в виде грандиозного провала. И в реальной жизни в самом деле случаются истории, которые этой теории соответствуют. Хотя из-за избирательного восприятия мы слышим только о таких громких, как история про Маркуса Эйнфелда.

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным магистерием.»

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подражателями; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее соответствующей пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.

Я недавно говорил с женщиной, которая… сложно описать что. Формально она ортодоксальная еврейка. Ещё она очень умна, знакома с некоторыми археологическими доказательствами, опровергающими её религию, а также стандартными поверхностными аргументами против иудаизма. Например, она знает, что Мордекай, Хаман и Вашти не были найдены в персидских исторических записях, зато в древней Персии существовала легенда о вавилонских богах Мардуке и Иштар и враждующих с ними эламских богах Хуммане и Вашти. Она знает это и тем не менее справляет Пурим. Наверное, она одна из тех умных, но религиозных людей, которые варятся в своих противоречиях, дёргаясь и выдумывая причины, пока изнанка их мозга не начинает выглядеть, как картина Эшера.

Большинство людей такого типа притворяются, что они слишком мудрые, чтобы говорить с атеистами, но она согласилась пообщаться со мной несколько часов. В результате я, наконец, понял по крайней мере ещё одну вещь о самообмане, которую я никогда раньше явно не высказывал, а именно, что не нужно действительно обманывать себя, пока ты веришь, что ты обманул сам себя. Назовём это «верой в самообман».

Когда эта женщина ходила в старшую школу, она считала себя атеисткой. Но потом она решила, что должна вести себя, будто верит в бога. Затем — говорила она убедительно — со временем, она действительно поверила в бога. Из того, что я понял, это абсолютная неправда. В течение нашего разговора она всё время повторяла, снова и снова: «Я верю в бога», — но ни разу: «Бог есть». Когда я её спросил, почему она верит, она ни разу не упомянула о последствиях существования бога, только о последствиях веры в бога. Никогда: «Бог поможет мне», — всегда: «Моя вера в бога поможет мне». Когда я ей явно сказал: «Если кто-то просто захочет узнать истину и посмотрит на нашу Вселенную, как она есть, он даже не рассмотрит бога как гипотезу», — она мгновенно согласилась.

Она не заставила себя на самом деле верить в бога или в истинность иудаизма. Даже не близко, как я смог заметить. С другой стороны, она действительно верит в то, что обманула себя. Так что хоть она не получает никакой пользы от веры в бога — потому что не верит в него — она честно полагает, что хитростью заставила себя верить в бога, и честно ожидает получить бонусы от такого самообмана, таким образом создавая эффект плацебо вместо настоящей религиозности.

Это объясняет, почему она так рвалась убедительно защищать мои скептические предположения о её вере в бога, ни разу при этом не сказав: «А, и кстати, бог на самом деле существует», — или хотя бы не показавшись действительно заинтересованной в этом утверждении.

Я рассказывал о моём разговоре с формально ортодоксальной иудейкой, которая живо защищала утверждение, что она верит в бога, при этом не проявляя, собственно, веры в бога.

Задавая ей вопросы о плюсах, которые, как она думала, получала от веры, я познакомил её с литанией Тарского, которая на самом деле является бесконечным семейством литаний вида:

Если небо синее, я хочу верить, что «небо синее».

Если небо не синее, я хочу верить, что «небо не синее».

«Это не моя философия», — сказала она.

«Я и не предполагал этого», — я ответил. — «Я просто спрашиваю; предполагая, что бог не существует, и это известно, должна ли ты верить в бога?»

Она колебалась. Было видно, что она пытается действительно подумать об этом, что меня удивило.

«Ну это гипотетический вопрос…» — произнесла она медленно.

Тогда я подумал что ей должно быть сложно позволить себе визуализировать мир, где бога нет, из-за её привязанности к миру с существующим богом.

Сейчас же я подозреваю, что ей скорее было трудно уловить разницу между тем как выглядел мир с существующим и несуществующим богом, потому что все её мысли были о её вере в бога, но причинно-следственный блок в её мозге не содержал узла «бог». Так что она могла легко ответить на вопрос: «Как бы выглядел мир, если бы ты не верила в бога», — но не на вопрос: «Как бы выглядел мир, если бы в нём не было бога?»

Она не ответила на этот вопрос в тот раз. Зато она предложила контрпример к литании Тарского:

Она сказала: «Я верю, что люди добрее, чем они есть».

Я попытался объяснить ей, что если она говорит: «Люди злые», — это на самом деле означает, что она верит, что люди злые, а если она говорит: «Я верю, что люди добрые», — это показывает, что она верит, что она верит, что люди добрые. Отсюда выходит, что «Люди злые, но я верю, что люди добрые» переводится как «Я верю, что люди злые, но я верю, что я верю, что люди добрые».

Я процитировал:

«Если бы существовал глагол со значением „ложно верить“, он бы не имел осмысленного употребления от первого лица настоящего времени изъявительного наклонения», — Людвиг Витгенштейн.

Она ответила, улыбаясь: «Да, я действительно верю, что люди действительно добрее, чем они на самом деле являются. Я просто подумала, что так понятнее для тебя».

«Мне кажется Матушка Ветровоск должна хорошенько взглянуть на тебя, Уолтер», — сказала Нянюшка Ягг. — «Я думаю, что твой разум спутан, как клубок пряжи, который уронили», — Терри Пратчетт, «Маскарад».

И я могу даже явно напечатать мысль: «Ладно, предположим, что она не считает, что её размышления должны быть согласованы при их обдумывании», — но я до сих пор не могу уловить их смысл.

Я могу понять значение произносимых ею слов, но я не могу понять смысл на эмпатическом уровне. Я могу представить себя на месте детопожирающих пришельцев и Леди Кирицугу Третьей, но я не могу представить, каково быть ей. Или просто не хочу?

Вот почему сообразительные люди могут выдержать только конечное субъективное количество времени, затраченное на мысли о религии, перед тем как стать атеистами. После определённого порога, если ты умён, но, защищая свою религию, не избежал когтей эпистемологии Тёмной стороны, то твой разум станет похож на картину Эшера. (Один из немногих моментов, которые заставили её остановиться и подумать — упоминаю на случай, если вам подвернётся возможность использовать этот приём — это когда она говорила о том, как приятно верить, что кому-то не всё равно, хорошо или плохо ты поступаешь, вне зависимости правда это или нет — не выражая явно, существует ли в действительности бог, которому не всё равно, делаешь ли ты правильные вещи или нет (это не было частью её веры).

И я ответил: «Но мне не всё равно хорошо или плохо ты поступаешь. То есть ты говоришь, что это недостаточно, и тебе нужно знать, что есть сущность выше человечества, которой было бы это важно». Это остановило её на секунду, потому что, разумеется, она никогда не думала в этом ключе. Просто стандартный приём из нестандартного набора.

Позже в некоторый момент я спросил её, было бы хорошо делать что-то по-другому, если бы стало известно, что бога точно не существует, и в этот раз она ответила: «Нет».

«Итак», — скептически спросил я, — «существует бог или нет, это не оказывает абсолютно никакого эффекта на то, как следует вести себя людям? Я думаю, даже рабби бы отнёсся недоверчиво к такой точке зрения».

Её религия представляла собой одно лишь поклонение поклонению. Как раньше истинные верующие верили, что всевидящий отец всего живого спасёт их, так она верит, что вера в бога спасёт её.

После того как она сказала: «Я верю, что люди добрее, чем они есть», — я спросил: «Значит, ты постоянно удивляешься, когда люди не соответствуют твоим ожиданиям?» После длинной паузы, она медленно ответила: «Ну… удивлена ли я, когда люди… не соответствуют моим ожиданиям?»

Я не понял смысл этой паузы во время разговора. Я намеревался сказать, что если она постоянно разочаровывается реальностью, то это скорее всего просто недостаток неверных убеждений. Но вместо этого, мне показалось, её застал врасплох подтекст отсутствия у неё удивления.

Теперь я понимаю, что вся её философия зиждилась на вере, что она обманула себя, и возможность, что её настоящая оценка поведения людей была точной, угрожала эпистемологии Тёмной стороны, возведённой вокруг убеждений вроде «Я получаю пользу от веры, что люди добрее, чем они есть».

Она сняла старого идола с трона и заменила его явным поклонением тёмной эпистемологии, которую однажды изобрела, чтобы защищать идола; она поклоняется её же попытке самообмана. Попытка провалилась, но она честно не знает об этом.

Теперь образцовые стражники здравого смысла (девиз: «Обламываем вашу мелкую безумную братию со времён Эпикура») должные бороться ещё и активным поклонением самообману, поклонением предполагаемой пользе веры, вместо бога.

На самом деле это объясняет один факт обо мне самом, который я не совсем понимал ранее. Причина, по которой меня так раздражает, когда люди говорят, будто самообман — это просто, и почему я пишу целые эссе на тему, почему сделать мысленный выбор верить, что небо зелёное, и остаться без каши в голове сложнее, чем думают люди.

Потому что, хоть и нельзя просто так выбрать верить, что небо зелёное, если ты этого не сознаёшь, ты можешь на самом деле обмануть себя в том, что ты успешно обманул себя.

И раз уж ты искренне веришь, что получишь определённую пользу от самообмана, ты действительно получишь такой же плацебо-эффект, какой бы получил от успешного самообмана.

Так что когда я объяснял, насколько сложен самообман, я скорее критиковал плацебо-пользу, которую получали бы люди от веры в успешность этого действия, целясь в новый тип религии, который поклоняется поклонению богу.

Интересно, породит ли эта битва, новый список причин, почему не вера а вера в веру сама по себе - хорошая вещь? Почему люди выискивают великую пользу от почитания факта почитания определённой вещи? Придётся ли нам продолжать цепочку с верой в веру в веру и поклонением поклонению поклонению? Или разумные теисты не будут плодить сущности?

Хотел бы я верить, что никто не будет верить в веру в веру в веру, но аргумент мира зомби в философии ещё более запутанный чем это, и его сторонники всё ещё не забросили его.

Парадокс Мура это стандартный термин для выражения «За окном идёт дождь, но я в это не верю». Снимаю шляпу перед painquale на MetaFilter.

Я думаю, я стал понимать парадокс Мура немного получше, после того как прочитал некоторые комментарии на Less Wrong. Jimrandomh подсказывает:

Многие люди не могут разделить разные уровни косвенности. Для них «Я верю в X» и «X» это одно и то же. Следовательно, причины, почему полезно верить в X, это те же причины, почему X - истина.

Я не думаю, что это правда. Сравнительно маленькие дети могут понять концепцию ложного убеждения, которая требует раздельных ментальных вёдер для карты и территории. Но эта мысль указывает в направлении похожей идеи:

Многие люди не могут сознательно различить веру во что-то и поддерживание чего-то.

В конце концов, «Я верю в демократию» в разговорной речи означает, что ты поддерживаешь концепцию демократии, а не веру в то, что демократия существует. Слово «вера», таким образом, имеет более одного значения. Может, запутанные слова порождают путаницу в мыслях, а может, они просто отображают уже существующую путаницу.

Отсюда, в исходном примере: «Я верю, что люди добрее, чем они есть», женщина, с которой я разговаривал, выдумала несколько причин, почему хорошо верить, что люди добрые - польза для психического здоровья и прочее - и так как эта мысль вызывала тёплый отклик в её сознании, она исследовала его и заключила:

«Я верю, что люди добрые». Таким образом, она перенесла положительное чувство, связанное с поддерживаемым убеждением, на сигналирование веры в это заявление. В то же время, сам окружающий мир выглядит, будто люди не такие уж добрые. Поэтому она сказала: «Я верю, что люди добрее, чем они есть».

И это граничит с честной ошибкой - или вроде того - так как обычно людей не учат явно определять, как это выглядит, когда они во что-то верят. Как в притче о драконе в гараже; человек, который говорит: «В моём гараже есть дракон, но он невидимый», - не понимает, что его ожидание не увидеть дракона показывает, что на самом деле он поддерживает (точную) модель мира без дракона в ней.

Не то чтобы люди тренируются распознавать, когда они во что-то верят.

Не то чтобы их кто-то учил в старшей школе: «Когда вы действительно верите во что-то - это утверждение в вашем активном наборе убеждений - это выглядит будто мир такой и есть. Вы должны распознавать это чувство, которое и есть настоящее (без кавычек) убеждение, и отделять его от приятных ощущений от веры во что-то, которую вы распознаёте как веру во что-то; это есть просто „вера“ (с кавычками)». Такой подход к обучению позволил бы сделать пример парадокса Мура из жизни намного менее философски чуждым, и дало бы ещё один механизм при помощи которого люди могли бы быть одновременно и правы и неправы.

Как Kurige, который писал:

Я верю, что существует бог, и что он вселил в нас чувство правильного и неправильного, с помощью которого мы можем оценивать мир вокруг нас. Также я верю, что чувство морали было эволюционно запрограммировано в нас - чувство морали, которое скорее всего стало результатом метаполитических игр в популяциях бонобо много-много лет назад.

Эти два убеждения не противоречат друг другу, но сложно сшить их в одну философию.

Подозреваю, Kurige решил, что у него есть причины поддерживать убеждение, что бог внушил нам внутреннее чувство добра и зла. А также, что он должен следовать вердикту науки. И научное и религиозное сообщества кажутся весьма достойными, правда? Есть же плюсы в каждом наборе убеждений? При рефлексии можно обнаружить, что и то и другое даёт положительные эмоции?

Но он не сказал: «Бог вселил в нас чувство правильного и неправильного, а чувство морали было эволюционно запрограммировано в нас. Оба состояния реальности одновременно нестабильны, сложно их сочетать».

Если ты читаешь это, Kurige, попробуй быстро сказать эту фразу вслух, чтобы заметить, что её немного сложнее проглотить. Заметь субъективную разницу до того как займёшься рационализацией.

Это и есть субъективная разница между «иметь причины поддерживать обе точки зрения» и «иметь в мыслях единую модель мира».