Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное «па» в танце.

А как насчёт инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчёт студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнёс к хорошей скромности.

А что насчёт студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Даже если это решение обусловлено эмоциями схожими с эмоциями предыдущего студента, оно менее мудро.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность — относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным взаимодействиям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что тот же студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.

Конец эпохи в физике не обязательно сопровождается салютом и фанфарами. Гораздо чаще он начинается с чего-то, что кажется лишь маленькой несостыковкой… Но из-за того, что физики придерживаются своей высокомерной идеи, что их модели должны работать абсолютно всегда, а не просто бОльшую часть времени, они всегда стараются выяснить причину этих маленьких несостыковок. Обычно несостыковка исчезает после более внимательного её изучения. А иногда она разрастается настолько, что опровергает всю теорию. По этому поводу сказано: «Если ты не стремишься к совершенству, ты остановишься ещё до того, как сделаешь свои первые шаги».

Но подумайте, как нагло с точки зрения общества выглядит стремление быть правым абсолютно всегда! Я подозреваю, что если бы Наука заявляла, что теория эволюции верна бОльшую часть времени, но не во всех случаях, — или если бы Наука признавала, что, возможно, Земля иногда может быть плоской, но никто не знает этого точно, — то у учёных определённо была бы лучшая репутация в обществе. Наука не казалась бы такой враждебной, потому что мы бы тогда не спорили с людьми, которые считают Землю плоской — оставалось бы место для компромисса. Если вы много спорите, вас считают конфликтным человеком. Если вы регулярно отказываетесь идти на компромисс, это ещё хуже. Считайте это вопросом статуса в племени: учёные определенно заработали дополнительные очки уважения за такие социально полезные вещи, как медицина и мобильные телефоны. Но этот статус не оправдывает их настойчивости в вопросе того, что только научные идеи об эволюции имеют право изучаться в школах. В конце концов, у священников тоже высокий статус. Учёные пытаются прыгнуть выше головы — они заработали немного уважения и теперь считают, что имеют право быть вождями всего племени! Им стоит быть поскромнее и иногда идти на компромисс.

Многие люди, похоже, имеют весьма туманное представление о «скромности рационалиста». Опасно придерживаться правила, которое вы понимаете лишь отчасти. У вашей картины мира может быть такое количество степеней свободы, что она оправдает практически любой поступок. Когда люди пользуются смутными моделями, с помощью которых они могут отстаивать что угодно, в итоге они обычно верят в то, во что хотели верить изначально. Это так удобно, что люди часто не хотят отказываться от этой неопределённости. Но этика нужна для того, чтобы управлять нашим поведением, а не для того, чтобы под него подстраиваться.

«Скромность» — это добродетель, которую часто понимают неверно. Это не значит, что нам нужно отказаться от понятия скромности, но нам стоит использовать его осторожно. Возможно, стоит взглянуть на алгоритм действий, который предлагает «скромная» модель поведения, и спросить: «Если я буду поступать таким образом, я стану сильнее или слабее?» Если вы просто смотрите на мост и думаете о проблеме индукции, может казаться разумным рассуждение о том, что ничто не вечно, независимо от предпринятых мер предосторожности. Однако, если вы сравните, что изменится в реальном мире, если вы добавите несколько дополнительных тросов, и что изменится, если вы просто пожмёте плечами, то вроде бы довольно очевидно, в каком случае мост станет более надёжным.

Подавляющее большинство примеров «скромности рационалиста», которые я видел, были отговорками для пожимания плечами. Например, человек, покупающий лотерейный билет, говорит: «Но вы не знаете наверняка, что я проиграю». Человек, не верящий в эволюцию, говорит: «Но вы не можете строго доказать мне, что это правда». Человек, отказывающийся решать задачу, которая выглядит очень сложной, говорит: «Её наверное, слишком тяжело решить». Проблема здесь в предвзятом скептицизме, также известном как «искажение опровержения» — мы более критически рассматриваем утверждения в пользу теории, в которую мы не хотим верить. Скромность, в её самом неверно понимаемом виде, это самое универсальное оправдание для того, чтобы не верить во что-то. Ведь, в конце концов, нельзя быть в чём-то уверенным до конца. Остерегайтесь абсолютно универсальных оправданий!

Ещё одна проблема в том, что скромность не требует от вас никаких жертв. Деннет в своей книге «Разрушая чары: религия как природное явление» говорит, что, хотя во многие религиозные утверждения очень трудно верить, людям намного легче удаётся верить в то, что они должны в них верить. Деннет использует для этого термин «вера в убеждение». Что бы могло означать реальное убеждение? Что бы значила реальная вера в то, что трое эквивалентны одному? Намного легче убедить себя, что вы должны каким-то образом верить, что трое эквивалентны одному, и говорить это вслух в нужный момент проповеди. Деннет предполагает, что многие «религиозные убеждения» должны рассматриваться как «религиозные провозглашения» — люди считают, что они должны в них верить, и знают, что они должны именно так говорить.

Довольно легко отвечать на каждый контраргумент: «Ну, разумеется, я могу и ошибаться». А затем, почтительно преклонив колени перед Скромностью и выполнив надлежащий ритуал, можно поступать точно также, как поступали и до этого.

Всегда хочется заработать наибольшее количество очков с наименьшими усилиями. Всегда хочется учитывать все поступающие свидетельства таким образом, чтобы как можно меньше изменять свои убеждения и особенно действия. Джон Кеннет Гэлбрейт сказал: «Оказавшись перед выбором между тем, чтобы изменить свои убеждения, и тем, чтобы доказать себе, что в этом нет нужды, почти каждый выбирает второе.»1 И чем большие неудобства человек будет испытывать после изменения своих убеждений, тем больше усилий он потратит на доказательства его ненужности.

Но, знаете, если вы не собираетесь меняться, нет смысла тратить такие усилия на то, чтобы это рационализировать. Я часто видел людей, которые получали новую информацию, соглашались с ней, а затем подробно объясняли, почему они собираются делать то же самое, что делали до этого, но с другим оправданием. Смысл мышления в том, чтобы строить планы. Если вы не планируете менять свои планы, зачем тратить силы на их оправдания? Когда вы получаете новую информацию, самое трудное — среагировать на неё и обновить свои убеждения, вместо того чтобы позволить этой информации исчезнуть в чёрной дыре. И неправильно понимаемая скромность создаёт прекрасную чёрную дыру — вам нужно лишь признать, что вы тоже можете ошибаться. По этому поводу сказано: «Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью».

• 1. John Kenneth Galbraith, Economics, Peace and Laughter (Plume, 1981), 50.

«Вера в Санту даёт детям ощущение чуда и заставляет их вести себя хорошо в надежде на получение подарков. Если Санта-убеждение разрушается правдой, дети теряют ощущение чуда и прекращают вести себя хорошо. Таким образом, даже если это убеждение ложно, это благородная ложь, которая полезна по определённым причинам».

Обычно это называют ложной дилеммой, софизмом исключения среднего, софизмом компромисса. Даже если мы принимаем лежащие в основе фактические и моральные исходные посылки, приведённые выше в аргументах, это не может быть использовано. Даже предположение, что политика Санты (заставлять детей верить в Санта-Клауса) лучше, чем не делать ничего, это не значит что данное убеждение является наилучшим из всех возможных альтернатив. Другие варианты поведения также могут дать детям ощущение чуда, наподобие просмотра фантастического шоу или снабжения их научно-фантастической литературой. Это всё равно, что давать детям взятки за хорошее поведение — дети будут вести себя хорошо только в те моменты, когда на них смотрят взрослые. При этом похвала, без взяток, ведёт к безусловному хорошему поведению.

Благородная ложь представляет собой общий случай софизма компромисса; и ответом на данный софизм является то, что если нам действительно нужно достичь чего-то, мы можем создать третью альтернативу по достижению этого.

Как мы можем получить третью альтернативу? Первый шаг в этом — решить поискать её, последний — решение принять её. Звучит очевидно, однако большинство людей терпят неудачу на этих двух шагах, а не на самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые появляются честно, потому что трудно найти превосходящие стратегии. Но есть сомнительная причина ложной дилеммы — это суждение о том, что это лучше, чем не делать ничего. В этом случае, судящий не хочет искать третью альтернативу; нахождение таковой разрушит его суждение. Последнее, что сантаист хотел бы услышать, это то, что похвала работает лучше взяток или что космические корабли могут вдохновлять так же как летающие олени.

Лучшее — враг хорошего. Если цель — по-настоящему помогать людям, тогда превосходящая альтернатива это причина для праздника — как только мы находим лучшую стратегию, мы можем помогать людям более эффективно. Но если цель просто оправдать определённую стратегию, претендуя при этом на помощь людям, третья альтернатива становится вражеским аргументом, соперником.

Современные когнитивные психологи рассматривают принятие решений как поиск альтернатив. В настоящей жизни, недостаточно сравнивать варианты, вы должны в первую очередь создавать варианты. Во многих проблемах число альтернатив велико, так что вам нужен критерий остановки поиска. Когда вы ищете дом для покупки, вы не будете перебирать все дома в городе; в определённый момент вы остановитесь и купите.

Но что, если наши сознательные мотивы для поиска — критерий, который мы признаём для себя — не совпадает с подсознательными влияниями? Когда мы выполняем вроде бы альтруистический поиск, поиск альтруистического способа действий и находим стратегию, при которой выигрывают все кроме нас — мы не останавливаемся; мы продолжаем искать. Разумеется, при этом мы говорим, что ищем стратегию, которая принесёт другим ещё больше пользы. Но предположим, что мы нашли стратегию, которая приносит другим меньше пользы, но зато благоприятна и для нас? Мы тут же останавливаемся! На деле, мы скорее всего будем сопротивляться любому предложению продолжить поиск снова — например оправдываясь недостатком времени (хотя у нас всегда находятся когнитивные ресурсы для поиска оправданий текущей стратегии).

Будьте внимательней, когда обнаруживаете, что вы отстаиваете оборонительный способ действий, а не оптимальный; или думаете, что иметь небольшое преимущество в сравнении с нулевым действием лучше, чем выбирать наибольшее преимущество из всех действий.

Ложные дилеммы часто представляются как оправдание неэтичных действий, как нечто попавшееся под руку и очень удобное. Лгать, например, часто удобнее, чем говорить правду; и верить в то, с чего вы начали рассуждение, — более удобно, чем обновлять убеждения. Отсюда популярность аргументов в пользу Благородной Лжи; это служит как защита уже существующего убеждения — никто не видел Благородного Лжеца, который создаёт новую Благородную Ложь; они продолжают лгать о том, с чего начали. Лучше остановить эти поиски быстро!

Чтобы сделать лучше, спросите себя напрямую: если бы я увидел, что есть альтернатива, превосходящая мою текущую, я бы обрадовался или бы замешкался в нежелании, перед тем, как перешёл на неё? Если ответы «нет» и «да», боюсь, что вы не ищете третью альтернативу.

Что приводит к другому хорошему вопросу, который нужно задать себя напрямую: потратил ли я хотя бы пять минут на то, чтобы закрыть глаза и рассмотреть даже самые дикие и креативные варианты в попытках придумать лучшую альтернативу? Причём это должны быть именно пять минут на часах — иначе вы просто моргаете — закрываете и сразу же открываете глаза и говорите: «Ну, я поискал альтернативы, но их нет». Моргание это хорошее средство уйти от своих обязанностей. Поэтому рекомендуется смотреть пять минут именно по часам.

И эти дикие и креативные варианты — были ли вы достаточно внимательны, чтобы не просмотреть хороший? Прилагали ли усилия, чтобы убедиться в том, что любой рассмотренный выбор очевидно плохой?

Удивительно, как много Благородных Лжецов и прочих подобных готовы принять этические нарушения — оплакивая свои муки совести — когда они не потратили и пяти минут на поиск альтернатив. Существуют определённые ментальные поиски, которые мы подсознательно желаем видеть неудавшимися; и когда шансы на успех нам не подходят, люди часто выбирают самый доступный возможный вариант — сдаться.

Традиционно принято критиковать лотереи за то, что играют в них те, кто меньше всего может позволить себе проиграть; что лотерея — унитаз для спуска денег, сливающий средства тех, кому они больше всего нужны. Некоторые апологеты лотерей (и даже кое-какие комментаторы блога LessWrong.com) пытаются оправдать покупку лотерейных билетов как разумную: мы нечувствительно теряем доллар в день, покупая приятное предвосхищение, мечтая о себе-миллионере.

Но рассмотрим, что же именно здесь подразумевается. Такой ход мыслей должен означать, что вы захламляете свой ценный мозг иллюзией, действительная достоверность которой — что-то около нуля: тонкая полоска везения, которую вы не властны сделать реальностью. Лотерейные шары определят ваше будущее. Эта иллюзия о том, что богатство настигнет вас без усилий: без стремления мыслить и учиться, без талантов, даже без упорства.

Это и делает лотереи ещё одним видом «унитаза», только сливающим эмоциональную энергию. Они потворствуют тому, чтобы люди вкладывали свои мечты, свои надежды на лучшее будущее в крохотную вероятность. Если бы не лотерея, возможно, они могли бы подумать о том, чтобы поступить в технический колледж, или открыть своё дело, или продвинуться по службе, — о чём-то, что в самом деле могут сделать именно они, о надеждах, которые бы требовали от них стать сильнее. В своих фантазиях, эдак к 20-й визуализации пленительной мечты, мозг человека, возможно, заметит способ действительно её осуществить. Разве фантазии и мозги не для этого? Но разве может этот приземлённый, ограниченный рамками действительности расклад сравниться с подслащённой перспективой мгновенного богатства (не когда на продажу выставлены акции соблазнительных интернет-стартапов, а в обычный вторник)?

Правда, почему бы нам просто не сказать, что покупать лотерейные билеты — идиотское занятие? Люди бывают глупы время от времени, так что это не должно быть такой уж удивительной гипотезой.

Не является открытием, что человеческий мозг не проводит 64-битные вычисления с плавающей точкой, и не может снизить эмоциональную силу положительного предвосхищения, умножив её на 0,00000001, если не приложить к этому усилий. Также неудивительно, что многие люди не осознают, что численное вычисление ожидаемой полезности должно превосходить или замещать их неточные финансовые инстинкты, и что вместо них стоит верить этому вычислению как единственному аргументу, который уравновешивал бы их положительное предвосхищение — но вычисление это эмоционально слабый аргумент, поскольку представляет собой цифры на бумаге, а не видения сказочных богатств.

Кажется, этого достаточно, чтобы объяснить популярность лотерей. Почему же столь многих спорщиков тянет оправдать эту образцовую форму саморазрушения?

Чтобы преодолеть искажение мышления, нужно: 1) сначала заметить его, 2) затем подробно проанализировать, 3) определить, чем же оно плохо, 4) выяснить, как его обойти, и, наконец, 5) осуществить это. Досадно, как много людей, пройдя первые два шага, застревают на третьем — по правде говоря, самом легком из всех пяти. Систематическая ошибка мышления — это баг, а не фича, и мы должны не пытаться сделать из неё что-то хорошее, а просто избавиться от неё.

Люди продолжают настаивать на том, что лотереи это не бессмысленная трата надежды, а сервис, который даёт возможность купить фантазию — «мечты о становлении миллионером за меньшие деньги, нежели мечты о становлении голливудской звездой в кино». Один комментатор написал: «Есть большая разница между нулевыми шансами стать богатым и ничтожно малыми. Покупка билета позволяет вашей мечте о богатстве перейти от нулевых шансов к ничтожно малым».

На деле же, и это один из моментов, которые я хочу донести, между нулевым и ничтожно малым шансом стать богатым разница ничтожно малого порядка. Если вы сомневаетесь, положим, что этот ничтожно малый шанс — единица, делённая на гуголплекс.

В любом случае, если мы притязаем на то, что сильная сторона лотереи — возможность купить надежду на ничтожно малые шансы, то это предполагает, что мы соглашаемся на разработку новой улучшенной лотереи. Она выплачивает выигрыш в среднем раз в пять лет, в случайный момент времени, который определяется, скажем, моментом распада атомов слаборадиоактивного элемента. Вы сможете однажды купить билет за доллар и обрести не просто несколько дней крохотного шанса стать богатым, а несколько лет такового. Более того, богатство может настигнуть вас в любой момент! В любую минуту может зазвонить телефон, чтобы рассказать вам, что вы, да-да, именно вы — миллионер!

Представьте, насколько это было бы лучше, чем обычная схема розыгрыша лотереи, которая проводится только в определённое время, несколько раз в неделю. Скажем, шеф приходит и дает вам указание переработать проект, или пополнить складские запасы, или сделать еще что-нибудь надоевшее. И вместо того, чтобы браться за работу, вы можете поставить перед собой телефон и глядеть на него, надеясь на чудесный звонок, ведь есть крохотный шанс, что именно в этот момент вы, да-да, вы получите суперприз! И даже если этого не случится сейчас, что ж, не стоит разочаровываться: это может произойти в следующую минуту!

Подумайте, насколько больше фантазий возможно с Новой улучшенной лотереей. Вы можете покупать в магазине, добавляя дорогие вещи в вашу покупательскую корзину. Если ваш телефон не зазвонит, чтобы вам сообщили, что вы выиграли, вы всегда можете выложить всё обратно, не так ли?

Возможно, Новая улучшенная лотерея может даже отображать постоянно плавающее распределение вероятностей по возможности того, что сейчас кто-то выиграет, или по шансам на победу определённых лотерейных билетов, а также общий прогноз, выражающийся через вышеуказанные распределения Пуассона. Вообразите, насколько приятным это могло бы быть! Батюшки, прямо сейчас шансы выиграть где-то в десять раз выше, чем обычно! И, вы только посмотрите, у номера 42, на который я сделал особую ставку, вероятность выпадения в эту минуту удвоилась! Можно отобразить эту информацию на экранах мобильников, владельцы которых в игре, и они смогут просто посмотреть в телефон и узнать свои шансы. Только представьте, как волнующе это будет! Куда увлекательней, чем пытаться свести собственные доходы и расходы. Куда интереснее, чем делать домашнюю работу! Эта новая мечта должна стать настолько притягательной, что сможет соревноваться не только с надеждой поступить в технический колледж, но даже с возможностью рано возвращаться с работы. Люди смогут просто неотрывно глазеть на экран весь день, и им не надо будет мечтать о чём-нибудь ещё!

Действительно, давать людям соблазнительные мечтания, которые никогда не станут реальностью, — значимая услуга, так уж и быть. Она должна быть таковой, ведь люди готовы расставаться с деньгами. Хотя на самом деле это может быть и не так, ведь люди могут и ошибаться.

Пока что современные государства, обладающие подлой монополией на лотереи, всё ещё не предлагают эту удобную и очевидную услугу. Почему? Потому что хотят назначить цену повыше. Они хотят, чтобы люди тратили деньги каждую неделю. Чтобы люди тратили сотни долларов ради трепетного ожидания выигрыша, десятки и сотни раз, вместо того, чтобы смотреть на экран телефона, ожидая счастливого момента. Так что если вы убеждены, что лотерея — это услуга, то цена её несоизмеримо завышена (в особенности для беднейших в обществе), и ваш священный долг как гражданина — требовать учреждения Новой улучшенной лотереи.

Несколько лет назад я беседовал с одним человеком, и по ходу разговора он сказал, что не верит в эволюцию. Я ответил: «Сейчас не девятнадцатый век. Когда Дарвин впервые предложил теорию эволюции, в ней ещё можно было сомневаться. Но мы живём в двадцать первом веке. Мы можем читать гены. У человека и шимпанзе ДНК совпадают на 98%. Мы знаем, что люди и обезьяны являются родственниками. Это факт».

Он сказал: «Может быть, совпадение ДНК является случайным».

Я ответил: «Шансы на это равны примерно двум в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс всё равно есть, не так ли?»

Есть несколько причин, по которым прошлый-я не может праздновать чистую с моральной точки зрения победу в этом споре. Первая причина заключается в том, что я не помню, откуда взял число $2^{750000000}$, хотя, скорее всего, я не слишком ошибся на уровне «мета-порядка». Другая причина в том, что мой прошлый-я не задумывался о том, насколько откалиброванной была эта уверенность. На протяжении всей истории человечества люди, оценивавшие вероятность некоего события в 1 к $2^{750000000}$, ошибались, несомненно, чаще, чем один раз в $2^{750000000}$ случаях. К слову, позже оценка совпадения ДНК была снижена с 98% до 95% — причём относится она только к 30 000 известных генов, а не ко всему геному, поэтому моя оценка была неверна даже на уровне «мета-порядка».

Однако, ответ моего собеседника по-прежнему кажется мне довольно забавным.

Я не помню, что я ответил на его последнюю реплику — скорее всего, что-то вроде «Нет» — но я запомнил этот разговор, поскольку благодаря ему, я чуть лучше понял то, как Непросвещённые понимают законы мышления.

Я впервые понял, что для человеческой интуиции есть качественная разница между «Невозможно» и «Шансы очень малы, но их стоит учитывать». Это можно увидеть и на Overcoming Bias в обсуждении «Новой Улучшенной Лотереи», где один пользователь написал: «Между нулевыми шансами на выигрыш и шансами, равными эпсилону, существует большая разница». На что я ответил: «Нет, не большая — порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон один, делённое на гуголплекс».

Проблема в том, что теория вероятностей позволяет рассчитать значения, которые настолько малы, что на них бессмысленно тратить ресурсы своего мозга — но к этому времени они уже будут рассчитаны. Люди путают карту с территорией, поэтому на интуитивном уровне вероятность, явно определённая в виде символов, ощущается как «шанс, который нужно учитывать», даже если число, описываемое этими символами, настолько мало, что, представив его в виде реального объекта, мы бы не смогли его даже разглядеть, поскольку оно было бы меньше пылинки. Для описания настолько маленьких чисел есть слова, но нет чувств — столь малого количества нейронов и нейромедиаторов не хватит, чтобы ощутить хоть что-то. Именно поэтому люди и покупают лотерейные билеты — никто не способен по-настоящему прочувствовать ничтожность столь малой вероятности.

Но ещё более любопытным мне показалось качественное деление между аргументом «точным» и аргументом «вероятностным» — причём «вероятностный» аргумент в этом случае можно просто проигнорировать. Мол, вероятность, равная нулю, требует полного отказа от неё, а вероятность, равная один к гуголу, всё ещё может учитываться.

Разумеется, мы живём в свободной стране и никто не посадит вас в тюрьму за неверные рассуждения. Но если вы собираетесь игнорировать аргумент о том, что вероятность равна всего лишь один к гуголу, зачем обращать внимание на аргумент о том, что вероятность равна нулю? То есть, если вы всё равно собираетесь игнорировать любые свидетельства, чем «вероятностное» свидетельство хуже «точного»?

В жизни я часто обнаруживал, что научился чему-то на ужасно вопиющих ошибках в рассуждениях других людей. Например, в данном случае, правило заключается в следующем: если очень хочется принять во внимание ничтожную вероятность один к гуголу, то совершенно точно придётся принять во внимание и вероятность 0,9. Это одного поля ягоды.

Вспомните об этом, если захотите сказать: «Но вы не можете доказать мне, что я не прав». Если вы собираетесь игнорировать аргумент, основанный на вероятности — почему бы просто сразу не проигнорировать всё доказательство?

Софистик: «Мир не чёрный и белый. Не существует чистого добра и чистого зла. Всё серое. Таким образом, нет никого, кто был бы лучше другого»

Zetet: «Зная только серый, вы заключаете, что все виды серого — это один оттенок. Вы смеётесь над простотой двухцветной точки зрения, однако заменяете её одноцветной…»

— Marc Stiegler, David’s Sling

Я не знаю, есть ли у ошибки, допущенной Софистиком, официальное название, но я называю её «софизмом серого». Мы видели его проявление в предыдущем посте, когда собеседник, считавший, будто шансы, равные двум в степени семьсот пятьдесят миллионов к одному, против его утверждения означают, что «шансы ещё есть». Для него любые вероятности — просто «неопределенности», и поэтому он считает, что может их игнорировать, если ему так удобней.

«Луна сделана из зеленого сыра» и «Солнце сделано по большей части из водорода и гелия» — предложения о некоторой неопределённости, однако они неопределённы не в равной степени.

Всё — оттенки серого, однако есть оттенки серого столь светлые, что они почти белые, и есть оттенки столь тёмные, что они почти чёрные. Или даже если нет, мы всё равно можем сравнить оттенки и сказать «это темнее» или «это светлее».

Годы назад, одним из маленьких и странных, формирующих меня как рационалиста, моментов было чтение этого параграфа из «Игрока в игры» Иэна Бэнкса, особенно предложение, выделенное жирным:

«Карательная система не знает невиновных. Любая машина насилия считает, что все либо за неё, либо — против. Мы — против. И вы были бы тоже, дай вы себе труд задуматься. Уже один образ мышления делает вас врагом. Может, это и не ваша вина, потому что каждое общество воспитывает в своих гражданах определенные ценности, но дело в том, что некоторые общества придают ценностям максимальное значение, а некоторые — минимальное. Вы происходите из общества второго типа, а рассказать вас о себе просит общество первого типа. Уклониться будет так трудно, что вы и представить себе не можете, сохранить нейтралитет — практически невозможно. Вы просто не можете не сочувствовать той политике, в которой воспитаны, поскольку она не является чем-то независимым от остальных частей вашего «я». Она — составляющая вашей личности. Мне это известно, и им это известно. И вам лучше принять всё как есть».

Сейчас не надо писать негодующих комментариев, говорящих, что если бы общества не вкладывали свои ценности, тогда каждое последующее поколение должно было бы начинать с нуля. Это не то, что я вынес из параграфа.

То, что я вынес из параграфа, было что-то, что кажется очевидным в ретроспективе, что я, возможно, мог бы взять из сотни разных мест; но именно этот параграф что-то сдвинул во мне.

Это было само понятие Количественного Пути, применённого к жизненным проблемам, таким как моральные суждения и стремление к самосовершенствованию. То, что даже если бы вы не могли включить или выключить, вы всё ещё хотели бы увеличить или уменьшить.

Слишком очевидно, чтобы это стоило обсуждать? Я бы сказал что это не так уж очевидно, для многих блоггеров, говорящих об Overcoming Bias: «Невозможно, никто не может полностью избавиться от искажений». Меня не волнует, если это говорит профессиональный экономист, ясно что они ещё не въехали в то, как применять Количественный Путь в повседневной жизни и делах наподобие самосовершенствования. Если я не могу что-то убрать совсем, может быть неплохо было бы это хотя бы уменьшить.

Или обсудим разговор между Робином Хансоном и Тайлером Ковеном. Робин Хансон сказал, что он предпочитает уделять 75% внимания предписаниям экономической теории, в противовес своей интуиции: «Я стараюсь в основном напрямую применять экономическую теорию, добавляя немного личных или культурных суждений». Тайлер Ковен ответил:

— С моей точки зрения нет такой вещи как «применяемая напрямую экономическая теория»… теории всегда применяются через наши личные и культурные фильтры, и не может быть каких-то других путей.

Да, но вы можете попробовать минимизировать этот эффект, или вы можете делать вещи, связанные с увеличением его. И даже если вы пытаетесь минимизировать его, тогда во множестве случаев я не думаю, что неразумно называть выход «прямым» — даже в экономике.

«Все несовершенны». Махатма Ганди был несовершенен и Иосиф Сталин был несовершенен, но они не были одинаково несовершенны. «Все несовершенны» это отличный пример замены двухцветной точки зрения на одноцветную. Если вы скажете: «Никто не совершенен, но некоторые люди менее несовершенны, нежели другие», вы можете не получить аплодисментов; но тем, кто старается делать лучше, вы дадите надежду. Никто не совершенен, в конце концов.

(Всякий раз, когда кто-то говорит мне «перфекционизм плох для тебя», я отвечаю: «Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди».)

Точно так же глупы те, кто говорит: «Каждая научная парадигма накладывает какие-то из своих предположений на то, как она интерпретирует эксперименты» и действует так, словно он доказал, будто наука стоит на одной ступени с шарлатанством. Любое мировоззрение накладывает какие-то из своих структур на свои наблюдения, но есть те точки зрения, что пытаются минимизировать этот эффект, и те, что гордятся им. Нет белого, но есть тени серого, что намного светлее других, и глупо относиться к ним так, словно они все на одном уровне.

Если Луна вращалась вокруг Земли последние несколько миллиардов лет, если вы видели её в небе последние годы, и вы ожидаете увидеть ееёна своем месте завтра — это неопределенность. И если вы ожидаете, что невидимый дракон излечит вашу дочь от рака, — это тоже неопределённость. Но у них совершенно разные степени неопределенности: одно дело — ожидать вещи, которые уже случались так, что их можно было предсказать до двенадцати знаков после запятой, и совсем другое — ожидать, что произойдёт нечто, что противоречит наблюдаемому порядку вещей. И называть их одним словом «вера» кажется немного натянутым.

Это психология особого рода, которая приводит к «Наука тоже основана на вере, вот так!» Обычно это говорится людьми, которые утверждают, что вера — это хорошо. Тогда почему они говорят «Наука тоже основана на вере!» в таком злобно-торжествующем тоне, а не как комплимент? И довольно опасный комплимент, с их точки зрения. Если наука основана на «вере», тогда наука относится к тем же явлениям что и религия: их тогда можно непосредственно сопоставить. Если наука — это религия, то это религия, что лечит болезни и открывает тайны звёзд. И тогда возможно сказать: «священники науки могут честно и открыто, с доказательствами, ходить по Луне, что можно счесть чудом веры, а ваши священники от веры не могут того же». Вы уверены что вы хотите продолжать, верующие? Возможно, в дальнейшем отражении, вы предпочтёте отказаться от этого дела с «Наука тоже религия!»

Есть странная динамика: вы пытаетесь очистить свой оттенок серого, и достигаете точки, где становится уже светлее, и кто-то встаёт и говорит глубоко возмущённым тоном: «Но это же не белый! Это серый!» Одно дело, когда кто-то говорит: «Это не такое светлое, как вы думаете, поскольку там есть определённые проблемы X, Y, Z». Другое дело, когда кто-то злобно говорит: «Это не белый! Это серый!» без указания на определённые темные пятна.

В этом случае я начинаю в большей степени, чем обычно, подозревать, что психология несовершенна: что кто-то, возможно, заключил сделку со своими ошибками и теперь отказывается слышать о любой возможности улучшения. Когда кто-то находит оправдание тому, что он не пытается стать лучше, он часто отказывается признать, что кто-то может стараться стать лучше. Любой способ улучшения и любое свидетельство, что возможно двигаться вперед, чтобы стать лучше, они воспринимают как преступление против них. Таким образом, они гордо говорят сначала «Я рад, что я серый», а затем, уже злобно: «И ты тоже серый!»

Если нет белого и чёрного, всё ещё есть более светлое и более тёмное, и не все серые тона одинаковы.

Приложение: нам ещё привели цитату из Азимова: «Когда люди думали, что Земля плоская, они ошибались. Когда они думали, что она сферическая, — они тоже ошибались. Но если вы думаете, что считать её сферой или плоскостью одинаково ошибочно, вы заблуждаетесь больше, чем все они вместе взятые».

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Всё, что у вас есть, — это теории; вы не знаете наверняка, что вы правы. Вы, учёные, меняли своё мнение о том, как работает гравитация — откуда нам знать, что завтра вы не поменяете своё мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть её с помощью нескольких предложений, вы сильно разочаруетесь.

Мир непросвещённых делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если учёные меняли своё мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять — как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать её против любого возможного контраргумента и ни в чём не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признаёт, что наука неидеальна — что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определённости, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймёт первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав её отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

— Вы сами признали, что вам нельзя доверять — так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания, якобы, исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определённые вещи, а ученики обязаны ему верить и повторять всё, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь своё мнение разрешается — с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом — написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником — эта неопределённость не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями — и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путём и Количественным Путём довольно сильно раздражает тех, кто смотрит на неё со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надёжным, чем основанные всего лишь на вероятностях догадки учёных — догадки о том, например, что завтра Луна взойдёт в определенном месте и определённой фазе, точно так же, как это было при каждом ночном наблюдении со времён изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому непросвещённые и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признаёт ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определённость» как теннисным мячом, используя его с легкостью пёрышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить ещё хоть одну крошечную долю вероятности. «Я идеален», — говорят они без всякой задней мысли, — «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы всё это объяснить — ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: — «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определёнными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это — разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

• «Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

• «Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Учёные понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и всё. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории — абсолютно каждое новое свидетельство может быть в её пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые всё равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что учёные имеют меньше права на определённость, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всём.»

• «Учёные не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идёте ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда учёный говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что её невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

• «Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените своё мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределённость может быть меньше пылинки, но она всё равно будет. А если вы не готовы поменять своё мнение даже под влиянием слов самого Бога — тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок. И её вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определённости?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определённости жить можно — что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространённых методов защиты Абсолютного Авторитета — это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

• Моральные релятивисты говорят:
  • Мир не делится на чёрное и белое, следовательно:
  • Все серое, следовательно:
  • Ни один человек не лучше другого, следовательно:
  • Я могу делать всё, что захочу, и вы меня не остановите, муа-ха-ха-ха-ха.
• Но мы должны иметь возможность предотвращать убийства.
• Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод — это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» — неверно, из убеждения релятивистов в том, что «Мир не делится на чёрное и белое», не следует, что на самом деле мир делится лишь на чёрное и белое. Ошибка здесь (и достаточно её одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом всё равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, что стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведённой до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот ещё что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что ещё нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что её изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определёнными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чём он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чём-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определённой идее, не слишком хорошо отражает откалиброванную уверенность в ней — они между собой даже не связаны.

А что до «абсолютной уверенности» — ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибётесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймёте, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 — это не просто определённость; это бесконечная определённость.

На самом деле, мне кажется, что во избежание непонимания публики учёным стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определённые причины для сомнений.

В «Что такое «свидетельство»?», я писал:

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.
Cihan Baran ответил(English):

Я не могу представить себе ситуацию, в которой 2 + 2 = 4 было бы ложно. Возможно, это означает, что я убеждён в «2 + 2 = 4» безоговорочно.

Признаю, я тоже не могу представить ситуацию, в которой «2 + 2 = 4» было бы ложно (конечно, есть различные переобозначения, но это не «ситуации» и речь тогда идёт уже не о 2, 4, = или +). Но это не делает моё убеждение безоговорочным. Я легко представляю ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Скажем, я просыпаюсь ранним утром, вытаскиваю из ушей два кусочка ваты, кладу их на прикроватный столик рядом с двумя другими кусочками ваты — и замечаю, что теперь кусочков ваты три, и при этом никаких кусков ваты не появлялось и не исчезало, несмотря на то, что согласно моей памяти, 2 + 2 должно было равняться 4. К тому же, если представить это действие мысленно, становится очевидно, что для того, чтобы получить XXXX из XX и XX, необходимо взять дополнительный X. Вдобавок, 2 + 2 = 4 противоречит остальной мысленной арифметике, поскольку вычитание XX из XXX даёт XX, но вычитание XX из XXXX даёт XXX. Это снова конфликтует с памятью о том, что 3 – 2 = 1, но странно доверять памяти перед лицом физических и мысленных подтверждений того, что XXX – XX = XX.

Ещё я проверю карманный калькулятор, Гугл, и, возможно, свою копию «1984», где Уинстон пишет, что «Свобода — это возможность сказать, что дважды два — три». Всё это убедительно говорит о том, что весь остальной мир тоже считает, что 2 + 2 = 3, соглашаясь с моими мысленными вычислениями и не соглашаясь с моей памятью.

Как я мог так заблуждаться? Что могло настолько сбить меня с толку? В голову приходят несколько объяснений. Во-первых, какая-нибудь нейрологическая неполадка (наверное, я слишком сильно чихнул) увеличила все суммы в моей памяти на единицу. Во-вторых, гипноз. В-третьих, глюк или намеренное изменение компьютерной симуляции, в которой я нахожусь. В любом случае, скорее что-то неладно с моей памятью, чем 2 + 2 когда-то действительно равнялось 4. И, конечно же, ни одно из этих трёх правдоподобных объяснений не избавит меня от ощущения очень, очень сильного замешательства.

Другими словами, свидетельства, убедившие меня в том, что 2 + 2 = 3, относятся к тому же классу свидетельств, что сегодня убеждают меня в том, что 2 + 2 = 4: перекрёстный огонь физических наблюдений, мысленных представлений и социального согласия.

Когда-то я понятия не имел, что 2 + 2 = 4. Это убеждение возникло не из-за какого-то случайного процесса — тогда мозгу было бы безразлично, что именно запомнить, «2 + 2 = 4» или «2 + 2 = 7». Ответ, хранящийся в моём мозге, поразительно похож на результат размещения двух кусочков ваты рядом с двумя другими кусочками ваты — и это заставляет задуматься, какая именно сцепленность породила это странное соответствие между разумом и реальностью.

Ведь для убеждения-о-фактах существует лишь два варианта: либо он попал в мозг благодаря процессу сцепления разума с реальностью, либо нет. Если нет, то убеждение может быть верным лишь благодаря стечению обстоятельств. Если в убеждении есть хотя бы намёк на внутреннюю сложность (то есть, его симуляция требует компьютерную программу больше 10 битов длиной), то пространство вариантов становится столь большим, что возможность совпадения исчезает.

Безоговорочные факты — не то же самое, что и безоговорочные убеждения. Если сильные свидетельства убеждают меня в том, что факт безоговорочен, то это не означает, что я всегда верил в этот факт, без нужды в сильных свидетельствах.

Я убеждён, что 2 + 2 = 4, но я легко могу придумать ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: ситуация из того же класса, что и ситуация, сегодня убеждающая меня в том, что 2 + 2 = 4. Потому я не боюсь, что я пал жертвой слепой веры.

Если здесь есть христиане, знающие теорему Байеса (нумерофобы, пожалуйста, покиньте помещение), то я хотел бы спросить вас о ситуации, убедившей бы вас в истинности ислама. Предположительно, это будет примерно той же самой ситуацией, что породила вашу сегодняшнюю веру в христианство: вы вытащены из чрева мусульманки, воспитаны мусульманскими родителями, постоянно говорившими о том, что следует быть мусульманином (причём убеждение в истине ислама должно быть безоговорочным). Или всё не так просто? Если да, то какая ситуация заставит вас принять ислам, или, хотя бы, не-христианство?

В «Абсолютном авторитете» я говорил о том, что бесконечная определённость нам не требуется:

Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведённой до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом всё равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99,9999% случаев, и не в (1 − 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света — это уже совсем другой вопрос. Карта — это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы — не говоря уж об абсолютной уверенности — это совсем другое дело. Если вы подбросите монетку и закроете её рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности — это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос — можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперёд и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4,0000004») или истинно в 999 999 999 999 из 1 000 000 000 000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своём предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию — как убедить меня в том, что 2 + 2 = 3 — это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения работы мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки — то есть утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против предвзятого скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в $(1 − 1/гуголплекс)$ и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде $3↑↑↑3$. Но даже уверенность величиной в $1 - 1/3↑↑↑3$ ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас меняют, как ваш мозг оценивает убедительность утверждения, которое вы сейчас читаете, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.

Положительная и отрицательная бесконечности - это не целые числа, а, скорее, специальные символы для описания поведения целых чисел. Люди иногда говорят что-то вроде «5 + бесконечность = бесконечность», потому что, если начать отсчет с 5 и подниматься все выше и выше, никогда не останавливаясь, мы будем бесконечно получать все большие и большие числа. Но из этого не следует, что «бесконечность - бесконечность = 5». Не получится начать безостановочный отсчет с 0 вверх, затем безостановочный отсчет вниз, и в итоге прийти к числу 5.

Из этого можно заключить, что бесконечность не только не является целым числом - она не ведет себя как целое число. Если вы по неосторожности попытаетесь смешать бесконечности с целыми числами, вам придется определить особые нестабильные правила поведения, которые не нужны при работе с 1, 2, 3 и всеми остальными целыми числами.

Хотя бесконечность и не является целым числом, не стоит переживать по поводу того, что можно запутаться при работе с числами. Люди видели пять овец, миллионы песчинок и септиллионы атомов, но никто никогда не встречал бесконечность чего бы то ни было. То же самое справедливо и для непрерывных величин - люди измеряли пылинки размером в миллиметры, животных размером в метры, города длиной в километры и галактики размером в тысячи световых лет, но никто и никогда не измерял что-то размером в бесконечность. В реальном мире понятие бесконечности особо не требуется.

(Более эрудированным читателям добавлю, что им не нужно детально объяснять мне, скажем, разницу между порядковыми и кардинальными числами. Да, я знаком с различными определениями бесконечности из теории множеств, но я не вижу пользы от их применения в теории вероятности. Подробнее ниже.)

При традиционном способе написания вероятностей их величины находятся между 0 и 1. Монета может выпасть орлом с вероятностью 0.5; синоптик может присвоить вероятность 0.9 тому, что завтра пойдет дождь.

Но это не единственный способ записи вероятностей. Вероятности можно, например, преобразовывать в шансы с помощью формулы O = (P / (1-P)). Так, вероятность 50% превратится в шансы 0.5/0.5, или 1, обычно записываемые как 1:1, в то время как вероятность 0.9 превратится в шансы 0.9/0.1, или 9, обычно записываемые как 9:1. Чтобы сделать обратное преобразование, нужно использовать формулу P = (O / (1+O)), и это превращение полностью обратимо и является изоморфным - вычисление величины вероятности возможно двумя обратимыми способами. Ввиду изоморфности вероятностей и шансов выбирать удобный способ можно на свое усмотрение.

Шансы, например, удобнее использовать при выполнении Байесианских обновлений. Представим, что я бросаю шестигранный кубик: если выпадает любая сторона, кроме 1, существует 10%-ный шанс услышать звонок, а если выпадает сторона 1, шанс услышать звонок становится 20%. Я бросаю кубик и слышу звонок. Каковы шансы на то, что выпала сторона 1? Априорные шансы - 1:5 (что соответствует числу 1/5 = 0.2), а отношение правдоподобия - 0.2:0.1 (что соответствует числу 2), и можно просто перемножить эти два числа и получить апостериорные шансы 2:5 (что соответствует числу 2/5 или 0.4). Затем, если мне нужно, я перевожу все это обратно в вероятности и получаю (0.4/1.4) = 2/7 = ~29%.

Итак, с шансами удобнее работать при Байесианских обновлениях - если использовать вероятности, придется применять теорему Байеса в ее более сложном виде. Но вероятности удобнее для вопросов вроде «Если я брошу шестигранный кубик, каковы шансы увидеть число от 1 до 4?» Можно сложить все вероятности величиной 1/6 для каждой стороны и получить 4/6, но нельзя сложить отношение шансов 0.2 для каждой стороны и получить отношение шансов 0.8.

Зачем я обо всем этом говорю? Чтобы показать, что «отношение шансов» - такой же разрешенный способ перевода неопределенности в реальные числа, как и «вероятности». Отношения шансов более удобны для одних операций, вероятности - для других. Знаменитое доказательство, называемое теоремой Кокса (плюс некоторые ее дополнения и усовершенствования), демонстрирует, что все способы выражения неопределенности, которые имеют разумные ограничения, в итоге оказываются друг другу изоморфны.

Почему важно то, что отношения шансов разрешены так же, как и вероятности? Вероятности в своем обычном виде записываются в виде чисел от 0 до 1, и оба крайних числа - 0 и 1 - кажутся вполне достижимыми величинами: можно легко встретить 1 зебру или 0 единорогов. Но при переводе вероятностей в шансы 0 остается 0, однако 1 превращается в положительную бесконечность. В этом случае абсолютная истина не кажется настолько легкодостижимой.

Форма, в которой Байесианские обновления делать даже удобнее - логарифмы отношения шансов; это тот способ, которым советовал думать о вероятностях Э. Т. Джейнс. Например, априорная вероятность утверждения равна 0.0001 - это соответствует логарифму отношения шансов величиной около -40 децибел. Затем вы видите свидетельство, которое кажется в 100 раз более правдоподобным в случае истинности этого утверждения, чем в случае его ложности. Это 20 децибел свидетельств. Теперь апостериорный логарифм отношения шансов равен примерно -40 дБ + 20 дБ = -20 дБ, что равно апостериорной вероятности около 0.01.

При переводе вероятностей в логарифмы отношения шансов 0 превращается в отрицательную бесконечность, а 1 - в положительную. Теперь и бесконечная определенность, и бесконечная невероятность кажутся еще более недостижимыми.

При использовании вероятностей величины 0.9999 и 0.99999 кажутся отличающимися всего на 0.00009, а 0.502 находится гораздо дальше от 0.503, чем 0.9999 - от 0.99999. Чтобы получить вероятность 1 из вероятности 0.99999, кажется, что надо преодолеть дистанцию всего лишь в 0.00001.

Но если перевести вероятности в отношения шансов, 0.502 и 0.503 становятся 1.008 и 1.012, а 0.9999 и 0.99999 превращаются в 9,999 и 99,999. А если перевести их в логарифмы отношения шансов, 0.502 и 0.503 превращаются в 0.03 и 0.05 децибел, а 0.9999 и 0.99999 становятся 40 и 50 децибелами.

При работе с логарифмами отношения шансов разница между двумя величинами неопределенности равна количеству свидетельств, которые нужны при переходе от одной величины к другой. Таким образом, логарифмы отношения шансов предоставляют удобный способ нахождения величины в пространстве степеней уверенности.

Использование логарифмов отношения шансов позволяет увидеть, что достижение бесконечной определенности требует бесконечно сильного свидетельства, также как и достижение бесконечной абсурдности требует бесконечно сильного контрсвидетельства.

Кроме того, все виды стандартных теорем в теории вероятности оговаривают особые случаи при использовании 1 и 0 - например, что происходит при попытке сделать Байесианское обновление наблюдения, которому была присвоена вероятность 0.

Так что, думаю, вполне разумно говорить о том, что 1 и 0 не входят в пространство величин вероятностей; как и отрицательная и положительная бесконечности, которые не подчиняются основным аксиомам булевой алгебры и не являются обычными числами.

Главная причина, по которой все это может расстроить тех, кто использует обычную теорию вероятности - это то, что придется заново выводить теоремы, полученные на основе предположения, что можно сложить все вероятности и получить 1.

Однако в реальном мире при броске кубика вероятность выпадения любого числа в диапазоне от 1 до 6 не является действительно бесконечной. Кубик может упасть на ребро, или уничтожиться в результате падения метеорита, или Темные Повелители Матрицы вмешаются и напишут «37» на одной из его сторон.

Если вы задали магический символ для «всех неучтенных возможностей», тогда вы можете игнорировать все события, описываемые этим магическим символом, и получить величину в виде магического символа «Т», который означает бесконечную уверенность.

Но я бы предпочел найти способ, в котором теорема работает без использования магических символов с особым поведением. Это было бы гораздо более изящно. Подобно математикам, которые отказываются принимать закон исключенного третьего или бесконечные множества, я бы хотел быть приверженцем теории вероятности, который не верит в абсолютную определенность.

Некоторые отзывы на «Лотереи: бессмысленная трата надежды» упрекали меня за резкость в критике чужих решений; если кто-то другой выбирает купить лотерейные билеты, кто я такой, чтобы быть несогласным? Это особый случай более важного вопроса: Какое мне дело, если кто-то скорее предпочтёт верить в то, что приятно, чем в то, что верно? Не может ли каждый сам выбрать: стоит ли заботиться о правде?

Очевидным придирчивым возражением будет: «Почему тебя волнует то, волнует ли меня, чьё-то мнение о правде?» Это отчасти непоследовательно для вашей функции полезности: содержать негативное определение чьей-то функции полезности иметь определение полезности кого-то ещё. Но это лишь придирка, не ответ.

Ну вот мой ответ: я верю, что для меня, как человека, правильно быть заинтересованным в будущем и в том, чем станет человеческая цивилизация в будущем. Один из этих интересов - человеческое стремление к истине, медленно растущее в поколениях (ведь это не всегда было Наукой). Я хочу быстрее повысить это стремление, в этом поколении. Это моё желание ради Будущего. Ради всех нас, игроков на этом безграничном игровом поле, берём мы за него ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная идея? Да, и не просто крайне «опасная». Люди сгорали насмерть из-за того, что какой-то жрец решил, что они думают не тем образом, которым следует думать. Решение сжечь людей, поскольку они «не думают должным образом» — отвратительный образ мысли, не так ли? Вы бы не хотели, чтобы люди думали так, потому это и отвратительно. Люди, которые думают так… ну, мы обязаны что-то с ними сделать…

Я согласен! Вот моё предложение: давайте выступать против плохих идей, но не поджигать их носителей.

Силлогизм, который мы желаем избежать, гласит: «Я думаю, Сьюзи сказала плохую вещь, следовательно, Сьюзи должна быть сожжена». Некоторые попытки избежать этого силлогизма исходят из обозначения неправильной мысли, что Сьюзи сказала плохую вещь. Никто никогда не должен никого судить; любой, кто осуждает, совершает страшный грех, и должен быть выставлен за это к позорному столбу.

С моей стороны, я отрицаю по следующей причине. Мой силлогизм гласит: «Я думаю, Сьюзи сказала что-то неправильное, поэтому я буду выступать против её слов, но я не буду её сжигать или останавливать её речь насилием или законом…»

Все мы игроки на этом безграничном игровом поле, и один из моих интересов на будущее — сделать игру честной. Контринтуитивная идея, лежащая в основе науки, о том, что фактические разногласия должны решаться через эксперименты и математику, а не насилие и запреты. Это важное замечание может быть расширено за пределы науки, к честному бою ради всего будущего. Вам следует побеждать благодаря убеждению людей, и не следует позволять себе сжигать их. Это один из принципов Рациональности, которому я торжественно клянусь в верности.

Люди, которые защищают релятивизм или эгоизм, не представляются мне действительно релятивизмичными или эгоистичными. Если бы они были действительно релятивизмичными, они бы не судили. Если бы они были действительно эгоистичны, они бы занимались заработком денег вместо горячих споров с остальными. Скорее, они выбрали сторону Релятивизма, чья цель на этом безграничном игровом поле — предотвратить игроков — всех игроков — от определённых суждений. Или они выбирают сторону Эгоизма, чья цель — сделать всех игроков эгоистичными. И затем они играют в игру, честно или нечестно, в соответствии со своей мудростью.

Если здесь есть какие-то настоящие Релятивисты или Эгоисты, мы их не слышим — они остаются безмолвными, не-игроками.

Я не могу помочь, но забочусь о том, как вы думаете, потому что, как бы я ни не мог помочь, я вижу вселенную: каждый миг человек отворачивается от истины, делая историю человечества немного более мрачной. Во многих случаях это лишь небольшая тьма. (Кто-то всё время не прекращает получать боль). Врущие самим себе в уединении своих мыслей не омрачают человеческую историю так сильно, как врущие людям или сжигающие их. Уже здесь есть часть меня, которая не может помочь, но горюет. И всё время пока я не пытаюсь сжечь вас — лишь спорю с вашими идеями — я верю, что это верно для меня как человека, поэтому я забочусь о людях — моих товарищах. Это также позиция, которую я защищаю в отношении Будущего.

Когда речь идёт о политике, люди начинают терять голову. Причины этой особенности настолько до банальности очевидны, что можно привести их ещё раз. В среде эволюционной адаптации политическая обстановка была вопросом жизни и смерти (а также секса, богатства, союзников, репутации и многого другого). И сегодня, начиная спор о том, должны ли «мы» поднять минимальную заработную плату, ты применяешь весь богатый набор адаптаций к среде эволюционной адаптации. Ты возвращаешься во времена, когда тебя могли убить за нахождение на неверной стороне баррикады (зато, если ты находился на верной стороне баррикады, то уже ты получал возможность убить немало досаждавшего тебе соперника!).

Если ты хочешь высказать какое-то соображение, касающееся науки или рациональности, то совершенно не стоит хоть каким-нибудь образом задевать современную политику, когда есть возможность этого избежать. Если твоя основная мысль неотделимо связана с политикой — расскажи о Людовике XVI и великой французской революции. Политика — та важная область, в которой следует применять рациональность, но в которой категорически не следует изучать рациональность.

Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже.

Учёные, привыкшие в своей профессиональной деятельности непредвзято осматривать вопрос со всех сторон и здраво взвешивать все «за» и «против», превращаются в скандирующих лозунги зомби, как только разговор затрагивает область, занятую Синими или Зелёными; как только в разговоре становится уместным вспомнить об отношении своей группировки к обсуждаемому вопросу.

Традиционный пример задачи на немонотонное мышление из области искусственного интеллекта звучит так: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон квакер и республиканец. Является ли Никсон пацифистом?»

В чём, хочется мне спросить, заключается смысл выбора именно этой ситуации в качестве примера? Автор хочет растормошить в читателе политические эмоции и отвлечь его от основного вопроса? Автор хочет, чтобы республиканцам было неуютно на курсах изучения искусственного интеллекта, чтобы ни один республиканец не отважился заниматься этой областью информатики? И нет, я не республиканец, как вы могли бы подумать. И не демократ.

Этот пример отвлекает. Почему кто-то, столкнувшись с задачей продемонстрировать пользу немонотонных рассуждений, выбрал именно его? Скорее всего, причина в том, что автор не смог удержаться от соблазна бросить хорошее, добротное язвительное замечание в сторону этих ненавистных Зелёных. Отвешивать оплеухи приятно; разве можно не поддаться желанию откусить кусочек шоколадного печенья?

Но не все приятные вещи полезны. И несчастные читатели явно не видят никакой пользы в необходимости продираться через уйму разъярённых комментариев, спровоцированных брошенной вскользь насмешкой, не несущей никакой смысловой нагрузки.

Я говорю не о том, что этот сайт должен держаться в стороне от политики, или о том, что нам надо перенять у Википедии нейтральную точку зрения. Просто попытайся сопротивляться соблазну сделать добротный ощутимый язвительный комментарий, если этого возможно избежать. Если интересующая тебя тема напрямую касается попыток убрать теорию эволюции из школьной программы — говори, но не обвиняй в этом всю партию республиканцев целиком: твоими читателями могут быть республиканцы, и они могут считать, что причина состоит в действиях нескольких негодяев, а не во взглядах всей партии. Не имеет никакого значения, кто виноват на самом деле, и что ты думаешь по этому поводу. Возможность обсуждать щекотливые вопросы, не скатываясь в цветную политику, очень полезна для духовного развития нашего сообщества.

Робин Хансон недавно предложил разрешить магазины(English), в которых можно было бы продавать запрещенные продукты. Есть ряд отличных аргументов в пользу подобной политики — врожденное право на личную свободу, карьерный стимул для бюрократов запрещать всё и вся, то, что законодатели столь же предвзяты, как и все. Но даже так (ответил я), некая бедная, честная, но не особо образованная мать пятерых детей может пойти в эти магазины и купить «Напиток доктора Снейкойла из серной кислоты» для своих воспаленных суставов и умереть, оставив своих отпрысков рыдать на национальном телевидении.

Я просто сделал простое фактическое наблюдение. Почему ряд людей решили, что это аргумент в пользу регулирования?

Если судить по вопросам, то даже простой факт (например, что жизнь на Земле возникла в результате естественного отбора), согласно естественным ожиданиям, должен быть аргументом для одной из сторон в битве; факты сами по себе не принадлежат к какой-либо стороне, и так называемый «баланс свидетельства» должен отражать это. На самом деле согласно Байесовскому определению доказательств «сильные свидетельства» - это именно те доказательства, которые мы ожидаем найти только у одной стороны аргументации.

Но нет причин, чтобы сложные действия со многими последствиями демонстрировали это однобокое свойство. Почему кажется, будто люди хотят, чтобы их политические дебаты были однобокими?

Политика — это убийца разума. Аргументы там — солдаты. Если вы определились на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать все аргументы, которые, как представляется, благоприятствуют врагу. Иначе получается, будто вы бьете в спины своих солдат. Если вы находитесь внутри этого шаблона, то политические дебаты будут для вас однобокими — издержки и недостатки вашей любимой политики будут для вас вражескими солдатами, которых следует атаковать всеми возможными методами.

Также следует опасаться другого подобного неудачного шаблона — думать, что Очень Мудрый Путь — это идеально ровный компромисс между любыми двумя политическими позициями, которые получают больше всего эфирного времени. У политики могут быть несбалансированные недостатки и преимущества. Если политические вопросы не склоняются в ту или иную сторону, то мы не будем в состоянии принимать решения о них. Однако существует людская тенденция отрицать все издержки любимой политики или отрицать все преимущества нелюбимой политики; таким образом люди склонны думать, что компромиссы в политике отклоняются гораздо дальше, чем это есть на самом деле.

Если вы разрешите к продаже некоторые из запрещенных товаров, то какая-то бедная, честная, малообразованная мать пятерых детей купит что-либо, что убьет ее. Это предсказание о фактическом следствии, а в качестве фактического вопроса оно выглядит довольно простым - здравомыслящий человек должен с готовностью признаться, что это правда, независимо от того, какую позицию он занимает по вопросам политики. Это признание не мешает вам думать, что запрещение вещей просто делает их более дорогими, что те, кто регулирует запреты, будут злоупотреблять своей властью, или что ее личная свобода перевешивает ваше желание вмешиваться в ее жизнь. Однако факт остаётся фактом: она умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди показывают сильную отрицательную реакцию на воспринимаемую несправедливость; из-за этого мы воспринимаем данный факт очень тяжело. Есть два распространенных способа решения возникающего когнитивного диссонанса. Во-первых, можно изменить свое мнение о фактах — отрицать, что несправедливые события вообще могут иметь место, или отредактировать историю так, чтобы она казалась справедливой. Во-вторых, можно скорректировать свою мораль — отрицать что события несправедливы.

Некоторые либертарианцы могут сказать, что если вы идете в магазин «запрещенных товаров», игнорируя предупреждающие таблички, которые говорят, что «ВЕЩИ ИЗ ЭТОГО МАГАЗИНА МОГУТ УБИТЬ ВАС», и покупаете там что-либо, что вас убивает, то это только ваша вина и вы сами этого заслуживаете. Если это морально правильно, то получается, будто нет вообще никакого недостатка в том, чтобы продавать запрещенные продукты. Получается не просто чистый выигрыш, это будет односторонний компромисс без каких-либо недостатков.

Другие возражают, что регулирующие органы можно обучить выбирать рационально и учитывать интересы потребителя; если бы это соответствовало фактам, то (согласно их принципам) не было бы недостатков в регулировании.

Нравится вам это или нет, но при рождении существует лотерея на интеллект — хотя это один из тех случаев, когда несправедливость Вселенной настолько велика, что большинство людей предпочитает отрицать факты. Экспериментальные доказательства чисто генетического компонента, который составляет 60-80%, являются ошеломляющими, однако даже если это опровергнут, вы не выбираете, какими окажутся ваши родители или начальная школа.

Мое воспитание говорит мне, что отрицание реальности — это морально неправильно. Если бы я мог выдавать желаемое за действительное в отношении того, что напиток из серной кислоты может быть для меня полезен, то получалось бы, что я делаю что-то, против чего меня предупреждали и пошел бы против своего воспитания. Некоторые люди рождаются в определенных условиях — мы не будем говорить о генах, поскольку эта часть слишком уж несправедлива, — где местный знахарь говорит им, что правильно — это верить, а неправильно — проявлять скепсис. Из самых лучших побуждений они следуют этому совету и умирают. В отличии от вас, их не научили, что люди отвечают за личный выбор, когда следуют примеру общества. Вы правда думаете, что настолько умны, что были бы по-научному скептичны, даже если бы родились в шестом веке н.э.? Да, при рождении существует лотерея, независимо от того, во что вы верите касательно генов.

Говорить «Люди, которые покупают опасные продукты, заслуживают того, чтобы пострадать!» — не значит трезво мыслить. Это всего лишь способ отрицать то, что ты живешь в несправедливой вселенной. По-настоящему трезвомыслящий человек скажет: «Да, серная кислота может стать причиной ужасной болезненной смерти, и нет, мать пятерых детей не заслуживает этого, однако мы все же откроем такие магазины, поскольку согласно нашим вычислениям для нас это будет выгодно». Вы можете представить, чтобы политик так сказал? Я тоже не могу. Но поскольку экономисты имеют влияние на политику, это может помочь, если они подумают об этом в частном порядке — возможно, даже скажут это в журнальных статьях, однако преподнося это в запутанной форме со множеством смыслов, чтобы СМИ не имели возможности цитировать их.

Я не думаю, что случай, когда кто-либо делает глупый выбор и умирает, может быть поводом для праздника. Я расцениваю это как трагедию. Людей не всегда можно спасти от последствий их действий; однако я провожу моральную черту при смертной казни. Если вы мертвы, то вы не можете учиться на своих ошибках.

К сожалению, вселенная не согласна со мной. И мы еще посмотрим в будущем, кто останется правым.

Добавлено: две основных причины для политической однобокости это такие когнитивные искажения как аффектированное решение и вера в справедливый мир(just-world fallacy) (English).

Богиня правосудия повсеместно изображается держащей в одной руке весы. У весов есть свойство — когда одна чашка опускается, вторая поднимается выше. Это очень удобно и легко отслеживаемо. И также обычно является грубым искажением.

В человеческом дискурсе существует естественная тенденция превращать обсуждение в своего рода битву, продолжение войны, спорт; и в спорте вам нужно следить только за тем, сколько очков набрала ваша команда и команда противника. Там есть только две стороны, и каждое очко, проигранное одной стороной, это очко, заработанное другой. Каждый в таком обсуждении мысленно ведет счет, у какого оратора больше очков в споре. В конце дебатов победителем получается тот, у кого очков больше; и таким образом, всё что он сказал, должно быть истинно, а всё, что говорил его противник, соответственно, ложно.

«Аффективная эвристика в оценке рисков и преимуществ» (English) описывает то, как испытуемые в своих оценках смешивают возможные преимущества технологии (например ядерной энергии) и возможные риски данной технологии в единое общее хорошее или плохое ощущение касательно технологии. Предположим, что я сначала рассказываю вам, что определённый вид ядерных реакторов производит меньше отходов, чем все другие. А потом упоминаю, что данный реактор менее стабилен, нежели остальные и угроза расплавления, если одновременно произойдет много сбоев, у него куда выше.

Если реактор имеет большую вероятность сбоя, то это кажется аргументом «против него» или аргументом «против» любого, кто захочет строить такой реактор. А если реактор производит меньше отходов, то это аргумент «за» реактор или «за» его постройку. Так что же, данные факты противостоят друг другу? Ни в коем случае. По крайней мере в реальном мире. Эти два факта могут находиться по разные стороны баррикад в различных дебатах, однако логически они не связаны; факты понятия не имеют на какой они стороне. Количество отходов, производимое реактором, зависит от физических свойств его конструкции. Другие физические свойства делают его более нестабильным. Даже если ряд этих свойств один и тот же, вам следует рассматривать вероятность расплавления и ожидаемый выход отходов отдельно. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные приведённым выше, показывают, что люди склонны оценивать технологии — и многие другие задачи — по общему плохому или хорошему ощущению. Если вы скажете людям, что конструкция реактора позволяет сократить объём производимых отходов, они также неосознанно снизят вероятность расплавления реактора. Это означает, что будет получен неправильный ответ на физические вопросы, у которых есть вполне определённые ответы, основанные на фактах, поскольку вы смешиваете логически не связанные вопросы — рассматривая факты как солдат разных армий в войне и думая, что любой солдат одной стороны может сражаться с любым солдатом другой стороны.

Весы могут служить Правосудию, если оно исследует сугубо фактический вопрос вины или невиновности. Джон Смит либо убил Джона Доу, либо нет. Однако мы знаем (согласно Э. Т. Джейнсу), что все байесовские свидетельства состоят из потоков вероятности между гипотезами; нет такой вещи как свидетельство, которое «поддерживает» или «возражает» отдельной гипотезе, кроме тех случаев, когда и другие гипотезы становятся хуже или лучше. Так что если Правосудие исследует отдельный, строго фактический вопрос с пространством бинарных ответов, весы будут подходящим инструментом. Однако если требуется рассматривать более сложный случай, то ей потребуется отбросить либо свои весы, либо свой меч.

Не все аргументы можно свести к «за» или «против». Леди Рациональность носит с собой блокнот, куда она пишет все факты, которые не принадлежат ни одной из сторон.

«Фундаментальная ошибка атрибуции — склонность делать выводы об уникальных и постоянных чертах человека на основе его поведения, которое может полностью объясняться ситуацией, в которой он находится.» — Gilbert and Malone (English)

Мы склонны слишком поспешно усматривать соотношение между действиями других людей и их личностными чертами. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы сразу признаем его «злым человеком». Но когда вы сами пинаете торговый автомат, то это из-за того, что ваш автобус опоздал, электричка ушла чуть раньше, ваш отчет был сдан не вовремя, а теперь еще и дурацкий торговый автомат уже второй день подряд просто жрет ваши деньги на обед. Конечно, думаете вы, в такой ситуации любой может пнуть автомат.

Мы объясняем наши собственные действия окружающей ситуацией, рассматривая свое поведение как совершенно нормальный ответ на сложившиеся условия. Но когда кто-либо еще пинает торговый автомат, мы не можем увидеть, что произошло с этим человеком ранее. Мы видим только удар по автомату без известной нам причины, вследствие чего заключаем, что этот человек злой по своей натуре — поскольку он накинулся на автомат безо всякой причины.

Давайте рассмотрим исходные вероятности. В мире куда больше опоздавших автобусов, нежели мутантов, которые родились с очень высоким уровнем агрессии, и которые из-за этого спонтанно бьют торговые автоматы. На данный момент средний человек, на деле, мутант. Если я правильно помню, то в среднем отдельный человек имеет от 2 до 10 соматически выраженных мутаций. Однако, как бы ни были расположены ДНК, очень маловероятно, что они приведут к повышенной агрессивности. Точно так же, любой аспект чьей-то личности скорее всего не очень далеко от среднего значения. Предположение обратного сдвигает нас в сторону невероятности.

Но даже когда люди точно знают о причинах ситуации, они чаще всего оценивают наблюдаемое поведение неправильно. Когда субъектам говорят, что рассказчику случайным способом определяют, говорить ли ему в защиту абортов или против абортов — люди продолжают думать, что мысленно рассказчик считает именно так, как указано в его речи. (Jones and Harris 1967, «The attribution of attitudes.)

Кажется довольно интуитивным объяснять дождь водными духами; объяснять огонь некоей огненной субстанцией (флогистоном), которая проистекает из горящей материи; объяснять усыпляющий эффект лекарства его «снотворной силой». Но реальность обычно включает в себя более сложные механизмы: циклы испарения и конденсации лежат в основе дождей, окисляющее горение в основе огня, химическое воздействие на нервную систему для снотворных. Однако механизмы звучат куда сложнее, нежели сущности; о них труднее думать, их сложнее понять. И таким образом, когда кто-либо пинает автомат, нам проще всего думать, что он имеет внутреннюю склонность пинать автоматы.

Но только до тех пор, пока мы сами не оказываемся на месте пинающего — в этом случае мы считаем, что ведем себя совершенно нормальной в данной ситуации; конечно же любой бы так делал. На самом деле мы переоцениваем вероятность того, что другие отреагировали бы так же как и мы — это так называемый «эффект ложного консенсуса». Пьющие студенты ощутимо переоценивают долю их товарищей, которые тоже пьют, однако непьющие наоборот — недооценивают количество пьющих. «Фундаментальная ошибка атрибуции» говорит о нашей склонности объяснять поведение других их внутренней диспозицией (их личностными чертами), при этом меняя данную тенденцию на обратную для самих себя (свое поведение мы объясняем внешней диспозицией или обстоятельствами).

Чтобы понять, почему люди действуют так, как они действуют, нам нужно прежде всего осознать, что каждый человек считает свое поведение абсолютно нормальным. Не следует задавать вопрос, какая странная черта характера у них с рождения, из-за какой они могут вести себя так, как это видится. Лучше спросите, в какой ситуации, по мнению этих людей, они находятся. Да, личностные черты бывают самыми разными — но никаких наследственных черт не хватит, чтобы объяснить все возможные виды поведения, которые вы можете наблюдать.

Предположим, что я даю вам две кнопки, красную и зеленую. Красная разрушает мир, зеленая блокирует нажатие красной. Какую вы нажмете? Зеленую. Любой, кто дает отличающийся ответ скорее всего усложняет вопрос.

И до сих пор люди иногда спрашивают меня, почему я хочу спасти мир (English). Словно это последствия психологической травмы в детстве или что-то типа того. На самом деле это кажется достаточно очевидным решением…с моей точки зрения.

У меня могут быть взгляды, которые требуют объяснения — почему я верю в эти вещи, когда большинство людей не верит? — но при данных убеждениях мои реакции не кажутся заслуживающими подробных и необыкновенных объяснений. Возможно, я жертва ложного консенсуса; возможно, я переоцениваю количество людей, которые нажали бы зеленую кнопку, если дать им эту задачу. Но знаете, я все же побился бы об заклад, что таких по меньшей мере немалое количество.

Большинство людей считают себя совершенно нормальными, с их точки зрения. Даже люди, которых вы ненавидите, люди, которые делают ужасные вещи — никто из них не является исключительным мутантом. Жаль, но это вовсе не мутации. Когда вы поймете это, вы будете готовы прекратить быть шокированными человеческими поступками.

Как ранее обсуждалось, мы склонны слишком поспешно усматривать связь между действиями других людей и их врожденными установками. Мы скорее предположим, что их необычное для нас поведение объясняется их необычными чертами личности, нежели спросим напрямую или попытаемся представить ситуацию, которая объясняла бы данное поведение. Мы предполагаем, что с человеком что-то не так.

Когда кто-либо задевает нас — совершая действие, которое мы (правильно или неправильно) не одобряем — тогда, согласно моим наблюдениям, данное когнитивное искажение усиливается вдвое. Похоже, что появляется очень сильная склонность обвинять в злых поступках злую личность того, кто их совершает. Однако если попробовать рассматривать вопрос не с точки зрения морали, а как определенный вопрос об исходной вероятности, мы должны спросить, во что мог бы верить Враг касательно ситуации, что могло бы снизить кажущуюся нелепость их поведения. Это позволит нам предположить менее исключительные установки и таким образом уйти немного от невероятных предположений.

11 сентября 2001 года девятнадцать мужчин-мусульман угнали четыре реактивных самолета в откровенно самоубийственной попытке нанести вред США. Как бы вы предположили теперь, почему они могли это сделать? Потому что они видели в США маяк свободы и были рождены с врожденной ненавистью к свободе?

По жизни, большинство людей не ведут свою жизнь так, чтобы видеть себя злодеями. Каждый в своей истории видит себя героем. История Врага, если смотреть его глазами, вряд ли будет рассказывать о том, что он плохой. Если вы пытаетесь придумать мотивацию, которая заставила Врага выглядеть плохо, вы скорее всего будете совершенно неправы касательно того, что на самом деле происходит в его голове.

Однако политика — это убийца разума. Дебаты — война; аргументы — солдаты. Если вы решили, на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать аргументы, которые говорят в пользу противоположной стороны, иначе получится, что вы предаете своих солдат.

Даже если Враг является злым по своей природе, это должно быть аргументом в пользу вашей стороны. И любой аргумент в пользу вашей стороны следует поддерживать, не имеет значения насколько глупым способом — иначе вы ослабите давление где-то на поле боя. Все стараются превзойти соседа в патриотическом осуждении и никто не осмеливается возразить. Так что вскоре Врагу приписываются рога, крылья, как у летучей мыши, пламя изо рта и клыки с разъедающим плоть ядом. Если же вы отрицаете что-либо из этого списка и пытаетесь вернуться к фактам, то вы встаете на сторону врага; вы предатель. Очень немногие поймут, что вы защищаете не Врага, но истину.

Если бы только злодеи делали ужасные вещи, то история людского вида была бы совсем другой. Ведь злые по своей природе люди крайне редки.

Или, возможно, это страх, что понимание приведет к прощению. Куда легче просто застрелить злодея. Куда легче идти в бой с кличем: «Умрите, порочные мерзавцы!» — нежели с кличем: «Умрите, люди, такие же как и я, но выросшие в других условиях!». Тогда ведь вы будете ощущать вину, убивая людей, которые на самом деле не являются чистым злом.

Для меня это похоже на глубинное стремление к однобоким политическим дебатам, в которых стараются получить наилучшую политику без недостатков. Если армия пересекает границу или если душевнобольной идет на вас с ножом, то альтернативами будет: а) защищаться, б) позволить себя убить. Если вы защищаетесь, то вы можете убить сами. Если вы убиваете кого-либо, кто в альтернативном развитии событий мог бы быть вашим другом, то это трагедия. В самом деле трагедия. С другой стороны, позволить себя убить — это тоже трагедия. Почему должен быть выбор, который не приводит к трагедии? Кто сказал, что у лучшей политики не может быть недостатков? И если кто-то должен умереть, то по возможности это должен быть зачинщик насилия, чтобы предотвратить возможные дальнейшие трагедии и таким образом минимизировать общее число смертей.

Если Враг является средним человеком, который действует согласно своим убеждениям о текущей ситуации, которые призывают его проявить жестокость в качестве стандартной реакции, тогда это не значит, что его убеждения на самом деле точны. Не значит, что он прав. Это значит, что вы будете вынуждены застрелить кого-то, кто является героем в своей истории, и в его романе главный герой умрет на 80 странице. Это трагедия, однако это меньшая трагедия, нежели та, что случилась бы при альтернативном развитии событий. Это выбор, который полицейские делают каждый день, чтобы спасти наши чистые маленькие миры от падения в бездну хаоса.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что происходит в его сознании — это знание не обеспечивает вас оправданием для удара по противнику. Не дает вам ощущения праведного гнева. Не улучшает ваше мнение о себе. И если ваша оценка заставляет вас ощущать невыносимую печаль, то, возможно, сейчас видите мир таким, каков он есть. А в редких случаях вы можете ощутить, как мурашки ужаса бегут по вашей спине, если вы имеете дело с настоящим психопатом или же неврологически здоровыми людьми, убеждения которых практически полностью разрушают их способность здраво мыслить (Сайентологи или «Лагерь Иисуса»).

Так что давайте будем честны и скажем вслух — люди, угнавшие самолёты 11 сентября, не были злодеями по природе. Они не ненавидели свободу. Они тоже были героями в своих собственных историях и они умерли за то, что, как они верили, было правильным — за истину, справедливость и мусульманский путь. Если они видели себя таким образом, то это не значит, что их убеждения были правильны. Если они видели себя таким образом, то это не значит, что мы должны согласиться с тем, что они поступили справедливо. Если они видели себя таким образом, это не значит, что пассажиры рейса 93 должны были остаться внутри и позволить этому произойти. Это значит лишь то, что в альтернативной вселенной, если бы угонщики выросли в другом окружении, они могли бы стать полицейскими, а не преступниками. И это в самом деле трагедия. Добро пожаловать на Землю.

— … После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Допустим, вы знаете, что кто-то ошибался в 99,99 % случаев, отвечая на вопросы вида «да/нет». Это значит, что вы можете получать верные ответы в 99.99% случаев, просто инвертируя его ответы. Ему придётся проделать всю работу по получению качественных свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом. И всё это лишь для того, чтобы надёжно ошибаться. Нельзя быть настолько глупым, не будучи сверхумным.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

• Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

• Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

• Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

• Ad hominem аргумент — некорректен.

• Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

• Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

• Допустим, ваш компьютер вдруг перестал работать. Не стоит думать, что вся система никуда не годится и что новую сборку придётся заказать без процессора от АМD, видеокарты от ATI, жесткого диска от Maxtor и без кулеров — ведь все эти компоненты есть в вашей неработающей системе. Возможно, вам нужно всего лишь заменить провод питания.

• Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.

Байесианец с черным поясом steven в своем блоге пытается объяснить асимметрию между хорошими аргументами и весомым авторитетом, однако он не сумел дать ответы на все комментарии к предыдущей статье, так что этим займусь я.

Первая ситуация: Барри — знаменитый геолог. Чарли — четырнадцатилетний подросток, неоднократно попадавший в полицию и подверженный психопатическим приступам. Барри решительно доказывает Артуру определенное контринтуитивное утверждение о скалах и Артур присваивает его утверждению вероятность в 90%, что оно истинно. Тогда Чарли также приводит равное контринтуитивное утверждение о скалах, и Артур присваивает его утверждению только 10% вероятности, что оно истинно. Очевидно, что Артур принимает во внимание авторитет источника, когда решает, чьим утверждениям верить.

Вторая ситуация: Дэвид делает контринтуитивное утверждение касательно физики и дает Артуру подробное объяснение аргументов, включая отсылки. Эрни делает аналогичное контринтуитивное утверждение, однако аргументирует крайне слабо, кое-где предлагая просто поверить ему. Как Дэвид, так и Эрни утверждают, что это наилучшее объяснение, которое они могут дать (любому человеку, не только Артуру). Артур присваивает 90% вероятности быть истинным утверждению Дэвида, и только 10% утверждению Эрни.

Может показаться, что оба сценария в принципе похожи: в обоих во внимание берутся полезные свидетельства: сильный авторитет против слабого, сильный аргумент против слабого.

Однако теперь предположим, что Артур просит Барри и Чарли привести полное объяснение с отсылками; и оба они делают одинаково хорошие объяснения, которые, как видит Артур, совпадают. Тогда Артур просит Дэвида и Эрни показать свои документы и оказывается, что они примерно одинаковы тоже — возможно они оба клоуны, а может оба — физики, не имеет значения.

Предполагая, что Артур компетентен достаточно, чтобы разобраться во всех приведенных аргументах — иначе они не более чем шум — кажется, что Артур должен рассматривать Дэвида как обладающего значительным преимуществом над Эрни, в то время как Барри если и превосходит Чарли, то совсем немного.

В самом деле, если технические аргументы достаточно хороши, то у Барри нет никакого преимущества перед Чарли. Хороший технический аргумент это то, что может уменьшить степень доверия к личному авторитету говорящего.

Точно так же, если мы верим Эрни, что он выдал нам лучший аргумент из тех, что мог, включая все логические шаги, которые он выполнил и все источники, на которые опирался — и которые цитировал — тогда мы можем игнорировать любую информацию о документах Эрни. Не имеет значения, клоун он или физик. (Опять же предполагается, что мы достаточно эрудированы, чтобы понять его аргументы. В любом другом случае Эрни просто произносит какие-то загадочные слова и то, поверим ли мы им, зависит в большей степени как раз-таки от его авторитета.)

Таким образом кажется, что между аргументами и авторитетом есть своеобразная асимметрия. Если мы знаем об авторитете, то мы все еще хотели бы услышать и аргументы; однако когда мы услышали аргументы, вряд ли нам нужно будет знать авторитетность источника.

Очевидно (скажет неопытный человек) авторитет и аргумент являются фундаментально различными видами свидетельства, различие которых непостижимо при помощи до скуки ясных методов байесовской теории вероятности. Поскольку при одинаковой силе свидетельства, 90% против 10%, ситуации ведут себя по-разному. Как же нам поступить?

Здесь примерно половина технической демонстрации того, как представить эту разницу в теории вероятности. (Остальное вы можете принять на веру, положившись на мой авторитет, или посмотреть в отсылках.)

Если $p(H|E_1) = 90\%$ и $p(H|E_2) = 9\%$, какова вероятность $p(H|E_1,E_2)$? Если признание Е₁ истиной дает нам возможность присвоить Н вероятность в 90%, и признание Е₂ истиной дает возможность присвоить Н вероятность в 9%, какую вероятность мы должны присвоить Н, если верны и Е₁ и Е₂? Это просто не что-либо, что вы можете вычислить в теории вероятности из имеющейся информации. Нет, отсутствующая информация это не априорные сведения об Н. Е₁ и Е₂ могут быть не независимыми друг от друга.

Предположим, что Н это «моя дорожка скользкая», Е₁ это «разбрызгиватель работает» и Е₂ это «сейчас ночь». Дорожка становится скользкой, если разбрызгиватель работает не меньше минуты и остается такой до тех пор, пока он не выключится. Так что если мы знаем, что разбрызгиватель включен, то с 90% вероятностью дорожка скользкая. Разбрызгиватель включен 10% ночного времени, так что если сейчас ночь, то вероятность того, что дорожка скользкая — 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть если нам известны оба факта — вероятность того, что дорожка скользкая, равна 90%.

Мы можем представить это графически следующим образом:

Ночь → Разбрызгиватель → Скользкая дорожка

Ночь может приводить к включению разбрызгивателя, а включение разбрызгивателя может приводить к скользкой дорожке.

Тут важны направления стрелок. Если я напишу:

Ночь → Разбрызгиватель ← Скользкая дорожка

Это означало бы, что если я не знаю ничего о разбрызгивателе, то вероятности того, что была ночь и что дорожка скользкая будут независимы друг от друга. Для примера предположим, что я бросаю одну кость и вторую кость, а потом складываю выпавшие числа в сумму:

Кость 1 → Сумма ← Кость 2.

Если вы не скажете мне сумму, а сообщите только число с первой кости — я не смогу узнать ничего о том, что выпало на второй кости. Однако если вы сообщите мне число на первой кости и общую сумму, то узнать число на второй кости не составит труда.

Определение того, являются ли разные куски информации зависимыми или независимыми друг от друга при заданной начальной информации, на самом деле является достаточно технической темой. Почитать об этом можно в книге Джуды Перла «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference and Causality». (Если у вас есть время на книги, то рекомендую вам прочесть эту.)

Если вы знаете, как читать причинные графы, тогда вы взглянете на граф про кости и сразу же увидите:

$p(кость\space 1,кость 2) = p(кость\space 1)*p(кость\space 2)$

$p(кость\space 1,кость 2|сумма) ≠ p(кость\space 1|сумма)*p(кость\space 2|сумма)$

Если вы смотрите на верную диаграмму про дорожку, вы видите следующие факты:

$p(скользкая\space дорожка|ночь) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|разбрызгиватель) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|ночь, разбрызгиватель) = p(скользкая\space дорожка|разбрызгиватель)$

То есть, вероятность того, что дорожка скользкая, учитывая знание о разбрызгивателе и ночи, равно вероятности, которую мы присваиваем скользкой дорожке, если знаем только о разбрызгивателе. Знание о разбрызгивателе делает знание о ночи неактуальным касательно дорожки.

Это известно как «затмение», и критерий, который позволяет нам распознавать такие условные независимости в причинно-следственных графах, называется Д-разбиение.

Для случая с аргументом и авторитетом, причинно-следственная диаграмма будет выглядеть так:

Истина → Качество аргумента → Убеждение эксперта.

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

$p(истина|аргумент,эксперт) = p(истина|аргумент)$

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду.»1.

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Солнце не погаснет, даже если тот, кто утверждает, что оно светит, подвержен искажениям.

Как вы не можете всегда проводить эксперимент, так и не всегда вы можете проверить вычисления. Иногда у вас нет достаточно исходной информации, иногда не хватает частной информации, иногда просто нет времени. Есть ряд ситуаций, в которых стоило бы оценить рациональность источника. Вы всегда должны делать это с ощущением пустоты в сердце, ощущением чего-то пропущенного

Всегда, когда вы только можете, танцуйте как можно ближе к исходному вопросу — заставьте себя это делать — приближайтесь максимально к тому, чтобы ухватить задачу!

• 1. Jerry Cleaver, Immediate Fiction: A Complete Writing Course (Macmillan, 2004).

Моё прошлое эссе напомнило одному из читателей «Политику и английский язык» Джорджа Оруэлла. Я был польщён — особенно потому, что тема этого эссе уже пришла мне в голову.

Если вам вправду интересен взгляд творца на рациональность, читайте Оруэлла. Рационалистам следует его читать не меньше, чем писателям. Оруэлл не ученый, но сочинитель; его орудие не числа, но слова; его противник не Природа, но зло в людях. Чтобы отправить человека за решётку, не говорите «Я собираюсь заключить мистера Дженнингса в тюрьму на семь лет без суда». Подпустите тумана, не дайте слушателям вообразить происходящее. Скажите: «Ненадёжный элемент подвергнут альтернативному судебному процессу».

Голос Оруэлла — вопль против тоталитаризма и неясного мышления, за которым зло любит себя прятать. Его труды о языке — такая же классика для рационалиста, как и книги Фейнмана, Сагана или Докинза.

«Писателям дан совет избегать пассивного залога». Знание науки не укажет на проблему в этой фразе, но если вы хотя бы немного писали, то сразу поймёте, что не так. Я составил предложение в пассивном залоге и не уточнил, кто именно даёт писателям такой совет. Пассивный залог убирает тех, кто действует; остаются лишь те, на кого подействовали. «Ненадёжный элемент подвергнут альтернативному судебному процессу», — кем подвергнут? В чём заключается «альтернативный судебный процесс»? Убрав действие из предложения, можно спрятать, что происходит на самом деле.

Статьи в научных журналах часто пишутся в пассивном залоге. (Простите, некоторые учёные пишут их в пассивном залоге. Не то чтобы статьи самозарождались и некого было обвинить.) Куда весомее сказать «Испытуемым был назначен Progenitorivox», чем «Я раздал студентам по упаковке препарата и сказал пить по таблетке каждый вечер». Если убрать учёного из описания, полезные данные останутся. Но на самом деле учёный там был, испытуемые — живые студенты, препарат не «был назначен», а студенты глотали таблетки по инструкции. Пассивный залог сужает правду.

Судя по комментариям к моим эссе, многие поспорят с тем, что пассивный залог в научной статье чем-то плох. Ведь если подумать, то понятно, что учёный там был. Это не кажется логической ошибкой. Вот поэтому рационалистам нужно читать Оруэлла, а не только Фейнмана или даже Джейнса.

Научная литература даёт знания, художественная — опыт. Медицина предскажет, что будет с человеком без скафандра в вакууме. А художественная литература заставит вас это пережить.

Некоторые рационалисты попытаются разобрать неясную фразу и увидеть, нет ли там ещё одного смысла, попробуют воссоздать логичную трактовку. Они прочтут фразу доброжелательно, предполагая о мыслях автора лучшее. Но писатели стараются не полагаться на такое отношение. То, как вас поймут, и есть то, что вы сказали, и неважно, о чём вы думали. Нельзя спорить с читателем, сколь умны бы ни были ваши обоснования.

Писатель знает: читатель не остановится подумать. Художественный опыт — непрерывный поток впечатлений. Писатель-рационалист следит, какой опыт создают слова. Если вы, вникая в смысл фразы, неторопливо обдумываете слова, препарируете формулировки, перебираете возможные значения и выискиваете зёрна истины, — то вы покидаете пределы первого впечатления — того, что видят и чувствуют другие читатели.

Прозаик заметит, что фраза «Испытуемым был назначен препарат» вопиюще неправильна. Что переживёт читатель? Только отстранённое ощущение властности, только чувство, что тебе сказали что-то веское. Прозаик увидит, что слова слишком расплывчаты и скрывают настоящую историю: строгого профессора, который с упаковкой таблеток в руках объясняет взволнованной студентке, что делать.

Я не говорю, что научные статьи нужно писать как романы. Но рационалисты должны лучше осознавать, как слова рождают опыт. Рационалистам нужно понимать разум и как с ним взаимодействовать — начиная с того, как их собственное сознание воплощается в языке. Рационалист должен ясно видеть настоящее, практическое действие фраз, а не только значение, которое складывается из буквального смысла слов.

Более прямо: то, что вы имели в виду, не оправдывает того, как вас поняли!

Неважно, какую рациональную трактовку вы соорудите для фразы, призванной сорвать овации, вроде «ИИ должен быть разработан только в рамках демократических процессов». Трактовка не искупит её иррационального влияния — демонстративного запроса на одобрение, не говоря о том, насколько эта фраза размыта.

Оруэлл предостерегал, как действуют речевые штампы, как меняют они опыт мышления1:

Когда видишь на трибуне усталого болтуна, механически повторяющего привычные фразы: звериный оскал, железная пята, кровавая тирания, свободные народы мира, встать плечом к плечу, — возникает странное ощущение, что смотришь не на живого человека, а на манекен… Оратор, пользующийся такой фразеологией, уже сильно продвинулся по пути от человека к машине. Из гортани его выходят надлежащие звуки, но мозг в этом не участвует, как должен был бы, если бы человек сам выбирал слова.

…

Но самое главное — пусть смысл выбирает слова, а не наоборот. Самое худшее, что можно сделать со словами в прозе, — это сдаться на их милость. Когда вы думаете о конкретном предмете, вы думаете без слов, а затем, если хотите описать то, что представили себе, вы начинаете поиски и находите нужные точные слова. Когда вы думаете о чем-то отвлеченном, вы склонны первым делом хвататься за слово, и, если не удерживаться от этого, сложившийся диалект ринется к вам на помощь, сделает за вас вашу работу — правда, затемнив или даже изменив исходный смысл. Может быть, лучше всего не прибегать к словам, покуда вы не проясните для себя смысл через образы и ощущения.

Пирс мог бы написать последний абзац. Многие искусства ведут к одному Пути.

• 1. Цит.: «Политика и английский язык», перевод В. П. Голышева. — Прим. ред.

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» 1 описывает шесть явлений:

• Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

• Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

• Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

• Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

• Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

• Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)

Вы могли бы вспомнить таких людей, правда? Обладателей высокого интеллекта, которые не очень-то преуспевают в делах, но чертовски хороши в спорах? Поможете ли вы им, если просто расскажете об искажениях? Сделаете ли их успешными рационалистами?

Один мой знакомый узнал о проблеме калибровки и сверхуверенности. После этого он стал говорить: «Исследования показывают, что эксперты часто ошибаются, так что им верить нельзя. Поэтому, когда я делаю прогнозы, я стараюсь опираться на то, что история будет идти как шла». Сказав это, он погружался в запутанную и сомнительную экстраполяцию. В чужих доводах искажения и лжеаргументы бросаются в глаза сильнее, чем в своих.

Я рассказал ему об ошибке опровержения и эффекте сноровки. И когда в очередном разговоре я произнёс что-то, что ему не понравилось, он обвинил меня в софистике. Он не указывал мне на конкретные ошибки, не искал в моих словах слабых мест. Он просто вздохнул и сказал, что я обратил свой разум против себя. Теперь он овладел ещё одним Универсальным Контраргументом.

Представьте, что встречаете человека, который кажется умным, но говорит то, что вам не нравится. Если образ искушённого спорщика сразу приходит вам на ум, это плохой знак.

Я пытаюсь учиться на ошибках. Свой последний рассказ об искажениях я начал с того, что описал ошибку конъюнкции и эвристику доступности, обрисовав этими примерами понятие искажения. Затем я перешёл к ошибке подтверждения, ошибке опровержения, эффекту сноровки, предвзятому скептицизму и другим явлениям, которые проявляются в формировании взглядов. Следующие полчаса я усердно и въедливо говорил об этих опасностях и рассматривал их со всех точек зрения, с каких только мог.

Чтобы слушатели заинтересовались, хватило бы и просто описать пару ошибок. Но что дальше? Книги об искажениях — в основном когнитивная психология ради неё самой. Мне нужно было предупредить о худшем за одну лекцию — иначе моим слушателям, быть может, никто бы этого не рассказал.

В тексте или устно, я теперь стараюсь не упоминать о калибровке и сверхуверенности, пока не расскажу об ошибке опровержения, предвзятом скептицизме, искусных спорщиках и дисрациональности. Прежде всего — не навреди!

• 1. Taber, C.S. and Lodge, M. (2006), Motivated Skepticism in the Evaluation of Political Beliefs. American Journal of Political Science, 50: 755-769. doi:10.1111/j.1540-5907.2006.00214.x

Политика — убийца разума. Спор — это война, аргументы — солдаты. У вас появляется искушение толковать любой возможный исход эксперимента в пользу своей теории, словно вы защищаете крепость от атак со всех сторон. Но так нельзя. Это математически невозможно. Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против.

Но если вы защитили своё любимое убеждение не до конца, всё в порядке. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то один раз из двадцати вы увидите контрсвидетельство. Всё хорошо. Это нормально. Этого даже стоит ожидать, пока на каждое свидетельство против теории приходится 19 наблюдений в её пользу. Вероятностная модель выдержит пару ударов и выстоит, при условии, что удары прекратятся.

Однако многим — особенно в тех вопросах, где они не являются специалистами, — кажется, что истинные теории не имеют права на ошибку, а ложные ошибаются всегда.

Некоторые люди хватаются за одно наблюдение, которое считают свидетельством в пользу теории, как за исчерпывающее её доказательство. По их словам, теория его «объясняет», как будто больше ничего и не нужно. Как будто не бывает свидетельств в поддержку ложной теории, ни единого наблюдения. Тогда для доказательства хватало бы любого и единственного факта в пользу теории.

Немногим умнее «опровергать» вероятностную теорию одним наблюдением, словно ничто никогда не указывает против верной теории. Но именно так люди спорят уже который век, пытаясь развеять все вражеские доводы и отрицая, что у врага есть хоть что-то в свою поддержку. Люди спорят однобоко. В их картине мира не найдётся ни грамма фактов против их теорий. Даже одно вероятностное контрсвидетельство разрушит всё.

Кто-то сейчас возмутится: «Нельзя оставлять врагу ни пяди, если хочешь выиграть настоящий спор! Если смириться хотя бы с одним возражением, враг снова и снова будет им размахивать — такого нельзя допустить! Ты проиграешь! Что может быть хуже?»

Неважно. Рациональность — не для победы в спорах, а для выбора верной стороны. Когда вы уже решили, за кого играть, рациональность уже сделала своё дело, хорошо ли или плохо. Но как выбрать сторону? Если неверный выбор пугает вас, пусть даже немного, то стоит учесть все свидетельства.

Рациональность — танец, а не прогулка. Каждое движение в нём должно быть точным, ни дюймом левее или правее. С каждой крупицей наблюдений в вашу пользу — сдвигайте уверенность вверх. С каждой крупицей против — вниз. Да, вниз. Даже если теория верна, вы должны иногда понижать свою степень убеждённости — если только это не точная теория.

Если ваше убеждение получает пару ударов — всё в порядке. С вероятностными теориями такое бывает. (А вот если ошибается точная теория, у неё проблемы!) Просто слегка сдвиньте уверенность — вероятность, шансы или ощущение убеждённости в голове — немного вниз. И ждите дальнейших свидетельств. Если теория верна, то наблюдения скоро это покажут и снова сдвинут вероятность вверх. Если теория ошибочна, то она вам не нужна.

Чёрно-белое, бинарное, качественное мышление порождает проблему: любое наблюдение либо разрушает теорию, либо нет. Когда против теории всё-таки появляются незначительные свидетельства, возникает внутреннее противоречие. Чтобы его разрешить, мы отбрасываем эти свидетельства. При этом мы перестаём плавно обновлять убеждения и учитывать всё, что знаем. Если же мы рассуждаем на языке вероятностей, то видим, что в пользу верной теории в среднем указывает бо́льший вес наблюдений, нежели против неё. И можно без страха сказать себе: «Это свидетельство немного не укладывается в мои взгляды, я сдвину свою убеждённость вниз». Да, вниз, но не разрушая свою теорию. Рассуждайте количественно.

Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против. Уверенность всегда может сдвинуться вниз — ожидайте это в той же степени, в какой ожидаете её сдвига вверх. Если, как вам кажется, вы уже знаете, что за свидетельство получите, то вы уже должны довольно сильно верить в свою теорию — назначать ей вероятность, близкую к единице. Тогда этой вероятности почти некуда расти. И каким бы маловероятным вам не казалось увидеть свидетельство против, итоговый сдвиг вниз, который оно должно произвести, будет большим: нужно точно уравновесить возможный сдвиг вверх. Математическое ожидание апостериорной вероятности равняется априорной.

Глупо бояться сдвигать вероятность вниз, если правильный ответ вообще вас интересует. Каждое будущее наблюдение в одинаковой степени может сдвинуть убеждённость в обе стороны.

Быть может, опровергающие свидетельства будут приходить снова и снова, а поддерживающие — лишь изредка. Ваша уверенность будет неуклонно ползти вниз — пока, наконец, вы не поймёте, куда несёт вас ветер наблюдений. В эту минуту не ищите оправданий — ваша любимая теория уже рухнула. Отпразднуйте это! Откройте шампанское или закажите пиццу. Нельзя стать сильнее, пока вы держитесь за те же убеждения, в которые верили и раньше.

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искусный спорщик с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает спорщика.

Искусный спорщик начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, спорщик его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда искусный спорщик пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В тот миг, когда в каждом из миров искусный спорщик записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть определённый процент таких, в которых алмаз находится в ящике А. Это состояние не изменится, независимо от того, что искусный спорщик написал на строчках выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её охотнее. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что именно говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же искусного спорщика говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Это эссе вручает вам повод остерегаться собственных размышлений, а не Универсальный Контраргумент против тех выводов, которые вам не нравятся. «Моя оппонентка — искусная спорщица» — неплохой аргумент… если вы стремитесь сохранить свои убеждения неизменными. Самый искусный спорщик мира может сказать, что светит солнце, и всё ещё будет светло.

В прошлом эссе я обсуждал проблему искусного спорщика, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Спорщик отмечает, что на ящике стоит синяя печать. На ящиках с алмазами встречается чаще, нежели на пустых — это известный факт. Что это всё значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает искусный спорщик?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал искусный спорщик. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях искусный спорщик может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

• Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.
• Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.
• Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.
• Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?

Ответ зависит от стратегии ведущей. Если она открывает дверь всегда и только ту, за которой ничего нет, то переключайтесь. Если ведущая всегда открывает вторую дверь, что бы ни было за ней, то деньги с равной вероятностью могут лежать за первой или третьей. Если ведущая вообще открывает дверь лишь тогда, когда вы сразу указали туда, где лежат деньги, то вам определённо стоит держаться изначального выбора.

Важно не только то, что за второй дверью пусто, но и то, что ведущая открыла именно её. Классическая задача Монти-Холла сбивает многих с толку, поскольку они учитывают лишь то, что за второй дверью денег нет — в итоге выходят равные вероятности, что деньги за первой и за третьей дверью. Вот почему байесианцам нужно учитывать все свои знания.

Услышав «четвёртый бросок — орёл», мы не обрабатываем то, что на четвёртом броске выпал орёл, не берём все возможные миры с орлом на четвёртом броске. Вместо этого мы рассматриваем миры, где какое-то правило породило слова «четвёртый бросок — орёл». Факт, который мы узнали, не сводится к тому, что сказано. Не позволяйте смыслу самих слов вас запутать.

Чаще всего судебное разбирательство — борьба двух противоположных сторон, ведь легче найти двух людей с искажениями, нежели одного беспристрастного. Идея тут в том, что любое свидетельство выгодно либо обвинению, либо защите, так что суд увидит все наблюдения. Два искусных спорщика в задаче с ящиками хуже, чем одна любопытная исследовательница, но ненамного — если ящика всего два. Однако в жизни перед нами встают проблемы, где сторон много, и запутанные ситуации без очевидного ответа, которые не решить двум противоположным сторонам, которые ругаются друг с другом.

Осторожно, не злоупотребляйте идеей отсеивания свидетельств, не применяйте её как Универсальный Контраргумент против свидетельств, которые вам не нравятся: «Они отфильтрованы, так что я отброшу их». Если неприятный аргумент застиг вас врасплох, то вы уже немного вникли в вопрос и ответ вас волнует — настолько, что вы уже выбрали сторону. Тогда вы, скорее всего, уже знаете главные доводы в свою пользу. Из неприятного аргумента нельзя заключить, что есть какие-то ещё свидетельства в поддержку вашей стороны, которых вы не видели и которые уравновесили бы этот довод. Всё, что вы узнали нового, — лишь неудобные наблюдения; синяя печать на ящике Б — всё ещё свидетельство.

Но будьте не менее осторожны, когда задумываетесь о вопросе впервые и слышите только одну сторону. В некотором смысле нельзя верить теории естественного отбора, не послушав креационистов хотя бы пять минут, — и вот уже тогда можно смотреть, какая из теорий убедительнее.

В «Нижней строчке» я описал проблему двух ящиков: в одном из них алмаз, и различные внешние признаки подсказывают, в каком. Я описал подходы любопытной исследовательницы и искусного спорщика. Исследовательница выписывает все признаки, обрабатывает их и, наконец, пишет в заключении: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Искусный спорщик работает на того, кто платит больше; он сначала пишет «Таким образом, алмаз в ящике Б», а потом выбирает подходящие признаки и записывает выше.

Первый образ действий — рациональность. Второй обычно называют «рационализацией».

«Рационализация». Интересный выбор слова — и, по мне, неудачный. Нельзя «рационализировать» что-то нерациональное. Всё равно что говорить «правдофикация» вместо «ложь».

На алгоритмическом уровне есть большая разница между следующими подходами:

• Начать со свидетельств, подсчитать на их основе вероятность и получить наиболее правдоподобный вывод. То есть выписать все признаки и от них перейти к ответу, что будет зависеть от этих признаков.
• Начать с заключения и подобрать те свидетельства, которые это заключение поддерживают. То есть записать ответ на нижнюю строчку, а потом выбрать подходящие признаки и поставить выше.

Кто додумался назвать столь разные мыслительные процессы такими похожими словами, как «рациональность» и «рационализация»? Я бы хотел, чтобы названия отражали разницу в этих алгоритмах яснее. Скажем, «рациональность» и «огромная отстойная чёрная дыра мышления».

Не каждое изменение — улучшение, но каждое улучшение — изменение. Нельзя сделать конкретное утверждение более истинным, просто приводя доводы в его пользу. Можно убедить в нём больше людей, но нельзя изменить, верно ли оно. Чтобы улучшать свои убеждения, мы должны их менять. Рациональность — это то, как мы обновляем свои взгляды и этим повышаем степень их истинности. Рационализация же закрепляет убеждения в том же виде. Стоило бы назвать её «антирациональностью» — как по её плодам, так и из-за того, что она зеркально противоположна рациональности по алгоритму.

«Рациональность» — прямой поток, который собирает свидетельства, оценивает их и делает заключение. Алгоритм исследовательницы направлен вперёд. Сначала она собирает свидетельства, выписывая все видимые признаки ящиков. Затем она их обрабатывает и получает неизвестную раньше вероятность того, что в ящике Б алмаз. Рациональные рассуждения всё время идут вперёд, исследовательница ещё не знает, что получит, поэтому мы говорим, что она любопытна. На Пути Байеса априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» — обратный поток: от заключения к избирательно взятым свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и не поменяется. Ваша цель — найти, какие доводы написать выше. Неизвестны они, а не заключение.

Боюсь, традиционная рациональность плохо учит разнице между потоками вперёд и назад. Учёный выдвигает гипотезу на свой вкус и ищет эксперимент, который подтвердил бы её, — и традиционная рациональность его не осуждает. Она смотрит на него с одобрением и говорит: «Твоя уверенность в себе — тот механизм, что движет Науку вперед». Ну да, выходит, что движет. Легче найти обвинителя и защитника с различающимися искажениями, нежели одного непредвзятого человека.

Но не всё, что происходит, — правильно. Лучше, если учёный, придумав гипотезу, проверит её из любопытства — будет ставить опыты, которые изменят его убеждения в неизвестную сторону.

Если вы искренне не знаете, куда идёте, то вам интересно. Любопытство — первая добродетель: без неё вопросы бесцельны, а мастерство некуда приложить.

Ощутите, куда течёт Сила, и убедитесь, что не задом наперёд.

Представьте, что зарабатываете на жизнь избирательными кампаниями и с недавних пор читаете блог о рациональности. Однажды вас нанимает Мортимер К. Снодграсс, кандидат в мэры Гедлиберга. Один вопрос не даёт вам покоя: «Как безукоризненно и рационально обосновать, что Снодграсс — лучший кандидат?»

Извините, но никак.

— Что? — удивляетесь вы. — Но ведь я построю своё выступление только из полноценных аргументов! Что если каждый факт, который я приведу, будет столь правдив, сколь мне вообще известно? Что если я назову лишь весомые свидетельства для теоремы Байеса?

Всё ещё не получится, извините. В ту минуту, когда вы ставите заключение впереди рассуждений, вы забиваете гол в свои ворота.

В этом году «Гедлибергские известия» проанкетировали кандидатов, задав им вопросы вроде «Дуете ли вы?»1 и «Умеешь ли картинки на лету цветами ветра рисовать?»2 Увы, метеорит разрушил здание редакции, и номер не вышел в печать. Жаль, ведь ваш кандидат, Мортимер Снодграсс, ответил на 15 из 16 вопросов куда лучше соперников. Заминка возникла лишь в 11-м вопросе: «Вы суперзлодей?»

Вам очень хочется опубликовать анкету в ходе кампании. Без 11-го вопроса, конечно.

В эту минуту вы переходите грань меж рациональностью и рационализацией. Избиратели теперь не могут просто сравнить факты. Им нужно учесть, что свидетельства отсеиваются, и догадаться, что некоторые факты скрыты.

Вообще говоря, вы переходите грань ещё раньше — когда размышляете, в каком свете анкета рисует вашего кандидата, чтобы решить, публиковать ли ее.

— Что?! — возмущены вы. — Мне теперь публиковать факты, неудобные кандидату?

Но взгляните глазами избирателей, которые решают, кому отдать голос. Зачем бы вам прятать ценные сведения? Вы бы не стали так делать, питая искреннее любопытство. Вы бы не стали так делать, двигаясь в рассуждениях вперёд, от свидетельств к пока неизвестному выбору кандидата. Но вы идёте назад: от определённого кандидата к поиску доводов.

Рассуждение, где вывод следует из предыдущих посылок, называется «логически верным». Следующее рассуждение логически неверно:

• все прямоугольники — четырёхугольники,
• все квадраты — четырёхугольники,
• следовательно, все квадраты — прямоугольники.

Посылки истинны и даже заключение истинно, но силлогизм всё еще не становится логически верным. Стоит разделять верные и неверные способы вывода и не оправдывать неверные, даже когда их заключения справедливы. Пусть разные способы и дали один ответ сейчас — в свете будущих свидетельств ответы будут отличаться. Да и небрежность входит в привычку.

Более того, неверный силлогизм не поможет найти настоящее объяснение. Может, все квадраты — прямоугольники, но не потому, что те и другие — четырёхугольники. Этот силлогизм лицемерен: настоящие причины в нём не связаны с названными.

Чтобы на самом деле честно и обоснованно представить своего кандидата, придётся делать так:

• до того, как кто-нибудь вас наймёт, соберите все доступные свидетельства обо всех кандидатах;
• составьте критерии, по которым сами выбирали бы, кто лучше;
• прогоните кандидатов по списку критериев;
• определите, кто лучше всех;
• предложите провести ей или ему кампанию.
• Когда вас спросят, почему стоит голосовать за этого кандидата, предъявите свой список.

Только такая цепочка рассуждений рациональна: нижняя строчка вытекает из всего, что записано выше. Над нижней строчкой будет честным записать лишь то, что на самом деле её определяет.

• 1. Отсылка к вопросу, который избиратель задал Бараку Обаме. — Прим. перев.
• 2. Строчка песни «Цвета ветра» из мультфильма «Покахонтас». — Прим. перев.

Моя прабабушка умерла несколько лет назад, не дожив до ста, разрушаясь медленно и мучительно. Я никогда особо не знал её, но по воспоминаниям из детства, она готовила для всей семьи. Я помню её фаршированную рыбу, её лицо и то, как она была добра ко мне. На похоронах мой двоюродный дедушка, который ухаживал за ней годами, сказал, глотая слезы, что Бог забирал его мать по частям: её память, её речь и наконец её улыбку. И когда Бог забрал её улыбку, он знал, что ей недолго осталось, потому что это означало, что её почти нет.

Я слушал это в замешательстве. Каждый, с кем случилось бы подобное, счёл бы это невыносимо ужасным и я не ожидал, что дедушка свяжет это с Богом. Обычно еврей как-то избегает мысли о логическом следовании того факта, что Бог допустил подобную трагедию. Согласно еврейской теологии, Бог непрерывно следит за вселенной и стоит за каждым событием в ней, но обычно вывод логических заключений из этой мысли приберегается для счастливых случаев. Говоря «Бог помог!», когда у вас родился ребенок, и опуская эти слова в случае выкидышей или детских смертей, вы можете сформировать довольно однобокую картину личности великодушного бога.

Таким образом я был удивлен услышать, что мой дедушка расценивает медленное угасание бабушки как осознанное и стратегически запланированное действие Бога. Это нарушало правила религиозного самообмана, как я их понимал.

Если бы я заметил мое собственное замешательство, я бы мог сделать успешное шокирующее предсказание. Вскоре мой дедушка перестал верить. (Единственный член моей обширной семьи, который так сделал, не считая меня, насколько мне известно)

Современный ортодоксальный иудаизм непохож на остальные религии, о которых я слышал, и я не знаю, как объяснить это тому,кто сам не изучал Мишну и Гемару. Там существует традиция вопрошания, но особого рода… Не слишком удивительно было бы услышать от рабби на недельной проповеди указание на противоречие между семью днями творения и 13.7 миллиардами лет с большого взрыва - поскольку, как он думает, у него есть по-настоящему умное объяснение для этого, которое включает в себя три других библейских отсылки, Мидраш и наполовину понятую статью в «Scientific American». В ортодоксальном иудаизме вам позволено замечать противоречия и несостыковки, но только для того, чтобы объяснить их, и любой, кто предложит самое запутанное объяснение, получает приз.

Это традиция вопросов. Но вы атакуете цели только чтобы защитить их. Вы атакуете только те цели, которые в состоянии защитить.

В современном ортодоксальном иудаизме я не замечал особого акцента на ценности слепой веры. Вам позволено сомневаться. Но не позволено сомневаться успешно.

Думаю, что большинство образованных ортодоксальных евреев ставили свою веру под сомнение в какой-то момент жизни. Но вопрошание скорее всего проходило так: «Согласно скептикам, Тора говорит, что вселенная была создана за семь дней, что не совпадает с научными данными. Но сумели бы племена Израиля, собравшиеся на горе Синай, понять научную истину, даже если бы им рассказали её? Было ли у них слово для «миллиарда»? Куда легче рассматривать историю о творении в семь дней как метафору - сначала Бог создал свет, под чем подразумевается большой взрыв…»

Является ли это самой слабой точкой, которую человек мог бы атаковать в своем иудаизме? Двигаясь дальше в Торе вы можете найти место, где Бог убивает всех младенцев-первенцев Египта, чтобы убедить неизбранного фараона освободить рабов, которых логичней было бы просто телепортировать за пределы страны. Любой ортодоксальный еврей почти наверняка знаком с этим сюжетом, ведь предполагается, что он присутвует при том, как каждый год в синагоге перечитывают всю Тору. Кроме того, этому событию посвящён один из важнейших праздников. Само название «Песах» отсылает к тому, как Бог проходил мимо домов евреев и убивал первенцев Египта.

Современные ортодоксальные евреи это открытые, добрые и цивилизованные люди; куда более цивилизованные, чем несколько редакторов Старого Завета. Даже старые рабби были более цивилизованны. Есть ритуал в Седере, где вы выливаете десять капель вина из вашего бокала, по одной за каждое из десяти бедствий, чтобы сделать акцент на страдании египтян. (конечно, предполагается сочувствовать страданиям египтян, но не настолько чтобы встать и сказать «Это неправильно! Делать такие вещи - плохо!») это показывает интересный контраст - рабби существенно добрее чем создатели Старого Завета, они видят жестокость бедствий. Но Наука была слабее в те дни, так что рабби могли обдумывать более неприглядные аспекты Библии, не боясь, что это полностью уничтожит их веру.

Вы даже не спрашиваете, отразился ли инцидент плохо на Господе, так что нет необходимости быстро ляпнуть «Пути Господни неисповедимы!» или «У нас нет мудрости, чтобы судить решения Бога!» или «Если Бог убивает детей, значит так правильно!» Это часть метода «просто-не-думай-об-этом».

Как я подозреваю, причина, по которой образованные религиозные люди остаются религиозными, это то, что когда они сомневаются, они подсознательно очень аккуратно атакуют свои убеждения только в самых защищенных местах — местах, которые, как они знают, они могут защитить. А повторно отработанная защита приводит к тому, что такие места будут ощущаться как ещё более укреплённые.

Наверняка же ощущается хорошо, например, повторять заранее продуманную защиту для «Разве Наука не говорит, что вселенная просто бессмысленные атомы, мельтешащие вокруг?», поскольку это подтверждает смысл вселенной и то, как она происходит от господа и т.д…Куда более комфортно думать об этом, чем о неграмотной матери-египтянке, плачущей над детской кроваткой, в которой лежит её истерзанный сын. Любой, кто спонтанно задумывается о последнем, а потом ставит свою веру под сомнение, тот сомневается в ней по-настоящему и, скорее всего, недолго еще пробудет верующим. Смысл поста не в том, чтобы ударить по ортодокосальному иудаизму. Уверен, там есть ответ на вопрос об умерщвлении первенцев, и даже не один. Смысл в том, что, когда идет спонтанный самоанализ, люди куда более вероятно атакуют наиболее сильные места убеждений, защищенные ответами для повторений, чем слабые и уязвимые места. Сходным образом, люди склонны останавливаться на первом же ответе, а не продолжать критиковать дальше. Лучшим названием было бы не «Избегая по-настоящему слабых мест убеждения», а «Не атакуя наиболее болезненные слабости ваших убеждений при спонтанном самоанализе».

Больше всего приверженность к религии поддерживается людьми, которые просто-не-думают-о настоящих слабых местах их религии. Я не думаю, что это дело навыка, скорее это дело инстинкта. Люди не думают о настоящих слабых местах их убеждений по той же самой причине, по которой не трогают горящую газовую конфорку; это больно.

Как справляться лучше: когда вы сомневаетесь в одном из наиболее заветных своих убеждений, закройте глаза, очистите свой разум, стисните зубы и осознанно подумайте о том, что ранит сильнее всего. Не повторяйте стандартные возражения, которые обычно дают вам возможность ощутить себя лучше. Спросите себя, что умные люди, не согласные с вами, сказали бы на ваше возражение, и на последующее тоже. Всякий раз, когда вы обнаруживаете себя уходящим от возражения, о котором вы мельком подумали, вытащите его на передний край вашего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в свое сердце и прокрутите несколько раз. Перед лицом боли, повторяйте только одно:

Правда не перестаёт быть правдой.
Признание не сделает её хуже.
Отказ узнавать правду не заставит её исчезнуть.
И именно с правдой вам придётся взаимодействовать.
Невозможно жить в неправде, ибо её не существует.
Люди способны вынести правду,
Ведь она и так их окружает повсюду.

(Юджин Джендлин)

В то время, как я не согласен с некоторыми положениями Fast and Frugal — как по мне, так они делают слишком много лимонада из лимонов — похоже, что они склонны развивать наиболее психологически реалистичные модели любой школы теории принятия решений. Большинство экспериментов представляют испытуемым варианты, среди которых те выбирают, тем самым получается экспериментальный результат. Ребята с того сайта понимают, что в реальной жизни вам надо создавать варианты, и они изучают, как испытуемые это делают.

Сходным образом, несмотря на то, что многие эксперименты предоставляют свидетельства на блюдечке с голубой каёмочкой, в реальной жизни вы должны собрать свидетельства, что может быть затратно, и в какой-то момент решить, что у вас достаточно свидетельств, чтобы остановиться и сделать выбор. Это всё равно, что покупать дом — можно было бы выбрать наперёд 10 домов, тщательно осмотреть каждый из них и только после этого принять какое-то решение. Но в жизни всё происходит иначе. Вы смотрите на один дом, потом на другой, затем сравниваете их; вы подправляете свои стремления — заново рассматриваете как близко на самом деле вам надо поселиться к месту работы и как много вы готовы за это заплатить; вы решаете какой дом смотреть следующим; и в какой-то момент вы решаете что видели достаточно домов и делаете выбор.

Согласно Гиловичу, различие между предвзятым скептицизмом и предвзятым доверием указывает на то, как заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Предвзятый скептик спрашивает, заставит ли свидетельство принять вывод; предвзятый простак спрашивает, позволит ли свидетельство принять вывод.

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, предвзятая остановка и предвзятое продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Крупный скандал в истории статистики связан с именем основателя, выдающегося учёного Р.А. Фишера. Фишер заявлял об отсутствии причинной связи между курением и раком лёгких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Видимо у курильщиков есть ген, который определяет их склонность как к курению, так и к раку лёгких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм предвзятого скептицизма, предвзятое продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определённо нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается предвзятой остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и ещё в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить тёплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать предвзятую остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы ещё не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твёрдо выделить на обдумывание лучшего варианта. Вы должны подозревать предвзятое продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно ещё свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями ноутбука за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют ноутбуков?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю ноутбуков, экспертам, которые выдают решения о таких ноутбуках — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои ноутбуки». Но было бы куда эффективнее купить 5000 обычных ноутбуков, таким образом обеспечив поддержку производителю и выдачу ноутбуков напрямую.

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не предвзятая остановка. Назвать это «предвзятой остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает ноутбук за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить ноутбук. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить ноутбук за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить ноутбуками как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить ноутбук за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже учёной степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить учёную степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».

Поэтому идея отвергается сразу же, как только срабатывает соответствующий шаблон. Если же затем кто-нибудь спрашивает: «Почему нет?», мозг начинает поиск оправдания. Но этот поиск не обязательно находит истинную причину. Под «истинной причиной» я подразумеваю не наилучшую причину, которую можно представить, а скорее то, что сильнее всего повлияло на принятие решения в тот самый миг, когда сработала реакция отвержения.

Вместо этого поиск оправдания находит правдоподобно звучащий факт: «У говорящего нет степени».

Но точно так же у меня нет степени, когда я говорю о рациональности. Почему это возражение не применяется в этих случаях?

И что более важно, если бы у меня была степень, люди не посчитали бы её решающим доводом в пользу того, что они обязаны верить всему, что я говорю. Скорее всего, происходила бы та же исходная реакция отвержения — по тем же самым причинам, — но последующий поиск оправданий приводил бы чему-нибудь ещё.

Если бы у меня была степень, люди бы говорили: «Почему я должен вам верить? Вы всего лишь человек с учёной степенью! Таких много. Возвращайтесь, когда будете авторитетом в этой области и профессором какого-нибудь солидного университета».

Но действительно ли люди верят случайному профессору из Гарварда, который говорит что-то странное? Конечно же, нет. (Хотя если бы я был гарвардским профессором, мне было бы легче привлечь внимание СМИ. Журналисты не склонны мне доверять, и скорее всего они бы точно так же не доверяли случайному человеку с учёной степенью. Но профессор из Гарварда, который верит в странное, — это хороший новостной сюжет.)

Если ваши тезисы кажутся человеку неправильными — не просто магически звучащими техническими звуками о лептонных кварковых переплетениях в N+2 измерениях, — и слушатель незнаком с вами лично и с обсуждаемым предметом, то, подозреваю, для среднего слушателя ваши академические регалии перевесят первое впечатление, если вы находитесь где-то на уровне нобелевского лауреата. И то не факт. Но в любом случае, вам нужны такие академические регалии, которые воспринимаются как находящиеся «за гранью обыденности».

Насколько я представляю, примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии, и люди сказали: «А где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он потратил шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. «Наносистемы» — великая книга. Но разве те люди, которые говорили: «Возвращайтесь, когда получите степень!» изменили после этого своё мнение о молекулярной нанотехнологии? Насколько я знаю, нет.

И то же самое происходит и с Институтом исследований машинного интеллекта. Когда мы делаем то, что якобы должно вызывать у людей больше доверия, ничего не меняется. «Вы разрабатываете какие-либо программы? Я не собираюсь поддерживать организацию, где не пишут код» → OpenCog → ничего не изменилось. «У Элизера Юдковски нет академических регалий» → Место директора по исследованиям занимает профессор Бен Герцель → ничего не изменилось. Единственное, что, по-видимому, действительно повышает уровень доверия, — это знаменитые люди, ассоциируемые с организацией, такие как Питер Тиль, спонсирующий нас, или Рей Курцвейл в совете директоров.

Если вы недавно открыли своё дело, то вам и вашим советчикам стоит помнить, что если в качестве причины отказа вам указывают на какие-то ваши неудачи, то проблема может быть и не в них, и вам стоит тщательно всё обдумать, особенно если ситуация требует больших вложений. Если венчурный капиталист говорит: «Если бы только ваши продажи росли немного быстрее!», если потенциальный клиент говорит: «Неплохо, но у вас нет фичи Х», это может и не быть настоящей причиной. Возможно исправление этого поможет, а, возможно, и нет.

И то же самое следует учитывать при разногласиях. Робин Хансон и я считаем, что два рационалиста не могут согласиться не соглашаться: общее знание об эпистемологическом разногласии может появиться только в случае, если что-то пошло очень сильно не так.

Я подозреваю, что, если два рационалиста намереваются разрешить разногласие, которое не исчезло после первого обмена мнениями, им стоит ожидать, что настоящую причину разногласия либо сложно передать, либо сложно обнаружить. Такими причинами, например, могут быть:

• Малоизвестное, но хорошо обоснованное научное или математическое знание;
• Длинные понятийные расстояния;
• Плохо переводимые в слова интуитивные ощущения, возможно проистекающие из специфичных представлений;
• Образ мысли, присущий представителям определённой профессии (по вполне разумным причинам);
• Шаблоны, приобретённые с опытом;
• Просто мыслительные привычки;
• Эмоциональные привязанности к вере в определенный исход;
• Страх опровержения прошлых ошибок;
• Самообман на глубоком уровне, дающий повод для гордости или другие личные выгоды.

Если при решении вопроса все настоящие причины отказа можно легко предъявить, разногласие, скорее всего, будет разрешено очень быстро, почти наверняка — на первой встрече.

«Это моя настоящая причина отказа?» Именно этот вопрос должны задавать себе оба спорщика, чтобы им было легче иметь дело с противоположной стороной. Однако, по моим наблюдениям, попытки провести с собеседником сеанс публичного психоанализа приведут к ухудшению диалога очень-очень быстро.

И всё-таки, у спорщиков должна быть возможность вежливо спросить: «Это ваша настоящая причина отказа?» — если существует какой-то продуктивный способ получить ответ на этот вопрос. Возможно, стоит ввести правило, которое допускает открытый вопрос: «Этот простой и прямолинейный довод — ваша настоящая причина отказа, или дело в ваших интуитивных ощущениях, или профессиональном взгляде на мир?» Более неудобные возможности лучше оставить на совести собеседника, это уже их область ответственности.

Но идеальный аналитик мог бы пойти дальше: по одному-единственному предмету или живому существу он способен не только представить себе всю вселенную, но и ее развитие — от начала до самого конца
— Э.Э. Док Смит, «Первый Ленсмен»

Но стоит любому из вас сосредоточить свою мысль на одном-единственном факте или на каком-нибудь маленьком предмете, например, на камешке, на семени растения или на каком-нибудь крошечном живом существе, хотя бы на короткое время, как вы начнете постигать изреченную мной истину»
— Э.Э. Док Смит, «Серый Ленсмен»

Я обоснованно уверен, что отдельный камень, взятый с одного из пляжей Земли, не указывает на континенты и страны, политиков и людей этой Земли. Другие планеты во времени и пространстве, другие ветви Эверетта, сгенерировали бы тот же камень. С другой стороны, сущность единичного камня похоже включала бы наши законы физики. В этом смысле цельность нашей вселенной — все ветви Эверетта — можно было бы вывести из этого камня. (Если бы, как похоже и есть, не было бы по-настоящему свободных переменных)

Так что единичный камень, возможно, не заключает в себе всю Землю. Но единичный камень заключает в себе немало. Из изучения этого камня вы можете вывести законы физики и то, что из них следует. Размышляя об этих законах, вы можете увидеть, как будут формироваться планеты, и можете предположить, с какого вида планет этот камень. Внутренние кристаллическая и молекулярная структура камня формируются под воздействием гравитации, что расскажет вам о массе планеты; смесь элементов в камне даст вам возможность узнать больше о формировании планеты.

Я не геолог, так что не могу говорить точно, но легко представляю как показываю камень геологу и говорю: «Этот камень с пляжа в Халф Мун Бэй», — и мне тут же отвечают «Странно» или «Вы лжете». Возможно это не такой камень или он недостаточно округлый, чтобы быть с пляжа — я не знаю камни в достаточной мере, чтобы предположить связи и признаки, по которым меня можно было бы уличить.

«Только Бог может солгать абсолютно правдиво». Я думаю, была ли религия, которая изрекла пословицу? Я (фальсифицируемо) предположил бы, что нет: это мнение рационалиста, даже если вы изрекаете это в теологическом смысле. Слова «все связано со всем, потому что Бог создал весь мир и поддерживает его» могут генерировать некоторые хорошие теплые чувства во время проповеди, но не дадут вам особо много, если вы пытаетесь определить по камням с каких пляжей они взяты.

Монетка на Земле оказывает гравитационное ускорение на Луну порядка $4{,}5 \cdot 10^{-31} м/с^2$, так что в некотором смысле будет не слишком неправильно сказать, что любое событие связано со всеми прошлыми событиями. И поскольку выводы могут распространяться назад и вперед через причинные сети, эпистемологические сцепленности могут легко пересекать границы светового конуса. Но я бы не хотел быть астрономом-криминалистом, который смотрит на Луну и пытается по ней узнать, выпала ли монетка орлом или решкой — влияние меньше чем квантовая неопределенность или термальный шум.

Если вы скажете «Все сцеплено со всем» или «Все логически сцеплено и некоторые сцепленности намного сильнее прочих», вы, возможно, по-настоящему мудры вместо Глубокой Мудрости.

Физически каждое событие в некотором смысле является суммой прошлого светового конуса, без границ или ограничений. Но список значимых сцепленностей куда короче и это дает вам нечто вроде сети. Это высокоуровневая систематичность, на которую я ссылаюсь, когда говорю о Великой Сети Причинности.

Я использую эти Заглавные Буквы по большей части в шутку; но если бы что-либо заслуживало бы Заглавных Букв, то, конечно, Великая Сеть Причинности венчала бы список.

— Что за запутанную сеть мы плетем, когда в первый раз практикуем обман, — сказал сэр Вальтер Скотт. Не вся ложь вырывается из-под контроля — мы не живем в настолько праведной вселенной. Но иногда происходит так, что некто лжет о факте и потом вынужден лгать о сцепленном факте, а потом еще об одном, который сцеплен с предыдущим:

— Ты где?

— Э, я в поездке по делам фирмы.

— Что за поездка?

— Не могу сказать, это частные переговоры с важным клиентом.

— Ух ты, они допустили тебя к таким переговорам? Отличные новости! Я должен позвонить твоему шефу и поблагодарить его за это.

— Жаль, но его сейчас нет в офисе…

Люди не боги и часто им не удается представить все факты, которые им понадобится исказить, чтобы получить правдоподобную ложь. «Бог сделал меня беременной» звучало бы правдоподобней в старые времена, когда наши модели мира еще не содержали сведений об Y-хромосомах. Многие подобные факты лжи сегодня могут не выдерживать проверки, когда генетические проверки стали распространенными. Насильников заключают под стражу, ложные обвинения раскрываются, годы спустя, на основании тех свидетельств, о которых они и не думали. Студент, изучающий эволюционную биологию может видеть почерк естественного отбора в каждом волке, который преследует зайца; и каждом зайце, который убегает; и каждой пчеле, которая жалит, вместо того, чтобы вежливо предупреждать — но уловки креационистов для самих креационистов звучат убедительно, я уверен.

Не вся ложь раскрывается, не все лжецы бывают наказаны; мы не живем в настолько праведной вселенной. Но не вся ложь так безопасна, как полагают лжецы. Как много грехов станут известны Байесовскому сверхинтеллекту, думаю я, если он проведет (не разрушив?) нанотехнологический скан всей Земли? Как минимум, вся ложь, для которой существует какое-либо свидетельство в любом мозгу. Некоторая такая ложь может раскрыться раньше других, если нейробиологи преуспеют в создании по-настоящему хорошего детектора лжи через моделирование мозга. Пол Экман (пионер в области изучения микродвижений лицевых мускулов) пожалуй сможет раскрыть немалую долю мировой лжи, если у него будет возможность.

Не вся ложь раскрывается, не все лжецы бывают наказаны. Но Великая Сеть обычно недооценивается. Просто знание, которое люди уже накопили, заняло бы много человеческих жизней, чтобы быть изученным. Любой, кто думает, что не являющийся Богом, может солгать идеально без всякого риска, недооценивает сцепленность Великой Сети.

Честность — лучшая политика? Не знаю, так ли это: даже моя этика иногда молчит. Но по сравнению с прямой ложью, честность или молчание вовлекают меньше рекурсивно распространяющихся рисков, которые вы берете, даже не зная этого.

Судья Маркус Эйнфелд, 70 лет, Королевский адвокат с 1977 года, Живое Достояние Австралии 1997 года, лауреат премии мира ООН 2002 года, президент-основатель австралийской комиссии по правам человека и равным возможостям, ушедший на пенсию несколько лет назад, но регулярно привлекаемый для участия в особо важных делах…

…был осужден на два года тюрьмы за серию попыток исказить ход судебного процесса и дачу ложных показаний, которая началась с попытки избежать штрафа в 36 фунтов за превышение скорости на 6 миль в час.

В предыдущем эссе изложена морализаторски звучащая теория о честных людях, которые не умеют лгать, о том, что все поступки оставляют где-нибудь следы, и о том, что ложь иногда заканчивается «Чёрным лебедем» в виде грандиозного провала. И в реальной жизни в самом деле случаются истории, которые этой теории соответствуют. Хотя из-за избирательного восприятия мы слышим только о таких громких, как история про Маркуса Эйнфелда.

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным магистерием.»

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подражателями; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее соответствующей пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.

Я недавно говорил с женщиной, которая… сложно описать что. Формально она ортодоксальная еврейка. Ещё она очень умна, знакома с некоторыми археологическими доказательствами, опровергающими её религию, а также стандартными поверхностными аргументами против иудаизма. Например, она знает, что Мордекай, Хаман и Вашти не были найдены в персидских исторических записях, зато в древней Персии существовала легенда о вавилонских богах Мардуке и Иштар и враждующих с ними эламских богах Хуммане и Вашти. Она знает это и тем не менее справляет Пурим. Наверное, она одна из тех умных, но религиозных людей, которые варятся в своих противоречиях, дёргаясь и выдумывая причины, пока изнанка их мозга не начинает выглядеть, как картина Эшера.

Большинство людей такого типа притворяются, что они слишком мудрые, чтобы говорить с атеистами, но она согласилась пообщаться со мной несколько часов. В результате я, наконец, понял по крайней мере ещё одну вещь о самообмане, которую я никогда раньше явно не высказывал, а именно, что не нужно действительно обманывать себя, пока ты веришь, что ты обманул сам себя. Назовём это «верой в самообман».

Когда эта женщина ходила в старшую школу, она считала себя атеисткой. Но потом она решила, что должна вести себя, будто верит в бога. Затем — говорила она убедительно — со временем, она действительно поверила в бога. Из того, что я понял, это абсолютная неправда. В течение нашего разговора она всё время повторяла, снова и снова: «Я верю в бога», — но ни разу: «Бог есть». Когда я её спросил, почему она верит, она ни разу не упомянула о последствиях существования бога, только о последствиях веры в бога. Никогда: «Бог поможет мне», — всегда: «Моя вера в бога поможет мне». Когда я ей явно сказал: «Если кто-то просто захочет узнать истину и посмотрит на нашу Вселенную, как она есть, он даже не рассмотрит бога как гипотезу», — она мгновенно согласилась.

Она не заставила себя на самом деле верить в бога или в истинность иудаизма. Даже не близко, как я смог заметить. С другой стороны, она действительно верит в то, что обманула себя. Так что хоть она не получает никакой пользы от веры в бога — потому что не верит в него — она честно полагает, что хитростью заставила себя верить в бога, и честно ожидает получить бонусы от такого самообмана, таким образом создавая эффект плацебо вместо настоящей религиозности.

Это объясняет, почему она так рвалась убедительно защищать мои скептические предположения о её вере в бога, ни разу при этом не сказав: «А, и кстати, бог на самом деле существует», — или хотя бы не показавшись действительно заинтересованной в этом утверждении.

Я рассказывал о моём разговоре с формально ортодоксальной иудейкой, которая живо защищала утверждение, что она верит в бога, при этом не проявляя, собственно, веры в бога.

Задавая ей вопросы о плюсах, которые, как она думала, получала от веры, я познакомил её с литанией Тарского, которая на самом деле является бесконечным семейством литаний вида:

Если небо синее, я хочу верить, что «небо синее».

Если небо не синее, я хочу верить, что «небо не синее».

«Это не моя философия», — сказала она.

«Я и не предполагал этого», — я ответил. — «Я просто спрашиваю; предполагая, что бог не существует, и это известно, должна ли ты верить в бога?»

Она колебалась. Было видно, что она пытается действительно подумать об этом, что меня удивило.

«Ну это гипотетический вопрос…» — произнесла она медленно.

Тогда я подумал что ей должно быть сложно позволить себе визуализировать мир, где бога нет, из-за её привязанности к миру с существующим богом.

Сейчас же я подозреваю, что ей скорее было трудно уловить разницу между тем как выглядел мир с существующим и несуществующим богом, потому что все её мысли были о её вере в бога, но причинно-следственный блок в её мозге не содержал узла «бог». Так что она могла легко ответить на вопрос: «Как бы выглядел мир, если бы ты не верила в бога», — но не на вопрос: «Как бы выглядел мир, если бы в нём не было бога?»

Она не ответила на этот вопрос в тот раз. Зато она предложила контрпример к литании Тарского:

Она сказала: «Я верю, что люди добрее, чем они есть».

Я попытался объяснить ей, что если она говорит: «Люди злые», — это на самом деле означает, что она верит, что люди злые, а если она говорит: «Я верю, что люди добрые», — это показывает, что она верит, что она верит, что люди добрые. Отсюда выходит, что «Люди злые, но я верю, что люди добрые» переводится как «Я верю, что люди злые, но я верю, что я верю, что люди добрые».

Я процитировал:

«Если бы существовал глагол со значением „ложно верить“, он бы не имел осмысленного употребления от первого лица настоящего времени изъявительного наклонения», — Людвиг Витгенштейн.

Она ответила, улыбаясь: «Да, я действительно верю, что люди действительно добрее, чем они на самом деле являются. Я просто подумала, что так понятнее для тебя».

«Мне кажется Матушка Ветровоск должна хорошенько взглянуть на тебя, Уолтер», — сказала Нянюшка Ягг. — «Я думаю, что твой разум спутан, как клубок пряжи, который уронили», — Терри Пратчетт, «Маскарад».

И я могу даже явно напечатать мысль: «Ладно, предположим, что она не считает, что её размышления должны быть согласованы при их обдумывании», — но я до сих пор не могу уловить их смысл.

Я могу понять значение произносимых ею слов, но я не могу понять смысл на эмпатическом уровне. Я могу представить себя на месте детопожирающих пришельцев и Леди Кирицугу Третьей, но я не могу представить, каково быть ей. Или просто не хочу?

Вот почему сообразительные люди могут выдержать только конечное субъективное количество времени, затраченное на мысли о религии, перед тем как стать атеистами. После определённого порога, если ты умён, но, защищая свою религию, не избежал когтей эпистемологии Тёмной стороны, то твой разум станет похож на картину Эшера. (Один из немногих моментов, которые заставили её остановиться и подумать — упоминаю на случай, если вам подвернётся возможность использовать этот приём — это когда она говорила о том, как приятно верить, что кому-то не всё равно, хорошо или плохо ты поступаешь, вне зависимости правда это или нет — не выражая явно, существует ли в действительности бог, которому не всё равно, делаешь ли ты правильные вещи или нет (это не было частью её веры).

И я ответил: «Но мне не всё равно хорошо или плохо ты поступаешь. То есть ты говоришь, что это недостаточно, и тебе нужно знать, что есть сущность выше человечества, которой было бы это важно». Это остановило её на секунду, потому что, разумеется, она никогда не думала в этом ключе. Просто стандартный приём из нестандартного набора.

Позже в некоторый момент я спросил её, было бы хорошо делать что-то по-другому, если бы стало известно, что бога точно не существует, и в этот раз она ответила: «Нет».

«Итак», — скептически спросил я, — «существует бог или нет, это не оказывает абсолютно никакого эффекта на то, как следует вести себя людям? Я думаю, даже рабби бы отнёсся недоверчиво к такой точке зрения».

Её религия представляла собой одно лишь поклонение поклонению. Как раньше истинные верующие верили, что всевидящий отец всего живого спасёт их, так она верит, что вера в бога спасёт её.

После того как она сказала: «Я верю, что люди добрее, чем они есть», — я спросил: «Значит, ты постоянно удивляешься, когда люди не соответствуют твоим ожиданиям?» После длинной паузы, она медленно ответила: «Ну… удивлена ли я, когда люди… не соответствуют моим ожиданиям?»

Я не понял смысл этой паузы во время разговора. Я намеревался сказать, что если она постоянно разочаровывается реальностью, то это скорее всего просто недостаток неверных убеждений. Но вместо этого, мне показалось, её застал врасплох подтекст отсутствия у неё удивления.

Теперь я понимаю, что вся её философия зиждилась на вере, что она обманула себя, и возможность, что её настоящая оценка поведения людей была точной, угрожала эпистемологии Тёмной стороны, возведённой вокруг убеждений вроде «Я получаю пользу от веры, что люди добрее, чем они есть».

Она сняла старого идола с трона и заменила его явным поклонением тёмной эпистемологии, которую однажды изобрела, чтобы защищать идола; она поклоняется её же попытке самообмана. Попытка провалилась, но она честно не знает об этом.

Теперь образцовые стражники здравого смысла (девиз: «Обламываем вашу мелкую безумную братию со времён Эпикура») должные бороться ещё и активным поклонением самообману, поклонением предполагаемой пользе веры, вместо бога.

На самом деле это объясняет один факт обо мне самом, который я не совсем понимал ранее. Причина, по которой меня так раздражает, когда люди говорят, будто самообман — это просто, и почему я пишу целые эссе на тему, почему сделать мысленный выбор верить, что небо зелёное, и остаться без каши в голове сложнее, чем думают люди.

Потому что, хоть и нельзя просто так выбрать верить, что небо зелёное, если ты этого не сознаёшь, ты можешь на самом деле обмануть себя в том, что ты успешно обманул себя.

И раз уж ты искренне веришь, что получишь определённую пользу от самообмана, ты действительно получишь такой же плацебо-эффект, какой бы получил от успешного самообмана.

Так что когда я объяснял, насколько сложен самообман, я скорее критиковал плацебо-пользу, которую получали бы люди от веры в успешность этого действия, целясь в новый тип религии, который поклоняется поклонению богу.

Интересно, породит ли эта битва, новый список причин, почему не вера а вера в веру сама по себе - хорошая вещь? Почему люди выискивают великую пользу от почитания факта почитания определённой вещи? Придётся ли нам продолжать цепочку с верой в веру в веру и поклонением поклонению поклонению? Или разумные теисты не будут плодить сущности?

Хотел бы я верить, что никто не будет верить в веру в веру в веру, но аргумент мира зомби в философии ещё более запутанный чем это, и его сторонники всё ещё не забросили его.

Парадокс Мура это стандартный термин для выражения «За окном идёт дождь, но я в это не верю». Снимаю шляпу перед painquale на MetaFilter.

Я думаю, я стал понимать парадокс Мура немного получше, после того как прочитал некоторые комментарии на Less Wrong. Jimrandomh подсказывает:

Многие люди не могут разделить разные уровни косвенности. Для них «Я верю в X» и «X» это одно и то же. Следовательно, причины, почему полезно верить в X, это те же причины, почему X - истина.

Я не думаю, что это правда. Сравнительно маленькие дети могут понять концепцию ложного убеждения, которая требует раздельных ментальных вёдер для карты и территории. Но эта мысль указывает в направлении похожей идеи:

Многие люди не могут сознательно различить веру во что-то и поддерживание чего-то.

В конце концов, «Я верю в демократию» в разговорной речи означает, что ты поддерживаешь концепцию демократии, а не веру в то, что демократия существует. Слово «вера», таким образом, имеет более одного значения. Может, запутанные слова порождают путаницу в мыслях, а может, они просто отображают уже существующую путаницу.

Отсюда, в исходном примере: «Я верю, что люди добрее, чем они есть», женщина, с которой я разговаривал, выдумала несколько причин, почему хорошо верить, что люди добрые - польза для психического здоровья и прочее - и так как эта мысль вызывала тёплый отклик в её сознании, она исследовала его и заключила:

«Я верю, что люди добрые». Таким образом, она перенесла положительное чувство, связанное с поддерживаемым убеждением, на сигналирование веры в это заявление. В то же время, сам окружающий мир выглядит, будто люди не такие уж добрые. Поэтому она сказала: «Я верю, что люди добрее, чем они есть».

И это граничит с честной ошибкой - или вроде того - так как обычно людей не учат явно определять, как это выглядит, когда они во что-то верят. Как в притче о драконе в гараже; человек, который говорит: «В моём гараже есть дракон, но он невидимый», - не понимает, что его ожидание не увидеть дракона показывает, что на самом деле он поддерживает (точную) модель мира без дракона в ней.

Не то чтобы люди тренируются распознавать, когда они во что-то верят.

Не то чтобы их кто-то учил в старшей школе: «Когда вы действительно верите во что-то - это утверждение в вашем активном наборе убеждений - это выглядит будто мир такой и есть. Вы должны распознавать это чувство, которое и есть настоящее (без кавычек) убеждение, и отделять его от приятных ощущений от веры во что-то, которую вы распознаёте как веру во что-то; это есть просто „вера“ (с кавычками)». Такой подход к обучению позволил бы сделать пример парадокса Мура из жизни намного менее философски чуждым, и дало бы ещё один механизм при помощи которого люди могли бы быть одновременно и правы и неправы.

Как Kurige, который писал:

Я верю, что существует бог, и что он вселил в нас чувство правильного и неправильного, с помощью которого мы можем оценивать мир вокруг нас. Также я верю, что чувство морали было эволюционно запрограммировано в нас - чувство морали, которое скорее всего стало результатом метаполитических игр в популяциях бонобо много-много лет назад.

Эти два убеждения не противоречат друг другу, но сложно сшить их в одну философию.

Подозреваю, Kurige решил, что у него есть причины поддерживать убеждение, что бог внушил нам внутреннее чувство добра и зла. А также, что он должен следовать вердикту науки. И научное и религиозное сообщества кажутся весьма достойными, правда? Есть же плюсы в каждом наборе убеждений? При рефлексии можно обнаружить, что и то и другое даёт положительные эмоции?

Но он не сказал: «Бог вселил в нас чувство правильного и неправильного, а чувство морали было эволюционно запрограммировано в нас. Оба состояния реальности одновременно нестабильны, сложно их сочетать».

Если ты читаешь это, Kurige, попробуй быстро сказать эту фразу вслух, чтобы заметить, что её немного сложнее проглотить. Заметь субъективную разницу до того как займёшься рационализацией.

Это и есть субъективная разница между «иметь причины поддерживать обе точки зрения» и «иметь в мыслях единую модель мира».

Не хочу, чтобы показалось, будто я придираюсь к Kurige, но думаю, что следует ожидать определённого потока вопросов, если ты показываешься на Less Wrong и делаешь заявления вроде

Идея, которая позволила мне объяснить несоответствия, которые я чувствую, когда говорю с другими христианами — это мысль, что где-то на пути к моему текущему мировоззрению я сделал большой скачок от слепой веры к чему-то вроде Оруэлловского двоемыслия.

«Если ты знаешь, что это двоемыслие… как ты можешь всё ещё в него верить?» — не могу я не спросить.

Или:

я выбрал верить в существование бога — сознательно и преднамеренно. И это моё решение, как бы то ни было, не имеет абсолютно никакого эффекта на действительное существование бога.

Если ты знаешь, что твоё убеждение никак не коррелирует с реальностью, как ты всё ещё можешь его придерживаться?

Не должно ли осознание нутром «Стойте-ка, небо на самом деле не зелёное» сразу следовать за мыслью «Моя карта, утверждающая „небо зелёное“, не имеет никаких причин соответствовать территории»?

Ну… видимо нет.

По крайней мере частью этой загадки может быть моё объяснение парадокса Мура («На улице дождь, но я не верю в это») — что люди внутренне принимают положительные ассоциации, связанные с утверждением, за настоящую достоверность.

Но другая часть того, чем это просто могло быть (в противоположность негодованию, которое я изначально хотел сюда поместить) — действительная лёгкость застрять на шаге: «Карта, отражающая территорию, сказала бы „X“» — не перейдя к действительной убеждённости в „X“. Потребуется немного потрудиться, чтобы объяснить идеи о разуме как строителе картотерриториальных связей, и даже тогда, чтобы понять смысл нутром, может потребоваться больше работы.

Теперь я понимаю, что когда писал: «Вы не можете заставить себя верить, что небо синее, усилием воли», — я не был лишь беспристрастным обозревателем существующих фактов, а также пытался внушить самоисполняющееся пророчество.

Наверное, было бы мудрым решением повторять себе: «Я не смогу безнаказанно пользоваться двоемыслием! Глубоко внутри, я знаю, что это неправда! Если я узнаю, что у моей карты нет причин коррелировать с территорией, я не буду верить ей!»

Потому что так — если когда-нибудь появится соблазн попытаться обмануть себя — мысли «Но я же знаю, что это не правда!» и «Я не могу обмануть себя!» будут постоянно приходить на ум, и вы в самом деле с меньшей вероятностью преуспеете в самообмане. Вы с большей вероятностью поймёте на уровне подсознания, что убеждение себя в X не сделает X истиной.

Если вы будете говорить себе, что не можете преднамеренно поверить, что небо зелёное, тогда вы с меньшей вероятностью обманете себя на том или ином уровне: на уровне действительной веры во что-то или попадания в ловушку парадокса Мура, веры в веру или веры в самообман.

Если вы будете повторять, что в глубине души вы будете знать правду…

Если вы будете повторять, что можете просто глядеть на хитро сконструированную ложную карту, и знать, что она ложная, не ожидая никакой корреляции с территорией, и следовательно, не смотря на всю причудливость сооружения, не будете вкладывать в неё доверия…

Если вы будете повторять, что согласованность с реальным миром победит и не позволит вам верить в придуманные вещи на объектном уровне, как только вы придёте к мета-уровневому осознанию, что карта не отражает территорию, тогда положение дойдёт до критического момента и вы в самом деле можете не суметь с ним справиться.

Когда дело доходит до умышленного самообмана, вы должны верить в собственное неумение это делать!

Скажите себе, что попытка обречена — и она будет!

Это сила позитивного мышления или сила негативного мышления?

В любом случае, кажется, что это мудрая предосторожность.

Предположим, я у вас на глазах раскручиваю рулетку и выпадает число 65. После чего я спрашиваю: «Как вы думаете, процент африканских стран в ООН больше этого числа или меньше? Какова вообще доля африканских стран в ООН?» Попробуйте немного подумать над этими вопросами, только, пожалуйста, без Гугла.

А ещё попробуйте за 5 секунд примерно оценить результат следующего арифметического выражения. 5 секунд. Готовы? Внимание… время пошло!

$$ 1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8 $$

Тверски и Канеман изучали, какие ответы дают люди в зависимости от того, какие числа они видят на рулетке1. Медианная оценка тех, у кого выпадало число 65, равнялась 45%. Для тех, у кого выпадало 10, медианная оценка равнялась 25%.

В настоящее время результаты этого эксперимента и ему подобных объясняются тем, что испытуемые берут начальное — неинформативное — число в качестве стартовой точки (или «якоря»), а затем корректируются в большую или меньшую сторону, пока не получат ответ, который будет «звучать правдоподобно». На этом корректировка заканчивается. Обычно люди корректируются недостаточно — более удалённые от «якоря» числа тоже могут выглядеть «правдоподобно», но люди останавливаются на первом ответе, который кажется удовлетворительным.

Аналогично, у студентов, которым показали произведение $ 1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8 $, медианной оценкой было 512, а у студентов, которым показали произведение $ 8 \cdot 7 \cdot 6 \cdot 5 \cdot 4 \cdot 3 \cdot 2 \cdot 1 $, медианная оценка равнялась 2250. Это объясняется гипотезой, что студенты пытались перемножать (или прикидывать) результаты произведения первых сомножителей, а затем корректировались в большую сторону. В обоих случаях корректировка оказалась недостаточной — верный ответ равен 40320. Но ответы первой группы оказались хуже, потому что они отталкивались от меньшего «якоря».

Тверски и Канеман утверждают, что, даже когда людям предлагают награду за большую точность, эффект якорения не уменьшается.

Страк и Муссвайлер задавали людям вопрос, в каком году Эйнштейн в первый раз посетил США2. Обнаружилось, что совершенно неправдоподобные якоря, такие как 1215 или 1992, дают такой же эффект, как и более правдоподобные, такие как 1905 или 1939.

Эффект якорения часто используется при обсуждении заработной платы и при покупке машины. Я не призываю вас самих им пользоваться, но рекомендую следить, чтобы его не использовали против вас.

И главное: наблюдайте за своими мыслями, старайтесь замечать, когда вы корректируетесь в поисках ответа.

Способов противодействия якорению с доказанной эффективностью пока не обнаружено. Я бы предложил использовать следующие два. Во-первых, если первоначальное предположение выглядит неправдоподобным, попытайтесь полностью его отбросить и получить новую оценку, а не корректируйтесь относительно «якоря». Однако, этого может быть недостаточно — когда испытуемым говорили избегать якорения, судя по всему, это им не удавалось3. Поэтому, во-вторых, даже когда вы используете первый метод, пытайтесь также придумать «якорь» с противоположной стороны — «якорь», который явно слишком мал или слишком велик (в зависимости от того, велик или мал изначальный «якорь») — и немного подумайте о нём.

• 1. Amos Tversky and Daniel Kahneman, «Judgment Under Uncertainty: Heuristics and Biases», Science 185, no. 4157 (1974): 1124–1131, doi:10.1126/science.185.4157.1124.
• 2. Fritz Strack and Thomas Mussweiler, «Explaining the Enigmatic Anchoring Effect: Mechanisms of Selective Accessibility», Journal of Personality and Social Psychology 73, no. 3 (1997): 437–446.
• 3. George A. Quattrone et al., «Explorations in Anchoring: The Effects of Prior Range, Anchor Extremity, and Suggestive Hints» (Unpublished manuscript, Stanford University, 1981).

Предположим, вы просите людей нажимать одну клавишу, если строка из букв представляет собой слово, и другую клавишу, если строка не является словом (например, «вывеска» и «выверк»). Потом вы показываете им слово «вода». После этого люди опознают строку «пить» как слово гораздо быстрее. Это явление известно как «когнитивный прайминг». Конкретно эту форму можно назвать «семантический прайминг» или «концептуальный прайминг».1

Самое интересное в прайминге — это то, что он работает на очень низком уровне. Прайминг ускоряет идентификацию букв как слова, при том, что естественно было бы ожидать, что человек сначала опознаёт буквы как слово, а только потом понимает смысл этого слова.

Прайминг также показывает масштабность процесса параллельно активирующихся цепочек ассоциативных связей. Если при виде слова «вода» активируется слово «пить», то, скорее всего, активируются и слова «река», «чашка», «всплеск»… И эта активация распространяется через семантическую связь концептов, действуя начиная с распознавания строчек из букв.

Прайминг происходит подсознательно и его невозможно остановить, это артефакт человеческой нейронной архитектуры. Пытаться остановить прайминг у себя всё равно что пытаться остановить активацию собственных нейронных цепей. Попробуйте вслух произнести цвет — не значение, а именно цвет — следующего набора букв:

Зелёный

В исследовании Массвайлера и Страка испытуемым задавали вопрос (подразумевавший якорение): «Ежегодная средняя температура в Германии выше или ниже 5 градусов/20 градусов?»2 В дальнейшем, при выполнении задачи на распознание слов, описанной выше, испытуемые, которым задавали вопрос, где фигурировало «5 градусов», быстрее опознавали слова наподобие «холодно» или «снег», а те, кто отвечал на формулировку с 20 градусами, быстрее узнавали «тепло» и «солнце». Это показывает некорректируемый при якорении механизм: прайминг сходных мыслей и воспоминаний.

Более общие результаты исследований прайминга показывают, что даже совершенно неинформативная, очевидная ложь или совершенно посторонняя «информация» могут влиять на оценки и решения. В области эвристик и искажений данное общее явление известно как контаминация.3

Ранние исследования в области эвристик и искажений продемонстрировали эффекты якорения. Например, испытуемые оценивали процент африканских стран в ООН ниже (выше), в зависимости от того, спрашивали ли их перед этим, больше или меньше ли этот процент, чем 10 (65). Этот эффект изначально объяснялся тем, что испытуемые брали «якорь» как стартовую точку, а потом корректировали свой ответ и прекращали корректировку сразу же, когда достигали какого-то правдоподобного значения — останавливались на одном из концов доверительного интервала.4

Судя по всему, ранняя гипотеза Тверски и Канемана верно объясняла явление в некоторых случаях, особенно когда испытуемые сами определяли начальные значения.5 Но, похоже, современные исследования показывают, что в большинстве случаев якорение вызывается контаминацией, а не недостаточной корректировкой. (Спасибо анонимному читателю за напоминание — много лет назад я читал статью Эпли и Гиловича, как главу в «Правилах и предубеждениях», но совершенно забыл о ней.)

Скорее всего, в супермаркете, куда вы ходите, есть раздражающие таблички, на которых написано: «не более 12 в одни руки» или «5 штук за 10$». Успешно ли эти таблички заставляют посетителей покупать больше? Вероятно, вы думаете, что на вас такие трюки не действуют. Но известно, что такие таблички работают — именно поэтому магазины их и используют.6

И всё же самое ужасное в контаминации — то, что она является ещё одним из тысячи обликов предвзятости подтверждения. Когда идея попадает человеку в голову, она влияет на всю связанную с ней информацию — и тем самым способствует своему дальнейшему существованию. Выработанное средой стремление побеждать в политических дебатах тут уже не важно. Предвзятость подтверждения напрямую встроена в наше «железо», ассоциативные сети влияют на все связанные мысли и воспоминания. Печальный побочный эффект нашей нейронной архитектуры.

Мимолётного образа может быть достаточно для быстрого распознавания связанных с ним слов. Этого уже хватит, чтобы запустить предвзятость подтверждения. Один миг - и нижняя строчка уже определена, поскольку мы меняем своё мнение реже чем нам кажется.

• 1. Нобелевский лауреат публично признал ошибки — Прим.перев.
• 2. Thomas Mussweiler and Fritz Strack, «Comparing Is Believing: A Selective Accessibility Model of Judgmental Anchoring», European Review of Social Psychology 10 (1 1999): 135–167, doi:10.1080/14792779943000044.
• 3. Gretchen B. Chapman and Eric J. Johnson, «Incorporating the Irrelevant: Anchors in Judgments of Belief and Value», in Gilovich, Griffin, and Kahneman, Heuristics and Biases, 120–138.
• 4. Tversky and Kahneman, «Judgment Under Uncertainty.»
• 5. Nicholas Epley and Thomas Gilovich, «Putting Adjustment Back in the Anchoring and Adjustment Heuristic: Differential Processing of Self-Generated and Experimenter-Provided Anchors», Psychological Science 12 (5 2001): 391–396, doi:10.1111/1467-9280.00372.
• 6. Brian Wansink, Robert J. Kent, and Stephen J. Hoch, «An Anchoring and Adjustment Model of Purchase Quantity Decisions», Journal of Marketing Research 35, no. 1 (1998): 71–81, http://www.jstor.org/stable/3151931 .

В некоторых из ранних экспериментов по якорению и корректировке проверялось, ухудшится ли у испытуемых качество корректировки (и, как следствие, увеличится ли влияние «якоря»), если их отвлекать — например, испытуемых просили отыскивать среди многих цифр «пятёрку», обеспечивая тем самым им когнитивную «нагрузку». Судя по всему, большинство экспериментов подтвердили точку зрения, что когнитивная нагрузка усиливает эффект якорения и, в общем случае, контаминацию.

Когда Дэниэл Гилберт изучал накапливающиеся результаты экспериментов — всё больше и больше подтверждений контаминации, которую усиливала когнитивная нагрузка — ему пришла в голову поистине безумная гипотеза: Мы верим вообще всему, что нам говорят?

Естественно было бы предположить, что, когда мы слышим некое утверждение, мы сперва понимаем его суть, затем размышляем над ним, и в итоге принимаем его или отвергаем. Такая напрашивающаяся модель познавательного процесса предлагалась ещё Декартом. Но оппонент Декарта — Спиноза — возражал: по его мнению, мы в процессе понимания утверждения сперва пассивно принимаем его, и только затем активно отказываемся от утверждений, которые отвергаем в процессе размышлений.

На протяжении нескольких последних веков философы в основном придерживались точки зрения Декарта, поскольку она казалась, ну вы понимаете — более логичной и интуитивно понятной. Но Гилберт придумал способ экспериментально проверить гипотезы Декарта и Спинозы.

Если Декарт прав, то отвлечение испытуемых помешает им как принимать истинные утверждения, так и отвергать ложные. Если прав Спиноза, то отвлечение испытуемых приведёт к тому, что они будут чаще принимать ложные утверждения за истинные, но не станут чаще принимать истинные утверждения за ложные.

Исследование Гилберта, Крула и Мэлоуна подтвердило точку зрения Спинозы. Испытуемым показывали новые для них утверждения с пометками ИСТИННО или ЛОЖНО. В результате испытуемые примерно одинаково точно опознавали истинные утверждения (55% утверждений было опознано правильно, если испытуемых не отвлекали и 58%, если отвлекали). Однако, отвлечение влияло на идентификацию ложных (55% было опознано правильно, когда испытуемых не отвлекали, и 35%, когда отвлекали).1

Последующие эксперименты Гилбера, Тафароди и Мэлоуна2 дали ещё более поразительные результаты. Испытуемые зачитывали вслух с монитора отчёты о преступлениях. В тексте цветом помечалось, является ли конкретное утверждение истинным или ложным. Некоторые отчёты содержали ложные утверждения, усугубляющие тяжесть преступления, некоторые — ложные утверждения, смягчающие тяжесть преступления. Некоторым испытуемым во время чтения отчётов приходилось отвлекаться на строку цифр и выискивать в них цифру «5» — это было отвлечение для создания когнитивной нагрузки. В конце испытуемых просили дать рекомендацию, сколько лет тюрьмы следует назначить каждому преступнику (от 0 до 20 лет).

Испытуемые, которые действовали под когнитивной «нагрузкой» в среднем предлагали 11,15 лет заключения за преступления, описанные в отчётах с ложными отягчающими обстоятельствами. За преступления, описанные в отчётах с ложными смягчающими обстоятельствами, эти испытуемые в среднем предлагали 5,83 лет заключения. Разница оказалась почти двукратной, что, как вы можете догадаться, статистически значимо.

Контрольная группа действовала без когнитивной нагрузки — с теми же пометками и с той же бегущей строкой цифр, но им не нужно было искать цифру «5». Таким образом они могли уделить больше внимания «неправдоподобным» утверждениям, отмеченным как ложные. Участники из контрольной группы предлагали 7,03 лет заключения для преступников с ложными отягчающими обстоятельствами против 6,03 лет для преступников с ложными смягчающими обстоятельствами.

Статья Гилберта, Крула и Мэлоуна вышла под названием «Вы не можете не верить всему, что вы читаете».

Эти результаты наводят на мысль, что нам, как минимум, следует вести себя очень осторожно, когда нам попадается ненадёжная информация. Особенно, если в это время мы заняты чем-то ещё. Будьте бдительны, читая газеты в супермаркете.

P.S. Согласно непроверенным слухам, которые я просто выдумал, люди будут больше доверять написанному в этом эссе, поскольку для отвлечения внимания я использую здесь шрифт разных цветов.

• 1. Daniel T. Gilbert, Douglas S. Krull, and Patrick S. Malone, «Unbelieving the Unbelievable: Some Problems in the Rejection of False Information», Journal of Personality and Social Psychology 59 (4 1990): 601–613, doi:10.1037/0022-3514.59.4.601.
• 2. Gilbert, Tafarodi, and Malone, «You Can’t Not Believe Everything You Read».

Одна из величайших загадок человеческого мозга заключается в том, как он вообще может работать, если частота импульсации большинство нейронов составляет 10-20 раз в секунду, в лучшем случае 200 Гц. В нейронауках есть правило ста шагов, согласно которому любая теоретически допустимая операция должна занимать не более 100 последовательных шагов: вы можете сделать процессы обработки настолько параллельными, насколько вам хочется, но вы не можете задействовать в них больше 100 (а лучше меньше) нейронных импульсов, следующих подряд.

Можете ли вы вообразить программу, которая использует 100-герцовые процессоры, независимо от имеющегося их количества? Чтобы сделать в реальном времени хоть что-нибудь, понадобится сто миллиардов процессоров.

Если нужно написать действующие в реальном времени программы для сотни миллиардов 100-герцовых процессоров, можно использовать такой трюк, как кеширование. Суть его следующая: вы сохраняете результаты предыдущих операций и в следующий раз обращаетесь сразу к ним, а не вычисляете с нуля. И это весьма характерно для работы мозга, заключающейся в распознавании, поиске ассоциаций, выборе шаблона.

Разумно предположить, что большая часть когнитивных процессов у человека представляет собой поиск в кеше.

Данная мысль мелькает в моем мозгу время от времени.

Есть очень показательная история, которую я вроде бы сохранил в закладках, но потом не смог найти — это рассказ о человеке, чей сосед-всезнайка однажды мимоходом заметил, что легче всего убрать дымовую трубу из дома так: выломать топку, подождать пока труба опустится ниже, убрать видимый ее кусок, подождать пока она опустится еще и так далее, пока вся труба не будет убрана. Годы спустя, когда тот человек хотел убрать дымовую трубу из своего дома, эта кешированная мысль всплыла в его сознании…

Как рассказывал этот человек уже потом — как можно догадаться, дело отнюдь не заладилось — его сосед не особенно хорошо разбирался в этой сфере и не был надежным источником. Если б герой нашей истории подверг ту идею сомнению, он скорее всего понял, что она неудачна. Некоторые кешированные результаты все же лучше вычислять заново. Но мозг следует шаблону автоматически: если вы не осознаете, что шаблон нуждается в исправлении, вы так и продолжите действовать по прежнему шаблону.

Я подозреваю, что если бы та мысль пришла к человеку самостоятельно — если бы он сам додумался до той идеи о том, как убрать дымоход — он бы отнесся к ней более критически. Но если кто-то уже обдумал идею со всех сторон, вы можете сэкономить свои вычислительные ресурсы, просто кешировав результат — так?

Никто не может думать достаточно быстро, чтобы использовать исключительно свои собственные мысли, особенно в условиях современной цивилизации. Если бы меня в младенчестве бросили в лесу, где меня воспитали бы волки либо бессловесные роботы, во мне едва ли можно было бы узнать человека. Никто не может думать достаточно быстро, чтобы за одну жизнь кратко воссоздать мудрость племени охотников-собирателей, начиная с самого нуля. И уж подавно это невозможно для мудрости цивилизации, овладевшей письменностью.

С другой стороны, я постоянно вижу поборников критического мышления, которые при этом повторяют кешированные мысли, придуманные теми, кто думает отнюдь не критично.

Хорошим примером будет скептик, который согласен с невозможностью доказать или опровергнуть религию фактическим свидетельством. Как я уже отмечал, согласно теории вероятности, это просто ложь. И относительно реальной психологии религии это тоже просто ложь — если б вы сказали такое несколько веков назад, то оказались на костре. Мать, чья дочь больна раком, молится: «Господь, пожалуйста, исцели мою дочь», а не «Дорогой Господь, я знаю, что религии не позволяют иметь каких-либо фальсифицируемых последствий, а это значит, что ты, скорее всего, не можешь исцелить мою дочь, так что… ну, в общем, я молюсь, чтобы почувствовать себя лучше, вместо того, чтобы сделать что-то действительно полезное для моей дочери».

Но люди читают «Нельзя доказать или опровергнуть религию фактическим доказательством» и в следующий раз, когда они видят часть доказательства, которое опровергает религию, их мозг реагирует по шаблону. Даже некоторые атеисты повторяют этот абсурд без тени сомнений. Если бы они обдумали данную идею самостоятельно, а не услышали от кого-то еще, они бы отнеслись к ней скептичнее.

Смерть. Шаблон «смерть придает смысл жизни».

Так раздражает, когда хорошие и достойные люди, которые сами никогда бы в жизни не додумались о том, чтобы стереть человечество с лица земли, поднимают в разговоре тему экзистенциальных рисков и говорят: «Ну, возможно, человечество не заслуживает выживания». Они в жизни бы не выстрелили бы в собственного ребенка — а ведь он тоже часть человечества — однако их мозг следует шаблону.

От каких из шаблонов, работающих в вашем мозге, вы хотели б избавиться?

Рациональность. Шаблон «любовь нерациональна».

Если бы эта идея внезапно пришла бы именно к вам как совершенно новая мысль, как бы вы стали ее критически анализировать? Я знаю, что я бы сказал, но что сказали бы вы? Взглянуть свежим взглядом может быть нелегко. Старайтесь не давать вашему мозгу следовать по стандартному, ожидаемому, уже известному пути. В конкретном случае может не существовать лучшего ответа, чем привычный, но вы не можете обдумать ответ на этот вопрос, пока не заставите свой мозг не выдавать ответ автоматически.

Теперь, когда вы прочитали мое эссе, в следующий раз, услышав, что кто-то уверенно повторяет мем, который вам кажется глупым или ложным, вы подумаете: «кешированная мысль». Мое убеждение теперь у вас в голове, ждет возможности стать шаблоном. Но верно ли оно? Не позволяйте мозгу следовать шаблону! Думайте!

Всякий раз, когда кто-то призывает вас «думать нестандартно», они обычно, для вашего удобства, точно указывают рамки этого «нестандартно». Не забавно ли видеть одинаково выглядящих нонконформистов?..

В области исследований искусственного интеллекта у всех агитаторов нестандартного подхода есть готовый ответ на всё - нейронные сети. Они ведь могут имитировать работу человеческого мозга! Новая идея для ИИ. Завершите шаблон: «Логические ИИ, несмотря на все обещания, так и не дают реальный результат десятилетиями — все что нужно, это нейронные сети!»

Эта кешированная мысль крутится уже четвёртый десяток лет. А сильного интеллекта пока всё нет. Но все откуда-то знают, что нейронные сети являются Доминантной-Парадигмой-Инновационной-Идеей, причем еще со времен изобретения алгоритма обратного распространения ошибки в 1970-х. Со времен хиппи.

Нонконформисты по своей природе хотят отличаться от нормы. Если вы не носите черное, как люди узнают, что вы угнетенный художник? Как людям распознать уникальность, если неизвестен шаблон, в соответствии с которым распознается уникальность? Как кто-либо поймет, что ваш концепт ИИ революционен, если это не нейронные сети?

Другим примером этого же явления можно назвать «контркультурную» литературу, произведения которой похожи друг на друга, выходят из под пера небольшой группы непокорных бунтарей, и попадают в учебную программу факультета английской литературы. Как спросил Anonymous в блоге Скотта Ааронсона:

«Хоть какое-то из прочитанных контркультурных произведений хоть как-то изменило ваши политические взгляды?»

Или как замечает Lizard:

«Революцию уже крутят по телеку1. Революция уже коммерциализированна. Она стала одним из брендов и доступна в магазине. Всего двадцать долларов за комплект из маски, баллончика с краской, транспаранта «Мочи фашистов» и доступа к блогу, где можно писать о том, как жестоко с тобой обращалась полиция после того, как ты приковал себя к столбу. Капитализм уже научился продавать антикапитализм».

Многие в Кремниевой Долине наблюдают, как большинство венчурных капиталистов в любой момент времени гонятся за одной и той же Революционной Инновацией, которая является абсолютно той же, что и полгода назад. Это особенно разрушительное наблюдение в венчурном капитале, поскольку там есть прямой экономический мотив не следовать за стадом — даже если кто-то еще развивает продукт или снижает цену на стартап. Стив Юрветсон однажды сказал мне, что в Драпер Фишер Юрветсон только двум партнерам нужно согласиться, чтобы основать любой стартап до полутора миллионов долларов. И если все партнеры согласны, что какая-то вещь звучит здорово, они этого не делают. Если бы только комитеты по распределению грантов были так же разумны.

Проблема с оригинальностью в том, что вы по-настоящему должны думать, чтобы добиться этого, вместо того, чтобы позволить мозгу последовать шаблону. Нет ничего с наклейкой «за границами шаблона», куда вы могли бы сразу отправиться. Это почти что дзен — типа того, что вы не можете понять сатори через слова, потому что сатори это опыт, который происходит без слов. Чем больше вы стараетесь следовать инструкциям мастера дзен, которые он дает вам через слова, тем дальше вы будете от очищения своего разума.

По этой причине, как я думаю, люди и не добиваются новизны, стремясь к ней. Свойства типа правды или хорошего дизайна независимы от новизны: 2 + 2 = 4, да, правда, даже несмотря на то, что каждый так думает. Люди, которые стремятся открыть правду или изобрести хороший дизайн, могут достигать креативности. Не каждое изменение есть улучшение, но каждое улучшение есть изменение.

Каждое улучшение есть изменение, но не каждое изменение есть улучшение. Тот, кто говорит «я хочу построить оригинальную мышеловку!», а не «я хочу построить оптимальную мышеловку!», всегда желает восприниматься как оригинал. «Оригинальность» в этом смысле по существу социальна, потому что может быть определена только в сравнении с другими людьми. Так что их мозг просто выполняет стандартный шаблон, для которого распознается «оригинальность», после чего их друзья кивают, соглашаясь, и говорят, что это антиправительственно.

Книги по бизнесу всегда говорят вам, для вашего удобства, куда нужно идти, чтобы получить кусочек сыра. В ином случае читателям оставалось бы только спрашивать «Где это «за пределами», куда мне нужно идти?»

Настоящее мышление, наподобие сатори, — бессловесный акт сознания.

Лучше всех эту мысть сформулировали выдающиеся философы из Монти Пайтона в Житии Брайана2:

— Вы должны думать сами! Вы все личности!
— Да, мы все личности!
— Вы все разные!
— Да, мы все разные!
— Вы все должны соображать своей головой!
— Да, мы все должны соображать своей головой!

• 1. отсылка к https://en.wikipedia.org/wiki/The_Revolution_Will_Not_Be_Televised (прим. пер.)
• 2. Житие Брайана по Монти Пайтону, 1979

Поскольку Роберт Пирсиг выразил это очень хорошо, я просто скопирую ниже то, что он сказал. Я не знаю, основана ли эта история на реальных событиях или нет, но в любом случае она истинна.

У него возникали трудности со студентами, которым нечего было сказать. Вначале он полагал, что это лень, но позднее стало очевидно, что это не так. Они просто не могли придумать, что говорить.

Одна из них, девушка в стильных очках, хотела написать эссе на 500 слов о Соединённых штатах. Он привык уже, когда внутри все опускается от подобных утверждений, и, не отговаривая её, предложил ей лучше сузить тему только до Бозмена.

Когда подошёл срок, работы у неё не вышло, и она была довольно сильно расстроена этим. Она сказала, что пробовала и пыталась писать так и этак, но не смогла ничего придумать.

Это просто обескуражило его. Теперь он сам не мог сообразить, что же ему сказать. Наступило молчание, и затем последовал своеобразный совет: “Ограничьтесь-ка только главной улицей Бозмена”. И это оказалось просто озарением.

Она покорно кивнула и вышла. Но перед следующим уроком она вернулась в совершенном отчаянии, со слезами, отчаяние это назревало у неё, очевидно, уже давно. Она ничего не смогла придумать и не понимала, почему, если она не может ничего сказать обо всём Бозмене, она должна суметь написать что-либо всего лишь об одной улице.

Он рассвирепел. “Вы просто не смотрите!” — заявил он. Ему вспомнилось, как его самого отчислили из университета за то, что он слишком много говорил. По каждому факту есть бесконечное множество гипотез. Чем больше смотришь, тем больше видишь. Она в действительности не смотрела и почему-то не осознавала этого.

Он сердито предложил ей: “Ограничьтесь тогда фасадом одного из зданий на главной улице Бозмена. На оперном театре. Начните с верхнего левого кирпича”.

Ее глаза за толстыми линзами очков, широко распахнулись.

На следующий урок она пришла с озабоченным взглядом и вручила ему эссе на пять тысяч слов о фасаде здания оперы на главной улице Бозмена, штат Монтана. “Я сидела в закусочной через дорогу, — писала она, — и начала описывать первый кирпич, затем второй, а на третьем кирпиче всё началось, и я не смогла остановиться. Они посчитали меня чокнутой и всё время подтрунивали надо мной, но вот так оно получилось. Ничего не понимаю.”

Он тоже не понимал, но во время долгих прогулок по улицам города размышлял об этом и пришёл к выводу, что ей мешала та самая преграда, которая парализовала его в первый день его преподавательской деятельности. Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше. Ограничение темы одним кирпичом разрушило эту преграду, ибо стало очевидно, что ей нужно непосредственно увидеть нечто самой.

(Из книги Роберта М. Пирсига «Дзен и искусство ухода за мотоциклом», на основе перевода Геннадия Башкова.)

Представьте, если бы я сказал вам, что следующие заявления абсолютно точно являются истинными:

• Если вы покраситесь в строго определённый цвет между синим и зелёным, сила гравитации поменяет свое направление и вы будете падать вверх.
• В будущем по всему небу будут плавать миллиарды черных сфер. Каждая из них будет больше всех когда-либо существовавших до этого дирижаблей вместе взятых. Если вы предложите ей деньги, для вас на тросе спустится мужчина по вызову.
• Ваши внуки будут думать, что отправлять воров в тюрьму вместо того, чтобы их просто шлёпать, — не просто глупо, но и очень жестоко.

Вы бы решили, что я сошел с ума, верно?

А теперь представьте, что сейчас — 1901 год, и вам нужно выбрать, что более правдоподобно — утверждения, перечисленные выше, или следующие:

• Существует абсолютный предел скорости, при которой объекты будут все еще казаться движущимися относительно друг друга, и точное значение этой скорости — 1 079 252 848,8 километров в час. Если вы прыгнете в поезд, идущий с такой скоростью, и выстрелите из окна, фундаментальные единицы измерения длины изменятся, и вам будет казаться, что пуля летит быстрее вас, однако другие люди будут видеть это иначе. О, и время изменится тоже.
• В будущем будет существовать суперсвязанная глобальная сеть, состоящая из миллиардов постоянно подключающихся к ней машин, причем каждая из этих машин будет мощнее всех когда-либо существовавших до 1901 года машин вместе взятых. Одним из главных способов использования этой сети будет передача движущихся картинок, изображающих лесбийский секс, поскольку эти картинки якобы состоят из чисел.
• Ваши внуки будут думать, что говорить, будто женщина не должна быть президентом Соединённых Штатов только потому, что она — чёрная, — не просто глупо, но и очень жестоко.

Это эссе появилось по мотивам комментария Робина Хансона: «Интересно, можно ли написать со всеми сопутствующими подробностями рассказ об альтернативной реальности, которую наши предки не смогли бы отличить от правды, чтобы показать со всей ясностью, насколько неожиданной она действительно оказалась».

Когда я пытаюсь познакомить человека с концепцией продвинутого ИИ, что я слышу в первую очередь в более чем половине случаев?

«А, это как в Терминаторе/Матрице/у Азимова!»

И я отвечаю, «Э, нет, не совсем. Я склонен избегать логического заблуждения обобщения на основе выдуманного свидетельства».

Некоторые люди понимают сразу и смеются. Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.

Что плохого в использовании кино или книг как исходной точки обсуждения? В конце концов, никто ведь и не говорит, что это истина. Где же ложь, в чем здесь грех рационалиста? Научная фантастика представляет собой попытку автора представить будущее; почему бы не воспользоваться плодами уже сделанных размышлений, вместо того, чтобы начинать заново?

Не каждый неверный шаг в точном танце рациональности заключается в явно видимом убеждении в чем-то ложном; есть менее заметные пути ошибаться.

Сначала давайте предположим, что научная фантастика представляет собой полноценную рациональную попытку предсказать будущее. Даже наиболее добросовестные писатели в первую очередь повествователи; требования к повествованию непохожи на требования к прогнозированию. Как отметил Ник Бостром1:

Когда в последний раз вы видели фильм о том, как человечество внезапно вымирает (без предупреждения и без того, чтобы его кто-то заменил)? А ведь такой сценарий может быть куда вероятнее, чем сценарий где люди-герои успешно отражают вторжение монстров или роботов, хотя он намного скучнее.

Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:

Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.

Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»

Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.

Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.

С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.

«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательных усилий для избегания искажения абсурдности и широких интервалов подтверждения , обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестном неизвестном. Преждевременный переход к «Матрица: да или нет?» пропускает все это.

Любой профессиональный переговорщик знает, что управляя определениями можно практически предрешить исход дискуссии. Если вы начали с размышлений о Матрице, то в вашей голове станут возникать образы марширующих армий роботов, с трудом побеждающих людей — а не образ суперинтеллекта, похрустывающего нанотехнологическими пальцами. Такая постановка вопроса заставляет фокусироваться на «Мы против них», переводя потом внимание на вопросы типа «Кто победит?», «Кто должен победить?», «ИИ на самом деле будет такой?» Это создает общую атмосферу зрелищности, типа «Каково твое удивительное видение будущего?»

Позабытыми в гулкой пустоте являются: рассмотрения, что возможно более одного варианта реализации ИИ; зависимость будущего от начальных условий; сила интеллекта, превосходящего человеческий, и аргумент его непредсказуемости; есть люди, которые принимают риски всерьез и стараются предотвратить их.

Если определенные нечестные спорщики хотят, чтобы люди пришли к нужному им выводу, и начинают обсуждение с опровержения «Терминатора», то они искажают рамки данного обсуждения. В дебатах по контролю над оружием, ратующий за оружие не хочет начинать спор как «помешанный на стрельбе псих», а противник оружия не хочет начинать спор как «сторонник обезоруживания населения». Так почему вы следуете такому изменению рамок со стороны сценаристов Голливуда, пусть даже неумышленно?

Журналисты не говорят мне «будущее будет похоже на 2001 год.». Но они спрашивают «будет ли похоже будущее на 2001 год или вероятен приход ИИ?» Это столь же неправильная формулировка как и «Должны ли мы создать льготы для ветеранов или поднять налоги для богатых?»

В мире, в котором жили предки, не было движущихся картинок; то что ты видел своими глазами, было истиной. Краткий отблеск отдельного слова может вызвать у нас прайминг и сделать доступнее более подходящие мысли, что оказывает сильное влияние на оценки вероятностей. Насколько же тогда разрушителен может быть двухчасовой фильм для вашего суждения? Трудно исправить этот ущерб даже сознательными усилиями — так зачем приглашать вампира в свой дом? В шахматах или го, любой бесцельный ход это потеря; в рациональности, любое влияние, не подкрепленное свидетельствами, это (в среднем) энтропия.

Преуспевают ли те, кто смотрит кино, в неверии тому, что они видят? Насколько я могу сказать, весьма немногие из этих людей действуют так, словно видели точное будущее Земли. Люди, смотревшие Терминатора, не прятались в бомбоубежища 29 августа 1997. Однако те, кто попал под заблуждение, склонны действовать так, словно данные события истинны, но произошли на какой-то другой планете; не Земле, но очень похожей.

Вы говорите, «Предположим, что мы построим очень умный ИИ», а они говорят, «Но не приведет ли это к ядерной войне как в Терминаторе?» Насколько я могу сказать, точно так же, вплоть до тона, мыслил бы кто-либо, кто мог бы сказать «Но не это ли привело к ядерной войне на Альфа Центавра?» или «Не это ли привело к падению итальянского города-государства Пикколо в 14 веке?» Фильмам не верят, но информация из них доступна. Она рассматривается не как пророчество, но как исторический случай, подходящий для иллюстрации. Повторится ли история? Кто знает?

В недавнем обсуждении сингулярности, кто-то упомянул, что похоже, что Винж не думал, что компьютерно-мозговые интерфейсы сильно увеличат интеллект, и привел в пример Тунка Блументаля из «Marooned in Realtime», который был наиболее продвинутым персонажем, но не казался слишком уж сильным. Я возмущенно ответил: «Но Тунк потерял большую часть оборудования! Он был калекой!» Потом я обдумал все еще раз и подумал про себя: что за чушь я несу.

Насколько правилен ответ на данный вопрос ведь не зависит от того, как Винж изобразил своих героев, так? Тунк Блументаль не был «калекой», он не существовал в реальности. Я мог бы сказать «Винж решил изобразить Тунка калекой, потому что у него могли быть, а могли не быть свои причины, согласно его лучшему предсказанию будущего» и что это дает его авторскому выбору соответствующий вес свидетельства. Я не мог сказать «Тунк был калекой.» Тунка Блументаля не существовало.

Я осознанно оставил сделанную мной ошибку в первом наброске вверху данного поста: «Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.» Но «Матрица» — это не пример!

Соседствующим будет логическое заблуждение оспаривания на основе вымышленного свидетельства: «Хорошо, если вы дойдете до конца радуги, вы найдете горшок с золотом — что только доказывает мою правоту!» (Обновление на основе предсказанного, а не наблюдаемого, свидетельства — это математическое отражение искажения знания задним числом.)

Мозг имеет множество механизмов для обобщения из наблюдения, не только эвристику доступности. Вы видите трех зебр, формируете категорию «зебра» и эта категория объединяет все автоматически воспринимаемое. Похожие на лошадей создания с черными и белыми полосками теперь классифицируются как «Зебры», то есть сразу распознаются как быстрые и хорошие на вкус; ожидается, что они будут похожи на ранее встреченных зебр.

Когда люди видят (двигающиеся картинки) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с компьютерно-мозговыми интерфейсами принадлежат к категории «борг» и будут похожи на наблюдавшихся ранее боргов: холодных, не знающих жалости, одетых в черную кожу, ходящих словно роботы. Журналисты не верят, что в будущем будут борги — они не рассматривают «Звездный путь» как пророчество. Но когда кто-то говорит о компьютерно-мозговых интерфейсах, они думают «В будущем будут Борги?», а не «Как я могу знать, что обеспечиваемая при помощи компьютеров телепатия сделает людей менее приятными?», не «Я никогда не видел раньше боргов и никто не видел» и не «я формирую расистский стереотип на основе буквально нулевого свидетельства.»

Как Джордж Оруэлл говорил о шаблонах2:

Что нужно превыше всего — это позволить значению выбирать себе слово, и никак иначе… Когда вы думаете о чем-либо абстрактном, вы больше склонны использовать сначала слова, и пока вы не сделаете сознательное усилие, чтобы прекратить это, существующий язык будет врываться в ваши мысли и мыслить за вас, в обмен на запутывание или даже изменение вашего значения.

Согласно моей оценке, наиболее разрушительный аспект использования представлений других авторов состоит в том, что оно не дает людям использовать свое собственное. Как говорил Роберт Пирсиг3:

Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше.

Запомненные произведения врываются в ваше мышление и делают его за вас; они заменяют вам возможность видеть — самое ужасное удобство из всех возможных.

• 1. Nick Bostrom, “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards,” Journal of Evolution and Technology 9 (2002), http://www.jetpress.org/volume9/risks.html
• 2. Джордж Оруэлл, «Политика и английский язык»
• 3. Роберт Пирсиг, «Дзен и искусство ухода за мотоциклом»

Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире.

— Двенадцать добродетелей рациональности

Внутри своих профессий люди понимают важность узости: автомеханик никогда не перепутает деталь автомобиля под названием «карбюратор» с деталью автомобиля под названием «радиатор» — он знает, в чём состоит разница между ними. Первобытный охотник знает, чем лев отличается от пантеры. Уборщик не отмывает полы средством для чистки окон, сколь похожими не казались бы бутылки непосвящённым.

Снаружи своих профессий люди часто совершают ошибку, пытаясь расширить слово настолько, насколько возможно, пытаясь покрыть им как можно большую территорию. Разве не восхитителен, внушителен и мудр разговор о всех яблоках в мире? До чего же возвышенна возможность объяснить человеческое мышление в общих чертах, не отвлекаясь на мелкие вопросы: например, о том, как люди придумывают техники собирания кубика Рубика. Несомненно, размышления о чём-то частном даже не кажутся необходимыми; разве общая теория не есть блистательное достижение сама по себе?

Ты любопытен, и ты замечаешь что-то необычное в одном камешке; что-то новое, что-то интересное, что-то, отличающее его от миллиона других камешков, лежащих рядом. Ты решаешь называть такие камешки «алмазами», и пытаешься понять, в чём состоит их особенность: какие внутренние качества они разделяют, не считая уже замеченного тобой яркого блеска. И затем появляется кто-то ещё, и говорит: «Почему бы не назвать алмазом и этот камешек тоже? И этот, и ещё тот?». Он говорит воодушевлённо и желает добра. Ибо кажется недемократичным, ограниченным, элитаристским и нехолистичным намерение называть какие-то камешки «алмазами», а какие-то — не называть. Ты выглядишь, если можно так сказать, человеком узких взглядов. Едва ли тебя можно назвать открытым к новым веяниям, не закостенелым, волнующимся о судьбе коллектива.

Возможно, вкладывание в одно слово множества значений кажется тебе поэтичным: вокруг расцветают оттенки и скрытые смыслы. Но даже поэтам — хорошим поэтам — необходимо научиться видеть мир ясно и точно. Просто сравнить любовь с цветком — недостаточно. Горячая ревнивая неофициальная любовь отличается от любви женатой пары, живущей друг другом несколько десятков лет. Если ты хочешь найти цветок, подобный ревнивой любви, то тебе придётся пойти в сад, и наблюдать, и обращать внимание на тонкие различия: тебе нужен цветок с сильным запахом, яркого цвета и острыми шипами. Даже если твоя цель состоит в том, чтобы обогатить текст оттенками и отсылками, тебе всё равно нужно следить за тем, какие именно смыслы, отсылки и оттенки ты привносишь.

Умение узко фокусироваться на необычных камешках, обладающих каким-то редким свойством — необходимая часть и искусства рационалиста, и искусства поэта. И умение замечать особенности, которыми обладают эти камешки (и лишь эти камешки, больше ничто!) тоже. В этом нет ничего зазорного.

Нет ничего плохого в том, что современная эволюционная биология может объяснить всего лишь закономерности развития живых существ, но не «эволюцию» звёзд или «эволюцию» технологии. Увы, некоторые несчастные души используют одно и то же слово «эволюция» для того, чтобы описать порождённые естественным отбором закономерности самореплицирующейся жизни, и совершенно случайную структуру звёзд, и созданную разумом структуру технологии. И, как всем известно, если две вещи называются одним и тем же словом, то они в сущности одно и то же. Следует автоматически переносить всё, известное тебе о биологической эволюции, на развитие технологии. Если кто-то возражает против этой стратегии, то он, должно быть, просто зануда и педант. Твоё бездонное невежество в отношении современной теории эволюции не может быть настолько всеобъемлющим, чтобы ты не смог увидеть различие между карбюратором и радиатором. Это немыслимо. Нет, просто твой собеседник — да, тот, который изучал математику — настолько глуп, что не может увидеть взаимосвязей между предметами.

А что может заслуживать большего уважения, чем способность видеть взаимосвязи? Несомненно, мудрейшие из людей — гуру Нью Эйджа, произносящие «всё связано со всем». Если тебе доведётся произнести эту фразу вслух, не забудь сделать паузу, чтобы окружающие могли полностью осознать всё величие этой Глубокой Мудрости.

Имея граф, можно совершенно тривиальным образом получить его дополнение. Полный граф, в котором каждую пару вершин соединяет ребро, несёт в себе точно такое же количество информации, что и граф вообще без рёбер. Важные интересные графы относятся к числу тех графов, в которых некоторые штуки не соединены с некоторыми другими штуками.

Когда невежа старается показаться мудрецом, он без конца говорит о том, что это похоже на то, а то подобно сему, а оно сравнимо с вот этим; и его граф становится полностью и связным, и бесполезным. Лечение этой беды — знание деталей и доскональное изучение темы. Когда ты знаешь два предмета до мельчайших подробностей, ты можешь увидеть, насколько они непохожи, и тогда самое время начать с воодушевлением удалять из графа рёбра.

Аналогично, важные интересные категории относятся к числу тех категорий, которые не содержат внутри себя все сущности вселенной. Хорошая гипотеза не может объяснить все возможные исходы, но только некоторые из них.

Нет ничего плохого в том, что Исаак Ньютон объяснил лишь гравитацию, лишь то, почему и каким образом вещи падают вниз (и то, как планеты вращаются вокруг Солнца, и то, как Луна создаёт приливы), но не объяснил роль денег в человеческом обществе, или то, как сердце разгоняет кровь по телу. Презрительное отношение к узости напоминает мне о древних греках, приравнявших подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём» к ручному труду (а ручной труд был уделом рабов).

Вот как излагает эту мысль Платон1:

Если кто-нибудь, запрокинув голову, разглядывает узоры на потолке и при этом кое-что распознает, то он видит это при помощи мышления, а не глазами. Глядит ли кто, разинув рот, вверх или же, прищурившись, вниз, когда пытается с помощью ощущений что-либо распознать, все равно, утверждаю я, он никогда этого не постигнет, потому что для подобного рода вещей не существует познания и душа человека при этом смотрит не вверх, а вниз, хотя бы он даже лежал навзничь на земле или плыл по морю на спине.

Многие сегодня делают похожую ошибку, думая, что узкие понятия — приземлены, не величавы и недостойны философии: также, как, скажем, и подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём»; пусть этим занимается чернь. Но рационалистам — ­и поэтам — требуются узкие слова для выражения точных мыслей, им нужны категории, содержащие лишь одни вещи и не содержащие другие. Нет ничего плохого в фокусировке разума, в сужении категорий, исключении возможностей и заострении утверждений. В этом действительно нет ничего постыдного, правда! Если ты сделаешь свои слова слишком широкими, то в итоге ты получишь что-то далёкое от истины и даже не радующее глаз ценителей поэзии.

И не говорите при мне, что Википедия — «искусственный интеллект», что синтез ЛСД был «сингулярностью», или что корпорации обладают «сверхчеловеческим интеллектом»!

• 1. «Государство», книга VII. Перевод А.Н.Егунова

Недавно я посетил дискуссионную группу, темой которой на этой сессии была смерть. Это взволновало всех. Думаю, что из всех ланчей, на которых я был в Кремниевой Долине, этот был наиболее честным; люди говорили о смерти близких и друзей, что они думают о своей собственной смерти. Они на самом деле слушали друг друга. Хотел бы я знать, как такие условия беседы воспроизводить.

Я был единственным присутствовавшим трансгуманистом и мне пришлось быть крайне осторожным, чтобы не показаться назойливым. («Фанатик это тот, кто не может изменить свое мнение и не способен сменить тему». Я стараюсь по крайней мере менять тему.) Что неудивительно, люди говорили о значении, которое смерть придает жизни, о том, что смерть на самом деле благо. Но я, очень аккуратно, объяснил, что трансгуманисты в общем позитивно относятся к жизни, но категорически не одобряют смерть.

После обсуждения несколько людей подошли ко мне и сказали, что я был весьма «глубокомысленен». Да, так и было, но это заставило меня задуматься над тем, что заставляет людей казаться глубокомысленными.

В один из моментов обсуждения, женщина сказала, что мысли о смерти дают ей возможность быть вежливой с людьми, ведь никто не знает, увидит ли она их снова. «Когда я могу сказать человеку что-то хорошее, — рассказывала она, — я говорю это ему прямо сейчас, а не жду чего-то еще».

«Прекрасная мысль, — сказал я, — и даже если когда-либо угроза смерти перестанет висеть над вами, надеюсь вы продолжите так делать…»

Эта женщина была одной из тех, кто подошел ко мне после обсуждения.

В другой момент дискуссии, один мужчина рассказывал о каком-то преимуществе смерти Х, не помню точно каком. И я сказал на это: «Знаете, учитывая человеческую природу, если людей бить по голове битой каждую неделю, довольно скоро они изобретут причины, по которым получать удары по голове — это хорошо. Но если вы подойдете к кому-либо, кого не бьют, и спросите, не хотели бы они к вам в этом присоединиться, они откажутся. Думаю, если вы подойдете к бессмертному и спросите, не хотел бы он умереть в обмен на преимущество Х, он откажется».

И этот человек тоже был среди тех, кто подошел после обсуждения.

Корреляция — это не причинность. Возможно я просто говорил таким тоном в этот день, что звучал крайне мудро.

Однако я подозревал, что произвел впечатление «глубокомысленного» потому, что связно опроверг запасенный шаблон «глубокой мудрости» так, что это имело смысл.

Есть стереотип Глубокой Мудрости. Смерть: завершите шаблон: «Смерть дает смысл жизни». Все знают этот стандартный ответ Глубокой Мудрости. И он включает в себя как одну из составляющих аплодисменты. Если вы скажете подобное, люди согласно кивнут, поскольку мозг завершит шаблон и они знают, что им предписано кивнуть. Они могут даже сказать «Как мудро!», возможно в надежде самим показаться глубокомысленными. Но они не будут удивлены; они не услышат ничего выходящего за пределы стандартного; они не услышат ничего, насчет чего у них не было бы мыслей. Можно назвать это убеждением в мудрости — мысль с меткой «очень мудрая», и это завершаемый стандартный шаблон для «глубокой мудрости», но сам по себе не приносящий опыта озарения.

Люди, пытающиеся выглядеть Глубоко Мудрыми, часто выглядят повторяющими за другими пустышками, поскольку они пытаются казаться глубокомысленными, вместо того, чтобы оптимизировать.

Сколько я думал, что мне нужно сделать, в рамках того, чтобы казаться глубокомысленным? Человеческие мозги работают только на 100 Гц, а я ответил сразу же, так что большая часть размышлений должна была быть проведена заранее. Наиболее трудоемким для меня было подобрать ответ с минимальным понятийным расстоянием и выразить его так, чтобы он осуществил максимальный эффект.

Философски говоря, почти вся моя работа была сделана заранее. Завершите шаблон: существующее условие Х действительно оправдывается преимуществом Y: «Натуралистическая ошибка?» / «Предубеждение статуса кво?» / «Можно ли получить Y без Х?» / «Если бы мы ранее не знали о Х, приняли бы мы его добровольно, чтобы получить Y?» Думаю, что могу честно сказать, что эти мысленные шаблоны у меня срабатывают автоматически, они столь же естественны для меня, как и дыхание. В конце концов большинство человеческих мыслей должны быть в кэше мозга, чтобы вообще работать.

И я уже придерживался развитой философии трансгуманизма. Он тоже имеет запасенные мысли о смерти. Смерть: завершаем шаблон: «Смерть это бессмысленная трагедия, рационализируемая людьми». Это нестандартный кэш, такой, с каким мои слушатели незнакомы. У меня было несколько возможностей использовать нестандартный кэш и, поскольку весь он был частью развитой философии трансгуманизма, все эти возможности явно принадлежали к одной теме. Это помогло мне выглядеть связно, а также оригинально.

Подозреваю, что это одна из причин, по которым восточная мудрость кажется глубокой для западных людей — она имеет нестандартный, но связный кэш Глубокой Мудрости. Аналогично это работает в японской художественной литературе — в ней Христиане иногда изображены как хранители глубокой мудрости и\или мистических секретов (хотя иногда нет).

Если я верно помню, один экономист однажды заметил, что аудитория чаще всего настолько незнакома с обычной экономикой, что когда он выступал на телевидении, ему достаточно было повторить некоторые места из учебника по экономике, чтобы получить славу оригинально мыслящего.

Значимым для моих слушателей было также то, что они могли сразу же видеть, что мои ответы имеют смысл. Они могли соглашаться с этим или нет, но для них это не было нелогичным заключением. Я знаю трансгуманистов, которые не могут казаться глубокомысленными, потому что не в силах подобрать слова, которые были бы уже известны их собеседникам. Если вы хотите казаться глубокомысленным, вы не должны никогда говорить того, что находится далее, чем в минимальном понятийном расстоянии от текущего состояния сознания слушателей. Только так.

Чтобы казаться глубокомысленным, изучайте необычные философии. Ищите обсуждения тех тем, что дадут вам шанс проявить ваши знания. Размышляйте над темой заранее, чтобы потом концентрироваться исключительно над тем, как ее донести до слушателей. И прежде всего — практикуйтесь оставаться на минимальном понятийном расстоянии от слушателей.

Чтобы быть глубокомысленным, размышляйте самостоятельно над «мудрыми», важными или эмоционально значимыми темами. Думать самостоятельно не значит просто получить необычный ответ. Это значит смотреть самому, а не позволять мозгу закончить шаблон. Если вы не останавливаетесь на первом ответе, и отбрасываете ответы, кажущиеся смутно неудовлетворительными, постепенно ваши мысли сформируются в связную форму, проистекающую из одного источника внутри вас, а не будут фрагментарными повторениями заключений других людей.

В последние несколько лет, когда кто-то из наших коллег сталкивался с выбором из нескольких предложений о работе, мы просили его оценить вероятность, что он предпочтёт одну работу другой. Средняя уверенность в предсказанном выборе у опрошенных составила 66%, но только 1 человек из 24 сделал выбор, которому изначально присвоил низшую вероятность, что дает нам действительную точность в 96%.

— Гриффин и Тверски1

Когда я впервые прочитал вышеприведенные слова — первого августа 2003 года, около трех часов дня — они изменили мое мышление. Я понял, что как только я могу предположить каков был бы мой ответ — присвою ли я высокую вероятность тому или иному ответу — то я уже решил со всей вероятностью. Мы меняем наше мнение куда реже, чем думаем. И чаще всего мы становимся способны предположить свой ответ в течение полсекунды после вопроса.

Этот незаметный момент проходит очень быстро — момент, когда мы еще не можем предположить каков будет наш ответ; крошечное окно возможности действовать интеллекту. Как в вопросах выбора, так и в вопросах фактов.

Принцип нижней строчки гласит, что только настоящие причины ваших убеждений определяют вашу эффективность как рационалиcта. Как только ваше убеждение зафиксировано, никакие аргументы не изменят степень его истинности; как только решение принято, никакие аргументы не изменят его последствий.

Вы можете думать, что вы приобрели убеждение или приняли решение по нерациональным причинам, и стараться оправдать его, и если вы обнаруживаете, что не можете найти оправдания — откиньте это убеждение или решение.

Но мы меняем мнение реже — значительно реже — чем считаем.

Я уверен, что вы можете вспомнить по крайней мере один случай в вашей жизни, когда вы изменили свое мнение. Мы все можем. Но как насчет всех тех случаев, когда вы не меняли свое мнение? Доступны ли они вашей эвристической оценке собственной компетентности?

Знание задним числом, лжепричинность, подтверждающее искажение, якорение и прайминг, а главное, ужасающая предвзятость подтверждения — вот далеко не полный список причин, по которым идея, попавшая в голову, скорее всего, там и останется.

• 1. Dale Griffin and Amos Tversky, «The Weighing of Evidence and the Determinants of Confidence,» Cognitive Psychology 24, no. 3 (1992): 411–435, doi:10.1016/0010-0285(92)90013-R.

Цитата из Robyn Dawes’s Rational Choice in an Uncertain World, стр 55-56.

Норман Майер заметил, что, когда группа встречается с проблемой, естественной склонностью для ее членов является предложить возможные решения сразу же после начала обсуждения. В результате, групповое взаимодействие концентрируется на преимуществах и недостатках предложенных решений, люди начинают эмоционально привязываться к предложенным ими решениям, и еще более лучшие решения не выдвигаются. Майер выдвинул предложение для улучшения группового решения проблем: «Не предлагайте решения до тех пор, пока проблема не будет обсуждена настолько тщательно, насколько это возможно без предложения решений». Легко видеть что данное предложение работает в контекстах, где есть объективно определенные хорошие решения для проблем.

Майер предложил следующий «игровой» эксперимент для демонстрации своей точки зрения. Нужно было решить задачу: «Три сотрудника компании выполняют три различных по сложности вида работ. Один из них, Новичок, хочет заниматься только самой лёгкой работой. Другой, Профи, хочет переключаться между работами, чтобы избежать скуки. Сторонний эксперт по продуктивности при этом рекомендует поручать Новичку самую лёгкую работу, а Профи — самую тяжёлую, что повысит общую эффективность на 20%». Половине групп, решавших эту задачу, дали инструкцию: «Не предлагайте решений, пока проблема не будет обсуждена как можно тщательнее». Вторая половина групп никаких указаний не получила. И люди в них делали естественную ошибку — увидев проблему, они сразу же предлагали решения, привязывались к ним, начинали активно спорить, дискутировать, что важнее — свобода или эффективность, и так далее. Те группы, которым дали указание сначала обсудить задачу, а затем уже решать её, с большей вероятностью приходили к решению: поручить Новичку самую лёгкую работу, в то время как двое оставшихся должны чередовать другие две работы. По данным эксперта это приводило к улучшению на 19%.

Я часто использую данное положение в тех группах, которые веду — особенно когда они сталкиваются с очень трудной проблемой, когда большинство членов группы склонны сразу же предлагать свои решения. Хотя у меня нет объективного критерия, при помощи которого можно оценить качество группового решения проблем, введение предложения Майера делает возможным принятие лучших решений.

Это настолько истинно, что даже не смешно. И данный эффект проявляется все хуже и хуже, по мере трудности задачи. Возьмем для примера искусственный интеллект. Удивительное число людей, которых я встречал, похоже точно знают как создать ИИ, при этом не зная, скажем, как создать систему распознавания символов или систему совместной фильтрации (что является менее сложными задачами). И если создание ИИ будет оказывать положительное влияние на человечество — дружественного ИИ, грубо говоря — почему эта задача столь невероятно сложна, если большинство людей решают все за 15 секунд. Может, хватит уже?

(Добавлено: все описанное относится не только к проблеме ИИ. Физики встречались с множеством не-физиков, у которых были свои теории физики, экономистам приходится выслушивать множество новых теорий экономики. Если вы эволюционный биолог, любой встреченный вами может решить любую задачу в вашей области, обычно постулируя групповой отбор. Ну и так далее)

Совет Майера перекликается с принципом нижней строки — что эффективность наших решений определяется только теми свидетельствами и той обработкой, которую мы проводим до принятия решения. После того, как вы напишете нижнюю строчку, уже слишком поздно придумывать причины к ней и писать их выше. Если вы предлагаете решение слишком рано, оно будет основано на крайне малом объеме размышлений, и не имеет значения, сколько отличных аргументов вы придумали к нему уже потом.

И более того, вспомним, что мы меняем наше мнение куда реже, чем считаем: в предыдущем посте в эксперименте 24 человека присвоили в среднем 66% вероятность будущему выбору, однако лишь 1 человек из 24 выбирал вариант с меньшей вероятностью. Как только вы предполагаете, каков был бы ваш ответ, вы скорее всего уже решили. Если вы можете предположить, каков он был бы, за полсекунды, значит у вас есть только полсекунды, в течение которых вы используете интеллект. Не слишком много.

Традиционная рациональность делает особое ударение на фальсификации — способности отказаться от начального выбора, если против него имеется явно видимое свидетельство. Но как только идея появляется в вашей голове, вероятнее всего потребуется слишком много свидетельств, чтобы выкинуть ее оттуда. Хуже того, у нас не всегда есть излишек сокрушительных свидетельств.

Я думаю, что более действенный (и более сложный) метод состоит в том, чтобы воздерживаться от размышлений об ответе. Заморозить, продлить тот краткий момент, когда мы еще не предположили, каков будет наш ответ, давая нашему интеллекту больше времени для действий.

Даже полминуты потенциально лучше, чем полсекунды.

В списках логических заблуждений вы можете найти «генетическую логическую ошибку». Это ошибка, при которой убеждение критикуется на основе причин, по которым кто-либо в него верит.

Это, на первый взгляд, весьма странная идея — если причины убеждения не определяют его систематическую надежность, то что же определяет? Если Deep Blue советует нам ход в шахматах, мы верим, что это основано на нашем понимании кода, который обходит дерево игры, при этом мы сами не в состоянии оценить дерево игры. Что может дать возможность расценить любое вероятное предположение как «рациональное», как не то, что было произведено неким систематически надежным процессом?

Статьи, рассказывающие об этой ошибке, могут сказать вам, что не всегда данный тип мышления ошибочен — происхождение свидетельства может быть релевантно к его оценке, например в случае с экспертом, который заслуживает доверия. Но, как мы можем узнать из тех же статей, в других случаях это действительно может считаться заблуждением; химик Кекуле увидел структуру бензола во сне, но это не значит, что мы не можем доверять убеждению об этой структуре.

Выходит, что иногда это заблуждение, а иногда — нет?

Формально генетическая логическая ошибка является заблуждением, поскольку происхождение убеждения не то же самое, что его текущий подтвержденный статус, являющийся суммой всех известных «за» и «против» этого убеждения.

Однако мы меняем мнение реже, чем нам кажется. На обычных людей обвинение в адрес происхождения убеждений влияет гораздо сильнее, чем на идеальных байесианцев.

Очищение вашего разума является мощной эвристикой в том случае, если у вас возникло новое подозрение, что ряд ваших идей может иметь неправильный источник.

Как только идея появляется в наших головах, не всегда легко для свидетельства выкорчевать ее оттуда. Посмотрите на тех, кто вырос считая, что библия написана лично богом; позже, они приходят к тому, чтобы (на сознательном уровне) отвергнуть идею, что библию писал лично бог; но при этом продолжают думать, что библия содержит незаменимую этическую мудрость. Им не удалось очистить свое сознание; они могли бы значительно лучше справиться с тем, чтобы усомниться в истинности библейских текстов, основанной только на том, что сама библия говорит об их истинности.

В то же время, они должны твердо удерживать в сознании принцип, гласящий что обратное глупости не есть ум; цель — сделать мышление свободным и независимым, а не просто отрицать Библию, сделав это новым алгоритмом.

Как только некая идея попадёт вам в голову, вы будете искать ей поддержку всюду, куда только взглянете — и когда её первоисточник попадёт под сомнение, будет вполне разумно считать, что все яблоки упавшие с этого дерева не без подвоха тоже.

Но если бы! Не так просто прочистить свой мозг от лишних вещей. Требуется невообразимое усилие, чтобы пересмотреть позицию, не проворачивая раз за разом кешированные доводы. «Это ещё не кризис веры, пока обстоятельства не начали работать иначе», — говорит Тор Шенкель.

Вы должны быть особенно внимательны, если у вас имеется множество идей, проистекающих из одного источника, о котором вы теперь узнали, что он не заслуживает доверия, и при этом все идеи все еще кажутся правильными — очевидным архетипичным примером является как раз-таки библия.

С другой стороны… Есть такая штука, как полностью очевидное свидетельство, при котором становится уже неважно, откуда впервые появилась идея. Получение таких свидетельств — именно то, чем занимается Наука. Больше уже не имеет значения, что Кекуле увидел кольцевую струкутуру бензола в своём сне — равно как не имело бы это значения, найди мы эту гипотезу при помощи случайно генерируемых изображений, из откровений спиритиста-шарлатана или вывели из библии. Кольцевая структура бензола подтверждена таким количеством экспериментальных свидетельств, что можно забыть об источнике этого знания и не вспоминать.

В отсутствие таких очевидных свидетельств действительно приходится обращать внимание на достоверность источника идей — больше верить экспертам (если конечно их сфера обрела значимость и признание) — меньше доверять идеям, полученным из подозрительных источников — не верить тем, чьи мотивы неизвестны, особенно если они не могут предоставить аргументы независимые от их авторитета.

Генетическая логическая ошибка это искажение, когда существуют суждения за пределами изначального факта для обоснования, но обвинение представлено так, словно оно относится к самому вопросу. Хэл Финни предлагает называть это «генетической эвристикой».

Вот несколько надёжных правил:

• С подозрением относитесь к критике источников тех убеждений, которые вам не нравятся, особенно если оппонент заявляет суждения за пределами простого авторитета говорящего. «Полет — идея из религии, так что братья Райт лгали» это один из классических примеров.

• Аналогично, не ожидайте получить полезной информации по техническому вопросу подвергнув с мудрым видом психоанализу ущербные мотивы и личности причастных. Если существуют технические аргументы, то они имеют более высокий приоритет.

• Когда насчет одного из ваших фундаментальных источников возникает сомнение, вы на самом деле должны усомниться во всех ветвях, произрастающих из него. Вы не можете просто отбросить их, потому что обратное глупости не есть ум, но вы должны заново рассмотреть их на предмет их истинности.

• Но крайне внимательно вы должны смотреть, не верите ли вы до сих пор в те убеждения, источник которых вы позднее отвергнули.

Аффективная эвристика — это когда субъективные впечатления о хорошем или плохом используются как эвристика — источник быстрых суждений. Ощущения комфорта и дискомфорта являются центральными для человеческого мышления и влияют на появление аффективной эвристики вместе с замечательными искажениями — одними из моих любимых.

Давайте начнем с относительно безобидного искажения. Представьте, что вы переезжаете в новый город и должны перевезти на корабле старинные дедушкины часы. В первом случае эти часы — подарок от ваших дедушки и бабушки на ваш день рождения. Во втором — тоже подарок, однако от дальнего родственника, которого вы почти не знаете. Сколько вы заплатите за страховку, по которой вам выплатят 100 $ в случае утери часов? Согласно исследованиям Си и Канрейтера1, испытуемые готовы заплатить больше чем в два раза больше в первом случае. Это может звучать достаточно рационально — почему бы не заплатить больше за более ценный объект — пока вы не поймете, что сумма за страховку не защищает часы, а только гарантирует вам выплату, если часы будут утеряны, причем сумма выплаты в обоих случаях одинакова. (да, кстати, предполагается, что страхование проводится сторонней компанией, так что все работы по перевозке часов будут одинаковы по качеству в обоих вариантах).

Ну ладно, это не звучит особо безумно. Тут можно вывернуться, утверждая, что испытуемые страховали аффективные исходы, а не финансовые — возмещение убытков.

Тогда как насчёт такого? Ямагаши показал2, что испытуемые оценивают болезнь как более опасную, если описывать её как убивающую 1286 людей из 10000, чем если сказать, что в её случае вероятность смерти пациента составляет 24,14%. По-видимому, мысленный образ тысячи мёртвых тел пугает гораздо сильнее, чем мысленный образ одного человека, который скорее выживет, нежели умрёт.

Подождите, есть и похлеще.

Предположим, что аэропорт должен решить, потратить ли средства на покупку нового оборудования, в то время как критики утверждают, что деньги нужно потратить на увеличение безопасности. Словик предоставил3 двум группам испытуемых аргументы за и против покупки оборудования, с шкалой ответов от 0 (не поддержал бы вообще) до 20 (сильная поддержка). Одна из групп увидела меру, описанную как спасающую 150 жизней, а вторая — спасающую 98 % из 150 жизней. Гипотеза, которая вдохновила на проведение этого эксперимента, гласила, что спасение 150 жизней звучит хорошо, но неясно, много ли это? Мало? В то время как спасение 98 % это что-то явно хорошее, потому что 98 % близко к верхней границе процентной шкалы. И вот спасение 150 жизней получает среднюю поддержку в 10.4, в то время как спасение 98 % из 150 жизней имеет среднюю поддержку в 13.6 голосов.

Или рассмотрим отчет Деней-Ра и Эпштейна4: испытуемые, которым предлагали возможность выиграть 1 доллар каждый раз, когда они случайно вытаскивали красный шарик из непрозначной емкости, часто предпочитали вытаскивать шарики из емкости, в которой было больше самих красных шариков, но меньшая их пропорция. То есть емкость со ста шариками из которых 7 красные предпочиталась аналогичной с десятью шариками, один из которых красный.

Согласно Деней-Ра и Эпштейну, испытуемые, когда их опрашивали после эксперимента, утверждали, что хотя они и знали, что вероятности не в их пользу, однако они ощущали, будто их шансы выше, когда у них больше красных шариков в емкости. Для тебя это может звучать безумно, о Подкованный в Статистике Читатель, однако если ты подумаешь тщательней, то ты осознаешь смысл этого. 7 % может быть и выглядит хуже, чем 10 %, но это более чем компенсируется бо́льшим числом красных шариков. Да, вероятность меньше, но у тебя всё же больше шансов выиграть. Ты должен медитировать на эту мысль, пока не достигнешь просветления и не поймешь, как остальная часть планеты представляет себе вероятность.

Файникейн5 тестировал теорию, что люди склонны обобщать свои суждения об определенных плохих или хороших чертах чего-либо в общее хорошее или плохое ощущение об этой вещи. Например информация о возможном риске или возможной выгоде атомных станций. Логически, информация о риске никак не связана с информацией о выгоде. Если существует определенный факт, что конструкция реактора такова, что он пассивно безопасен (не достигает критической отметки даже при выходе из строя систем охлаждения), это не влияет на то, будет ли он производить меньше отходов, или давать электричество используя меньше топлива и т.д. Все это может быть хорошо, однако не стоит смешивать это в одну кучу. Тем не менее, Файникейн обнаружил, что для ядерных реакторов, природного газа, пищевых консервантов и т.д. предоставление людям информации о большой выгоде заставляло их воспринимать продукт как менее рискованный; а если акцентировать внимание на высоких рисках, то люди воспринимали продукт как менее выгодный, и так далее.

Он также обнаружил, что в условиях нехватки времени обратная зависимость между воспринимаемым риском и воспринимаемой выгодой растет, в соответствии с обнаруженным фактом, что нехватка времени, недостаток информации или отвлечение — все это увеличивает долю эвристики восприятия в сравнении с аналитическим обсуждением.

Ганза обнаружил6 сходный эффект в области финансов. Согласно стандартной экономической теории, доходность и риск должны коррелировать положительно — или говоря другими словами, люди платят более высокую цену за безопасные инвестиции, что снижает доходы; акции обеспечивают больший доход, чем облигации, однако имеют соответствующий более высокий уровень риска. При оценке знакомых акций, суждения аналитиков о рисках и доходности положительно коррелируют, как обычно и ожидается. Однако при оценке незнакомых акций аналитики склонны оценивать их как хорошие или плохие в общем — низкий риск и высокие доходы или высокий риск и низкие доходы.

Для дальнейшего чтения я рекомендую отличную обзорную статью Slovic et al: «Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics» (2002).

• 1. Christopher K. Hsee and Howard C. Kunreuther, «The Affection Effect in Insurance Decisions,» Journal of Risk and Uncertainty 20 (2 2000): 141–159, doi:10.1023/A:1007876907268.
• 2. Kimihiko Yamagishi, «When a 12.86% Mortality Is More Dangerous than 24.14%: Implications for Risk Communication,» Applied Cognitive Psychology 11 (6 1997): 461–554.
• 3. Paul Slovic et al., «Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics,» Journal of Socio-Economics 31, no. 4 (2002): 329–342, doi:10.1016/S1053-5357(02)00174-9.
• 4. Veronika Denes-Raj and Seymour Epstein, «Conflict between Intuitive and Rational Processing: When People Behave against Their Better Judgment,» Journal of Personality and Social Psychology 66 (5 1994): 819–829, doi:10.1037/0022-3514.66.5.819.
• 5. Finucane et al., «The Affect Heuristic in Judgments of Risks and Benefits.»
• 6. Yoav Ganzach, «Judging Risk and Return of Financial Assets,» Organizational Behavior and Human Decision Processes 83, no. 2 (2000): 353–370, doi:10.1006/obhd.2000.2914.

В связи с надвигающимися праздниками многим читателям в голову приходит следующий вопрос:

«Дорогой Overcoming Bias, есть ли искажения, которые позволят мне выглядеть щедрым, при этом не тратя много денег?»

Я рад сказать, что да, таковые существуют! Кристофер Си в статье «Меньше — это лучше: когда выбор с низкой ценой ценится выше выбора с высокой ценой» утверждает, что купив кому-то шарф за 45 долларов, вы скорее покажетесь щедрым, чем если купите пальто за 55 долларов1.

Это частный случай более общего явления. В ранее проведенном эксперименте Си опрашивал испытуемых, как много они бы заплатили за подержанный музыкальный словарь2:

• Словарь А, 1993 года издания, содержащий 10000 записей, совсем как новый.
• Словарь Б, 1993 года издания, содержащий 20000 записей, с порванной обложкой, но в остальном как новый.

Некоторым испытуемым давали сравнить оба словаря, а некоторым давали только один.

Те, кто видел только один из словарей, были готовы заплатить в среднем 24 доллара за словарь А и 20 долларов за словарь Б. Те же, кому давали оба словаря, были готовы заплатить за словарь Б в среднем 27 долларов, а за словарь А — 19 долларов.

Конечно же число записей в словаре куда важнее, нежели порванная обложка, по крайней мере если вы планируете использовать словарь по назначению. Однако если у вас в руках только один словарь с 20000 записями, это число вам особо ничего не говорит. Это много? Мало? Кто знает? Это не поддается анализу. В то же время порванную обложку видно сразу. И это имеет определенную аффективную окраску, а именно — плохо.

Если же у вас на руках оба словаря, то число записей становится величиной, которую можно оценить, поскольку есть уже две сущности, которые можно сравнить между собой. И как только число записей становится оцениваемой величиной, она нивелирует значимость порванной обложки.

Что вы предпочтете3?

1. 29/36 шанс выиграть 2 доллара
2. 7/36 шанс выиграть 9 долларов

В то время как средние цены (значения оценки) соответственно равны 1,25 доллара и 2,11 доллара, их средняя привлекательность составляла 13,2 и 7,5 соответственно. Цены и привлекательность устанавливались в контексте, в котором испытуемым говорили, что две игры будут выбираться из вышеприведенных и они должны играть в игру с более высокой ценой или более высокой привлекательностью. (У испытуемых был мотив отмечать игры как более привлекательные или платить за них больше, нежели они на самом деле предпочитали играть.)

Игра, стоящая больше денег, менее привлекательна, классический разворот предпочтений. Исследователи предположили что долларовые значения были более сравнимы с ценовой задачей, однако вероятность выигрыша была больше сравнима с привлекательностью. Так что (как думали исследователи) почему не попробовать сделать выигрыш в игру более заметным эмоционально — более аффективно оцениваемым — более привлекательным?

И как же они это сделали? Добавили в игру небольшой проигрыш. Старая игра имела 7/36 шанс выиграть 9 долларов, новая — 7/36 выиграть 9 долларов и 29/36 шанс проиграть 5 центов. В старой игре вы неявно оценивали привлекательность в 9 долларов. Новая игра заставляет вас оценивать привлекательность выигрыша 9 долларов против потери 5 центов.

Словик утверждает что результаты превзошли их ожидания. В новом эксперименте новая игра с 7/36 шансом выиграть 9 долларов имела привлекательность 9,4, в то же время сложная игра, в которой был добавлен 29/36 шанс потерять 5 центов имела средний рейтинг привлекательности в 14,9.

Дальнейшие проводимые эксперименты должны были показать, предпочитают ли испытуемые старую игру с определенным выигрышем в 2 доллара. Только 33 % студентов предпочли старую игру. Среди другой группы, которую просили выбрать между определенным выигрышем 2 долларов и новой игрой (в которую добавили возможность проигрыша), около 60,8 % предпочли ее. Обобщая все, можно сказать, что 9 долларов не особо привлекательная сумма денег, однако соотношение девяти долларов к пяти центам — удивительно привлекательное соотношение выигрыша к проигрышу.

Вы можете сделать игру привлекательней, если добавите в нее возможность явного проигрыша! Разве психология не интересна? Вот почему нет никого, кто на самом деле разбирается в чудесной сложности человеческого интеллекта и хочет при этом разработать ИИ похожий на человека.

Конечно же это все работает только если испытуемые не сравнивают две игры напрямую.

Примерно так же — какое из этих двух мороженых, по вашему мнению, выбрали бы испытуемые из вышеприведенного эксперимента?

4

Естественно, ответ зависит от того, видит ли испытуемый единичное мороженое или оба стоят рядом, чтобы их можно было сравнить. Испытуемые, которые видят перед собой только одно мороженое, готовы заплатить 1,66 доллара за стаканчик Н и 2,26 доллара за стаканчик L. Те же, кто видят сразу оба стаканчика, склонны заплатить 1,85 за стаканчик Н и 1,56 за стаканчик L.

Каким образом это относится к вашему праздничному шоппингу? Таким, что если вы тратите 400 долларов на 16 Гб айпод, тот, кому вы делаете подарок, увидит один из самых дорогих плееров. Если же вы тратите те же 400 долларов на Nintendo Wii, тот, кому вы её дарите, увидит одну из самых дешевых приставок. Каково же лучшее приложение для денег? Учтите, что этот вопрос имеет смысл только когда вы видите оба товара вместе. Вы-то можете сравнивать их во время шоппинга, но одариваемый увидит лишь то, что получит.

Если вы ограничены определенной суммой — и ваша цель это показать вашу дружбу, а не помочь на самом деле, — то для вас будет лучше осознанно не гнаться за ценой. Решите, как много вы можете потратить, чтобы впечатлить реципиента, а потом найдите наиболее пустяковую вещь, которая стоит именно столько. Чем дешевле класс объектов, тем дороже может быть сам купленный объект, при том, что сумма тратится одна и та же. Что больше запомнится — футболка за 25 долларов или свеча за эту же сумму?

Теперь японский обычай с покупкой дыни за 50 долларов обрел смысл, не так ли? Вы смотрите на это и думаете «Да что это с японцами?». А они получают возможность казаться невероятно щедрыми, потратив всего 50 долларов. Вы можете потратить 200 долларов на торжественный ужин, и при этом не произведете впечатления столь же богатого человека, как если бы купили дыню за 50 долларов. А если бы существовал обычай дарить зубочистки за 25 долларов или пылинки за 10 долларов, то можно было бы казаться щедрым, тратя еще меньше.

P.S.: Если вы на самом деле использовали этот трюк, то мне хотелось бы знать — что вы купили?

• 1. Christopher K. Hsee, «Less Is Better: When Low-Value Options Are Valued More Highly than High-Value Options,» Behavioral Decision Making 11 (2 1998): 107–121.
• 2. Christopher K. Hsee, «The Evaluability Hypothesis: An Explanation for Preference Reversals between Joint and Separate Evaluations of Alternatives,» Organizational Behavior and Human Decision Processes 67 (3 1996): 247–257, doi:10.1006/obhd.1996.0077.
• 3. Slovic et al., «Rational Actors or Rational Fools.»
• 4. Из статьи Си, © 1998 John Wiley & Sons, Ltd.

«Психофизика», несмотря на своё название, является уважаемой областью науки, которая связывает физические явления с сенсорными явлениями. Если сообщить воздуху акустическую энергию — то есть создать шум — то как громко это прозвучит для человека, если представить это функцией от акустической энергии? Насколько больше необходимо сообщить акустической энергии, чтобы этот шум показался человеку в два раза громче? Не в два, а в восемь раз больше.

Акустическую энергию и количество фотонов легко измерить. Для того же, чтобы выяснить, как громко звучит акустический стимул, или как ярко выглядит свет, нужно спрашивать того, кто слушает или смотрит. При этом можно использовать ограниченную шкалу, на которой заданы пределы от «очень тихо» до «очень громко», или от «очень темно» до «очень ярко». Можно так же воспользоваться неограниченной шкалой, где нулем будет «вообще не слышно» или «вообще не видно», а верхней предел отсутствует. При использовании неограниченной шкалы наблюдателю в качестве опорной точки1 обычно указывают на фиксированный стимул, которому соответствует некоторое значение. Таковым может быть звук, которому присвоена громкость 10. Тогда наблюдатель сможет обозначить вдвое громкий звук при помощи числа 20.

В принципе, такой подход показал себя как вполне надежный. Но что случится, если дать испытуемым неограниченную шкалу, от нуля до бесконечности, но не задать опорной точки, соответствующей фиксированной величине? Тогда они, конечно же, введут свои опорные точки. Соотношения между стимулами будут коррелировать между испытуемыми. Допустим, испытуемый А говорит, что звук Х имеет громкость 10, а звук Y — 15. Если испытуемый В говорит, что звук Х имеет громкость 100, то для звука Y он, скорее всего, установит величину 150. Но если не знать, что испытуемый С принял за опорную точку — масштаб его шкалы — то нельзя предсказать, какую величину он присвоит звуку Х. Может быть 1. Может быть 1000.

Допустим, испытуемый оценивает единичный звук, на неограниченной шкале, без возможности сравниться с зафиксированным стандартом. Тогда почти все отклонения в оценках будут связаны с произвольным выбором опорной точки, а не со звуком как таковым.

«Хм, — подумали вы про себя, — чем-то это напоминает то, как присяжные в суде принимают решение о штрафных убытках2. Не удивительно, что при этом получается такой разброс!» Интересная аналогия, но можно ли продемонстрировать её экспериментально?

Канеман и др.3 выбрали в качестве испытуемых 867 человек, имеющих право быть присяжными, предоставили им описания нескольких судебных дел (например, случай ребёнка, чья одежда загорелась по неосторожности) и попросили для каждого из случаев совершить одно из действий:

1. Определить на ограниченной шкале возмутительность действий ответчика,
2. Определить на ограниченной шкале степень, в соответствии с которой следует наказать ответчика, либо
3. Определить размер штрафных убытков в долларах.

И, вот так сюрприз, в то время как уровни возмутительности действий и степени наказания отлично коррелировали между испытуемыми, штрафы их были разбросаны как попало. Однако, порядок ранжирования величин штрафов — то, в каком порядке они располагались между наименьшим и наибольшим значениями, которые присваивал отдельный испытуемый в разных случаях — неплохо коррелировал между испытуемыми.

Если вас интересует объяснённая дисперсия по шкале наказания (для конкретного дела, рассматриваемого несколькими испытуемыми), то ответ — даже для необработанных данных — равен 0,49. Объяснённая дисперсия для порядкового номера штрафа в долларах оказалась равна 0,51. А для величины штрафа в долларах она оказалась равна 0,06!

То есть: для каждого конкретного случая — например, вышеупомянутого ребенка, чья одежда загорелась — можно с хорошей точностью угадать и степень наказания, и то, как величина штрафа будет расположена относительно других случаев, однако сама величина штрафа остаётся совершенно непредсказуемой.

Не поможет даже взять среднее из двенадцати4 случайно выбранных ответов.

Так что, решение присяжных по штрафным убыткам, это не столько экономическая оценка, сколько выражение позиции — психофизическое измерение величины возмущения, отображённое на неограниченной шкале без стандартных опорных точек.

Я заметил, что, аналогичным образом, множество футуристических предсказаний являются скорее выражением позиции. Разброс ответов на вопрос «Через сколько лет появится ИИ, сравнимый с человеческим?» поражает воображение. Больше всего мне запомнился ответ одного из передовых разработчиков ИИ — «Через пятьсот лет.» (!!)

Здесь причина, которая мешает предсказать время реализации ИИ, заслуживает собственного подробного обсуждения. Вряд ли парень, который сказал «через пятьсот лет», заглянул в будущее, чтобы найти ответ. Так же он не мог получить это число стандартным ложным способом — опираясь на закон Мура. Так что же значит число 500?

Я предполагаю, это ответ на вопрос в следующей формулировке: «На шкале, где ноль это ”совсем не сложно”, насколько трудной вы ощущаете задачу создания ИИ?». При наличии ограниченной шкалы, ответы здравомыслящих респондентов находились бы около отметки «невероятно сложно» на дальнем конце шкалы. Все что угодно ощущается невероятно сложным, когда не знаешь, как это сделать. Но данная шкала не ограничена и опорных точек тоже нет. В этом случае люди попросту берут число, которое означает для них «невероятно сложно». Это может быть и 50, и 100, и даже 500. Потом они добавляют к нему слово «лет» и футуристический прогноз готов.

«Насколько трудной ощущается задача ИИ?» — это не единственный вариант подмены. Некоторые отвечают так, словно бы я спрашивал «Насколько радужно вы думаете об ИИ?». Маленькие числа в этом случае соответствуют более положительным ощущениям, а в конце так же добавляется слово «лет». Возможно, такие «временные оценки» представляют собой что-то иное, кроме выражения отношения на неограниченной шкале без опорных точек, но я так и не смог определить — что именно.

• 1. В оригинале «modulus» — Прим.перев.
• 2. «Штрафные убытки[…], как они понимаются в странах семьи общего права, представляют собой сумму, присуждаемую в деликтных исках к выплате потерпевшему сверх возмещения вреда (иначе говоря, сверх ”компенсационных убытков”, compensatory damages). Причинитель вреда может быть присужден к уплате штрафных убытков, если совершенное им правонарушение было отягощено такими обстоятельствами как недобросовестность, грубая неосторожность или злой умысел.», цитата по https://zakon.ru/blog/2013/9/30/shtrafnye_ubytki_v_ssha_ili_pochem_marlb… — Прим.перев.
• 3. Daniel Kahneman, David A. Schkade, and Cass R. Sunstein, “Shared Outrage and Erratic Awards: The Psychology of Punitive Damages,” Journal of Risk and Uncertainty 16 (1 1998): 48–86; Daniel Kahneman, Ilana Ritov, and David Schkade, “Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues,” Journal of Risk and Uncertainty 19, nos. 1–3 (1999): 203–235.
• 4. Типичный размер коллегии присяжных заседателей. — Прим.перев.

Аффективная эвристика — это когда общее ощущение хорошего или плохого влияет на многие другие суждения, вне зависимости от того, логично это или нет, и независимо от того, осознаете вы это или нет. Субъекты, которым рассказали о преимуществах ядерной энергии склонны недооценивать риски реакторов; биржевые аналитики, которые оценивают неизвестные им акции, склонны характеризовать их в общем, как хорошие или плохие — низкий риск и высокий доход или высокий риск и низкий доход — пренебрегая обычной экономической теорией, которая говорит что риск и доход должны коррелировать положительно.

Эффект ореола (также называемый гало-эффектом) это проявление аффективной эвристики в социальной психологии. Роберт Чалдини во «Влияние: наука и практика» обобщает:

Исследования показывают, что мы автоматически присваиваем симпатичным людям такие хорошие черты как талант, доброту, честность и ум (для обзора свидетельств см. Eagly, Ashmore, Makhijani, & Longo, 1991). К тому же мы не замечаем, что в данных суждениях играет роль физическая привлекательность. Некоторые последствия таких неосознанных предположений что «что-то хорошо выглядящее есть хорошее» пугают меня. Например, исследование канадских федеральных выборов 1974 года обнаружило, что привлекательные кандидаты получили больше чем в два с половиной раза голосов, нежели непривлекательные (Efran & Patterson, 1976). Несмотря на такие свидетельства фаворитизма по отношению к привлекательным внешне политикам, дальнейшие исследования показали, что избиратели не осознают данного своего искажения. На деле, 73 процента канадских избирателей категорически отказались признать, что в их суждениях внешность кандитата играла какую-то роль; и только 14 процентов сказали, что допускают такую возможность (Efran & Patterson, 1976). Избиратели могут отрицать влияние привлекательности на возможность быть избранным, однако тревожные свидетельства наличия данного эффекта продолжают поступать (Budesheim & DePaola, 1994).

Аналогичный эффект проявляется в ситуациях, связанных с наймом сотрудников на работу. Согласно одному из исследований, хороший вид претендента часто играл большую роль в процессе принятия решения интервьюером о найме, чем даже профессиональные навыки — хотя интервьюеры заявляли обратное, что внешний вид не оказывает значительного влияния на их выбор (Mack & Rainey, 1990). Преимущество привлекательных внешне сотрудников легко отслеживалось в день зарплаты. Экономисты, исследовавшие данные по США и Канаде, обнаружили, что такие сотрудники получали зарплату в среднем на 12-14 процентов больше, нежели их не столь привлекательные коллеги (Hammermesh & Biddle, 1994).

Не менее тревожные исследования показывают, что строение костей и пропорции тела могут влиять даже на судебные процессы. Даже в правовой системе хорошо выглядящие люди получают преимущество (смотри Castellow, Wuensch, & Moore, 1991; and Downs & Lyons, 1990). Например, в пенсильванском исследовании (Stewart, 1980) ученые ранжировали 74 обвиняемых согласно их физической привлекательности перед их судом. Потом, проверяя результаты данных случаев, они обнаружили, что привлекательные люди получили куда более легкие наказания. Фактически, привлекательные обвиняемые вдвое чаще непривлекательных избегали тюрьмы. В другом исследовании — когда оценивалась сумма выплаты за причиненный ущерб, если обвиняемый был привлекательней пострадавшего, то средняя сумма выплат составляла 5623 доллара, если же наоборот — жертва была привлекательней обвиняемого, то средняя сумма вырастала до 10051 доллара. Более того, присяжные демонстрировали данный эффект вне зависимости от своей половой принадлежности (Kulka & Kessler, 1978).

Другие эксперименты продемонстрировали, что привлекательные люди чаще получают помощь, если она им нужна (Benson, Karabenic, & Lerner, 1976), и с куда большим успехом могут убеждать людей менять мнение (Chaiken, 1979)…

Влияние привлекательности на оценку интеллекта, честности и доброты — это чистый пример искажения (особенно когда вы судите об этих сущностях на основе фиксированного текста) поскольку мы не ожидаем, что суждения о честности и привлекательности будут объединены на каких-то легитимных причинах. С другой стороны, сколько моего воспринимаемого со стороны интеллекта проистекает из моей честности? Как много моей воспринимаемой честности проистекает из моего интеллекта? Поиск истины и произнесение ее вслух не так широко разделены в природе как хороший вид и умный вид…

Но эти исследования эффекта ореола привлекательности должны заставлять нас подозревать, что существует подобный эффект и для доброты или интеллекта. Предположим, вы знаете человека, который кажется не только очень умным, но также честным, альтруистичным, добрым и спокойным. Вы должны быть скептичнее относительно того, не влияют ли какие-то из этих характеристик на ваше восприятие других. Возможно, этот человек на самом деле умен, честен и альтруистичен, но не всегда добр или спокоен. Вы должны насторожиться, если вам кажется, будто вы можете разделить всех своих знакомых на чистых ангелов и демонов.

И я знаю, что вы не думаете, будто вы должны это делать, но, возможно, вам стоило бы быть более скептичными в отношении более привлекательных политиков.

Предположим, что хорошо вооруженный социопат, который взял людей в заложники, отказался от переговоров и объявил, что сейчас начнет убивать. В реальной жизни, хорошие парни обычно не выбивают дверь, когда у плохого парня есть заложники. Но иногда — крайне редко, но все же — жизнь подражает Голливуду в том, что хорошим парням необходимо проломиться через дверь.

Представим два совершенно разных мира, в которых герои вламываются в комнату, чтобы оказаться лицом к лицу со злодеем.

В одной из реальностей герой может поднимать и бросать машины, стреляет лазерами из ноздрей, имеет рентгеновский слух, и его кожа не просто отражает пули, а аннигилирует их. Злодей же засел в начальной школе, и в заложниках у него две сотни детей, родители которых плачут снаружи.

В другой реальности герой — это обычный нью-йоркский полицейский, а заложники — три проститутки, которых злодей снял на улице.

Тщательно рассмотрим вопрос: кто из них больше достоин называться героем? И кто вероятнее всего станет героем комиксов?

Эффект ореола — это когда восприятия всех положительных черт коррелируют. Те, кого оценили выше по шкале привлекательности, также скорее всего получат более высокие оценки на шкалах таланта, доброты, честности и ума.

Таким образом, герои из комиксов, которые кажутся сильными и неуязвимыми (что является двумя положительными чертами), также кажутся обладающими еще и такими героическими чертами, как мужество и героизм. Но:

«Как может быть тяжело действовать храбро и героически, когда ты практически неуязвим?»

—Empowered, т. 1

Я не помню, вычитал ли я эту точку зрения где-то или придумал как гипотезу: известность, в частности, складывается с остальными личностными характеристиками. Рассмотрим Ганди. Был ли Ганди самым альтруистичным человеком 20 века или только наиболее знаменитым альтруистом? Ганди выходил навстречу и полицейским с дубинками, и солдатам с оружием. Но Ганди был знаменитостью, и его известность его защищала. А что насчет других, тех, кто шел с ним на марш, тех людей, которые попадали под удары дубинок и выстрелы из оружия, хотя о них никто бы не написал в СМИ, если бы они попали в госпиталь или были убиты?

Что думал Ганди о заголовках в газетах, известности, славе, месте в истории, о том, чтобы стать архетипом ненасильственного сопротивления, когда он рисковал меньше, нежели те, кто шел с ним? Что он чувствовал, когда кто-либо из этих анонимных героев приходил к нему с сияющими глазами и говорил, насколько Ганди велик? Представлял ли Ганди мир в таком свете? Не знаю; я не Ганди.

Это ни в коем случае не критика Ганди. Смысл ненасильственного сопротивления — не в показывании вашего мужества; это можно сделать куда проще, спустившись по Ниагаре в бочке. Ганди не мог не быть частично защищенным своей известностью. И его действия требовали мужества — пусть не так много, как от анонимного человека, но все еще очень и очень много.

Искажение, на которое я хочу указать — это то, что люди склонны добавлять славу Ганди к его «честно заработанному» альтруизму. Когда вы думаете о ненасилии, вы думаете о Ганди — не об анонимном протестующем, который шел на одном из маршей, который попадал под огонь ружей и дубинки полицейских, который получал травмы и попадал в больницы, который остался после этого инвалидом и имя которого никто не вспомнит.

Точно так же, что значительней — рисковать жизнью, чтобы спасти две сотни детей, или рисковать жизнью, чтобы спасти трех взрослых?

Ответ зависит от того, что вы понимаете под «значительней». Если вам приходится выбирать между спасением трех взрослых и спасением двух сотен детей, то тогда выбирайте последнее. Фраза «любой, кто спасает одну жизнь, спасает целый мир» может звучать очень здорово, однако её нельзя назвать хорошим советом, если вам нужно выбрать, кого спасать. Так что, если вы говорите «значительней», понимая под этим «кто важней?», или «какой исход предпочтительней?», или «какой из двух путей я должен выбрать?», то тогда значительней будет спасти две сотни, нежели трех человек.

Но если вы спрашиваете о значительности в смысле явной добродетели, тогда любой, кто рискнул бы своей жизнью, чтобы спасти только три жизни, обнаруживает больше мужества, нежели тот, кто спас бы две сотни, но не трех.

Это не значит, что вы можете намеренно решить рискнуть вашей жизнью, чтобы спасти трех взрослых, и позволить умереть двум сотням школьников, потому что вы хотите явить больше добродетели. Любой, кто рискует жизнью, желая быть добродетельным, на самом деле являет много, много меньше добродетели, нежели тот, кто рискует жизнью, желая спасти других. Любой, кто выбирает спасение трех жизней, а не двух сотен, только потому, что так он выглядит более добродетельным, настолько зачарован своим «величием», что это больше похоже на моральный эквивалент убийства.

Это похоже на коан дзен: нельзя продемонстрировать добродетель, пытаясь её продемонстрировать. Имея выбор между спасением мира без всяких жертв и усилий и путем, на котором вам придется рисковать своей жизнью и терпеть лишения, вы не можете стать героем, осознанно выбрав второй путь. В желании быть героем нет ничего героического, это лишь бессмысленная цель.

По-настоящему добродетельные люди, действительно пытающиеся спасать жизни, а не демонстрировать добродетель, будут постоянно искать возможность спасти больше жизней меньшими усилиями, что означает, что они продемонстрируют меньшую добродетель. Это может звучать путано, однако это вовсе не противоречиво.

Но мы не всегда можем выбрать неуязвимость к пулям. После того, как мы сделали все возможное, чтобы уменьшить риски и увеличить шансы, любой оставшийся героизм является настоящим и нужным.

Полицейский, который рискует своей жизнью, не обладая сверхспособностями, не имея рентгеновского зрения, суперсилы, возможности летать, и уж, конечно, неуязвимости к пулям, демонстрирует куда большую добродетель, нежели Супермен, который является всего лишь героем.

Вчера я рассматривал, как гало-эффект, который заставляет людей видеть все позитивные характеристики, как связанные (например, более привлекательные индивиды также воспринимаются как более добрые, честные и умные), принуждает нас больше восхищаться героями, если они обладают сверхсилой и пуленепробиваемы. Даже если, согласно логике, потребуется больше смелости, чтобы быть героем, если ты обычный человек. Кроме того, можно обнаружить, что большее достоинство действовать отважно для спасения одной жизни, чем для спасения мира. (Хотя если вам нужно сделать что-то одно из двух, конечно вы должны спасти мир).

Я хочу сказать, что полицейский, который рискует своей жизнью, не имея сверхспособностей, проявляет куда большую добродетель, чем Супермен, который просто-напросто супергерой.

Давайте рассмотрим конкретный пример.

Нью-йоркский полицейский Джон Перри(English) был последователем экстропианства и трансгуманизма, насколько мне известно. Он должен был скоро выйти на пенсию и собирался начать собственную юридическую практику, когда пришла новость, что самолет врезался во Всемирный Торговый Центр. Он погиб, когда была разрушена северная башня. Я не знал Джона Перри лично, поэтому я не могу претендовать на точное знание; но лишь малая часть последователей экстропианства верит в Бога, и я предполагаю что Перри также был атеистом.

Это говорит нам о том, что Перри знал о риске прекратить свое существование, выходя на работу. И что, в отличие от большинства людей в истории, он знал о имеющемся у него выборе как умереть и выбрал то, что имело значение — потому что был трансгуманистом; его надежда была подлинной. И он все равно вошел в здание и отдал свою жизнь. Не потому что он ожидал божественной награды. Не потому что думал, что после смерти его ждет что-то еще. Но потому что в опасности были другие люди, у которых тоже не было бессмертной души и их надежды на жизнь стоили не меньше, чем его.

Я не знал Джона Перри. Я не знаю, смотрел ли он на мир именно так. Но факт, что атеист и трансгуманист все еще был полицейским, который бросился в горящее здание, говорит больше о человеческом духе, чем все мученики, которые надеялись попасть в рай.

Это мы рассказали о конкретном сотруднике полиции…

…а теперь посмотрим на супергероя.

Как рассказывают христиане, Иисус Христос мог ходить по воде, мог остановить бурю и усмирить демонов одним словом. Это должно быть весьма удобно в повседневной жизни: проблема голода? Наксерокопируем хлеба. Не нравится дерево? Проклянем его. Проблемы с римлянами? Пожалуемся Папе на них. Когда наконец его волшебная жизнь закончилась, Иисус был добровольно распят на кресте. Быть распятым на кресте не особо легкий способ умереть. Однако судя по рассказам христиан, Иисус сделал это, зная что он воскреснет через три дня, а после этого попадет в рай. Что заставило его принять временные муки перед попаданием в рай? Жизнь единичного человека? Коррупция иудейской церкви, или угнетения римлян? Нет, согласно христианам, Иисус принял муки за все грехи человеческие.

Но я не хочу осуждать человека, который на самом деле не был настолько виноват. Что если Иисус — нет, давайте произносить его имя правильно: Иешуа — что если Иешуа никогда не ходил по воде и тем не менее бросил вызов церкви иудеев, которая поддерживалась римлянами?

Разве это не заслуживает большего уважения, чем то, которое уделяется Иисусу Христу, который был просто Мессией?

Увы, величественнее кажется для героя иметь стальную кожу и божественные силы. Почему-то кажется более добродетельным временно умереть, чтобы спасти целый мир, чем умереть навсегда в борьбе с коррумпированной церковью. Это кажется таким обычным, словно в истории было полно людей, которые так делали.

Взирая с расстояния в две тысячи лет из будущего мы можем с разных сторон критически смотреть на Иешуа, однако он сделал то, во что верил, то, что по его мнению было правильно, вступив в сражение с церковью, которую он считал коррумпированной, и умер за это. Без преимущества просветления, едва ли он мог предсказать истинное влияние его жизни на мир. По отношению к другим пророкам его дней, он возможно был более честным, относительно менее жестоким и более храбрым. Если не рассматривать все непредвиденные последствия, худшее, что можно сказать о Иешуа, это что у других пророков получалось лучше (Эпикур, Будда, Марк Аврелий — те, кто первые приходят на ум). Иешуа умер навсегда, и с одной точки зрения он сделал это во имя честности. Пятнадцать веков до науки — в те времена религиозная честность не была оксюмороном.

Как сказал Сэм Харрис:

«Недостаточно того, что Иисус был человеком, который изменил себя настолько, что Нагорная Проповедь была отражением его сердца. Он также должен был быть Сыном Бога, непорочно зачатым, которому было суждено вернуться на землю в ореоле славы. Эффектом этой догмы стало то, что пример Иисуса навсегда стал недосягаем. Его учение прекратило быть набором эмпирических тезисов о соединении между этиками и духовным просветлением, вместо этого став ненужной и достаточно неприятной сказкой. Согласно догмам христианства, стать подобным Иисусу невозможно. Человек может лишь перечислить свои грехи, верить в невероятное и ждать конца света».

Я сильно сомневаюсь, что Иешуа когда-либо произносил Нагорную Проповедь. Несмотря на это, Иешуа заслуживает славы. Он заслуживает больше славы, чем любой из христиан, почитающих его.

Но поскольку Иешуа скорее всего ожидал, что его душа выживет, он не заслуживает больше славы, чем Джон Перри.

Огромное множество потоков человеческого мышления ведут нас к переоценке того, как хорошо наша любимая теория объясняет факты. Теория флогистона в химии могла объяснить все что угодно, пока не требовалось предсказать что-либо заранее. И чем больше феноменов вы объясняете своей теорией, тем истиннее она кажется — разве все эти наблюдения не подтверждают ее? И по мере того, как теория набирает в глазах у вас вес, вы будете склонны ставить под сомнение те свидетельства, которые конфликтуют с ней. И поскольку любимая теория кажется все более общей, вы будете искать возможности объяснить ею как можно больше вещей.

Если вы знаете кого-то, кто верит в то, что Бельгия тайно контролирует банковскую систему США или что они могут использовать силу невидимого синего духа для поиска доступных мест для парковки — скорее всего они уже дошли до этой стадии.

(Просто следите, и вы будете наблюдать много того, что, кажется, подтверждает эту теорию…)

Этот цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.

Новая политическая система, которая может спасти мир. Великий лидер, сильный, благородный и мудрый. Удивительный тоник, который может лечить расстройство желудка и рак.

Эй, почему бы не все три сразу? Великое дело нуждается в великом лидере. Великий лидер должен быть способен приготовить один-два волшебных тоника.

Эффект ореола — это когда любая воспринимаемая положительная характеристика (такая как привлекательность или сила) увеличивает восприятие любых других положительных характеристик (таких как интеллект или мужество). Даже когда это не так или почти не так.

Позитивные характеристики усиливают восприятие других позитивных характеристик? Звучит сильно похоже на то, как делящийся атом урана испускает нейтроны, которые расщепляют другие атомы урана.

Слабый положительный аффект не дотягивает до критической массы; он не выходит из-под контроля. Привлекательный человек кажется более честным, что, похоже, делает его еще более привлекательным; однако эффективное размножение нейтронов меньше единицы. Метафорически говоря. Резонанс немного сбивает с толку в отношении некоторых вещей, однако быстро сходит на нет.

С сильным положительным аффектом, имеющим отношение к Великой Вещи, резонанс проявляется везде. Верящий коммунист видит мудрость Маркса в каждом гамбургере, купленном в Макдональдс; в любом движении они запрещают все, что не подпадает под определение рая для истинных трудящихся; любые выборы, в которых они проигрывают, во всех статьях они объявляют подтасованными. Каждый раз, когда они используют Великую Идею для интерпретации другого события, Великая Идея подтверждается все больше и больше. Это ощущается как что-то хорошее — положительное подтверждение — и конечно, когда что-то позволяет нам чувствовать себя хорошо, то, увы, это заставляет нас хотеть верить в это еще больше.

Когда Великая Идея ощущается достаточно хорошей для того, чтобы заставить вас искать новые возможности ощутить, что Великая Идея еще лучше, применяя ее для интерпретации всех новых событий каждый день, резонанс положительного аффекта похож на комнату, забитую сверхчувствительными мышеловками, в которую забросили несколько мячей от пинг-понга.

Вы можете назвать это «аттрактором счастья», «перекрывающейся положительной обратной связью», «замкнутой петлей похвалы» или «бумагой веселья». Лично я предпочитаю термин «аффективная смертельная спираль».

В следующем посте: как сопротивляться аффективной смертельной спирали. (Подсказка: не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.)

Когда-то давно был человек, считавший, что он обладает Великой Идеей. Действительно, по мере того, как он думал об Идее всё больше, он понимал, что это была не просто Великая Идея, а Самая Замечательная Когда-Либо Существовавшая Идея. Великая Идея могла бы разгадать тайны Вселенной, вытеснить авторитет подверженных коррупции и ошибкам ведомств, предоставить почти магическую силу её обладателям, накормить голодных, вылечить больных, улучшить мир в целом и т.д., и т.п.

Этим человеком был Френсис Бекон, его великой идеей был научный метод, и он был единственным фриком в истории, утверждавшем о таких преимуществах для человечества, и оказавшимся совершенно правым.

(Разумеется, Бэкон не изобрел единолично всю науку, однако он сделал в нее немалый вклад и, возможно, был первым, кто осознал ее полный потенциал.)

В этом и заключается слабое место решения, когда человек решает вообще не увлекаться идеями: некоторые из них на самом деле хорошие. Хотя на данный момент неизвестны идеи, которые были бы более революционны, чем идея Бэкона, и при этом выполняли бы свои заявления.

Но как мы можем сопротивляться аффективным смертельным спиралям, продолжая при этом уважать Науку? Подобная спираль проявляется, когда вы верите, что некоторая вещь настолько великолепна, что эффект ореола заставляет вас искать все больше и больше хороших слов, которые можно сказать об этой вещи, заставляя вас верить, что эта вещь еще более замечательна и таким образом увлекая вас в бездну. Что, если Наука в действительности настолько полезна, что мы не можем даже признать ее истинное величие и остаться при этом в здравом уме? Ой, похоже это началось…

Если вы пытаетесь защититься от данного эффекта, возможно, вам на ум придут стандартные кэшированные мысли вида «Наука дала нам кондиционеры, но ведь также дала и атомные бомбы» или «Ученые могут рассказывать о звездах и биологии, однако никогда не смогут доказать или опровергнуть существование дракона у меня в гараже». Однако люди, которые так думают, не пытаются сопротивляться аффективной смертельной спирали. Их заботит не то, что восхищение наукой выходит из-под их контроля. Скорее, им не нравится то, что наука говорит об их убеждениях, и они ищут пути, чтобы подорвать ее авторитет.

Для тех, кто искренне восхищается наукой, не подойдут те негативные вещи, которые о ней обычно говорят — не та аудитория. Так что мы должны искать другие негативные вещи на замену этим.

Но если вы пытаетесь избирательно очернить науку — пусть даже в попытке сопротивляться аффективной смертельной спирали — разве при этом вы не впадаете в рационализацию? Почему вы должны уделять внимание своим мыслям, если вы знаете, что пытаетесь манипулировать самим собой?

В общем, я достаточно скептично отношусь к тем людям, которые утверждают, что одно искажение можно использовать для нейтрализации другого. Для меня это звучит так, словно механик говорит вам, что у вашей машины сломался двигатель правого стеклоочистителя и чтобы было симметрично, механик сломал вам двигатель левого. Это такой вид «умных рассуждений», который больно ударит по вам самим. Любое решение, каким бы оно не было, должно включать в себя правильные убеждения, а не веру в убеждение, что вы верите, что определенная вещь не особо хороша.

Можете ли вы предотвратить аффективную смертельную спираль путем ограничения вашего восхищения наукой узким диапазоном? Частью спирали является стремление видеть Великую Идею везде — думать, что Коммунизм бы даже рак вылечил, если бы ему дали шанс. Возможно, что единственным наиболее надежным признаком гуру культа является тот факт, что гуру заявляет о своем знании не касательно одной области или ряда областей — а сразу во всем. Гуру знает, что членам культа нужно есть, носить, чем заниматься, как выбирать себе партнера, какие картины смотреть, какую музыку слушать…

К сожалению, в данном случае такой план имеет изъян — большинству людей не удается описать границы, в которых должна оставаться наука. Обычный аргумент «наука не вылечит рак» не работает. «Наука ничего не может сказать о любви родителей к своему ребенку» — простите, это уже явная ложь. Если вы пытаетесь отделить науку от так называемой родительской любви, вы не просто отрицаете когнитивную науку и эволюционную психологию. Вы также отрицаете факт основания Мартином Ротблаттом Объединения Терапевтов для поиска лекарства для его дочери, больной легочной гипертензией. (К слову сказать, успешного поиска.) Наука так или иначе связана со всеми важными аспектами человеческого существования.

Хорошо, но можно ли придумать подходящее утверждение о «великолепности» науки, которое было бы ложным?

По моему скромному мнению, ложным утверждением будет то, что наука столь великолепна, что учёным не нужно беспокоится об этической ответственности за свою работу, потому что так или иначе результат будет хорошим. Учёные тоже люди, они (как и другие люди) так или иначе думают о благе для обществе, и это, по крайней мере, одна из причин, почему наука создаёт хорошего всё же больше, чем плохого.

Однако эта точка зрения, очевидно, не бесспорна. Можно придумать и более простое ложное утверждение: «Пациент с раком может быть вылечен, путем публикации достаточного количества журнальных статей». Или «Социопаты могли бы стать полностью нормальными, если бы они заставили себя не верить ничему, без воспроизводимого экспериментально свидетельства с p менее 0,05».

Для того, чтобы не поверить в эти ложные утверждения, следуя аффективной спирали, не надо искать причин верить в то, что публикация журнальных статей вызывает рак. Не надо пытаться поверить в то, что наука всё равно ничего не может сказать о раке. Надо принять для себя как данность, что наука хороша лишь слегка.

Точнее, если вы достаточно конкретно знаете как работает наука, то вы знаете, что хоть наука и может со временем «вылечить рак», но больной пациент, пишущий журнальные статьи, не получит чудодейственной ремиссии. Эта конкретная цепь причин и следствий не будет работать.

Аффективная смертельная спираль представляет собой эмоциональную проблему, возникающую вследствие проблемы в восприятии, эффекта ореола, который заставляет нас приписывать бо́льшую вероятность истинности будущим положительным заявлениям, если мы приняли начальное положительное заявление. Мы не можем избавиться от этого эффекта по своему желанию, скорее всего, он всегда в той или иной мере будет влиять на нас. Но мы можем уменьшить размер этого влияния, остановившись и рассматривая каждое дополнительное положительное заявление как лишнее усложнение, и концентрируясь на самих заявления отдельно от положительных эмоций, ими вызываемых.

Что делать, если определенное хорошее заявление «не может быть опровергнуто», хотя есть аргументы «за» и «против»? На самом деле таких слов вообще стоит опасаться, поскольку часто их произносят те люди, которые повторяют свидетельство или пытаются избежать слабых мест. Учитывая опасность аффективной смертельной спирали радости, имеет смысл постараться избегать радоваться неподтвержденным заявлениям — избегать делать их источником еще больших положительных эмоций касательно того, что вам уже нравится.

Аффективная смертельная спираль является столь большой проблемой вследствие перекрывающейся положительной обратной связи, которая дает возможность процессу перейти в критическую стадию. Возможно, вы не можете совсем убрать эффект ореола, однако вы можете мыслить достаточно критически, чтобы не давать ему довести вас до критической отметки — при этом резонанс прекратится до того, как все взорвется.

Можно даже сказать, что вся проблема начинается с людей, которые не утруждают себя критическим анализом любой детали, вносящей дополнительную сложность — рассматривая подходящие свидетельства для компенсации сложности, ища недостатки так же как и поддержку, вовлекая любопытство — как только были приняты некоторые основные положения. Без ложной конъюнкции эффект ореола все еще действовал бы, однако не приводил бы к аффективной смертельной спирали.

Даже в отношении Самых Крутых Штук в известной вселенной идеальный рационалист, требующий безусловно необходимые свидетельства для каждого дополнительного (положительного) заявления, никогда бы не впадал в аффективный резонанс. Вы не можете так делать, но вы можете постараться приблизиться к этому идеалу достаточно близко, чтобы сохранять свое счастье от выхода из-под контроля в смертельную спираль.

По-настоящему опасные случаи это те, где любая критика любого положительного заявления про Великую Идею ощущается плохой или социально неприемлемой. Аргументы — это солдаты, любое положительное заявление — солдат вашей стороны, причинять им вред — предательство. Тогда реакция достигает критической точки. Больше об этом в следующем посте.

Добавление: Стюарт Армстронг предложил весьма дельный совет:

Разделите вашу Великую Идею на мелкие отдельные идеи и обращайтесь с ними как с независимыми.

Для примера: марксист должен делить Великую Идею Маркса на теорию стоимости, теорию политических отношений между классами, теорию заработной платы, теорию крайнего политического состояния человечества. Каждая из них должна оцениваться отдельно от других, и истинность или ложность одной не должна распространяться ореолом на другую. Если мы можем сделать это, спираль будет нам не страшна, поскольку каждая теория слишком мала, чтобы стать началом спирали.

Метафорически говоря, это похоже на дробление плутония, чтобы не дать ему достигнуть критической массы. Три Великих Идеи намного менее вероятно сведут вас с ума, чем одна Великая Идея. К тому же совет Армстронга помогает сохранить концентрацию на деталях: как только кто-то говорит «Публикация достаточного количества статей может вылечить ваш рак», вы спрашиваете: «Это было получено экспериментальным методом? Если да, то на каком этапе эксперимента вылечивается рак? Или это преимущество от науки как от социального процесса? В таком случае нужно полагаться на отдельных ученых, желающих вылечить рак или они могут быть эгоистами?». Возможно, что это поможет вам избавиться от эффекта ореола и даст возможность более эффективно замечать замешательство и отсутствие поддержки.

Добавление 2: как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.

Снова и снова можно встретить людей спорящих о том, является ли атеизм религией. Как я упоминал в «Purpose and Pragmatism» (English), спор о смысле отдельного слова практически всегда означает, что вы потеряли нить от изначальной проблемы. Какие предпосылки могут существовать для этого спора?

Атеист толкает речь, попрекая «религию» инквизицией, крестовыми походами и многочисленными конфликтами как с исламом, так и без его участия. На это религиозный человек может ответить: «Но атеизм также является религией, вы тоже имеете верования о Боге; вы верите в то, что Бога не существует». Тогда атеист парирует: «Если атеизм – религия, то не-коллекционирование марок можно назвать хобби», и спор начнётся.

Или он может ответить: «Но такие же ужасы были принесены и атеистом Сталиным, подавлявшим церкви во имя атеизма, так что вы не можете объявлять религию источником насилия». Теперь атеист может соблазниться ответом «Ни один истинный шотландец», сказав: «Религия Сталина называется Коммунизм». Религиозный человек возразит: «Если Коммунизм – религия, то фанаты Звёздных Войн – правительство», и спор начнётся.

Нужно ли определять «религиозного» человека как кого-то, кто имеет определенное мнение о существовании по крайней мере одного бога, то есть присваивает вероятность ниже 10% или выше 90% существованию Зевса? Или его нужно определять как человека, который обладает положительным мнением, говоря, что вероятность существования по меньшей мере одного бога выше 90%? В первом случае Сталина можно назвать «религиозным»; во втором его назвать так нельзя.

Но это определённо неверный подход к проблеме. Что вы действительно хотите знать, о чём действительно был спор – это то, почему на определённых этапах человеческой истории большие группы людей подвергались пыткам и были убиты якобы во имя идеи. Переопределение слова никак не изменит исторических фактов.

Коммунизм был сложной катастрофой, и в ней может и не быть единичной причины, отдельной ссылки, лежащей в основе причинно-следственной цепочки. Но если бы я должен был предложить эй-ошибку, это была бы… ну, я позволю Господу сказать это за меня:

«Если будет уговаривать тебя тайно брат твой, сын отца твоего или матери твоей, или сын твой, или дочь твоя, или жена на лоне твоем, или друг твой, который для тебя, как душа твоя, говоря: „пойдем и будем служить богам иным, которых не знал ты и отцы твои”, богам тех народов, которые вокруг тебя, близких к тебе или отдаленных от тебя, от одного края земли до другого, то не соглашайся с ним и не слушай его; и да не пощадит его глаз твой, не жалей его и не прикрывай его, но убей его; твоя рука прежде всех должна быть на нем, чтоб убить его, а потом руки всего народа; побей его камнями до смерти, ибо он покушался отвратить тебя от Господа, Бога твоего, Который вывел тебя из земли Египетской, из дома рабства» (Второзаконие 13:7—11).

Это аналогично правилу, установленному Сталиным для коммунизма и Гитлером для нацизма: если твой брат пытается рассказать тебе, почему Маркс ошибался, если твой сын пытается рассказать тебе, что евреи не планируют захват мира, то не спорь с ним и не приводи доказательств, не проводи воспроизводимых опытов и не изучай историю, но скорее сдай его секретным службам.

В прошлом посте я предположил, что ключевым моментом в сопротивлении аффективным смертельным спиралям является принцип «дополнительной сложности» – просто помнить, что любое дополнительное положительное заявление добавляет сложности Великой Идее. (Это не тривиальный совет. Люди часто забывают делать это, даже когда слушают прогнозы футуристов, удивительно полные восторженных подробностей о чудесах будущего, что уж тут говорить о тех моментах, когда они в одиночестве рассуждают о своей любимой идее). Это не уберет эффект ореола, однако может снизить резонанс ниже критической отметки, чтобы одно хорошо звучащее заявление не провоцировало больше 1,0 дополнительного хорошо звучащего заявления, в среднем.

Диаметральной противоположностью этому совету, который подвергает эффект ореола сверхкритичности, является момент, когда любой спор против положительных заявлений о Великой Идее ощущается чем-то кощунственным. Политика – убийца разума. Аргументы – солдаты. Как только вы выбираете сторону, вы должны поддерживать все аргументы, свидетельствующие в пользу вашей стороны и опровергать все те, что говорят против нее. Если же вы предоставляете помощь стороне врага, то вы – предатель.

Если…

…вы думаете, что любой, кто указывает на недостатки теории эволюции, будет сторонником креационизма;

…вы ощущаете, что получаете духовные очки за любую хорошую вещь сказанную вами о Боге, и спорить об этом – вмешиваться в ваши отношения с Богом;

…у вас есть четкое ощущение, что другие люди в комнате осудят вас за «поддержку вражеской стороны», если вы будете приводить аргументы против последней войны;

…сказать что-либо против коммунизма для вас смерти подобно;

…тогда аффективная смертельная спираль становится сверхкритичной. Теперь это Аффективная Смертельная Супер-Спираль.

Это не религия как таковая, это ключевая систематизация, относящаяся к нашему исходному вопросу: «Что приводит к жестокости?». Лучшее определение различий, которое я слышал, между «сверхъестественным» и «натуралистическим» мировоззрением, это то, что сверхъестественное заявляет существование онтологически базовых ментальных сущностей, наподобие духов, в то время как натуралистическое сводит ментальные явления к нементальной природе. Концентрация на этом как на источнике проблемы поддерживается в религиозной исключительности. Заявления сторонников сверхъественного мировоззрения стоит выделить, поскольку они всегда ошибочны по фундаментальным причинам. Но это всё ещё только один вид ошибок.

Аффективная смертельная спираль может зарождаться вокруг сверхъестественных убеждений; особенно вокруг монотеистических религий, центральное место в которых занимает сверхсчастливый агент, в основном определеяемый как соглашающийся с любым хорошим заявлением про его религию; особенно вокруг тех, в которых комплексы мемов развились достаточно для того, чтобы заявлять о сверхъестественной каре за неверие. Однако смертельная спираль может возникнуть и вокруг политической инновации, харизматичного лидера, веры в национальную идею или экономическую гипотезу. История учит, что аффективные смертельные спирали опасны, вне зависимости от того, включают ли они в себя сверхъестественное или нет. Религия как класс ошибок недостаточно выделяется, чтобы рассматриваться как ключевая проблема.

Сэм Харрис подобрался ближе к истине, когда обвиняюще указал на само явление веры. Если вы не налагаете бремя доказательства на всякое и каждое дополнительное хорошее заявление, то впасть в аффективный резонанс необычайно просто. Посмотрите на бедных последователей Нью Эйдж. В христианстве развилось множество видов защиты от критики, выступая в защиту чудес веры; последователи Нью Эйдж в культурном отношении унаследовали кэшированную мысль, что вера – это хорошо, однако не имеют ограничивающего их Писания, которое могло бы оградить их от конкурирующих мемов. В конечном итоге течение Нью Эйдж погрязло в смертельных спиралях вокруг звезд, деревьев, магнитов, диет, заклинаний, единорогов…

Но аффективная смертельная спираль становится много опаснее, когда критика становится грехом, бестактностью или преступлением. В мире существуют вещи, которые заслуживают огромной похвалы, и вы не можете точно сказать, где для них проходит граница между заслуженной и незаслуженной похвалой. Однако не существует Идеи, настолько истинной, что будет неправильно критиковать любой аргумент, поддерживающий ее. Таких идей нет и не будет. Никогда. Во веки веков. Это точно. Большая часть возможных убеждений в нетривиальном пространстве ответов ложна, и подобным образом большая часть возможных аргументов в их поддержку тоже ложна, и даже самая лучшая идея не сможет это изменить.

И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.

Ранние исследователи культов были удивлены, когда обнаружили, что когда культы получают сильный удар — пророчество ли не сбывается, или на свет выплывают грешки основателя культа — они часто возвращаются даже сильнее чем прежде, с усиленным убеждением и фанатизмом. Свидетели Иеговы предсказывали Армагеддон в 1975, основываясь на своих вычислениях из Библии; 1975 пришел и ушел. Культ Анафемы, все еще действующий и в наши дни, выжил после того как предсказанный им интергалактический флот не появился 27 сентября 1975. (Статья в Википедии про данный культ упоминает несбывшееся пророчество касательно 2001 года, однако обходит стороной ранний провал в 1975, что уже достаточно интересно.)

Почему же групповое убеждение становится сильнее после встречи со столь разрушительным контр-свидетельством?

Стандартное объяснение данного явления основано на теории когнитивного диссонанса. Когда люди производят «невозвратные» действия в поддержку убеждения — отдают все свое имущество в ожидании прилета НЛО — они просто не могут признать, что они ошиблись. Вызов их убеждению представляется громадным когнитивным диссонансом; им приходится усилить свои мысли, чтобы противостоять шоку, таким образом укрепляясь в своем фанатизме. В данной интерпретации увеличение группового фанатизма есть результат увеличения фанатизма индивидуального.

Я смотрел на джава-апплет, который показывал использование охлаждения испарением для получения конденсата Бозе-Эйнштейна, когда до меня дошло, что совершенно другая сила может отвечать за увеличение фанатизма. Охлаждение испарением устанавливает барьер потенциальной энергии вокруг собрания горячих атомов. Тепловая энергия по существу статистична по природе — не все атомы движутся с совершенно одинаковой скоростью. Кинетическая энергия каждого атома варьируется, поскольку атомы сталкиваются друг с другом. Если вы устанавливаете барьер потенциальной энергии немного выше, чем средняя тепловая энергия, то при случайном стечении обстоятельств какой-то атом может получить достаточно кинетической энергии, чтобы вылететь из ловушки. Группа при этом становится существенно холоднее, чем барьер потенциальной энергии вокруг нее. Различные действия с апплетом помогли мне понять это яснее.

В классическом «Когда пророчество не сбывается» Фестингера один из членов культа уходит сразу же, как только НЛО не появляется. Кто встанет и уйдет первым? Средний член культа? Или относительно более скептичный участник, который ранее мог действовать как сдерживающий голос, успокаивавший более фанатичных последователей?

После того, как члены с наибольшей кинетической энергией уходят, все поздние дискуссии будут проходить между ярыми фанатиками с одной стороны и чуть менее ярыми фанатиками с другой стороны, при этом мнение всей группы получится где-то «посередине» между ними.

Аналогично ли это преобразованию в форму конденсата Бозе-Эйнштейна? Конечно же реальной необходимости настолько подгонять аналогию нет. Но вы можете вспомнить, что я использовал аналогию с цепной реакцией для аффективной смертельной спирали; когда группа отторгает все свои голоса, которые ее сдерживали, тогда все люди, подбадривая друг друга и подавляя инакомыслящих, могут внутри группы увеличивать средний уровень фанатизма. (Здесь нет аналогий с термодинамикой, пока кто-либо не откроет ядерное оружие, которое взрывается будучи холодным.)

Когда долгое партнерство Айн Рэнд и Натаниэля Брандена прекратилось, существенная часть общества объективистов последовала за Бранденом в его «новую систему» объективизма, которая была уже не так тесно связана с Айн Рэнд. Кто же остался с ней после этого скандального разрыва? Те, кто на самом деле верил в нее — и возможно несколько молчунов, которые после ухода большей части сообщества, могли слышать только аргументы одной стороны. Это может объяснить то, что последователи Института Айн Рэнд (по некоторым источникам) стали еще более фанатичны после раскола, чем исходная группа объективистов под руководством Рэнд и Брандена.

Несколько лет назад я состоял в списке рассылки для трансгуманистов, где была маленькая группа поддерживающая «социальный демократический трансгуманизм», едко оскорбляя каждого либертарианца (сторонника полной свободы мысли и деятельности), включенного в этот список. Большинство либертарианцев покинуло список, многие из оставшихся сдались и перестали писать. В результате оставшаяся группа сдвинулась существенно в сторону левых взглядов. Произошло ли это преднамеренно? Скорее всего нет, поскольку я не думаю, что виновники настолько знали психологию. (Если уж на то пошло, не могу вспомнить другой столь похожей на аналогию с охлаждением испарением ситуации, хотя это не значит, что их не было). В крайнем случае они могли стремиться стать «наибольшей рыбой в маленьком пруду».

Это одна причина того, почему столь важно быть терпимым к допустимому нонконформизму. Не стоит выкидывать члена группы, даже если вам показалось, что это оправдано — хотя бы подождите, чтобы убедиться, что это и в самом деле необходимо. Если вы выкидываете старых нонконформистов, то позиция группы сдвигается и их место занимает кто-то еще. Если вы удаляете и их, то вы явно встали на путь становления конденсатом Бозе-Эйнштейна, ну и, последующего взрыва.

Обратная сторона: Томас Кун верил, что наука должна стать «парадигмой», использующей свой технический язык, который исключает посторонних, прежде чем она реально начнет работать. В стадиях формирования науки, согласно Куну, приверженцы науки прилагают множество усилий, чтобы она была доступна не только им. Но (опять же по Куну) наука может прогрессировать как техническая дисциплина только если откажется от требования внешней доступности, и только ученые, работающие в рамках парадигмы, будут тесно знакомы с ней, используя основной технический материал для коммуникации между собой. Это звучит цинично по отношению к тому, что обычно утверждается об общественном понимании науки, однако я определенно вижу в этом рациональное зерно.

Моя собственная теория модерирования в Интернете гласит, что вы должны исключить троллей и спам, чтобы получить нормальный разговор. Вы должны даже исключить вежливых, но технически неосведомленных людей из специализированных технических списков рассылки, если вы хотите, чтобы работа продвигалась. Полностью открытое обсуждение в Интернете крайне быстро деградирует. При этом следует быть осторожным при исключении из обсуждения адекватных троллей — они служат для реализации скрытой функции легитимации возражений. Однако у вас не должно быть настолько много троллей, чтобы они начинали спорить уже друг с другом или доминировать в обсуждениях. Если у вас есть один человек, который известен как Парень-Не-Согласный-Со-Всем-На-Свете, любой, у кого будет более разумное и резонное возражение, не будет выглядеть кем-то выделяющимся. Правда на практике у меня эта теория работала не слишком хорошо, так что не слишком увлекайтесь ею.

Однажды утром я встал с постели, включил компьютер и мой почтовый клиент Netscape автоматически скачал для меня новости дня. В этот день все новости говорили о том, как два угнанных террористами самолета врезались в башни Центра международной торговли.

И первой мыслью было:

«Полагаю, что я действительно живу в Будущем.

Спасибо небесам, что это не была ядерная бомба».

А затем:

«Чрезмерная реакция на это событие будет в десять раз хуже, чем само событие».

И просто «в десять раз хуже» оказалось огромным преуменьшением. Даже я не мог догадаться насколько плохо всё будет. Это является вызовом пессимизму. Действительно тяжело нацеливаться достаточно низко, чтобы быть приятно удивленным, в то время как часто и как много вы будете удивлены неприятно.

Тем не менее, я немедленно понял, что все и везде будут говорить как ужасно, как плохо было это событие; и что никто не будет озабочен тем, чтобы быть голосом сдерживания, соответствующего ответа. Изначально, 11 сентября, это была мысль, что шесть тысяч людей умерли. Любой политик, который сказал бы «6000 смертей это всего лишь восьмая часть от жертв автомобильных аварий», сразу бы был бы снят со своей должности.

Нет, 11 сентября не было хорошим днем. Но если все заработали баллы на подчеркивании того, как это ужасно, и никто не озаботился призвать к сдержанности, указав насколько трудно нанести ответный удар, то реакция будет выше требуемого адекватного уровня, каким бы ни был этот уровень.

Это темнейшее отражение смертельной спирали счастья — спираль ненависти. Любой, атакующий Врага — патриот; и любой, кто пытается критически проанализировать даже единственное негативное утверждение о Враге — предатель. Но, как и большинство всех сложных утверждений далеки от истины, большая часть негативных вещей, которые вы можете сказать о ком-либо, даже о самом плохом человеке в мире, будут ложны.

Думаю, что лучшей иллюстрацией будет «террористы-смертники были трусами». Можно хотя бы немного здравого смысла, пожалуйста? Чтобы добровольно направить самолет на здание нужно немного храбрости. При всех их грехах, трусость явно не входила в этот список. Но я предполагаю, что все плохое, что вы скажете о террористах, неважно насколько глупы ваши слова, должно быть правдой. Наберу ли я еще больше баллов, если обвиню Аль-Каиду в том, что это они подстроили убийство Кеннеди? А если обвиню их в том, что они сталинисты? Что, неужели правда трусость?

Да, это значит, что террористы не были трусами. Это нужно не только для понимания реальной психологии врага. Просто слишком много урона наносит спираль ненависти. Просто слишком опасно, чтобы для нее в мире была цель, будут ли это евреи или Адольф Гитлер, о котором говорят куда больше негативных слов, нежели приводят точных фактов.

Когда обороняющаяся сторона имеет тысячи самолетов и сотни тысяч хорошо вооруженных солдат, она должна понимать, что ее собственная иммунная система может нанести больше ущерба, нежели 19 мужчин на четырех гражданских самолетах. США потратили миллиарды долларов и тысячи солдатских жизней, стреляя себе в ногу более эффективно, нежели любая террористическая группировка может мечтать.

Если бы США полностью проигнорировали атаку 11 сентября — пожали бы плечами и отстроили здания — то это был бы лучший метод действий, нежели тот, что был предпринят. Однако это не выбор политиков. Даже если бы кто-то из них в частном порядке предположил бы, что иммунный ответ будет более разрушителен, нежели сама болезнь, это осталось бы предположением в частном порядке, потому что американские политики вынуждены идти прямо в ловушку Аль-Каиды, иначе их карьера будет уничтожена. Кто угодно, кто голосует за ответный удар всеми силами — патриот. Любой, кто призывает к сдержанности и критикует патриотические заявления — предатель.

В самом начале были и более умные реакции на это событие, чем я предположил. Я видел конгрессмена, правда, забыл какого, который перед камерами сказал: «Мы забыли, что в первую очередь целью государства является не экономика, не здравоохранение, а защита страны от атак». Меня это удивило — что политик мог сказать что-то, что не выглядит как табличка с надписью «аплодисменты». Должно быть он испытывал сильный эмоциональный шок, раз сказал что-то похожее на реальность.

Однако за два дня шок прошел и работа на публику снова стала доминирующим видом деятельности в политическом дискурсе. Спираль эскалации полностью завладела им. Когда никто не смеет призывать к сдержанности, не имеет значения откуда началась дискуссия, уровень ярости и безрассудства со временем только растет.

Дополнение: Привет, реддиторы! Вы также можете насладиться «Сказом о науке и политике» и «Политические дебаты не должны быть односторонними».

Примечание редактора сайта: В настоящее время корректность эксперимента в Робберс Кейв, на который ссылается Юдковский в этом эссе, всерьёз оспаривается. При переиздании первых двух томов книги «Рациональность: от ИИ до Зомби» в 2018 году это эссе было из книги исключено.

Думали ли вы, когда были ребенком, что бессмысленная поездка в летний лагерь на самом деле могла иметь скрытую от вас цель — например, что это был научный эксперимент, а воспитатели в лагере на самом деле были исследователями, которые наблюдали за вашим поведением?

Я — никогда.

Но такие мысли начинают приходить в голову чаще, когда мы читаем «Исследование межгруппового конфликта: эксперимент в национальном парке Робберс Кейв» Шерифа, Харви, Уайта и Худа (1954/1961). В этом исследовании подопытными, простите, «отдыхающими» — были 22 мальчика 5-го — 6-го года обучения, выбранные из 22 разных школ Оклахома-сити, из стабильных протестантских семей среднего класса, которые хорошо учились в школе. Средний IQ их составлял 112. Они все были социально адаптированы и похожи друг на друга в той степени, насколько это было возможно.

Эксперимент, проведенный после недавно отгремевшей Второй Мировой, был задуман для исследования причин — и возможных путей решения — межгруппового конфликта. Как они создали межгрупповой конфликт для изучения? Они разделили 22 мальчиков на две группы по 11 человек и — и этого было вполне достаточно.

Исходный план исследователей состоял из трех этапов. На первом обе группы свели вместе (группы не знали друг о друге). К концу первого этапа каждой группе сообщили о существовании другой. На втором этапе различные соревнования были призваны окончательно разделить мальчиков на группы.

Однако второй этап не понадобился. Группы начали относится друг к другу враждебно, как только узнали о существовании разделения на группы: «они используют нашу территорию лагеря, нашу бейсбольную площадку». На первой же встрече группы начали обмениваться оскорблениями. Они называли себя Гремучниками и Орлами (пока они были одной группой, им не требовались подобные прозвища).

Когда, в соответствии с процедурой эксперимента, было объявлено о начале соревнований, соперничество среди групп возросло до максимума. Здоровый спортивный дух в соревнованиях держался не более двух дней, после чего быстро пошел на спад.

Орлы украли флаг Гремучников и сожгли его. Гремучники совершили набег на лагерь Орлов и украли джинсы их лидера, покрасили их в оранжевый цвет и вывесили как свой флаг, с надписью «Последний из Орлов». Орлы совершили ответный набег и перевернули кровати Гремучников, бросаясь грязью. После этого они вернулись в свой лагерь и начали готовиться к отражению набега со стороны Гремучников. После того как Орлы выиграли в последнем из соревнований этапа 2, Гремучники украли их призы. Это перетекло в драку, которую персоналу лагеря пришлось прекратить, чтобы избежать увечий среди детей. Орлы при этом, пересказывая эту историю, превратили все это в свою победу, утверждая что они преследовали убегающих Гремучников, хотя на самом деле это было не так.

У каждой группы развился отрицательный стереотип «Их» и положительный стереотип «Нас». Гремучники много ругались. Орлы, после выигрыша в одной из игр, сделали вывод что они выиграли, потому что молились, а Гремучники проиграли, потому что сквернословили всё время, и поэтому Орлы решили прекратить ругаться вообще, а также прекратить общение с Гремучниками. Орлы позиционировали себя как правильных и высокоморальных; Гремучники избрали себе образ грубых хулиганов.

Члены одной группы немедленно задирали носы, как только видели другую.

На третьем этапе исследователи пытались уменьшить разногласия между двумя группами.

Больше общения (без попыток примирения) не помогло уменьшить враждебность между группами. Посещение различных увлекательных мероприятий вместе — например, совместный запуск фейерверков — также не помогло; мальчики чуть снова не передрались.

Можете ли вы предположить, что сработало?

Подумайте.

Мальчикам сказали, что в лагере ожидаются перебои с водой из-за поломки в системе водоснабжения — возможно из-за каких-то вандалов.
(Внешний Враг, один из старейших трюков в книге.)

На площади между лагерем и резервуаром были расположены четыре проблемных места. (Изначально данные об этих местах рассказали членам каждой группы равномерно). Если в них ничего не было найдено, то следовало искать в резервуаре с водой. Поскольку найдено ничего не было, группы встретились у резервуара и увидели, что вода не идет из крана. Группы обсудили возможные проблемы, осмотрели резервуар, нашли лестницу наверх, проверили, что вода в резервуаре присутствует и наконец обнаружили, что кран был забит мешком с соломой. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения от членов обоих групп по проблеме рассматривались совместно и обе группы старались реализовать их.

Когда кран был наконец-то прочищен, Гремучники, у которых были фляжки, не возражали против того, чтобы Орлы первыми набирали воды (у Орлов фляжек не было). Никаких оскорблений между группами не наблюдалось, даже уже привычного «Сначала дамы!».

Это не стало концом вражды. Были еще столкновения и оскорбления, уже на следующий день. Однако после нескольких подобных общих заданий, в которых требовались совместные усилия обоих групп — наподобие вытаскивания застрявшего грузовика — соперничество прекратилось. В конце путешествия ребята из Гремучников даже использовали 5 долларов, выигранных в соревновании, чтобы угостить молочными коктейлями ребят из Орлов.

Эксперимент в Робберс Кейв иллюстрирует психологию племен охотников и собирателей, которая тянется с давних времен, настолько хорошо, насколько возможно для эксперимента, проведенного в социальных науках.

Любое сходство с современной политикой — всего лишь ваше воображение.

(Иногда я думаю, что вторая по важности вещь, которая требуется человечеству — это суперзлодей. Может я этим займусь, когда закончу с текущей работой.)

Cade Metz в The Register недавно заявил, что секретный почтовый список топ-администраторов Википедии помешался на бане всех критиков и возможных критиков Википедии. Включая баны продуктивных юзеров, когда один администратор — исключительно из-за продуктивности — начинает уверять, что юзер был шпионом, подосланным Обзором Википедии. И что большинство людей в Википедии закрыли свои ранги для своей защиты. (Я сам не исследовал эти заявления пока еще. Информация была предоставлена Eugen Leitl.)

Существует какой-то неявный моральный изъян в систематизации мировых знаний, который приводит последователей этой причины в безумие? Возможно только люди с врожденной тягой к тоталитаризму попытались бы стать мировыми авторитетами во всем…

Осторожно: фундаментальная ошибка атрибуции! (Фундаментальная ошибка атрибуции: делать выводы о чьем-либо характере на основе поведения, которое может быть полностью объяснено ситуацией, в которой находится этот человек. Когда мы видим, как кто-либо пинает торговый автомат, мы думаем, что это «злой человек», но когда мы сами пинаем автомат, мы объясняем это тем, что опоздали на автобус, не успели на поезд и к тому же автомат работает не так как надо.) Если высказывания о Википедии истинны, то они объясняются обычной человеческой природой, а не необычными сторонами данной природы.

Деление на «своих» и «чужих» — это часть обыденной человеческой натуры. Как и смертельные спирали счастья и спирали ненависти. Благородное Дело не обязано содержать дефект, чтобы его последователи сформировали культ. Достаточно, чтобы они были людьми. Все остальное произойдет само собой, так же закономерно, как то, что еда портится в холодильнике, если отключили электричество.

В таком же смысле, что любая температурная разница хочет свестись к нулю и любая программа хочет стать набором патчей, любая деятельность хочет быть культом. Это состояние с высокой энтропией, в которое развивается система, аттрактор в человеческой психологии. И не имеет значения, даже если Дело по-настоящему Благородно. Вы можете думать, что Хорошее Дело растянуло бы свою хорошесть на все аспекты людей, которые с ним связаны — что последователи Дела также меньше заинтересованы в статусных играх, искажении «своих» и «чужих», аффективных спиралях, обожествлении лидеров. Но вера в истинную идею не отменяет гало-эффекта. Благородное дело не делает его последователей чем-то превосходящим обычных людей. Есть множество плохих видов деятельности, из-за которых может произойти множество плохого — но вред не всегда происходит только из-за того, что исходная идея была плоха.

Каждая группа людей с необычной целью — хорошей, плохой, глупой — будет склонна становится аттрактором культа, если члены группы не предпринимают постоянных усилий, чтобы сопротивляться этому. Вы можете сделать так, чтобы у вас дома было прохладнее, чем на улице, однако вам для этого придется держать кондиционер включенным, и как только вы выключите его — сдадитесь в поединке с энтропией — вещи вернутся к «нормальному состоянию».

Как-то был случай, когда существовала группа с лозунгом «Рациональность! Причина! Объективная реальность!» (Больше об этом в следующих постах.) Навешивание на Великую Идею ярлыка «рациональность» защитит вас не более, чем вывешивание на доме таблички «Холодно!» Вам все еще нужно включить кондиционер — тратить требуемую энергию, чтобы компенсировать естественное сползание в культ. Поклонение рациональности не сделает ваш разум яснее, как поклонение гравитации не позволит вам летать. Вы не можете говорить с термодинамикой и молиться теории вероятности. Вы можете использовать это, но не можете присоединиться к этому как к группе.

Культовость количественна, а не качественна. Вопрос «Есть ли здесь признаки культа, да или нет?» — неправильный. Правильный вопрос — «В какой мере это является культом и где именно это проявляется?» Даже в Науке, которая является архетипической По-Настоящему Благородной Деятельностью, мы можем без труда указать на рубежи борьбы против энтропии культа, где текущая линия боя колеблется то туда, то обратно. Журналы склонны в большей степени принимать статьи с хорошо известной авторской подписью или от неизвестного источника из хорошо известного института по сравнению со статьями от неизвестного автора из неизвестного института? Какая доля убеждения диктуется авторитетом, а какая — экспериментом? Какие журналы используют «слепой метод» обзора и насколько это эффективно?

Я привожу этот пример, а не обычные расплывчатые обвинения «Ученые недостаточно открыты новым идеям», потому что он показывает линию фронта — место, где отбрасывается человеческая психология, где откидывается накопленная энтропия культа (конечно, это требует потерять немного тепла на излучение).

Данный пост – это не сборник методов противостояния культовости. О некоторых таких методах я говорил ранее, о некоторых расскажу позднее. Но сегодня я просто хочу указать, что служение Делу не значит, что вы можете тратить меньше усилий на противостояние аттрактору культа. И что если вы можете указать где сейчас пролегает рубеж, это не значит, что вы можете признать вашу Благородную Деятельность низкой. Вы можете думать, что если бы вопрос был поставлен как «Культ это или нет?», то вам бы пришлось ответить нет, или иначе предать вашу Идею. Но это похоже на то, как если бы вы делили двигатели на «идеально эффективные» и «неэффективные», вместо того, чтобы измерить их расход.

И наоборот, если вы верите, что это Изначальная Испорченность этих Глупых Прочих Дел заставила людей ошибаться, если вы смеетесь над глупостью «жертв культа», если вы думаете, что культы возглавляются и популяризируются мутантами — тогда вы не потратили нужных усилий на противостояние энтропии — на сопротивление бытию человеком.

Иногда рационалистов критикуют следующим образом: «Инквизиция тоже думала, что у нее есть истина! Ясное дело, что вся эта затея с „истиной“ опасна».

Есть множество очевидных ответов, таких как «Если вы думаете, что одержимость истиной дает вам право пытать и убивать, то вы совершаете ошибку, не имеющую ничего общего с эпистемологией». Или «Так данное историческое утверждение, которое вы только что сделали насчет инквизиции – истинно ли оно?»

Обратное глупости не есть ум: «Если ваш компьютер перестал работать, то вы не говорите, что вообще все в нем сломано и что вам нужен совершенно новый, с совершенно другими комплектующими… Возможно, вам нужен всего лишь новый шнур питания». Чтобы сделать неверное заключение, достаточно ошибиться всего в одном шаге, не обязательно нужно ошибиться во всех шагах. Инквизиторы верили, что 2+2=4, однако не это было источником их безумия. Так может быть проблема вовсе не в эпистемологическом реализме?

Кажется правдоподобным, что если бы инквизиторы были релятивистами, которые утверждали бы, что нет ничего истинного и ничего не имеет значения, то они были бы менее склонны проявлять жестокость. Также они были бы менее жестоки, если бы подверглись лоботомии. Думаю, это справедливая аналогия.

И еще… я считаю, что играет роль отношение инквизиции к истине. Она верила, что существует такая вещь как истина, и что истина важна; ну, в этом взгляды инквизиции были схожи со взглядами Ричарда Фейнмана. Но инквизиторы не были искателями истины. Они были ее хранителями.

Я однажды читал утверждение (не могу найти источник), что ключевым компонентом духа времени является то, где расположены идеалы этого времени, в прошлом или будущем1. Почти все культуры до Просвещения верили в грехопадение - что когда-то все было совершенным в далеком прошлом, однако случилась катастрофа и с тех пор все медленно становится хуже:

В эпоху, когда жизнь на Земле была полна… Они любили друг друга и не знали, что это была „любовь к ближнему“. Они никого не обманывали, хотя не знали, что значит „человек, которому можно верить“. Они были надежны, пусть и не знали, что значит „добросовестность“. Они свободно жили вместе, делясь всем, не зная, что они щедры. По этой причине про них не рассказывают. У них не было истории».

— Путь Чжуан Цзы, перевод Томаса Мертона.

Совершенная эра прошлого, в соответствии с нашими лучшими антропологическими свидетельствами, никогда не существовала. Но культура, которая рассматривает жизнь как неумолимо катящуюся под откос, сильно отличается от той, в которой вы можете достичь невиданных высот.

(Я говорю «культура», а не «общество», поскольку внутри общества может существовать больше одной субкультуры.)

Вы можете возразить, что есть разница между упомянутым Ричардом Фейнманом и инквизицей – вторые верили, что истина уже у них, а первый искал ее. Это не особо хороший довод, поскольку несомненно были истины, которыми обладал и Ричард Фейнман. «Небо синее», например, или «2+2=4».

Да, в науке есть определенные истины. Теория общей относительности возможно будет переписана в будущей физике – однако не такой теорией, что будет предсказывать вращение Солнца вокруг Юпитера; новая теория должна утаскивать успешные предсказания из старой, а не противоречить им. Но эволюционная теория находится на более высоком уровне, чем атомы, и ничто из того, что мы откроем насчет кварков, не заставит нас отбросить дарвинизм, клеточную теорию в биологии, атомную теорию в химии, или сотню других блестящих теорий, истинность которых на данный момент не оставляет сомнений.

Это «абсолютные истины»? Нет, если вопрос стоит о присвоении им вероятности равной буквально единице. Но они представляют собой случаи, где наука по существу считает их истиной.

И еще ученые не пытают людей, которые ставят под сомнение атомную теорию химии. Почему нет? Потому что они не верят, что она дает им право на жестокость? Ну, да, этот ответ лежит на поверхности; но почему они в это не верят?

Потому что химия не заявляет о сверхъестественном возмездии в виде вечных пыток за неверие в атомную теорию химии? Но тогда мы опять рекурсивно возвращаемся к вопросу «Почему?». Почему химики не верят, что вы отправитесь в ад, если не верите в атомную теорию?

Потому что журналы не опубликуют вашу статью, пока у вас не будет прочного экспериментального наблюдения Ада? Но слишком многие ученые могут подавить свои рефлексы скептика сознательно. Почему же у химиков нет закрытого культа, который говорил бы, что все не-химики отправятся в Ад, учитывая, что многие из них – христиане?

Вопросы такого рода не имеют ответов, которые бы говорили только об одном факторе. Но я бы поспорил, что один из факторов должен касаться отношения к истине – которое может быть направлено на защиту или на прогресс.

Когда вы – хранитель истины, вы не делаете ничего полезного, чтобы дополнить истину, только охраняете ее. Когда вы пытаетесь выиграть Нобелевскую премию по химии, открыв новый бензол или фуллерен, кто-то, кто бросает вызов атомной теории, является для вас не противником вашей точки зрения, а скорее пустой тратой времени.

Когда вы – хранитель истины, все что вы может делать, это пытаться избежать неуклонного сползания в энтропию путем отбрасывания всего, что отклоняется от истины. Если есть какой-то путь противостоять энтропии, генерировать новые истинные убеждения с малым расходом тепла, то этот же метод может сохранять истину без применения тайной полиции. В химии вы можете воспроизвести эксперимент и своими глазами увидеть его результаты – и это хранит истину без необходимости применять жестокость.

И не так страшно, если мы сделаем где-то ошибку – всего лишь недолго наши убеждения будут немного не истинны – поскольку завтра мы сможем вернуть утраченные позиции в истине.

Но работает только вся схема, поскольку экспериментальный метод представляет собой «критерий доброкачественности», который превосходит «критерий сравнения». Поскольку эксперименты могут восстановить истину без необходимости в авторитете, они также могут «отменять» авторитет и создавать новые истинные убеждения, которых прежде не существовало.

Там, где есть критерий доброкачественности вместо критерия сравнения, там дело меняется так, что присутствуют улучшения вместо угроз. Там, где властвует критерий сравнения, нет возможности вернуть прошлый авторитет, нет и пути разрешить несогласие между авторитетами. За исключением уничтожения. Выигрывает тот, у кого пушка больше.

Я не собираюсь представлять грандиозную всеохватывающую точку зрения на историю с позиции единого фактора. Я просто хочу указать на глубокое психологическое различие между тем, чтобы видеть смысл жизни в защите, охране и сохранении, и видеть его же в исследовании, создании, улучшении. Развитие будет происходить если вы направлены в прошлое или в будущее? Это нюанс в различии, который проявляет себя всюду.

Вот почему я всегда настаивал, например, что если вы собираетесь начать говорить об «этике ИИ», вам лучше бы говорить о том, как вы собираетесь улучшить текущую ситуацию с ИИ, а не пытаться предохранить от того, чтобы сделать что-то неправильно. Как только вы начинаете использовать критерий сравнения, вы начинаете терять курс ваших идеалов – терять свет правильного и неправильного, и начинаете просто выискивать «различное» и «одинаковое».

Я также могу поспорить, что эта простейшая психологическая разница – одна из причин, почему академическая область, которая прекращает активный прогресс, стремится к среднему.(По крайней мере по чистым стандартам науки. Репутационное убийство – обычное дело по стандартам истории; большинство систем убеждений на основе защитного подхода произошли от взаимодействия с реальными вещами). Если большие встряски не происходят достаточно часто, чтобы постоянно поощрять молодых ученых ориентироваться на признание заслуг, а не на конформизм, область перестает сопротивляться стандартной дегенерации в авторитарность. Когда делается мало открытий, то остается слишком много времени на то, чтобы заняться «охотой на ведьм и еретиков».

Чтобы получить лучшие результаты от использования отношения вида исследовать/создавать/улучшать, вы должны на самом деле прогрессировать, а не только надеяться на это.

• 1. Предполагаю, что речь идёт о диаграмме Инглхарта - Всемирный обзор ценностей (прим. ред.)

Как любой образованный житель 21 столетия, вы могли слышать о Второй Мировой войне. Вы можете помнить, что Гитлер и нацисты планировали ускорить процесс эволюции, вывести новую расу господ, сверхлюдей, сильнее и умнее всех людей, когда-либо живших ранее.

На самом деле это распространенное заблуждение. Гитлер верил, что сверхлюди-арийцы уже существовали ранее — стереотип нордического человека, голубоглазого блондина-хищника, который был загрязнен смешиванием с нечистыми расами. Своего рода расовое «грехопадение».

Это говорит о степени, в которой идея прогресса пронизывает западную цивилизацию — что когда человеку говорят о нацистской евгенике, он слышит «Они пытались вывести сверхчеловека». Ты, дорогой читатель — если ты будешь ошибаться настолько, чтобы одобрить принудительную евгенику, ты бы попытался создать сверхчеловека. Потому что твои идеалы расположены в будущем, не в прошлом. Потому что ты мыслишь творчески. Мысль о том, чтобы вернуться обратно к нордическому архетипу, обратно через эти тысячи лет, не будет даже рассмотрена тобой как возможность — что, всего лишь вернуться к викингам? И все? Собраться убивать людей в процессе исследований и не достигать при этом новых высот — это же более чем бесполезная трата времени и ресурсов, разве нет? И это одна из причин, по которой тебя, дорогой читатель, нельзя назвать нацистом.

Это говорит о том, как трудно относительно здоровому человеку влезть в шкуру относительного больного, как говорят о нацистах, и исказить историю так, чтобы сделать из них несовершенных трансгуманистов.

Коммунисты были теми, кого можно назвать несовершенными трансгуманистами. «Новый советский человек» и все такое. А нацистов можно с большой долей вероятности назвать лишь биоконсерваторами.

Для скептиков идея того, что разум может вести к культу, — абсурд. Характеристики культа противоположны разуму. Но, как я продемонстрирую, это не только может случиться — это уже случилось, причем с такой группой людей, что произошедшее следовало бы назвать самым невероятным культом в истории. Это урок того, что происходит, когда правда становится важнее, чем ее поиск…

— Майкл Шермер, «Самый невероятный культ в истории».

Я думаю, Майкл Шермер чрезмерно детально объясняет, что такое объективизм. Я попробую предельно расширить и развить эту идею.

Романы Айн Рэнд возвеличивают технологии, капитализм, индивидуальный вызов Системе, ограниченное в полномочиях правительство, частную собственность, себялюбие. Основной герой Рэнд, Джон Галт, был ученым, который изобрел новую форму дешевой возобновляемой энергии, но затем отказался отдать ее миру, потому что выгода была бы украдена и пошла бы на поддержку порочного правительства.

И потом — каким-то образом — это все превратилось в этико-философскую «закрытую систему» с Айн Рэнд в центре. Термин «закрытая система» — это не мое собственное обвинение, это термин, который использует Институт Айн Рэнд для описания объективизма. Объективизм определяется работами Айн Рэнд. Теперь, когда Айн Рэнд умерла, объективизм как система закрыт. Если вы не согласны с работами Рэнд в каком-нибудь отношении, вы не можете быть объективистом.

Макс Глакман однажды сказал: «Наука есть любая дисциплина, в которой дурак этого поколения может превысить порог, достигнутый гением предыдущего поколения». Наука движется вперед, уничтожая своих героев: так Ньютон пал перед Эйнштейном. Каждый молодой физик мечтает о том, чтобы стать новым чемпионом, о свержении которого будут мечтать будущие физики.

Философским кумиром Айн Рэнд был Аристотель. Ну, может быть, Аристотель был молодым и горячим математическим талантом 2350 лет назад, но математика заметно прогрессировала с его времен. Байесовская теория вероятности — это количественная логика, частным случаем которой является качественная логика Аристотеля, но ничто не указывает на то, что Айн Рэнд была знакома с байесовской теорией, когда писала свой magnum opus, «Атлант расправил плечи». Рэнд писала о «рациональности», однако даже не ознакомилась на должном уровне с современными исследованиями в области эвристики и предвзятости. Как вообще кто-то может называть себя искусным рационалистом, не зная таких элементарных вещей?

«Подождите минутку, — возражает читатель, — но это же нечестно! «Атлант расправил плечи» был опубликован в 1957! Практически никто не знал о Байесе тогда». Пфф. Вы мне еще скажите, что Айн Рэнд умерла в 1982 и никак не могла прочитать «Суждение в условиях неопределенности: эвристика и искажения», поскольку книга была опубликована в том же году.

Наука вообще нечестна. В этом как бы вся соль. Честолюбивый рационалист в 2007 году имеет огромное преимущество перед честолюбивым рационалистом в 1957. Это признак того, что прогресс происходит.

По-моему, мысль о том, чтобы добровольно принять систему, эксплицитно привязанную к убеждениям одного человека, который уже умер, где-то между дурью и самоубийством. Компьютеру нужно меньше пяти лет, чтобы стать устаревшим.

Колебание, движение, которым Рэнд восхищалась в науке, коммерции, каждой железной дороге, заменявшей путь эпохи извозчиков, каждом небоскребе, построенном по принципу новой архитектуры, рождается из принципа необходимости превзойти старых мастеров. Как можно говорить о науке, если самый умный ученый на свете уже жил? Кто бы поднял линию небоскребов в Нью-Йорке, которая так восхищала Айн Рэнд, если бы самое высокое здание в мире уже было построено?

И тем не менее Айн Рэнд не признавала никого, кто бы превосходил ее, в прошлом и не допускала появления такого человека в будущем. Рэнд, которая начала с восхищения разумом и индивидуальностью, закончила тем, что предавала остракизму всякого, кто смел ей противоречить. Шермер: «[Барбара] Брэнден вспоминала вечер, когда знакомый Рэнд сказал, что любит музыку Рихарда Штрауса. “Когда он ушел в конце вечера, Айн сказала (и такая реакция становилась все более типичной для нее): «Теперь я понимаю, почему мы с ним никогда не сможем быть действительно единомышленниками. У нас непреодолимо разное ощущение жизни». Нередко она даже не ждала, пока ее знакомый уйдет, чтобы сделать подобное замечание”».

Айн Рэнд изменилась со временем, полагаю.

Рэнд выросла в России и видела Октябрьскую революцию своими глазами. Ей дали визу для визита родственникам в Америке, когда ей был 21 год, и она никогда не возвращалась на родину. Просто ненавидеть авторитаризм, когда ты его жертва. Просто отстаивать свободу личности, когда ты угнетен.

Нужны гораздо более сильные склад ума и характер, чтобы бояться власти, когда у тебя есть сила. Когда люди обращаются к тебе за ответами, тяжелее сказать: «Что, черт побери, я могу знать о музыке? Я ж писатель, а не композитор», — или: «Черт знает, как любовь к музыкальному произведению может быть ошибочной».

Когда это ты сокрушаешь тех, кто смеет тебя оскорбить, применение силы выглядит гораздо более извинительным, чем когда сокрушают тебя. Всевозможные прекрасные оправдания любого рода каким-то образом приходят на ум.

Майкл Шермер детально описывает то, как, по его мнению, философия Рэнд пришла в итоге к тому, что опустилась до культовости. В частности, Шермер говорит (по крайней мере так кажется), что объективизм провалился, потому что Рэнд думала, что точность, уверенность возможна, тогда как наука никогда не бывает абсолютно точна. Не могу согласиться с Шермером. Атомная теория строения вещества в химии просто-таки чертовски точна, она неоспорима. Но химики не образовали вокруг нее культ.

Вообще говоря, я думаю, что Шермер становится жертвой фундаментальной ошибки атрибуции, предполагая, что есть однозначная корреляция между философией Рэнд и тем, как ее последователи образовали культ. Всякое дело хочет стать культом.

Айн Рэнд бежала из Советского Союза, написала понравившуюся многим книгу об индивидуализме, получила множество комплиментов и сформировала кружок обожателей. Ее поклонники говорили о ней все более и более приятные вещи, и она слишком наслаждалась этим, чтобы сказать им заткнуться (аффективная смертельная спираль). Она поняла, что у нее есть сила, достаточная, чтобы сокрушить всех, кого она не одобряла, и она не стала противиться искушению силы.

Айн Рэнд и Натаниэль Брэнден имели внебрачную связь. (С разрешения обоих их супругов, что дорого стоит, на мой взгляд. Если хотите представить это как «проблему», нужно уточнить, что их супруги были несчастны — и все равно это не касается посторонних.) Когда открылось, что Брэнден «изменял» Рэнд с еще одной женщиной, Рэнд впала в ярость и предала его анафеме. Многие объективисты откололись от объединения, когда об этой связи стало известно.

Кто остался с Рэнд вместо того, чтобы последовать за Брэнденом или совсем бросить объективизм? Ее самые уверенные сторонники. Кто ушел? Те, кто был голосом умеренности. (Это охлаждение групповых убеждений.) С этих самых пор власть Рэнд над оставшимися была абсолютна, и сомнения и вопросы не дозволялись.

Единственная необыкновенная вещь во всем этом — то, насколько обыкновенно все сложилось.

Вы могли бы подумать, что система убеждений, восхваляющая «разум», и «рациональность», и «индивидуализм», могла бы как-нибудь приобрести что-то вроде особого иммунитета…

Ну, не приобрела.

Это сработало так же успешно, как если бы кто-нибудь повесил табличку «Холодно» на холодильник, не включенный в розетку.

Активное усилие, необходимое для того, чтобы противостоять энтропии, не было предпринято, и тогда последовало неминуемое разложение.

И если вы называете это «самым невероятным культом в истории», вы просто называете реальность противными словами.

Пусть это будет уроком всем нам: восхваление «рациональности» ничего не стоит. Даже сказать: «Вы должны доказывать все ваши убеждения с помощью Разума, а не просто соглашаться с Великим Лидером», — значит просто запустить автоматическую программку, которая берет любое высказывание Великого Лидера и генерирует доказательство, которое вашим товарищам-последователям покажется Разум-ным.

Так где же найти истинное искусство рациональности? В изучении математических основ теории вероятности и теории принятия решений. В постижении когнитивных наук вроде эволюционной психологии или эвристики и искажений. В чтении исторических книг…

«Изучайте науку, а не только меня!» — это, наверное, самый важный совет, который Айн Рэнд должна бы была дать своим последователям, но не дала. Не было на земле человека, чьи плечи были бы достаточно широки, чтобы выдержать весь груз истинной науки, в которую вносят лепту столь многие.

Стоит отметить, я думаю, что герои Айн Рэнд были инженерами и архитекторами, Джон Галт, ее самый важный герой, был физиком, и тем не менее сама Айн Рэнд не была великим ученым. Насколько мне известно, она не была особенно хороша в математике. Она не могла возвыситься до соперничества с собственными героями. Может быть, поэтому она начала сбиваться с пути Tsuyoku Naritai.

Ну вот я, знаете, я восхищаюсь дерзостью Фрэнсиса Бэкона, но я уверен, что вправе застенчиво признаться: «Если б я мог перенестись назад во времени и как-нибудь объяснить Фрэнсису Бэкону проблему, над которой сейчас работаю, у него б глаза выскочили из глазниц, как пробки из бутылок шампанского, и взорвались».

Я восхищаюсь достижениями Ньютона. Но мое отношение к избирательному праву женщины начисто исключает возможность воспринимать Ньютона как образец морали. Точно так же, как мое знание байесовской теории вероятности не дает мне воспринимать Ньютона как абсолютный, непоколебимый, неоспоримый источник математического знания. И мое знание о специальной теории относительности, пусть она и не слишком известна и малоупотребима, препятствует тому, чтобы воспринимать Ньютона как абсолютный авторитет в физике.

Ньютон по объективным причинам не мог выяснить то, что я ставлю выше его идей, — но прогресс нечестен! В этом вся суть!

У науки есть герои, но нет богов. Великие Имена — это не те, кто превзошел нас, и даже не наши соперники — это уже пройденные вехи нашего пути, и самой важной вехой будет герой, которому еще предстоит появиться.

Быть еще одной вехой на пути человечества — это самая лучшая судьба для кого угодно, но она, по-видимому, оказалось слишком непритязательной, чтобы угодить Айн Рэнд. Так Айн Рэнд стала всего лишь Великим Пророком.

Первый коан

Некий начинающий рационалист учился у мастера Оги. Однажды друг упрекнул его: «Ты постоянно слушаешь своего мастера и рассуждаешь про рациональное то и рациональное сё, — ты попал в лапы секты!».

Новичок был глубоко встревожен. Слова «Ты попал в лапы секты!» гремели в ушах, когда он ложился спать в ту ночь, и преследовали даже во сне.

На следующий день новичок подошел к мастеру Оги и рассказал о случившемся. «Мастер, меня постоянно терзают мысли о том, что я попал в самую настоящую секту, а ваше учение — не что иное как догма».

Оги ответил: «Если ты найдешь на дороге молоток и продашь его, то можешь запросить за него мало или много. Но если ты оставишь молоток себе и будешь заколачивать им гвозди, то кто станет сомневаться в его ценности?».

Новичок заявил: «Вот, именно это меня и беспокоит — ваши таинственные ответы в духе дзен».

Оги сказал: «Ладно, буду выражаться проще и приведу совершенно разумные аргументы, которые продемонстрируют, что ты попал не в секту. Но сначала ты должен надеть эту дурацкую шляпу».

Оги протянул новичку огромную коричневую ковбойскую шляпу.

«Э-э, мастер…», — начал было новичок.

«Когда я всё объясню», — прервал его Оги, — «ты поймешь, почему это было необходимо. Ну, или можешь и дальше не спать ночами, мучаясь вопросом о том, секта это или нет».

Новичок надел ковбойскую шляпу.

Оги заговорил: «Как долго ты будешь повторять мои слова и игнорировать их смысл? Беспорядок в мыслях начинается с привязанности к предпочитаемым выводам. Тебя слишком тревожит, насколько ты выглядишь рационалистом в своих глазах. Ты пришел ко мне, чтобы снова обрести уверенность. Если бы ты был по-настоящему любопытным, то, не зная в какую сторону двигаться, ты искал бы способ разрешить свои сомнения. Поскольку ты хотел избавиться от когнитивного диссонанса, ты охотно надел дурацкую шляпу. Будь я плохим человеком, я бы заставил тебя заплатить сотню серебряных монет. Когда задумываешься над вопросом, связанным с реальностью, полезность или бесполезность твоего знания скоро становится очевидной. Ты же уподобился мечнику, что беспрестанно кидает взоры по сторонам, — уж не засмеялся ли кто-нибудь над ним?..».

«Ладно-ладно, я понял!» — воскликнул новичок.

«Ты просил длинную версию», — заметил Оги.

Позднее этот новичок стал преемником Оги и обрел известность под именем Ни но Тачи. С той поры он не позволял ученикам цитировать свои слова в их дебатах, говоря: «Используйте техники, а не ссылайтесь на них».

Второй коан

Начинающий рационалист подошел к мастеру Оги и сказал: «Учитель, меня беспокоит, что наши рациональные додзё… ну… слегка сектантские».

«Это серьезный повод для беспокойства», — заметил Оги.

Новичок подождал немного, но Оги молчал.

Поэтому новичок заговорил снова: «Я имею в виду, что нам приходится носить эти мантии с капюшонами, — в них мы выглядим, прошу прощения, типа как хреновы масоны».

«А, — проронил Оги, — мантии и внешние атрибуты».

«Ну, да, мантии и атрибуты, — подхватил новичок. — Выглядят просто ужасно нерациональными».

«Я рассею все твои опасения, — ответил мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оги вытащил шляпу волшебника, украшенную полумесяцами и звездами.

Новичок взял шляпу, оглядел и возопил в отчаянии: «Да как она вообще может помочь!»

«Ты очень беспокоишься о взаимодействии одежды с теорией вероятности, — изрек Оги, — поэтому неудивительно, что для достижения понимания ты должен носить специальную шляпу».

Когда новичок завершил обучение, он взял себе имя Боузо1 и обсуждал рациональность не иначе как в клоунском наряде.

• 1. В оригинале «Bouzo». Это имя созвучно имени популярного в США персонажа-клоуна Bozo. — Прим.перев.

Соломон Аш, с помощью экспериментов, поставленных в 1950-е, а впоследствии хорошо воспроизводившихся, привлек внимание к явлению, которое сейчас известно как конформизм. В классическом эксперименте испытуемый видел загадку вроде той, что приведена на рисунке: «Какая из полос A, B, C той же длины, что и полоса X? Подумайте минутку, чтобы определиться с ответом».

Источник

Подвох был в том, что испытуемый проходил тест вместе с другими людьми, которые тоже смотрели на рисунок. Они играли роль других испытуемых, однако на деле были сообщниками экспериментатора. Эти «испытуемые» в эксперименте, один за одним, утверждали, что линия С той же длины, что и Х. Как много людей в такой ситуации согласились бы с этим очевидно неверным ответом, соглашаясь с мнением большинства? Каков по вашему мнению был их процент?

Три четверти испытуемых в эксперименте Аша дали «конформистский» ответ хотя бы раз. Треть испытуемых «подстраивалась» более чем в половине случаев.

Интервью после эксперимента показали, что хотя большинство участников заявили о своем неверии в данные ими конформистские ответы, несколько утверждали, что они на самом деле считали, что ответ большинства был верен.

Аша встревожили данные результаты:

«То, что обнаруженная нами склонность к конформизму в нашем обществе столь сильна … представляет собой определенную проблему. Перед нами встают вопросы о том, как мы получаем знания и какими ценностями руководствуемся при выборе действий.»

Вели ли себя испытуемые экспериментов Аша иррационально - нетривиальный вопрос. Теория Ауманна о согласии показывает, что честнейшие байесианцы не могут согласиться не соглашаться - если у них общие данные о их оценках вероятностей, их оценка будет одинаковой. Теорема Ауманна была доказана спустя больше чем двадцать лет после экспериментов Аша, однако она только формализует и укрепляет интуитивно понятную точку зрения - убеждения других людей часто являются легитимным свидетельством.

Если вы смотрите на рисунок, подобный приведенному выше, при этом зная тот факт, что другие люди в эксперименте были честны и смотрели на тот же рисунок, говоря, что С такого же размера, что и Х, каковы шансы, что только вы дали правильный ответ? Я не претендую на хорошее визуальное мышление - и не думаю таким образом, что я лучше среднего человека смогу определить, одинакового ли размера эти две линии. С точки зрения индивидуальной рациональности, я надеюсь, что заметил бы свое сильное замешательство и потом присвоил бы вероятность >50% мнению большинства.

С точки зрения групповой рациональности, мне кажется, что правильней всего для честного рационалиста было бы сказать, «Странно, но для меня одинаковыми выглядят В и Х. Но если мы все смотрим на один рисунок и отвечаем честно, у меня нет причины верить, что моя оценка лучше ваших.» Последняя часть важна - это намного менее выраженное заявление о несогласии, чем: «А, так перед нами оптическая иллюзия - я понимаю, почему вы считаете, что ответ С, но на самом деле ответ В.»

Так что нельзя автоматически признать испытуемых-конформистов в данных экспериментах иррациональными, основываясь только на тех данных, что я привел выше. Но, как можно ожидать, дьявол скрывается в подробностях экспериментальных результатов. Согласно мета-анализу сотен подобных опытов, который был сделан Смитом и Бондом (1996):

Конформность существенно возрастала, когда рядом с испытуемым добавляли трех сообщников экспериментатора, однако при дальнейшем увеличении их числа, до 10-15, не росла. Если бы люди использовали конформизм рационально, то мнение 15 испытуемых должно было бы быть существенно более сильным свидетельством, чем мнение трех.

Добавление человека, который не соглашается с мнением группы - который дает верный ответ или даже неверный, но отличающийся от выбора группы - резко снижает уровень конформизма, примерно на 5-10%. Если вы используете интуитивную версию согласия Ауманна, чтобы подумать о том, что когда один человек не соглашается с тремя, то правы скорее всего те трое, тогда в большинстве случаев вы должны бы приходить к тем же выводам, если 2 человека спорят с 6. (Это не автоматически верно, однако при прочих равных условиях - вполне.) С другой стороны, если вы относитесь к эмоционально неустойчивым людям, которым неприятно выделяться, то легко видеть, как даже единичный человек, который согласен с вами, или несогласен с группой, позволяет вам перестать так нервничать.

При этом, что неудивительно, испытуемые в случае, когда в группе помимо них был еще один несогласный с общим мнением, никак не связывали свой нонконформизм с присутствием этого человека. Подобно 90% водителей, которые считают, что водят выше среднего уровня - для некоторых из них это может быть истиной, но вряд ли верно для всех. Люди не знают о причинах своего конформизма или нонконформизма, что опровергает попытку защитить их, говоря, что это было проявлением рациональности. Например, в гипотезе, что люди социально-рационально выбирают лгать, чтобы не выделяться, было, что по крайней мере несколько человек в случае, когда в группе был один несогласный с общим мнением, сознательно не предвидели, что будет «осознанной стратегией», которой они будут следовать, когда встретятся с неанонимной оппозицией.

Когда нонконформист-одиночка вдруг начинает подстраиваться под группу, уровень конформизма испытуемых откатывается к столь же большой величине, как и в случае, когда не было никакого нонконформиста. Первым выступать против мнения группы весьма значимая (и трудная!) социальная деятельность, но ее нужно целенаправленно поддерживать.

Стабильным образом группы, состоящие полностью из женщин (женщина-испытуемая среди женщин — «подсадных уток»), в большей степени подвержены конформизму, чем целиком мужские группы. Подстраивалась более, чем в 50% случаев, примерно половина женщин, в то время как среди мужчин — треть. Если объявить, что средний человек делает выбор рационально, в то время как женщины, очевидно, более «конформисты», а мужчины более «бунтари», — то ни та, ни другая группа не рациональна по-настоящему.

Манипуляции с положением внутри-снаружи группы (то есть искусственное противопоставление подставных несогласных остальной группе) схожим образом показывает, что конформизм существенно выше среди людей, которые входят в группу.

Степень конформизма меньше в случае, когда используются более явные рисунки (например, тот, который приведен на этой странице), по сравнению с теми, где ошибка не столь заметна. Это трудно объяснить, если (все) испытуемые принимают социально рациональные решения с целью избегать того, чтобы выделяться.

Дополнение. Пол Кроули напомнил, что следует учесть падение уровня конформизма в случае, когда испытуемый может дать ответ так, чтобы группа его не слышала. Это также говорит против толкования в духе теоремы Ауманна.

Ужасает в экспериментах Аша то, что людей легко заставить назвать черное белым, если поместить их в общество из людей, которые так говорят. Воодушевляет то, что даже при наличии одного-единственного несогласного с мнением толпы уровень конформизма существенно падает, причем для этого даже необязательно, чтобы этот несогласный говорил истину. И тоску наводит тот факт, что данный эффект является обратимым - если несогласный меняет свое мнение и начинает соглашаться с остальными, то уровень конформизма снова начинает расти.

Если вы являетесь нонконформистом для своей группы, то для нее это может быть реально полезно. Но это имеет свою цену. Вам надо будет продолжать этим заниматься, учитывая одновременно то, что вы можете и ошибаться.

Не так давно я получил занимательный опыт в виде обсуждения одного проекта с двумя людьми, у которых уже имелись заранее разработанные планы. По моему мнению, они были чересчур оптимистичны, и поэтому я внес ряд предложений, которые должны были увеличить запас прочности проекта. Вскоре к дискуссии присоединился четвертый участник, который принял сторону одного из тех двоих, и тоже начал вносить предложения. И где-то на этом этапе я осознал механизм работы сверхуверенности в группе - каждый раз, когда я начинал указывать на возможную проблему, четвертый участник тут же говорил что-нибудь ободряющее вроде «Не волнуйся, мы справимся с этим!»

Человек, работающий сам по себе, будет сомневаться просто по своей природе. В его голове постояно будут прокручиваться мысли вида «Точно ли я могу справиться с Х?», поскольку нет ничего предосудительного в том, чтобы сомневаться в собственных силах. Однако когда человек начинает работать в коллективе, поднимать такой вопрос касательно компетентности других людей становится невежливым. Вместе люди более оптимистичны, нежели поодиночке, они подавляют сомнения друг друга при помощи заверений, которые кажутся надежными, ведь человек редко осознает, что другие люди тоже подвержены внутренним сомнениям.

Это самая ужасная черта, которая была показана в экспериментах Аша - что любое беспокойство человека, согласного с группой, подавляется уверенными заявлениями прочих членов группы, которые обеспокоены тем, чтобы скрыть их собственное беспокойство и не понимают, что подобные опасения могут быть и у остальных. Данный феномен известен как «плюралистическое невежество».

Мы с Робином Хансоном долго спорили по поводу того, когда тот, кто претендует на звание рационалиста, должен осмеливаться не соглашаться с остальными. Моя позиция состояла в том, что у вас в любом случае нет никакого иного выбора, кроме как формировать свое мнение. Робин отстаивал более осторожную точку зрения, что именно вы – не только другие люди – должны учитывать, что другие могут быть мудрее. В любом случае мы оба сходимся в том, что расширения теоремы Ауманна о согласии подразумевают чью-либо иррациональность в том случае, если наличествует общее знание о фактическом несогласии. В любом случае, каких бы позиций мы не придерживались, мы сходимся насчет скромности: что бы вам не говорили об индивидуализме, забудьте это и уделите внимание тому, что думают другие.

Итак. Смысл здесь в том, что рационалист должен рассматривать несогласие с группой как нечто весьма серьезное. Нельзя просто отмахнуться, сказав: «Каждый имеет право на свое мнение».

Я считаю, что наиболее важный урок, который можно извлечь из экспериментов Аша, заключается в необходимости отделять «выражение беспокойства» от «несогласия». Поднять тему, которую избегают все остальные, это не то же самое, что пообещать вообще не согласиться с группой в конце обсуждения.

Идеальный байесовский процесс, ведущий к принятию общего мнения, включает в себя обмен свидетельствами, которые непредсказуемы для слушателя. Результат соглашения Ауманна действителен только для общего знания, где вы знаете, я знаю, вы знаете, что я знаю и т.д. Статья Хансона «Мы не можем предвидеть несогласие» показывает картину того, как странно может выглядеть процесс конвергенции между идеальными рационалистами в оценке вероятности; это не похоже на то, словно два покупателя в магазине спорят по поводу цены.

К сожалению, в социуме не принято видеть разницу между «выражением недовольства» и «несогласием». Группа, состоящая из рационалистов, может понимать разницу, но по большей части люди не замечают нюансы этих выражений. Как только вы высказались, вы совершили необратимое социальное действие; вы становитесь гвоздем преткновения, возмутителем спокойствия группы, и вам не удастся отмотать все обратно. Все, кто расценил ваше беспокойство как обвинение в их некомпетентности касательно какой-либо задачи Х, вероятнее всего затаят на вас обиду, если в конце вы объявите о своем согласии с группой.

В эксперименте Аша мы видели как сила нонконформиста реально способна вдохновлять других. И этот же эксперимент показал, что сила конформизма не менее реальна. Если все в группе воздерживаются от высказывания личного мнения, то в конце концов воцаряется хаос. И в то же время не стоит забывать об уроках истории, которые показывают нам, какова цена за право быть одним из первых закричавших «А король-то голый!». Люди по своей природе не привыкли различать «выражение недовольства» и «несогласие даже с общеизвестным»; подобное разграничение является чертой рационалистов. Читая самые циничные книги о помощи себе (такие как «Государь» Макиавелли) вы могли встретить советы скрывать свой нонконформизм и соглашаться с группой, оставляя опасения при себе. И если вы все же решились первым указать на очевидный промах, не ждите, что группа будет благодарна вам за это.

В нонконформизме есть свои плюсы и минусы - как для «выражения беспокойства», так и для «несогласия» - и решение в любом случае только за вами.

Эксперимент Аша показал, что наличие одиночного инакомыслящего резко снижает частоту появления «конформистских» неправильных ответов. Проявлять индивидуализм легко, как показал эксперимент, если вас кто-то поддерживает. Все другие испытуемые в комнате, за исключением одного, говорят, что черное — это белое. Вы становитесь вторым, который говорит, что черное — это черное. И это кажется блистательным: двое, одинокие и непокорные повстанцы, против всего мира! (Дальнейшие интервью показали, что испытуемые, при наличии в группе инакомыслящего, испытывают по отношению к нему сильные товарищеские чувства — хотя, конечно, они не считают, что наличие инакомыслящего влияет на их собственный нонконформизм.)

Но вы в состоянии только присоединиться к протесту уже после того, как кто-нибудь окажется первым бунтарем, кто-нибудь, кто услышав, как все один за другим говорят, что черное — это белое, всё же скажет, что черное — это черное. И это, как показывает эксперимент, намного сложнее.

Бунтарь-одиночка не чувствует себя так, как будто идет в школу в черном рокерском балахоне и в берцах; скорее, он ощущает себя наряженным словно клоун.

В этом разница между тем, чтобы присоединиться к восстанию, и тем, чтобы покинуть стаю.

Если и есть что-то, чего я не могу выносить, так это притворство — вы могли заметить это, если читали какое-то время Overcoming bias. Ну, одинокий инакомыслящий является одной из наиболее распространенных, явно притворных характеристик. Каждый хочет быть ниспровергателем устоев.

Я не говорю, что акт присоединения к восстанию имеет меньшее значение. Есть восстания, стоящие того, чтобы к ним присоединиться. Требуется мужество, чтобы выдержать неодобрение группы, в которой вы состоите, или, что еще хуже, ее равнодушие. Нет нужды говорить, что поход на рок-концерт нельзя назвать восстанием. А вот, например, вегетарианство можно. Сам я не вегетарианец, но уважаю тех людей, которые это практикуют, поскольку я ожидаю, что требуется заметное количество тихого мужества, чтобы сказать людям, что гамбургеры не стоит есть. (Но только не в Bay Area, там это в порядке вещей.)

Однако, если вы скажете, что вы вегетарианец, люди будут думать, что понимают, почему, даже если это не так. Они могут не соглашаться. Они могут обидеться, если вы решите объявить это достаточно гордо, и даже, если на то пошло, они могут обидеться только потому, что их легко обидеть. Тем не менее, они будут знать, как к вам относиться.

Когда кто-нибудь ходит в школу в рокерском балахоне, учителя и прочие школьники понимают, какую роль в этом обществе он тем самым берет на себя. Эта роль именуется «Против Системы!» и является самым типичным способом протеста, который очевиден и понятен всем. Нет, правда, знаешь, я против Системы. Я не такой, как все, я бросаю вызов обывательскому мышлению, и люди возмущенно говорят «не знаю, зачем тебе…», но… на самом деле я не думаю каких-то вещей, до которых еще не додумался никто другой. Как кто-то сказал, «Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Что требует настоящего мужества — так это выдерживать открытое непонимание людей вокруг вас, когда вы делаете что-либо, что не вписывается в сценарий Обычного Восстания №37, что-либо, на что у них нет шаблона реагирования. Они не ненавидят вас за восстание, они просто думают, мол, странный чувак, и отворачиваются. Эта перспектива пугает куда сильнее. В этом различие между объяснением вегетарианства и объяснением крионики. В мире есть и другие сторонники крионики, но рядом с вами их нет. Вы должны объяснить суть этого в одиночку тем людям, которые считают, что это просто странно. Это не является запрещенным, но находится за границами стандартного мышления. Вы хотите чтобы после смерти вашу голову заморозили? Вы думаете, что это поможет вам избежать смерти? Что вы имеет в виду под информацией в мозгу? Э, что? Вы, что, псих?

Я испытываю желание найти объяснение постфактум в эволюционной психологии: вы можете собраться вместе с маленькой группой друзей и уйти из вашего племени, однако остаться в лесу одному — смерти подобно, по меньшей мере потомства вы точно не оставите. Мы не осознаем этого явно, но это не природа эволюционной психологии. Присоединяться к революции, о которой всем известно, страшно, однако куда страшнее делать что-то абсолютно иное. Что-то, что в древние времена могло не просто привести к расхождению во мнениях с группой, но к тому, что вы останетесь одиночкой.

Как в случае со свидетельствами о крионике, страх мыслить по-настоящему другим образом сильнее страха смерти. Охотники и собиратели были готовы встретиться лицом к лицу со смертью — это было частью их повседневной жизни, при охоте на больших млекопитающих или просто перемещении в мире, полном хищников. Им нужно было мужество, чтобы жить. Мужество отрицать стандартные способы мышления племени, вводить мысли, которые кажутся по-настоящему странными — ну, что возможно не особо хорошо служило их носителям. Мы не осмысливаем это явно; эволюционная психология работает не так. Мы, люди, устроены таким образом, что большинство из нас скорее пойдет прыгать с парашютом, нежели подписываться на крионику.

И это не высшая степень мужества. В мире не один крионист. Но только Роберт Эттингер сказал это первым.

Чтобы сделать революцию в науке, вы должны быть первым человеком, который возразит тому, что думают все. Это не единственный путь к величию в науке; это редкость даже среди великих. Никто не может совершить революцию в науке только попытками имитировать революционность. Вы можете попасть туда, только гоняясь за верным ответом в любой области, и не имеет значения, будет ли он революционен или нет. Но если, в свое время, если поглотив всю мощь и мудрость уже накопленных знаний, если, после всего этого и толики удачи, вы обнаруживаете, что погоня за точным ответом ведет на новую территорию… вот тут и появляется возможность проверить ваше мужество.

Настоящее мужество одинокого инакомыслящего, которое пытается изобразить каждая рок-группа.

Конечно не все, для чего требуется мужество, является хорошей идеей. Мужество нужно и для того, чтобы прыгнуть со скалы, но скорее всего при этом вы просто расшибетесь в лепешку.

Страх одинокого инакомыслящего препятствует хорошим идеям, однако не каждая идея, которая противопоставляет человека остальным, является хорошей. Смотрите также «Robin Hanson’s Against Free Thinkers». Наибольшая трудность в том, чтобы обладать новой истинной научной мыслью в «истинной» части.

На самом деле не обязательно отличаться от остальных только чтобы сделать вид отличающегося. Если вы делаете вещи по-другому только когда вы видите необыкновенно хорошую причину, у вас все равно будет более чем достаточно проблем, чтобы заполнить весь остаток вашей жизни.

Вокруг есть несколько настоящих сборников бунтарей. Церковь НедоМудреца, например, похоже, действительно направлена на приведение людей в замешательство, а не просто на то, чтобы обидеть их. И есть островки подлинной терпимости в мире, такие как конвенты научной фантастики. Есть некоторые люди, которые не боятся выходить из группы. Таких людей существует куда меньше, чем представляется, но они есть. Но все же научные революционеры встречаются редко. Вдумайтесь в это.

Теперь я, знаете ли, на самом деле бунтарь. Все думают, что они бунтари, но для меня это истина, видите ли. Я бы всегда носил клоунский костюм в школе. Мои разговоры были серьезными только с книгами, но не с другими людьми.

Но если вы думаете, что вы бы всегда носили этот клоунский костюм, тогда не гордитесь этим слишком сильно! Это всего лишь значит, что вам нужно прилагать усилия в противоположном направлении, чтобы избегать проявлять инакомыслие исключительно по привычке. Это то, что я должен делать, чтобы исправлять свою собственную природу. Другие люди имеют причины мыслить так, как они это делают, и игнорировать это — столь же плохо, как и бояться возражать им. Вы не хотели бы закончить как свободный мыслитель. Это не добродетель, как можно видеть — это лишь другое когнитивное искажение.

В современном мире присоединиться к культу — возможно одна из наиболее плохих вещей, которые могут с вами произойти. В лучшем случае вы окажетесь в группе хороших, но запутавшихся людей, которые просто ошибаются, но не имеют против вас ничего плохого в принципе. Тогда вы всего лишь потратите много времени и денег, ничего не получив взамен. На самом деле, это описание подходит любому провалившемуся стартапу в Кремниевой долине. Что подразумевает под собой чертовски тяжелый опыт, если подумать. Так что да, это все же достаточно страшно.

Но настоящие культы намного хуже. Демонстративное проявление внимания и заботы к человеку, находящемуся в личном кризисе, как техника вербовки. Депривация сна. Стимулируемая апатия от тяжелой работы. Удаленные коммуны для изоляции новообращенного от друзей и семьи. Ежедневные собрания для исповеди в нечистых мыслях. Не является необычным для культов и забирать все деньги новообращенного — все сбережения плюс зарплата — заставляя его зависеть от культа даже в отношении еды и одежды. Голодание как наказание за неподчинение. Серьезный ущерб здоровью и промывка мозгов.

Принимая все это во внимание, наверное, я должен больше симпатизировать тем людям, которые ужасно нервничают, начиная делать что-то, что странно выглядит, по поводу того, не попали ли они в культ. Это не должно действовать мне на нервы. Хотя действует.

Момент первый: «культы» и «не-культы» это не отдельные естественные виды как собаки и кошки. Если вы посмотрите на любой список характеристик культа, вы увидите черты, которые легко обнаруживаются в политических партиях и корпорациях — «члены группы призывают не доверять внешней критике как имеющей скрытые мотивы», «иерархическая структура власти». Я постил групповые режимы неудач, типа раскола группы, смертельных спиралей счастья, некритичности и охлаждения испарением, каждый из которых усиливает другие. Когда все эти недостатки растут и встречаются друг с другом, они все вместе комбинируются в супер-Недостаток, глупее, чем каждая из составляющих его частей, типа Вольтрона. Но это не сущность культа; это его аттрактор.

Собаки рождаются со своей ДНК, а кошки со своей. В нашем мире нет существ, которые имели бы среднюю между ними ДНК. (Даже с учетом генетических манипуляций, далеко не просто создать существо с половиной собачьих генов и половиной кошачьих.) И невероятно, что кошачьи гены внезапно мутируют наполовину и дадут кошке половину собачьих характеристик, превратив ее в гибрида.

Человеческое сознание, когда думает о категориях, похоже, предпочитает сущности аттракторам. Оно хочет сказать «это культ» или «это не культ», и тем самым завершить задачу классификации. Если вы наблюдаете, что у Сократа десять пальцев, он носит одежду и говорит по-гречески, тогда вы можете сказать «Сократ — человек» и из этого вывести «Сократ уязвим к болиголову» без проведения тестов крови, чтобы подтвердить его смертность. Вы выводите человечность Сократа раз и навсегда.

Но если вы наблюдаете определенную группу людей, которая похоже проявляет внутригрупповое-внешнегрупповое разделение и видите эффект положительного ореола вокруг их Лучшей Штуки В Мире — которой может быть объективизм, вегетарианство или нейронные сети — вы не можете из свидетельств на данный момент вывести, достигли ли они уже некритичности. Вы не можете вывести, истинна ли их идея или ложна, или действительно полезна, но совсем не в той степени, как они думают. Из информации, собранной к текущему моменту, вы не можете вывести всегда ли они так вежливы, или они заманивают вас, чтобы изолировать от остальных и лишить вас сна и еды. Характеристики культа присутствуют не все и отсутствуют не все.

Если посмотреть поверх аргументов типа «Х это культ», «Х это не культ», то можно видеть, что одна сторона смотрит на список характеристик культа, находит те, что совпадают и говорит «Поэтому это культ!», а противная сторона находит список не совпадающих характеристик и возражает «Поэтому это не культ!».

Вы не можете сформировать точную картину динамики группового мышления используя данный вид эссенциализма. Вам нужно уделить внимание каждой характеристике отдельно.

При этом обратное глупости не есть ум. Если вы заинтересованы в центральной идее, а не в группе, которая ее реализует, то умные идеи могут иметь глупых последователей. Множество последователей Нью Эйдж болтали о «квантовой физике», однако это никак не свидетельствует против самой квантовой физики. Разумеется, глупые идеи тоже могут иметь глупых последователей. Из бинарного эссенциализма следует мысль, что если вы определяете, что группа является «культом», то их убеждения должны быть ложными, поскольку ложные убеждения являются характеристикой культа, равно как мех является одной из характеристик кошки. Если же вы интересуетесь идеей, то смотрите на нее, а не на людей. Культовость — это в большей степени характеристика групп, а не гипотез.

Вторая ошибка — это когда люди нервно спрашивают «Это же не культ, да?». Для меня это звучит так, словно они ищут уверений от рациональности. Понятие рационалиста не привязано к их виденью самого себя настолько, насколько этого заслуживает. Но даже не вдаваясь в детали, конечно любой может видеть, что нервный поиск уверений не лучший шаблон, в котором сознание может оценивать вопросы рациональности. При этом ваше любопытство не является искренним и вы не ищете способы проверить свои сомнения. Вместо этого вы приметесь искать некий внешний источник, который скажет вам, что культы используют депривацию сна для управления людьми, отметите, что Ваша-Любимая-Группа так не делает и сделаете вывод «Это не культ! Ура!». Если нет шерсти, то это не должна быть кошка. Весьма ободряюще.

Но любая деятельность стремится стать культом, и не имеет значения, осмысленна ли она сама по себе или глупа. Дихотомия «свои-чужие» — часть человеческой природы, а не бич отдельных мутантов. Рациональность это исключение, а не правило. Вы должны прилагать постоянные усилия, чтобы поддерживать рациональность и не давать себе естественно съехать в энтропию. Если вы решили «Это не культ» и вздохнули с облегчением, тогда вы больше не будете прилагать усилий для противостояния обычным тенденциям съезжания в культ. Вы решите, что сущности культа тут нет и прекратите сопротивляться энтропии аттрактора культа.

Если вы ужасно тревожитесь о принадлежности к культу, тогда вы захотите убрать любое упоминание о любой характеристике, которая сигнализирует о культе. Но любая группа, которая видит цель в позитивном свете, рискует поддаться эффекту ореола и должна прилагать усилия, чтобы избежать смертельной спирали. Это истинно даже для обычных институтов, таких как политические партии — люди, которые думают, что либеральные или консервативные ценности могут вылечить рак и т.д. Это истинно для стартапов Кремниевой долины, как провальных, так и успешных. Истинно для пользователей Маков и пользователей Линукс. Эффект ореола не становится хорошим только потому, что все вокруг делают так же; если все пойдут прыгать в пропасть, вы не пойдете. С ошибками в мышлении нужно сражаться, а не примиряться. Но если вы слишком тревожитесь о «Вы уверены, что это не культ?», тогда вы будете отказываться видеть любой знак культовости, поскольку это будет подразумевать, что вы в культе, и — это не культ!!! Так что вы не увидите настоящее поле боя, где обычные тенденции к культу либо наступают, либо отбрасываются.

Третья ошибка того, чтобы тревожно спрашивать «Это же не культ, да?» это то, что, я подозреваю, тревожность при этом присутствует там по неправильным причинам.

Почему группы, которые возносят свои Счастливые Штуки до небес, вдохновляют своих членов пожертвовать им деньги и добровольно работать на них без оплаты, формируют частные общины, в которых члены группы тесно связаны друг с другом, зовутся «религиями», а не «культами», если единственное отличие их в том, что они существуют больше нескольких сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике «Это же не культ, да?» не настолько тревожатся, когда уделяют внимание предвыборной гонке, принимая сторону демократов или республиканцев? Дихотомии «свой-чужой» и спирали счастья могут образовываться в политических дебатах, в основных религиях, в спортивных сообществах. Если бы тревожность происходила из страха сделать ошибку в рациональности, люди бы спрашивали «Это не дихотомия «свой-чужой»?» о политической гонке точно с тем же уровнем страха.

Есть легитимная причина бояться либертарианства меньше, чем культа летающих тарелок, поскольку у либертарианства нет репутации использования депривации сна для обращения людей в свою веру. Однако у крионики тоже. Так почему же люди больше волнуются о том, что голова человека будет заморожена после остановки дыхания?

Подозреваю, что данная тревожность — это не страх веры в ложь и не страх физических увечий. Это страх оказаться одиноким инакомыслящим. Тревожность, в которую впадали испытуемые в экспериментах Аша, когда другие подопытные (на самом деле — сообщники экспериментатора) один за одним говорили, что линия С одинакова с Х, хотя испытуемый видел, что одинаковы В и Х. Страх отстать от группы.

Вот почему группы, убеждения которых существуют так долго, что стали казаться «нормальными», не провоцируют такой тревоги, как «культы», хотя при этом те же основные религии вполне могут забрать все ваши деньги и отослать вас в монастырь. Вот почему группы наподобие политических партий, которые очевидно ложны в рациональности, не провоцируют такой тревожности как «культы». Слово «культ» не используется для обозначения ошибок в рациональности; оно используется как ярлык для всего, что кажется странным.

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «Это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает, что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они — необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность — это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму, без сомнения, помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жизнь с сомнением не является добродетелью — назначение любого сомнения — это уничтожить само себя, либо подтвердившись, либо опровергнувшись, и сомнение — это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жизнь с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между тем, чтобы жить загнанным и тем, чтобы жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингулярности только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингулярность, очевидно, не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). То, что нечто не является культом в данный момент, не означает, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои камни го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов об ошибках культов в мышлении.

Люди, говорящие о «рациональности» также имеют повышенный фактор риска. Давать людям советы как думать — это по определению опасное занятие. Но это фактор риска, а не порок.

Оба моих любимых занятия имеют риск стать культом. Но почему-то я слышу вопросы вида «А вы уверены, что это не культ?» куда чаще, когда говорю о сильном ИИ, нежели когда говорю о теории вероятности и когнитивных науках. Я не знаю, выше ли один фактор риска другого, но знаю, что из этих двух занятий звучит страннее…

Проблема шесть с вопросом «Это же не культ, да?»…

Просто сам вопрос по себе ставит меня в весьма раздражающую безвыходную ситуацию. Настоящий Злой Гуру, конечно, использовал бы тревожность человека против него самого и придумал бы удобный и подробный аргумент, который объяснил бы Почему Это Не Культ, который человек хотел бы принять. Иногда у меня складывается такое впечатление, что это то, чего люди от меня хотят! Что бы я ни пытался писать о культовости и как ее избежать, я не могу избавиться от ощущения, словно я поддаюсь этому порочному желанию — что в конце концов я все же даю людям уверение. Даже когда говорю людям, что нужно постоянно бороться с энтропией.

Такое ощущение, что я — первый инакомыслящий в эксперименте Аша, который говорит остальным: «Да, линия Х на самом деле такая же как линия В, и нормально говорить, что это так». У них не должно быть необходимости спрашивать! Или, что даже хуже, ощущение такое, что я привожу подробный аргумент Почему Это Не Культ. Это неправильный вопрос.

Просто посмотрите на процессы мышления той группы сами и решите для себя, то ли это, частью чего вы хотите быть, как только отставите в сторону страх странного. Только вы ответственны за остановку себя от мышления в стиле культа, и не имеет значения, с какой группой вы на самом деле работаете.

Когда кто-либо спрашивает «Это же не культ, да?», то, вне зависимости от моего ответа, я всегда ощущаю себя так, словно защищаю что-то. Мне не нравится это чувство. Это не работа мастера-байесианца — уверять и успокаивать, и не работа рационалиста — защищаться.

Культы паразитируют на групповой тревожной потребности в уверениях. Вы не можете заставить тревожность уйти только пожелав этого, а ложная самоуверенность при этом будет только хуже. Если кто-либо ищет уверений — пусть даже уверений в том, чтобы быть рационалистом — это значит, что в его броне есть брешь. Умелый мечник концентрируется на цели, а не на том, чтобы оглядываться вокруг — не смеется ли кто над ним. Когда вы знаете, что вы пытаетесь сделать и зачем, вы будете знать, получается ли это у вас или нет, и помогает ли вам в этом ваша группа, или только мешает.

(Постскриптум: если кто-то придет к вам и спросит «Вы уверены, что это не культ?», не пытайтесь объяснить все вышеприведенное за один заход. Вы при этом недооцените понятийные расстояния. Человек скажет «Ага, так вы признаете, что это культ?» или «Стоп, ты говоришь, что я не должен обращать внимания на то, культ ли это?» или «Так… страх культа является признаком культа? Это звучит так, словно ты в культе». Так что последний раздражающий фактор — седьмой, если вы продолжаете считать — это то, что все это приходится очень долго объяснять.)

Я только что дочитал книгу о крахе компании Enron — «Самые умные парни в этой комнате». (Также я объявляю её победителем в номинации «Самое неподходящее название для книги».)

В медленном разложении и внезапном коллапсе компании Enron присутствовала достаточно типичная деталь — главные игроки никогда не признавались себе в том, что совершили большую ошибку. Когда катастрофа #247 разрасталась настолько, что для ее исправления требовалось изменение политики всей компании, они говорили: «Жаль, что это не сработало. Идея была такой хорошей. Как замаскировать эту проблему при составлении финансового отчета?» Вместо того, чтобы сказать: «Теперь кажется очевидным, что с самого начала эта затея была ошибкой». Или: «Я действовал очень глупо». Переломный момент — момент смиренного осознания, что существует действительно фундаментальная проблема — так и не наступил. После банкротства компании Джефф Скиллинг, ее бывший исполнительный директор и на короткое время генеральный директор, отказался следовать совету своих адвокатов и сослаться на Пятую Поправку — давая показания Конгрессу, он заявил, что Enron была великой компанией.

Не каждое изменение — это улучшение, но каждое улучшение — это обязательно изменение. Если мы признаём лишь небольшие локальные ошибки, мы сможем лишь немного изменить своё поведение. На крупные изменения мотивирует признание крупных ошибок.

В детстве я рос на научной фантастике и на чисто научной литературе, и от Хайнлайна до Фейнмана я учился путям Традиционной Рациональности. «Теории должны быть смелыми и фальсифицируемыми». «Получив контр-свидетельство, ты должен быть готовым принести героическую жертву и отказаться от собственных идей». «Приводи точные аргументы». «Старайся никогда себя не обманывать». И тому подобные размытые утверждения.

Воспитание в духе Традиционной Рациональности приводит к появлению спорщиков, которые рано или поздно сдаются, получив контр-свидетельства — какой-то горы свидетельств становится достаточно, чтобы изменить своё мнение на противоположное. Это важный шаг, и именно он отличает науку от религии. Но Традиционная Рациональность придаёт гораздо меньше значения скорости — умению сдаться как можно быстрее, умению встраивать свидетельства в свою картину мира настолько эффективно, что потребуется лишь минимум контр-свидетельств, чтобы разрушить особо ценное убеждение.

Я был воспитан в духе Традиционной Рациональности и полагал, что вполне могу считать себя рационалистом. Я перешел на Искусство Байеса (Лапласа/Джейнса/Тверски/Канемана) после того, как… впрочем, это долгая история. В общем, я принял такое решение, когда понял, что размытых советов, даваемых Традиционной Рациональностью, было недостаточно для того, чтобы уберечь меня от крупной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся, чтобы посмотреть на тот путь, который привел меня к этому Ужасному Пониманию. И я увидел, что делал множество маленьких, еле заметных уступок, каждый раз неохотно отдавая очередную крошечную часть территории, пытаясь сделать как можно меньше выводов из каждой небольшой ошибки, признавая свою неправоту ровно настолько, чтобы она оставалась в пределах допустимого. И я осознал, что мог бы двигаться вперед гораздо быстрее, если бы просто воскликнул: «УПС!»

В этот миг я понял: «Мне нужно повысить уровень моей игры».

Признание крупной ошибки даёт огромное преимущество. Это больно. Однако это может изменить всю твою жизнь.

Важно находить свой переломный момент. Момент смиренного осознания, что существует действительно фундаментальная проблема, а не какое-то количество мелких ошибок, с которыми вы легко расправитесь.

Не стоит принимать красивую позу и гордиться тем, что ты умеешь признавать свои ошибки. Гораздо лучше делать всё правильно с первого раза. Но если ты допустил ошибку, лучше увидеть ее сразу. Даже с точки зрения физических ощущений боль от одной потери лучше, чем небольшие, но многочисленные мучения. Альтернатива — это вести войну с самим собой на протяжении многих лет. Альтернатива — это Enron.

С тех пор я неоднократно видел, как другие люди совершали серии своих маленьких уступок, каждый раз неохотно отдавая очередную крошечную часть территории. Замечая небольшие локальные ошибки, они никогда не признавались себе в крупных и каждый раз делали из них как можно меньше выводов. Вместо того, чтобы починить всё одним волевым усилием, они накладывали множество мелких заплаток, без которых обойтись было уже нельзя. Признаваясь в совершённой ошибке они никогда не говорили: «Я был дураком». Они прикладывали все усилия, чтобы уменьшить своё смущение. Они говорили: «В целом, я был прав», или «Это вполне могло сработать», или «Я по-прежнему уверен в том, что то-к-чему-я-так-привязан может принести нам пользу». Защищая свое чувство гордости, они делали все, чтобы эта ошибка повторилась еще раз, и гордость приходилось защищать снова.

Лучше проглотить горькую пилюлю одним кошмарным глотком.

Когда я был очень молод — думаю, мне было тогда лет тринадцать, возможно, четырнадцать, — я думал, что нашел опровержение диагонального аргумента Кантора — известной теоремы, утверждающей, что действительных чисел больше, чем рациональных. О, какие мечты о славе и почёте роились в моей голове!

Моя идея заключалась в том, что, раз каждое целое число можно разложить на степени двойки, то можно отобразить целые числа на множество подмножеств целых чисел просто записывая числа в двоичной системе. Например, 13, оно же 1101, будет соответствовать подмножеству {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, наверное, мне стоит применить диагональный аргумент Кантора к моей умной конструкции, и, конечно, нашелся контрпример — двоичное число (… 1111), не соответствующее никакому конечному целому числу.

Я нашел этот контрпример и понял, что моя попытка опровержения была неверной, и мои мечты о почёте и славе рухнули.

Сначала я был несколько разочарован.

Я подумал: «Рано или поздно я доберусь до этой теоремы! Пусть моя первая попытка не удалась, но когда-нибудь я опровергну диагональный аргумент Кантора!» Я возмущался этой теоремой, ведь она упрямо оставалась верной, лишая меня славы и почёта. Поэтому я принялся искать другие опровержения.

А потом я кое-что осознал. Я осознал, что я ошибся, и понял, что теперь, когда я понимаю свою ошибку, оснований подозревать ложность диагонального аргумента Кантора у меня не больше, чем оснований подозревать ложность любой другой из основных теорем математики.

И ещё я очень хорошо понял, что передо мной была возможность стать фриком от математики и всю оставшуюся жизнь писать профессорам-математикам сердитые письма зелеными чернилами (когда-то я прочитал книгу о математических фриках).

Я не хотел для себя такого будущего, так что я немного посмеялся и оставил эти поиски. Я попрощался с диагональным аргументом Кантора, и перестал сомневаться в нём.

И сейчас я не помню, подумал ли я об этом тогда, или мне пришло это в голову позже… что ведь это ужасно несправедливое испытание для ребенка тринадцати лет. Получается, я должен был оказаться достаточно рациональным уже в этом возрасте или потерпеть неудачу навсегда.

Чем вы умнее, тем в более раннем возрасте вас впервые посетит идея, которая покажется вам действительно революционной. Мне повезло, что я понял свою ошибку сам, что мне не понадобился другой математик, который бы указал на неё, возможно, привив мне вместе с тем чувство вины. Мне повезло, что опровержение оказалось достаточно простым для меня. Наверное, я бы оправился и в противном случае. Потом, уже во взрослом возрасте, я оправлялся и от гораздо худшего. Но если бы я пошёл по неправильной дороге так рано, смог бы я потом выработать этот навык?

Интересно, скольким из тех людей, которые пишут сердитые письма зелеными чернилами, было тринадцать, когда они совершили эту первую и фатальную ошибку. Интересно, сколько из них во время этой первой ошибки подавали большие надежды.

Я допустил ошибку. Это всё. Я не был на самом деле прав в глубине души. Я не одержал моральную победу. Я не проявил амбициозности, скептицизма или какой-то ещё чудесной добродетели. Это не было разумной ошибкой. Я не был наполовину прав, не был хоть сколько-нибудь прав. Мне пришла в голову мысль, которая бы не появилась у меня, если бы я был мудрее – вот и всё, что можно об этом сказать.

Если бы я оказался неспособен признаться в этом сам себе, если бы я интерпретировал свою ошибку как проявление добродетели, если бы ради гордости я продолжал настаивать на том, что остаюсь хоть немного правым, тогда я бы не освободился. Я бы продолжил искать ошибку в диагональном аргументе. И, рано или поздно, я мог бы её найти.

Пока вы не признаёте, что были неправы, вы не можете жить своей жизнью. На вашу самооценку будет влиять старая ошибка.

Всякий раз, когда у вас возникает желание держаться мысли, которая, будь вы мудрее, никогда не пришла бы вам в голову, перед вами открывается возможность стать фриком — даже если вы никогда не начнёте писать сердитые письма зелеными чернилами. Если никто не озаботится спором с вами или если вы никогда не станете никому излагать свою идею, вы все равно можете оказаться фриком. Фрика определяет неумение отказаться от идеи.

Это не правда. И не содержит правды глубоко внутри. Это не полуправда и даже не подобие правды. Это всего лишь мысль, которую вам не стоило думать. Не у каждой реки есть золотое дно. Люди совершают ошибки, и не все их ошибки являются скрытыми достижениями. Люди совершают ошибки. Так случается. Скажите «упс» и живите дальше.

Кейси Серин, 24-летний веб-программист, не имеющий опыта в сфере недвижимости, должен банкам 2,2 миллионов долларов. Он подал заявления на ипотеку, чтобы купить одновременно 8 различных домов в разных штатах. Часть денег он потратил на проживание и на семинары по обучению вложения денег в недвижимость (он брал ипотеку на большую сумму, чем стоили его дома). Похоже, он ожидал роста рынка.

Но это ещё не самая грустная часть истории. Самая грустная часть заключается в том, что он до сих пор не сдался. Кейси Серин не принимает поражения. Он отказывается объявить о банкротстве или устроиться на работу, он всё ещё думает, что может преуспеть в сфере недвижимости. Он продолжал тратить деньги на семинары. Он попытался получить ипотеку на 9-й дом. Он не ошибался, он просто набирался опыта.

Вот что происходит, когда мы отказываемся терять надежду.

Это поведение может показаться очень глупым, но эта ситуация заставляет меня вспомнить двух экономистов, получивших Нобелевскую премию…

… а именно Роберта Мертона и Майрона Шоулза из инвестиционного фонда Long-Term Capital Management.

Первые три года фонд LTCM загребал огромные прибыли. А в 1998 лазейки, которыми пользовался фонд, стали исчезать. Другие люди научились делать то же самое, и стратегия фонда перестала работать.

Фонд LTCM отказался терять надежду. Привыкнув к 40% дивидендам каждый год, они брали больше и больше кредитов для совершения сделок, а прибыль получали всё меньше и меньше. Когда у фонда всё пошло наперекосяк, акционерный капитал был 4,72 млрд долларов, кредиты — 124,5 миллиарда, деривативы — 1,25 триллиона.

В каждой профессии есть свои пути быть умным. В каждой профессии есть свои навыки, которые нужно освоить, и правила, которым нужно следовать. Поэтому кто-нибудь может подумать, что изучение «рациональности» в целом не принесёт большого успеха в реальной жизни. И всё же мне кажется, что способность не быть глупым — это очень полезный навык во многих профессиях. Искусство не превращать маленькие ошибки в большие не слишком зависит от того, применяете вы его в области хедж-фондов или в любви. И один из ключевых принципов этого искусства: будьте готовы признать, что вы проиграли.

Однажды, когда я рассказывал о Пути, я упомянул, что практически все организованные системы верований существуют для того, чтобы убегать от сомнений. Один из слушателей заметил, что иезуитов в этом обвинить никак нельзя, поскольку они умышленно практиковали сомнение: вступающим в орден, по его утверждению, говорили сомневаться в христианстве, сомневаться в существовании Бога, сомневаться в своём призвании, сомневаться в том, что они смогут выдержать пожизненные обеты целомудрия и нищеты. Я спросил у него: «О, но ведь предполагалось, что они справятся с этими сомнениями, верно?» Слушатель ответил: «Нет, они сомневались во всём этом скорее всего потому, что эти сомнения могли усилиться».

Поиск в интернете не дал мне возможности подтвердить или опровергнуть эти утверждения. (Если кто-нибудь из читателей готов помочь мне в этом вопросе, я буду очень признателен.) Но описанный сценарий кажется мне очень интересным и стоящим обсуждения, независимо от того, действительно ли он имел место в отношении иезуитов. Если иезуиты практиковали умышленное сомнение, делало ли это их, хоть и отчасти, рационалистами?

Думаю, я должен признать, что в (гипотетическом) сценарии выше иезуитов действительно нельзя обвинять в «бегстве от сомнений». Однако, такое (гипотетическое) поведение всё равно кажется мне очень подозрительным. Сомнения не должны пугать настоящего рационалиста. Описанное выше поведение для меня выглядит как программа десенсибилизации по отношению к страху — так арахнофобам в тщательно подготовленных условиях показывают пауков.

Но тем не менее, они ведь поощряли сомнения вступающих в орден, верно? Важно ли, что они это делали не по самым лучшим причинам? Разве для рационалиста это не остаётся достойным деянием?

Любое любопытство ищет способы уничтожить себя. Не бывает любопытства, которое не хочет получить ответы. Но если человек получает ответ, если человек удовлетворяет своё любопытство, восхитительная тайна перестаёт быть тайной.

И точно также любое сомнение существует для того, чтобы уничтожить какое-то конкретное убеждение. Если сомнение не в состоянии разрушить свою цель, оно умирает — но это всё равно развязка. Конец, пусть и печальный. Сомнение, которое не разрушает ни себя, ни свою цель, с таким же успехом может не существовать вовсе. Сам процесс сомнений не может раскрутить маховик рациональности, для этого нужно их разрешение.

Каждое улучшение — это изменение, но не каждое изменение — улучшение. Каждый рационалист сомневается, но не все сомнения рациональны. Сомнения делают человека рационалистом не больше, чем белый медицинский халат делает человека врачом.

Рациональное сомнение появляется по какой-то конкретной причине — имеется какой-то конкретный повод, чтобы подозревать, что некоторое убеждение ложно. Такая причина в свою очередь подразумевает цепочку расследований, которая или уничтожит это убеждение, или уничтожит сомнение. Это верно даже для очень абстрактных сомнений, вроде: «Интересно, можно ли объяснить эти данные какой-то более простой гипотезой?» В этом случае расследование — это попытки придумать более простую гипотезу. Чем дольше поиски не приводят к успеху, тем кажется всё менее вероятным, что следующий шаг выкладок приведёт к успеху. В какой-то миг цена на поиск превышает ожидаемую прибыль, и поиск прекращается. И здесь уже нельзя утверждать о полезности сомнений. Сомнение, которое не приводит к расследованию, с таким же успехом может вовсе не существовать. Неразрешаемое сомнение не делает ничего. Оно не приводит ни к движению вперёд, ни к движению назад.

Если у вас действительно есть религиозная вера (а не просто убеждение, что вы верите), зачем вам говорить вступающим в ваш орден, чтобы они размышляли о сомнениях, которые умрут неразрешёнными? Представьте студентов-физиков, которым говорят, чтобы они изо всех сил сомневались, не была ли ошибкой революция двадцатого века. Мол, вдруг на самом деле верна ньютоновская механика. Если вы на самом деле не сомневаетесь, зачем вам это изображать?

Однако, мы все хотим, чтобы нас считали рациональными. И многие убеждены, что сомнение — это добродетель рационалиста. Но гораздо меньше людей понимают, что для сомнения нужны конкретные причины и неразрешённые сомнения ничего не стоят. Вместо этого люди думают, что сомнение — это скромное поведение, демонстрация подчинения, направленная на поддержание иерархии в племени (ранее я писал, что практически та же проблема существует со скромностью). Грандиозная публичная сцена сомнений поможет убедить себя в том, что ты рационалист, примерно также, как надевание медицинского халата.

Для избежания притворных сомнений помните:

• Рациональное сомнение существует, чтобы уничтожить конкретное убеждение. Если оно не в состоянии уничтожить свою цель, оно умирает.
• Рациональное сомнение появляется по каким-то конкретным причинам сомневаться в соответствующем убеждении.
• Неразрешённое сомнение ни к чему не ведёт.
• Сомнение, которое не ведёт к исследованиям, с тем же успехом может не существовать вовсе.
• Не стоит гордиться самим актом сомнения. Однако, когда ты закончил разрывать в клочки очень ценное для тебя убеждение, это вполне повод для гордости.
• Хотя для того, чтобы взглянуть в лицо своим сомнениям, нужна смелость, помните, что идеальный разум сомнениями вообще не испугать.

Правда не перестаёт быть правдой.
Признание не сделает её хуже.
Отказ узнавать правду не заставит её исчезнуть.
И именно с правдой вам придётся взаимодействовать.
Невозможно жить в неправде, ибо её не существует.
Люди способны вынести правду,
Ведь она и так их окружает повсюду.

- Юджин Джендлин

Первая добродетель — это любопытство.

— Двенадцать добродетелей рациональности

Будучи рационалистами, мы обязаны подвергать критике себя и свои убеждения… не так ли?

Подумайте, какой эффект окажет на вас мысленная установка «Я обязан критиковать свои убеждения». Роджер Желязны однажды отметил разницу между «желанием быть автором» и «желанием писать». Как сказал Марк Твен: «Классика — это то, что каждый хотел бы уже прочесть и никто не хочет читать». Критика из чувства долга ведет к желанию иметь убеждения, уже прошедшие проверку, чтобы не считать свою веру слепой. Это не тоже самое, что хотеть проверить свои убеждения по-настоящему.

В ходе такой проверки вы рискуете стать жертвой предвзятой остановки. Вы анализируете возражение, приводите контраргумент, останавливаетесь. Повторяете с парой других возражений, ощущаете чувство выполненного долга, останавливаетесь. Так вы достигнете своей подсознательной цели: избавиться от когнитивного диссонанса «я — рационалист, не подвергнувший критике свои убеждения». Считайте это стремлением получить статус рационалиста — попыткой ощутить «теплое чувство» удовлетворения.

Теперь ваши оценки вероятностей будут достаточными для оправдания своих изначальных планов и убеждений, но недостаточными для возникновения сомнений со стороны других рационалистов или самого себя.

Истинное же любопытство будет тянуть вас к информации, кажущейся наиболее перспективной с точки зрения сдвига в оценке убеждений, либо к той, что наименее похожа на все известное вам до этого. Последующее распределение оценок вероятности, скорее всего, будет отличаться от изначального — должен будет произойти сдвиг в одну из сторон, и любое направление будет одинаково приемлемым, если ваше любопытство является искренним.

Сравните это с неосознанным желанием оставаться на знакомой территории, чтобы закончить свою проверку как можно быстрее, отметить свои убеждения и планы как «проверенные» и вернуться к своему привычному состоянию.

Что до моего взгляда на истинное любопытство и его силу — смотрите Сказ о науке и политике. Каждый персонаж служит иллюстрацией разных уроков. Последний из них, Феррис, является воплощением чистого и невинного любопытства, которое сопровождается легкостью и стремлением к поиску новых свидетельств.

Как писала Урсула К. Ле Гуин: «У невинности нет сил бороться со злом. Но у нее есть силы творить добро».1 Простое и невинное любопытство может обернуться простым тупиком на пути; поэтому обучение рациональности с сопутствующей этому изощренностью должно быть очень аккуратным, если мы хотим стать сильнее. Тем не менее, легкость и стремление к искренности в своих поисках можно сохранить.

Как сказано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже обладаете знанием, или же не хотите знать вовсе — сомнения будут бесцельными, а навыки не найдут своего применения. Любое любопытство стремится себя уничтожить — нет любопытства, которое не жаждет найти ответ.

Подобной альтернативы искреннему любопытству просто не существует. «Жгучее желание знать — гораздо сильнее, чем торжественная клятва искать только правду». Но нельзя обрести любопытство простым усилием воли — как нельзя усилием воли заставить свою ногу чувствовать тепло, когда она чувствует холод. Иногда все, что у нас есть — это торжественные клятвы.

Так что же делать с «долгом»? Для начала можно попытаться разжечь свой интерес во время «обязательных» проверок — следить за проявлениями искреннего интереса или даже искреннего невежества и желания его устранить. Попутно можно уделять особое внимание неприятным и болезненным размышлениям, которых вы стараетесь избежать — это вовсе не какое-нибудь «негативное мышление».

Также можно вспомнить о Законе сохранения ожидаемого свидетельства. Для каждого нового вопроса, для каждой новой крупицы свидетельства математическое ожидание апостериорной вероятности должно быть равна априорной вероятности. Когда вы задаёте вопрос, вы должны в равной степени ожидать, что ваше убеждение изменится как в одном направлении, так и в другом. Не каждое новое свидетельство должно разворачивать ваше убеждение на 180 градусов — сдвигать вероятность его истинности с 70% до 30% — но если изначальная вероятность равна 70%, вы должны быть готовы поменять ее как на 71%, так и на 69%. Вы не сможете заранее предугадать направление этого сдвига (в среднем), потому что по законам теории вероятности, если вы знаете, куда вы направляетесь — вы уже находитесь там. Если вы готовы к честной проверке, готовы к тому, что каждое новое свидетельство действительно может сдвинуть ваше убеждение как вверх, так и вниз — вы сможете сохранять свой интерес и оставаться по-настоящему любопытными.

Если рассматриваемый вами аргумент новым не является, почему на нем сосредоточено ваше внимание? К нему бы вас привело искреннее любопытство? Не атакуете ли вы неосознанно сильные стороны своего убеждения вместо слабых? Не повторяете ли вы одно и то же свидетельство?

Если вы сможете не повторять одни и те же аргументы в свою поддержку и понемногу снижать оценку своего убеждения с каждым новым поступающим свидетельством, возможно, со временем вы сможете от этого убеждения даже отказаться — понять, что ветер свидетельств дует против вас.

Есть еще одно средство для поддержания любопытства — я его называю Литанией Тарского, которая в действительности является мета-литанией, имеющей для каждого отдельного случая свою формулировку (подходящую именно для этого случая). Например, если я очень сильно хочу узнать, содержит ли закрытый ящик бриллиант, тогда вместо мечтаний обо всех последствиях такого развития событий я могу повторять такую Литанию Тарского:

Если в ящике есть бриллиант,
Я хочу верить, что в ящике есть бриллиант.
Если в ящике бриллианта нет,
Я хочу верить, что в ящике бриллианта нет.
Я не буду цепляться за веру, которой не хочу.

И лишь после этого можно размышлять о возможности отсутствия бриллианта в ящике, и о вытекающих из этого преимуществах того, что вы будете верить в его отсутствие, и о соответствующих недостатках ситуации, при которой вы будете верить в его наличие. См. также Литанию Гендлина.

Обнаружив у себя хоть крохотную долю истинной неопределенности, берегите ее, как путник бережет свой костер. Если вы сможете разжечь эту неопределенность в пламя любопытства, оно подарит вам легкость и стремление к поиску истины, даст вашим сомнениям цель, а навыкам — их применение.

• 1. Урсула К. Ле Гуин. На последнем берегу (1972).

Традиционная Рациональность пользуется языком социальных норм. Нарушение норм трактуется как жульничество — то есть, отказ от кооперации. Если ты хочешь меня в чём-то убедить, ты обязан предоставить определённое количество свидетельств. Если ты пытаешься от этого увильнуть, то всем ясно: ты жульничаешь. Теория должна делать смелые предсказания сама, а не просто воровать предсказания, сформулированные другими теориями. Теория должна давать возможность себя опровергнуть, а не избегать трусливо огня критики — это членский взнос клуба качественных теорий.

Правила Традиционной Рациональности выглядят очень похожими на обычаи, управляющие жизнью человеческих обществ, и поэтому их легко передавать из уст в уста. Люди замечают общественное мошенничество лучше, чем изоморфные ему нарушения абстрактных логических правил. Однако, если рассматривать рациональность как общественные обязательства, можно прийти к некоторым странным выводам.

Например, существуют верующие, защищающие свои убеждения фразой: «Ты сам не можешь обосновать свою веру в науку!». Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! У тебя есть точно такие же!»

В глазах байесианцев, мозг — аналитическое устройство. Оно собирает перепутанные свидетельства и превращает их в карту, которая изображает местность. Принципы рациональности — это законы в том же смысле, что и второй закон термодинамики: чтобы получить надёжные убеждения необходимо вычислимое количество свидетельств, также как и надёжное охлаждение содержимого холодильника требует вычислимого минимума свободной энергии.

Теоретически, законы физики инвариантны относительно обращения времени, поэтому, в принципе, существует ничтожно малая — настолько малая, что отличить её от нуля могут только математики — вероятность того, что холодильник спонтанно охладит сам себя, сгенерировав при этом электричество.

Представь, что ты ни разу не был в Нью-Йорке. Сможешь ли ты нарисовать его точную подробную карту, сидя в комнате с закрытыми жалюзи и не имея доступа в интернет? Теоретически да, но вероятность этого немногим больше ничтожно малой вероятности самозаморозки холодильника.

Прежде чем начать рисовать карту незнакомой местности, плесни немного воды в чашку при комнатной температуре. Подожди, пока она самостоятельно замёрзнет, и лишь после этого приступай к самому занятию. Таким образом можно убедиться, что приём «игнорируй бесконечно малые вероятности успеха» работает. Часто бывает сложно осознать, что твоя карта неверна (особенно, если ты никогда не бывал в Нью-Йорке), но всегда можно убедиться в том, что вода сама по себе не замерзает.

Если правила рациональности — это законы общества, то, кажется, что можно оправдать поведение Х, если указать, что остальные ведут себя также. Было бы несправедливо требовать свидетельства от тебя, если мы сами не можем их предоставить. И справедливое общество обязательно осознает, что все мы одинаково грешны и смягчившись, милосердно освободит всех от обязательства предоставлять свидетельства в пользу своих убеждений. Затем наступит свобода, равенство и братство, и будем мы жить долго и счастливо.

Если же правила рациональности — это математические законы, то все попытки что-то оправдать бессмысленны. Бесполезно зачитывать вслух 30 причин, согласно которым ты не можешь упасть с обрыва. Даже если все проголосуют за то, что нечестно требовать электричества для заморозки продуктов, это никак не повлияет на идущие внутри холодильника процессы. Даже если все согласятся с тем, что тебе не обязательно посещать Нью-Йорк, карта всё равно окажется неверной. Госпожа Природа не прислушивается к людским просьбам, и Госпожа Математика тоже.

Так что — вернёмся к Традиционной Рациональности, сформулированной как социальные нормы — не думай, что заявление «нет ничего страшного в моих необоснованных убеждениях о X, ведь у всех есть какие-то необоснованные убеждения» сойдет тебе с рук. Если обе заключившие контракт стороны нарушили свои обязательства, человек-судья может решить не применять санкции ни к кому. Но если два инженера соберут два механизма одинаково плохо, ни один механизм не заработает. Одна ошибка не может оправдать другую. Если я что-то делаю неправильно, тебе это никак не поможет и не освободит тебя от исполнения правил. Страдать мы будем оба.

Когда речь идёт об общественных законах в странах с либеральной демократией, то каждый вправе обладать собственными убеждениями. Когда дело касается законов природы, то у вас нет права на безошибочность. Людей не арестовывают за то, что они верят в странные вещи (по крайней мере, в адекватных странах). Однако невозможно аннулировать закон, по которому для получения точных убеждений требуются свидетельства. Даже если весь человеческий род выступит как единое целое, его голос не вызовет снисхождения перед лицом Природы.

Физики не решают, какими должны быть законы природы, физики просто угадывают, каковы они на самом деле. Рационалисты не решают, какими должны быть законы рациональности, рационалисты просто угадывают, каковы они на самом деле. Нельзя рационализировать то, что не было рациональным с самого начала. Даже если кто-то ухитрится убедить всех физиков мира в том, что законы гравитации на него не распространяются, то всё равно, шагнув со скалы, он упадёт.

Даже фраза «это решаем не мы» слишком антропоморфна. Нет никакой вышестоящей инстанции, способной делать исключения в законах. Существуют лишь причина и следствие.

Помни об этом, когда будешь просить разрешения нарушить закон всего лишь этот раз. Мы не можем выдать разрешения. Это просто не в нашей власти.

Когда вы окружили врага,
Всегда оставляйте ему путь к отступлению.
Пусть он видит,
Что есть альтернатива смерти.
— Сунь-цзы, «Искусство войны»1

Всё, хватит на них давить. Наоборот, сбавим прессинг.
— Лоис Макмастер Буджолд, «Комарра»2

Вчера вечером я разговаривал с нерационалисткой, которая случайно зашла на встречу местных рационалистов. Она только что объявила, что (а) верит в существование души и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?». По растерянности, промелькнувшей на её лице, было понятно, что этот вопрос никогда не приходил ей в голову. Я не хочу сказать, что в этом есть что-то плохое — она показалась мне хорошим человеком, у которого нет ни малейшей подготовки в области рациональности — как и у большинства других представителей человечества. Мне действительно надо написать эту книгу.

Большая часть последующего разговора посвящалась вопросам, уже раскрытым на сайте Overcoming Bias3: если вам что-то очень любопытно, то скорее всего, вы сможете придумать хороший способ это проверить, старайтесь сперва приобретать точные убеждения, а затем позвольте эмоциям опираться на них, ну и так далее. Однако, этот разговор напомнил мне об одном соображении, которое я пока ещё тут не раскрыл:

— Постарайтесь как можно лучше себе представить, – предложил я ей, – как выглядел бы мир, где нет душ, и как бы вы поступали в таком мире. Не думайте обо всех причинах, почему это невозможно. Просто примите это как допущение и представьте последствия. Чтобы вы могли подумать: „Ладно, если душ нет, то я могу просто заключить контракт на крионирование“ или „Если Бога нет, я всё равно могу просто быть добродетельной“, а не просто ужасаться самой идее. Как я уже сказал раньше, вам стоит верить в правду, какой бы она ни была — это вопрос самоуважения. Однако, человеческая природа такова, что полезно сперва свыкнуться с убеждением и только потом оценивать свидетельства в его пользу.

Принцип в основе этой методики прост. Поступайте с собой так, как Сунь-цзы советует поступать с врагами – оставьте себе путь к отступлению. Если для вас непереносима сама мысль о потере работы, то эта перспектива может вас пугать гораздо сильнее, чем если вы точно подсчитали, на сколько хватит ваших сбережений, проверили вакансии на рынке труда в своей сфере занятости и тщательно распланировали, что будете делать в таком случае. Только в этом случае вы будете готовы честно оценить вероятность сохранения работы с учётом грядущих в следующем месяце сокращений. Будьте настоящим трусом и в деталях составьте план отступления. Мысленно представьте себе каждый шаг. Желательно, ещё до выхода на поле боя.

Для того, чтобы представить себе неприятное состояние дел всего лишь в качестве мысленного эксперимента, требуется меньше мужества, чем для того, чтобы оценить, какова на самом деле вероятность, что дела действительно состоят именно так. Но после первого сделать второе становится проще.

Помните, что байесианство любит точность: даже если пугающая вас перспектива действительно выглядит маловероятной, всё равно, чтобы получить количественную оценку вероятности, важно честно подсчитать все свидетельства за и против. Визуализация устрашающей идеи совершенно не означает признания, что глубоко внутри Вы считаете её возможной истиной. Вы можете представлять различные пугающие идеи просто из общих соображений о поддержании себя в хорошей ментальной форме. «Идея, о которой Вы не можете даже подумать, управляет вами больше, чем идеи, о которых вы громко говорите вслух». Такое случается, даже если эта невообразимая идея является ложной!

Методика оставления пути к отступлению для её правильного использования требует некоторый минимум честности по отношению к себе.

В первую очередь, вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают и к каким идеям Вы привязаны. Но это гораздо проще, чем честная оценка свидетельств по поводу идеи, которая вас пугает. Вам станет легче, если я скажу, что мне самому приходится пользоваться такой методикой? В конце концов, рационалист не отказывается от всех эмоций. Есть идеи, которые меня пугают, хотя я по-прежнему считаю их ложными. Есть идеи, к которым я привязан и знаю об этом, и всё равно считаю их истинными. Но тем не менее у меня есть план отступления: не потому, что я планирую отступать, а потому что изначальное наличие плана отступления помогает мне думать о проблеме, не привязываясь к ней.

Однако ещё большее испытание честности перед собой заключается в том, чтобы по-настоящему принять неприятное предположение в качестве предпосылки и продумать, как вы бы с ним справились. Когда мы сталкиваемся с неприятной идеей, наш первый импульс, естественно, подумать обо всех причинах, почему это может быть не так. Поэтому вы столкнётесь с некоторым количеством своего психологического сопротивления, если попытаетесь в точности представить, каким был бы мир и что бы вы в связи с этим делали, если бы самое-самое ценное убеждение было ложным или самое-самое пугающее убеждение было верным.

Подумайте обо всех людях, которые говорят, что без Бога была бы невозможной мораль. (И да, об этом зашла речь в том разговоре, так что я не выдумываю.) Если бы теисты могли представить свою настоящую реакцию на веру в то, что Бог не существует, они бы осознали, что, нет, они не отправились бы убивать младенцев. Они могли бы осознать, что атеисты реагируют на несуществование Бога примерно так же, как и они сами бы отреагировали, если бы в это поверили. Я говорю об этом, чтобы показать, что это весьма трудно: представить себе, как бы вы отреагировали, если бы поверили в противоположность какого-то из своих очень важных убеждений.

Кроме того, хоть это и довольно сложно осознать, но люди привыкают ко всему. Недавно парализованные люди через шесть месяцев не настолько этим опечалены, как они сами предполагали в начале, и тому подобное. Идея, что если бы ваше устрашающее убеждение оказалось истинным, то вы каким-то образом с ним бы свыклись, ничуть не более контринтуитивно. Паралитики привыкают, и вы бы привыкли.

Не забывайте также про литанию Гендлина и литанию Тарского. Правда не перестаёт быть правдой. Признание не сделает её хуже. Не бойтесь просто представить себе мир, которого боитесь. Если этот мир существует, то представив его мысленно, вы себе не навредите. А если он не существует, то от того, что вы его представите, тоже хуже не станет. И помните, когда визуализируете, что если ужасные явления в вашем воображении на самом деле истинны – чего может и не быть! – тогда вы наверняка хотели бы в них верить, и вам следует визуализировать и это тоже. Неверие вам не поможет.

Как много религиозных людей сохранили бы свою веру в Бога, если бы могли в точности представить себе гипотетический мир, в котором Бога нет, а они сами стали атеистами?

Оставлять путь к отступлению – мощная методика, но не простая. Честная визуализация требует меньше усилий, чем нужно, чтобы полностью признать, что Бог не существует, но всё равно требует усилий.

• 1. Автор цитирует текст по изданию Sun Tzu, The Art of War (Cloud Hands, Inc., 2004). Однако, приведённые им строки не вполне соответствуют соответствующим строкам известного в России перевода Николая Конрада: «… если окружаешь войско противника, оставь открытой одну сторону; если он находится в безвыходном положении, не нажимай на него». Прим. перев.
• 2. В переводе О.Г.Косовой. Прим. перев.
• 3. Эта книга представляет из себя переработанные статьи, и изначально эти статьи публиковались на сайте overcomingbias.com — Прим.перев.

Если вы не готовы с одинаковой лёгкостью допустить оба варианта, это ещё не настоящий кризис веры.

Тор Шенкель

Многие в этом мире придерживаются убеждений, несостоятельность которых заметил бы даже десятилетний ребёнок, услышавший такое убеждение в первый раз. И речь идёт не о каких-то незначительных заблуждениях. Человек незашоренного ума играючи отказался бы от таких убеждений, если бы без колебаний применил к ним скептицизм десятилетнего ребёнка. Как выразился Premise Checker1: «Если бы идея бога не появилась до эпохи науки, только очень странный человек смог бы её придумать и всерьёз утверждать, что она всё объясняет».

Тем не менее, даже профессиональные учёные и выдающиеся специалисты в своих областях в наш день и век всё ещё недостаточно скептичны. Нобелевский лауреат Роберт Ауманн, автор теоремы Ауманна о согласии, является ортодоксальным иудеем. Я достаточно сильно уверен, что в тот или иной миг своей жизни Ауманн сомневался в своей вере. Однако, его сомнения не стали успешными. Мы меняем мнение реже, чем нам кажется.

Это должно пробрать вас до мозга костей. Ведь получается, что можно быть учёным с мировым именем, хорошо владеть теоремой Байеса и тем не менее не смочь отвергнуть убеждения, абсурдность которых бросается в глаза даже десятилетнему ребёнку с его незамутнённым взглядом. Получается, что давно закрепившееся в разуме убеждение способно создать себе неуязвимую защиту.

Что же делать с ошибкой, которая окопалась у вас в мозгу?

Ну, если вы поняли, что на самом деле имеете дело с ошибкой, значит вы с ней уже справились. Вопрос не в том, как отказаться от давно привычного ложного убеждения X, а в том, как понять, что давно привычное убеждение X ложно. Сложно быть честным с собой, когда сам не знаешь, что правильно. Поэтому вопрос на самом деле звучит так:

Как вызвать у самого себя настоящий кризис веры в некое убеждение и допустить возможность альтернативных вариантов?

Как пример серьёзного испытания, которое мы все можем представить, возьмём религию. (У читателей, чьи родители были атеистами, не было этого важного жизненного испытания, поэтому в качестве довольно слабой замены я предлагаю им подумать об их религиозных друзьях). Однако, если вы не можете поставить себя на место верующего и считаете их всех злобными мутантами, значит вы не в состоянии вообразить, с какими внутренними испытаниями они на самом деле сталкиваются. Вы не в состоянии задаться вопросом:

Какая стратегия может помочь религиозному человеку отказаться от своей религии?

Уверен, что некоторые, едва взглянув на этот вопрос, уже начали потрясать стандартным списком атеистических аргументов. «Они должны признать, что байесовских свидетельств в пользу существования Бога не существует». «Они должны понять, что для оправдания поведения Бога в Библии они прибегают к многочисленным моральным уловкам». «Им надо научиться использовать бритву Оккама». Ну и так далее.

Нет! Нет, нет, нет! Именно такое оттарабанивание давно привычных аргументов в точности соответствует тому стилю мышления, из-за которого люди не спешат отказываться от своих религий. Если вы остаётесь в рамках собственных заранее заготовленных мыслей, если ваш мозг выдаёт ответ столь быстро, что вы даже не успеваете посмотреть на вопрос так, как будто видите его впервые, вы никак не сможете придти к кризису веры.

Возможно, дело в том, что слишком мало людей прочли книгу «Гёдель, Эшер, Бах» в достаточно раннем возрасте, но я часто замечал, что очень многие люди — даже с техническим образованием — не в состоянии мыслить на таком высоком уровне абстракции. Во время приступов особо сильного пессимизма я даже начинаю думать, что у верблюда действительно два горба.

Судя по всему, некоторые люди не могут перейти с объектного уровня «Воспользуйся бритвой Оккама! Ты должен понять, что твой Бог — это ненужное убеждение!» на мета-уровень «Попробуй не дать своему мозгу привычно действовать по шаблону!» Ведь для верующего человека ответ «Пути Господни неисповедимы, и наивно считать, что мы сможем их понять» настолько же привычен и так же быстро приходит на ум, как вам и вашим друзьям рационалистам приходит на ум бритва Оккама. Поэтому если вы считаете, что правильная стратегия заключается в «Воспользуйся бритвой Оккама!», вы похожи на верующего, который говорит, что правильная стратегия — это уверовать.

«Но… но бритва Оккама же на самом деле лучше, чем вера! Мы же не о любимом вкусе мороженого спорим! Если обратиться к истории, сразу понятно, что рассуждения, согласованные с законом Оккама, гораздо продуктивнее тех, что основаны на вере…»

Всё это так. Однако не имеет отношения к делу. А дело в том, что, когда вы всё это произносите, вы повторяете стандартные доводы в пользу своих убеждений. Доводы, которые уже укоренились у вас в мозгу. Устроить себе кризис веры — значит допустить, что наши стандартные умозаключения неверны и наши стандартные доводы тоже. Допустим, стандартным доводом в пользу Х является «Бритва Оккама!», и вы хотите испытать кризис веры относительно X. Тогда задайтесь вопросом, действительно ли бритва Оккама говорит в пользу X, действительно ли вы правильно понимаете бритву Оккама, и — если хотите по-настоящему глубоких сомнений — действительно ли простота является исторически либо логически обоснованным рабочим критерием в подобных случаях, и т. д. Если вы советуете религиозному человеку усомниться, что «вера» — это хорошее объяснение для X, то вам стоит посоветовать то же самое себе, то есть, приложить такие же серьёзные усилия и усомниться, что «бритва Оккама» — это хорошее объяснение для X.

(Подумайте обо всех людях, которые не понимают таких формулировок бритвы Оккама, как минимальная длина описания или индукция Соломонова. Подумайте о тех, кто считает, что бритва Оккама исключает многомировую интерпретацию или гипотезу симуляции. Этим людям стоит поставить под сомнение свою формулировку бритвы Оккама и своё представление о том, что простота — это что-то хорошее. Готов поспорить, что какое бы Х вы ни защищали в споре восклицанием «Бритва Оккама!», это X не дотягивает по простоте формулировки до закона гравитации).

Если «Бритва Оккама!» — это ваш привычный ответ, ваш стандартный ответ, если это ответ, который дают все ваши друзья, то вам стоит помешать своему мозгу моментально достраивать этот шаблон. Иначе устроить себе настоящий кризис веры не получится.

Лучше задать себе такие правила для размышлений: «Представить, что сказал бы скептик. Потом представить, что ему сказали бы в ответ. А теперь представить, что он ещё мог бы сказать и на что уже было бы сложнее ответить».

Или: «Сосредоточиться на самой неприятной мысли».

И самое главное правило:

«Стараться изо всех сил. Вкладывать столько же отчаянных усилий, сколько требуется верующему человеку, чтобы отринуть свою религию».

Ведь если вы не слишком стараетесь, то — как знать — может быть, ваша голова забита какой-нибудь чепухой, ничуть не менее абсурдной, чем религия.

Если вы не предпринимаете судорожных отчаянных усилий, чтобы стать рациональным (а именно такие усилия нужны, чтобы избавиться от религии), как вы осмеливаетесь верить во что бы то ни было? Ведь даже сам Роберт Ауманн верит в Бога.

Кто-то (уже не помню кто) однажды заметил, что люди в принципе способны отказаться от своей веры лишь до определённого возраста. Потом у них уже есть готовые ответы на все возражения, и становится слишком поздно. Это способ существования, который необходимо преодолеть. Это испытание вашей силы как рационалиста, и оно очень суровое. Но если вы не сможете его пройти, вы останетесь слабее, чем десятилетний ребёнок.

Но повторюсь: если вы понимаете, что убеждение ошибочно, то вы его уже побороли. Если вы уже пришли к заключению, что ваша религия не верна, то речь больше не идёт об отчаянных, судорожных попытках преодолеть последствия религиозного воспитания. Отчаянные усилия, о которых мы здесь говорим, нужны, чтобы понять, стоит ли избавиться от оков некоего убеждения или же сохранить его. Трудно быть честным с самим собой, когда не знаешь, какая дорога верна. Когда рационализация не кажется грехом.

Ради каждого сомнения устраивать себе полноценный кризис веры не стоит. Однако, вам стоит задуматься о нём, если:

• убеждение давно укоренилось в вашей голове;

• вам известно множество аргументов и контраргументов, связанных с этим убеждением;

• вы уже как-то невозвратно вложились (в виде времени, денег, публичных заявлений) в это убеждение;

• убеждение имеет какие-то важные эмоциональные последствия (заметим, что само по себе это не значит, что убеждение неверно);

• на убеждение завязана ваша идентичность.

Эти тревожные признаки не означают, что убеждение совершенно точно ложно. Они лишь сигнализируют о том, насколько рисковано ваше убеждение и насколько трудно вам будет с ним расстаться, если оно неверно. Такие признаки можно найти как для католичества Папы Римского, так и для убеждённости Ричарда Докинза в эволюционной биологии. Однако, это не означает, что подобные убеждения — лишь дело вкуса. Уравнивать между собой любые глубоко укоренившиеся убеждения только в силу того, что они глубоко укоренившиеся, при этом напрочь игнорируя подкрепляющие их свидетельства, — это удел непросвещённых. Цель не в том, чтобы сохранять лишь поверхностные убеждения, а в том, чтобы построить карту, которая наиболее точно соответствует территории.

Разумеется, я подчёркиваю всё это для того, чтобы вы могли признаться себе: «Да, у моего убеждения есть эти тревожные признаки» без необходимости сказать: «Моё убеждение ложно».

Однако, упомянутые признаки указывают на то, что вам потребуются экстраординарные усилия, чтобы эффективно поставить под сомнение своё убеждение. Эффективно — значит так, чтобы действительно отказаться от этого убеждения, если оно ложно. Если вы не в состоянии сомневаться эффективно, то вы слепы, ибо ваш мозг будет безоговорочно цепляться за убеждение. Если сетчатка глаза посылает один и тот же сигнал, независимо от попадающих на неё фотонов, мы называем этот глаз слепым.

Когда же стоит устраивать себе кризис веры?

Ещё раз подумайте о совете, который вы дали бы верующему: если вы чувствуете в себе какую-то лёгкую неуверенность, но продолжаете изыскивать веские доводы в пользу своего убеждения, то вам, скорее всего, стоит испытать себя кризисом веры. Если ваше убеждение подкреплено свидетельствами надёжными, как гравитация, вам не о чем беспокоиться. Однако задумайтесь обо всех верующих, которые отчаянно продолжают считать, что Бог надёжен, как гравитация. Так что попробуйте представить, что сказали бы скептически настроенные люди о ваших «надёжных, как гравитация» аргументах. Одна из причин, почему кризис веры может провалиться, состоит в том, что вы вообще никогда не пытались оспорить своё убеждение. Вы никогда не говорили себе: «Вот здесь мне стоит как следует посомневаться».

Если вы понимаете, что ситуация действительно сложная, вам нужно сделать следующий шаг и устроить себе кризис веры. Однако, не стоит это делать в спешке, в первую попавшуюся свободную минуту. Не рвитесь побыстрее расправится с этим делом, ради оправдания: «Я сомневался, как и должен был поступить рационалист». Это не сработало бы для верующего, это не сработает и для вас. В день накануне отдохните, чтобы ваш ум был в хорошей форме. Заранее выделите себе несколько часов, в которые вас никто не побеспокоит. Найдите какое-нибудь тихое место. И предпримите отчаянную попытку призвать настоящее сомнение, которое разрушит ложные — и только ложные — из ваших глубочайших убеждений.

Элементы методики кризиса веры разбросаны по целому ряду эссе:

• Избегая по-настоящему слабых мест убеждения. Один из первых соблазнов кризиса веры — начать с самых веских доводов в пользу своего убеждения, чтобы ещё раз отрепетировать хорошие ответы. Путь сомнений нужно начинать с поиска уязвимостей, а не с рассмотрения наиболее обнадёживающих аргументов.

• Размышление о любопытстве. Роджер Желязны однажды противопоставил «желание быть писателем» и «желание писать». Точно так же различаются «желание разобраться» и «желание разбираться». Недостаточно заявить: «Подвергать критике собственные убеждения — это мой долг». Необходимо настоящее любопытство. А любопытство рождается только из неуверенности. Не упускайте из виду закон сохранения ожидаемых свидетельств, это поможет вам совершенствоваться шаг за шагом. Переходя к каждому новому пункту, аргументу или свидетельству, вы не должны предвидеть, в какую сторону сдвинется ваше убеждение. Таким образом вы сможете сохранять подлинное любопытство о том, к чему вы в итоге придёте.

• Непосредственный взгляд. Используйте методы Пирсига, чтобы избежать привычных шаблонных мыслей, которые приходят на ум в первую очередь.

• Литания Джендлина и литания Тарского. Люди способны вынести правду, ибо они уже живут в ней. Если убеждение верно, то лучше верить, что оно верно. Если убеждение неверно, то лучше отказаться от него. Вы могли бы посоветовать религиозному человеку как можно тщательнее представить мир, где нет Бога, и честно признать, что если Бога нет, то лучше верить, что Бога нет. Если человек в глубине души не способен это принять, значит он не сможет пройти путём кризиса веры. Так что сделайте честную попытку представить альтернативу вашему убеждению. Представить так, чтобы даже самый придирчивый скептик не смог придраться. Думайте о тех усилиях, которые потребовались бы верующему, чтобы представить себе атеистическую картину мира, не искажая эту картину ради собственного комфорта.

• Приложите экстраординарные усилия. Вспомните о понятии «иссёкенмей»2. Приложите все силы, чтобы быть рациональным. Такие силы, которые потребовались бы Роберту Ауманну и всем великим учёным прошлого, которые так и не преодолели свою религиозность.

• Генетическая логическая ошибка. Иногда люди соглашаются, что некоторый источник недостоверен, однако продолжают считать: «Но ведь идеи там всё равно правильные!» Если многие из ваших идей почерпнуты из таких источников, вам стоит быть крайне осторожным. (Например, кто-нибудь может прийти к мнению, что Библия всё-таки написана людьми, однако продолжать цепляться за идею, что она служит источником незаменимой этической мудрости).

• Важно уметь сказать «Упс». Ужасную горькую пилюлю и в самом деле лучше проглотить одним глотком.

• Единомыслие — противоположность двоемыслия. Замечайте мысли, которые вы гоните прочь. Мысли, которые успевают лишь на мгновение появиться в уголке вашего сознания, прежде чем вы откажетесь об этом думать. Если вы осознаете, о чём вы не думаете, вы сможете об этом подумать.

• Аффективные смертельные спирали и Сопротивление аффективным смертельным спиралям. Аффективные смертельные спирали — это главные генераторы ложных убеждений, и без встряски кризисом веры от них не избавишься. Поскольку аффективные смертельные спирали могут начинаться и вокруг поистине прекрасных вещей, вам не нужно признавать, что ваше убеждение — ложь, чтобы пытаться противостоять их гало-эффекту в каждый отдельно взятый миг. Даже что-то по-настоящему хорошее стоит хвалить только искренне. Не делайте политические споры однобокими.

• Не спешите предлагать решения. Не предлагайте никаких решений до тех пор, пока не обсудили проблему настолько подробно, насколько это возможно. Пусть ваш разум позже поймёт, каким должен быть ответ. Потратьте хотя бы пять минут, прежде чем сдаться. Это правило подходит всегда, и особенно, когда вы становитесь адвокатом дьявола.

Следующие методики тоже довольно важны в вопросах кризиса веры:

• Цепочка про нижнюю строчку и рационализацию, где объясняется, почему всегда неправильно защищать в дискуссии только одну сторону.

• Помните о подтверждающем искажении, предвзятом скептицизме и предвзятой остановке, чтобы не подходить избирательно к поиску доказательств, к поиску контраргументов и не останавливать дискуссию, если она становится опасной. Отсутствие альтернатив — это частный случай остановки дискуссии. Частный случай для обоснованного скептицизма — это ложная скромность, когда вы смиренно признаёте, что никто не может знать чего-то. Причём речь идёт о том, чего вы сами и не хотели бы знать. Не надо выборочно придираться к контраргументам под предлогом их недостаточной авторитетности.

• Остерегайтесь семантических стоп-сигналов, замечайте требование аплодисментов и сами выбирайте объяснить, поклоняться или пренебречь.

• Прочувствуйте, что дьявол в деталях. Каждая деталь — отдельная ноша, поворотная точка.

В общем, и здесь, и на Overcoming Bias довольно много материала по этой теме. Кризис веры - это лишь поворотная точка и внезапная схватка на длинном пути иссёкэнмэй. На вечном пути бескомпромиссных попыток достигнуть уровня настолько великой рациональности, что все эти дурацкие глупые ошибки окажутся где-то далеко внизу. И в этой схватке вы сможете использовать на всю катушку все навыки, в которых вы так долго практиковались. Использовать против себя самого.

Успехов вам в вашей битве. Чудесного кризиса!

• 1. Один из читателей Overcoming Bias во времена написания этого эссе. — Прим.перев.
• 2. Японское слово, означающее совершить отчаянную попытку, подробнее раскрывается в эссе по ссылке. — Прим.перев.

Комната, где Джеффриссай принимал своих гостей, не владевших искусством бейзутсукай, была оформлена в самом строгом классическом стиле и выглядела весьма официально. Сквозь серебряную решётку, острые края которой чётко давали понять, что эта ограда не должна открываться, струились свежий воздух и солнечные лучи. Стены и пол из очень толстого стекла искажали находящееся за ними до полной неразличимости. Поверхность стекла украшали едва заметные непонятные узоры, которые словно вышли из-под руки творчески одарённого ребёнка (впрочем, так и было).

В доме Джеффриссая были комнаты и в другом стиле. Но когда-то он обнаружил, что эта лучше всего соответствует представлениям чужаков о вкусах Байесианского Мастера, и решил их в этом не разубеждать. В конце концов, такие бесхитростные развлечения тоже часть маленьких радостей жизни.

Гостья села напротив него: колени на подушке, ступни сзади. Её привели сюда исключительно дела Заговора. Наряд выдавал это: облегающий комбинезон из розовой кожи, закрывающий всё, включая кисти рук — вплоть до головы и волос, скрытых капюшоном. Впрочем, лицо оставалось открытым.

Итак, Джеффриссай решил принять её в этой комнате.

Он сделал глубокий вдох, затем выдохнул.

— Уверена ли ты?

— О-о-о, — протянула она. — Неужели мои советы поменяют твою точку зрения лишь в том случае, когда я абсолютно уверена? Разве не достаточно того, что я специализируюсь в этой области, а ты нет?

Губы Джеффриссая скривила лёгкая улыбка.

— Кстати, откуда тебе известно столь многое о правилах? У тебя никогда не было подготовки даже планковских масштабов.

— Разве это не очевидно? — сухо ответила она. — Вы, бейзутсукай, просто обожаете объяснять причины своих поступков.

Джеффриссай внутренне поморщился от мысли, что кто-то может нахвататься рациональности, лишь наблюдая, как другие люди говорят о ней…

— И не надо так внутренне морщиться на меня, — продолжила гостья. — Я не стремлюсь сама стать рационалисткой. Я хочу лишь победить рационалиста в споре. Уверена, что ты даже ученикам говоришь, что это огромная разница.

Неужели она читает меня как открытую книгу? Джеффриссай посмотрел наружу сквозь серебряную решётку. Солнечный свет отражался от склона горы. Всегда, всегда, каждый день золотые лучи солнца пронзают облака и падают на это место. Неизменная вещь этот свет. Далёкое Солнце, представленное этим светом, через пять миллиардов лет сгорит, но сейчас, в эту секунду, оно ещё светит. И это не изменить. Зачем желать, чтобы что-то сохранялось неизменным вечно? Ведь это желание уже исполнено настолько надёжно, насколько только можно. Парадокс постоянства и непостоянства: прогресс или потери существуют только в позднейшей перспективе.

— Ты всегда давала мне хорошие советы, — произнёс Джеффриссай. — Так было всегда. Всё время, которое мы знаем друг друга.

Она склонила голову, признавая его слова. Это истина, и нет нужды объяснять подразумеваемое.

— Итак, — сказал Джеффриссай. — Не спора ради, но лишь потому что я хочу узнать ответ. Ты действительно уверена?

Он не понимал, как она могла догадаться.

— Я вполне уверена, — ответила она. — Мы достаточно долго собирали статистику, и из тысячи случаев, подобных твоему, в девятьсот восьмидесяти пяти…

От вида его лица она расхохоталась.

— Я шучу. Конечно же, я не уверена. Решение исключительно за тобой. В чём я точно уверена, так это в том, что ты должен пойти и сделать все, что вы там делаете, когда совершенно всерьёз раздумываете, стоит ли отказаться от какого-то фундаментального основания собственного существования. Не сомневаюсь, что для таких случаев у вас есть какой-нибудь ритуал, пусть вы и не рассказываете о нём посторонним.

Джеффриссай задумался. С этим было трудно спорить. Особенно когда эксперт в обсуждаемой области утверждает, что ты, возможно, не прав.

— Я сдаюсь, — сказал Джеффриссай. В его исполнении эти слова прозвучали словно приказ об окончании дискуссии: «Нет нужды спорить дальше. Ты победила».

— О, избавь меня! — ответила она. Она поднялась с подушки быстро, но плавно — ни единого лишнего движения. Она не выпячивала свой возраст, но и не скрывала его. Подхватив его протянутую кисть, она поднесла её к своим губам в формальном поцелуе. — Прощайте, учитель!

— «Прощайте»? — переспросил Джеффриссай. Это слово означало расставание более серьёзное, чем если бы она ограничилась простым «до свидания». — Вообще-то я планировал нанести вам визит, миледи. И я всегда рад видеть вас здесь.

Не ответив, она направилась к дверям. В дверном проёме она замерла и, не оборачиваясь, сказала:

— Ничто уже не будет прежним.

Её движения ничуть не казались стремительными, но удалилась она так быстро, что могло показаться, что она просто исчезла.

Джеффриссай вздохнул. Но, по крайней мере, с этого момента и до самого испытания он знал, что делать. Все его действия определялись предписаниями.

Покинув свою официальную приёмную, Джеффриссай направился к своей арене. Оттуда он разослал сообщения своим ученикам, что во время завтрашних занятий они должны импровизировать без него, а позже он устроит им проверку.

И после этого Джеффриссай не делал ничего существенного. Он прочёл ещё сотню страниц учебника, который взял взаймы. Учебник оказался не слишком хорошим, впрочем, книга, что он отдал взамен, тоже была посредственной. Он бродил из одной комнаты своего дома в другую. Заглянул в несколько кладовых проверить, не было ли что-нибудь оттуда украдено (пропала колода карт, но и только). Время от времени его мысли возвращались к завтрашнему испытанию, и он позволял им течь свободно. Он старался совсем не управлять своими мыслями, лишь гнал те, которые уже приходили ранее. Также он не допускал любых заключений и выводов, даже мысль о том, куда должны течь его мысли.

Солнце садилось. Очистив свой разум, Джеффриссай какое-то время любовался закатом. Не думать ни о чём без необходимости постоянной концентрации и без огромных усилий было примером превосходного мастерства. Годы назад при таком упражнении с него пот лился ручьём. Но тренировки уже давно принесли свои плоды.

Когда он проснулся на следующее утро, хаотические ночные видения были свежи в его памяти. Стараясь сохранить это ощущение хаоса и память о снах, он спустился по лестнице на один пролёт, потом ещё на один, и ещё на один, и наконец оказался в самой неприглядной комнате из всех.

Она была белой. Это слово лучше всего описывало её цветовое оформление.

На одной из стен висели дощечки с надписями. Следуя традиционным практикам, их когда-то кропотливо нанёс юный Джеффриссай. С каждым движением кисти, что выводила слова, идеи врезались в его сознание. «Что может быть разрушено правдой, должно быть разрушено». «Люди способны вынести правду, ведь она и так их окружает повсюду». «Любое любопытство стремится себя уничтожить». На одной маленькой дощечке была лишь красная горизонтальная черта. Что угодно можно заменить символом, хотя даже Барды-Заговорщики не осмелятся признать такую гибкость и могущество визуальных образов.

На стене под дощечками виднелись две колонки значков. В столбце со знаком плюс было две записи. Со знаком минус — пять. Семь раз он входил в эту комнату. Пять раз он решил не менять своё мнение. Дважды он покинул комнату в какой-то степени другим человеком. Никакие правила не предписывали какое-либо соотношение между первым и вторым — подобные правила сделали бы абсурдной всю идею. Однако если за долгое время под знаком плюс не появилось бы ни одной записи, пришлось бы признать, что нет никакого смысла держать эту комнату, раз ты не умеешь её использовать. Ну или знание истины даровано тебе от рождения и ты прав во всём.

Джеффриссай сел на пол, но не лицом к дощечкам, а спиной к ним. Он смотрел на пустую белую стену, дабы ничто не могло отвлечь его. Мысленно он повторил вступительную мета-мнемонику, а затем множество под-мнемоник, на которые та ссылалась: семь главных принципов и шестьдесят две специальные техники, что вероятнее всего понадобятся во время Ритуала Изменения Убеждений. К этому Джеффриссай добавил ещё одну мнемонику, напоминающую ему четырнадцать его собственных самых стыдных оплошностей.

Он не сделал глубокого вдоха. Лучше сохранять спокойное дыхание.

И тогда он задал себе вопрос.