Давным-давно жила-была в одном городе учительница физики. В один прекрасный день она пригласила в класс своих студентов и показала им широкую квадратную металлическую пластину рядом с обогревателем. Студенты прикладывали ладони к пластине и ощущали, что сторона пластины рядом с обогревателем кажется холодной, а дальняя от обогревателя сторона кажется тёплой. «В чём дело, как вы думаете?» — спросила учительница. Некоторые заговорили о конвекции воздушных потоков, остальные предположили наличие странных примесей в пластине. Студенты предложили много изобретательных объяснений, никто не снизошёл до фраз «Я не знаю» или «По-моему, это просто невозможно».

А разгадка была в том, что учительница развернула пластину ненагретой стороной к обогревателю перед тем, как студенты вошли в комнату.1 2

Посмотрим на студента, растерянно бормочущего «Э… Ну, может быть, это из-за теплопроводности и всего такого?». Являются ли его слова полноценным убеждением? Слова достаточно легко произнести громким, убедительным голосом. Но контролируют ли они ожидание?

Подумаем о маленьком невинном предлоге «из-за», который стоит перед словом «теплопроводности». Подумаем о других вещах, которые он может предварять: например, можно сказать «из-за флогистона» или «из-за волшебства».

«Магия — не научное объяснение!» — можете закричать вы. Действительно, легко заметить, что эти две фразы — «из-за теплопроводности» и «из-за волшебства» — принадлежат различным литературным жанрам. Слово «теплопроводность» можно найти в лексиконе Спока из «Звёздного пути», а про «волшебство» может рассуждать Руперт Джайлз из «Баффи — истребительницы вампиров».

Но, будучи байесианцами, мы игнорируем жанры литературы. В наших глазах модель определяется через её воздействие на ожидания будущих событий. Ты сказал «теплопроводность»; на какие будущие переживания ты рассчитываешь, исходя из этой модели? В нормальных условиях эта модель подскажет тебе, что более тёплой на ощупь должна быть сторона пластины, которая ближе к обогревателю. Если фраза «из-за теплопроводности» может объяснить ещё и то, что ближняя к обогревателю сторона ощущается холоднее, то эта фраза может объяснить вообще всё что угодно.

Ну и, как все уже — я надеюсь — поняли к этому моменту: если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Если постоянно злоупотреблять фразой «из-за теплопроводности», то эта модель превратится в замаскированную гипотезу максимальной энтропии. В плане предсказаний такое предположение изоморфно фразе «это магия». Выглядит как объяснение, но им не является.

Представим, что мы измеряем температуру металлической пластины в различных точках и в разное время, вместо того, чтобы высказывать догадки вслух. Видя металлическую пластину рядом с нагревателем, обычно мы ожидаем увидеть, что температуры точек удовлетворяют равновесию диффузионного уравнения с учётом граничных условий, наложенных окружающей средой. У тебя может не получиться правильно определить температуру в первой точке измерения, но после измерения нескольких первых точек — я не настолько физик, чтобы знать, сколько именно точек потребуется — уже можно с отличной точностью вычислить температуру остальных.

Истинный гуру искусства Ограничения Ожиданий По Поводу Материальных Явлений С Помощью Чисел — один из тех людей, которых мы называем «физиками» — сделает измерения и скажет «Эта пластина находилась в равновесии с окружением две с половиной минуты назад, потом её повернули на 180 градусов, и сейчас она снова к нему приближается»

Ошибка студентов не просто в том, что они не сумели ограничить свои ожидания. Их менее явная, и более глубокая ошибка заключалась в том, что они думали, что занимаются физикой. Они сказали «потому что», дополненное чем-то похожим на изречения Спока в «Звёздном пути», и решили, что тем самым они приобщились к магистерию науки.

Это не так. Они просто переместили магию из одного жанра литературы в другой.

• 1. История позаимствована из коллекции шуток Иохима Верхагена (Joachim Verhagen). Упомянутую историю можно найти поиском по словосочетанию «heat conduction».
• 2. Замечу, что в оригинале история гораздо короче, чем в изложении Юдковского. — Прим.перев.

В юности я читал популярные книги по физике, например «КЭД — странная теория света и вещества» Ричарда Фейнмана. Я знал: свет — это волны, звук — это волны, материя — это волны. Мне было девять лет и я гордился своей научной грамотностью.

Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет — это волны, звук — это волны, материя — это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».

Вполне естественно думать, что если учёный говорит: «Свет — это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет — это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет — это волны» либо истинно, либо ложно, не так ли?

И это — ещё одна плохая привычка, которой нас учат в школе. У слов нет встроенных значений. Когда я слышу слоги «бо-бёр», в моём мозгу возникает образ большого грызуна; но это факт о состоянии моего разума, а не о слогах «бо-бёр». Последовательность слогов «это волны» (или «из-за теплопроводности») — это не гипотеза. Это набор колебаний воздуха, либо форма, принятая чернилами на бумаге. Внутри разума может быть связь между этой фразой и какой-нибудь гипотезой, но эта фраза, сама по себе, не является ни истинной, ни ложной.

Однако, если сказать школьному учителю «это волны», то ты получишь пятёрку с плюсом: учитель считает ответ «это волны» правильным, поскольку он наблюдал, как физик создаёт эти же колебания воздуха. А раз пятёрки с плюсом раздают за определённые фразы (написанные либо произнесённые), то студенты начинают думать, что у фраз есть истинностное значение. В конце концов, свет либо волны, либо не волны, так?

И это ведёт к ещё более ужасной привычке. Представим, что учитель ставит перед тобой странную задачу: ближняя сторона металлической пластины, лежащей рядом с обогревателем, ощущается менее тёплой, чем дальняя. Учитель спрашивает, в чём дело. Ответить «я не знаю» нельзя: тогда ты не только не получишь пятёрку с плюсом, но даже не будешь считаться участвовавшим в уроке. Но в течение этого семестра учитель использовал фразы «из-за теплопроводности», «из-за конвекции» и «из-за теплового излучения». Видимо, одну из них учитель и желает услышать в ответ. Поэтому ты тянешь: «Нууу… может быть, из-за теплопроводности?».

Это не гипотеза о металлической пластине. Это даже не полноценное убеждение. Это попытка подобрать пароль.

Даже вспомнить уравнение диффузии (математическое описание процесса теплопроводности) — не то же самое, что и сформировать гипотезу о металлической пластине. Это не школа, и никто не собирается проверять, способен ли ты написать уравнение диффузии по памяти. Это байесоткачество, и мы начисляем очки за ожидания будущих переживаний. Если ты используешь уравнение диффузии — измерив температуру нескольких точек термометром, а затем пытаясь предсказать результат следующего измерения — то тогда это определённо привязано к переживаниям реального мира. Даже если студент просто представляет себе движение тепла, и поэтому подносит спичку к холодной стороне для того, чтобы измерить, куда течёт тепло, то этот мысленный образ движения привязан к переживаниям и контролирует ожидание будущего.

Если ты не используешь уравнение диффузии: не подставляешь в него числа и не получаешь данные, влияющие на твои ожидания определённых переживаний, то тогда твоя когнитивная карта полностью отрезана от местности. То, что осталось, даже нельзя назвать убеждением — это просто речевое поведение.

Школьная система построена вокруг речевого поведения, выражается ли оно через колебания воздуха, или через узор чернил на бумаге. От речевого поведения зависит, получишь ли ты пятёрку с плюсом, или двойку вместе с вызовом родителей. Осознавать различие между объяснением и паролем — первый шаг на пути избавления от этой вредной привычки.

Не слишком ли это жестоко? Ведь, когда человек пытается разрешить загадку металлической пластины, мысль «теплопроводность?» может быть первым шагом к нахождению ответа, верно? Может быть, но только в том случае, если этот человек старается разрешить загадку, а не подобрать пароль. Если нет учителя, готового указать на ошибку, то ловушка становится ещё страшнее. Тогда можно считать фразу «Свет — это вакаликс» хорошим объяснением, можно думать, что слово «вакаликс» — правильный пароль. Когда мне было 9 лет, это случилось и со мной: не потому что я был глуп, а потому, что это то, что случается обычно, по умолчанию. Это привычный для людей образ мыслей, и чтобы его избежать, нужно приучить себя не попадать в эту ловушку. Человечество падало в такие ямы и сидело в них тысячелетиями.

Возможно, если вдолбить студентам, что слова не считаются, а имеют значение лишь контроллеры ожиданий, то никто больше не застрянет в западне алгоритма «Теплопроводность? Нет? Тогда конвекция? Тоже не то?». Возможно, тогда мысль «может быть, теплопроводность?» будет началом действительно полезного пути, например:

«Теплопроводность?»

Но это только фраза — что она означает?

Уравнение диффузии?

Но это только символы — как мне их применить?

Будь уравнение диффузии справедливым, чего бы я рассчитывал почувствовать?

Я определенно не рассчитывал бы обнаружить, что отдаленная от обогревателя часть металлической пластины будет теплей.

Я замечаю своё замешательство. Возможно ближняя сторона всего лишь ощущается более холодной? Скажем, она изготовлена из какого-нибудь плохо проводящего тепло материала и поэтому передает меньше теплоты моей руке? Я попробую измерить температуру…

Ладно, не сработало. А если проверить, приложимо ли вообще уравнение диффузии к этой металлической пластине? Тепло течет как обычно, или происходит нечто иное?

Можно поднести спичку к пластине и попробовать измерить, как тепло распространяется с течением времени…

Если не выкорчевать сорняк лжеобъяснения «Эмм, может быть из-за теплопроводности?», то студент, скорее всего, застрянет на стадии паролей и вакаликса. Это происходит по умолчанию, это происходило со всем человечеством на протяжении тысяч лет.

В трейлере фильма «Люди Икс» голос за кадром говорит: «В каждом человеке… есть генетический код… вызывающий мутации». Несложно заметить, что, мутировав, можно приобрести разнообразные полезные способности. К примеру, мутант Шторм без труда метает молнии.

Прошу тебя, дорогой читатель, подумать о биологических приспособлениях, необходимых для производства электричества; о природной защите от собственного электричества; а также о структурах внутри мозга, отвечающих за тонкое управление разрядом молнии. Если мы бы и в самом деле обнаружили бы организм, который приобрёл такие способности за одно поколение, в результате мутации, то это бы одним махом вдребезги бы опровергло неодарвинистскую модель естественного отбора: это было бы ещё убийственнее, чем скелет кролика, датируемый докембрием. Если теорию эволюции действительно можно растянуть так, чтобы она не возражала против истории Шторм, то она станет способной объяснить всё, что угодно, и нам прекрасно известно, к чему такое ведёт.

Серия комиксов «Люди X» использует термины вроде «эволюция», «мутация» и «генетический код» лишь для создания атмосферы наукообразия; лишь для того, чтобы она относилась к науке как литературному жанру. И меня пугает то, как часто я встречаю людей (особенно в СМИ), воспринимающих науку исключительно как жанр литературы.

Я сталкиваюсь с людьми, которые твёрдо верят в эволюцию и не воспринимают всерьёз креационистов. При этом они вообще не имеют представления о том, что запрещено законами эволюционной биологии, а что нет. Они могут говорить про «следующий шаг эволюции человечества», как если бы естественный отбор имел бы свой план действий. Хуже того, они могут говорить о явлениях, вообще находящихся за пределами эволюционной биологии, вроде улучшений дизайна компьютерных чипов, дробления корпораций, или загрузке человека в компьютер, называя всё это «эволюцией». Если это относится к эволюционной биологии, то эволюционная биология относится ко всем явлениям на Земле.

Вероятно, большинство людей, которые верят в эволюцию, используют фразу «вследствие эволюции», потому что они хотят чувствовать себя причастными к научной тусовке. Выражение становится деталью имиджа, символическим одеянием, навроде лабораторного халата. Если бы научная тусовка вместо «вследствие эволюции» говорила бы «вследствие разумного замысла», то такие люди вдохновенно повторяли бы и это — это совершенно бы не затронуло их ожидания того, что можно встретить в мире. Для них нет разницы, говорить ли «из-за эволюции» или «из-за разумного замысла». По их мнению, эволюция никоим образом не запрещает существования Шторм, а научные словечки имеют единственное назначение — возможность отождествлять себя с племенем.

Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат; а учёные не похожи на футбольную команду, за которую они болеют.

Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.

Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».

…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».

Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.

Разумеется, никто не использовал теорию флогистона для того, чтобы предсказать результат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.

Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.

Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.

Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:

[Дождь] -> [Тротуар мокрый] -> [Тротуар скользкий]

Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.

Почему огонь горячий и яркий?

[«Флогистон»] -> [Огонь горячий и яркий]

Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.

Современная трактовка вероятностных рассуждений о причинности может точно описать, в чём именно состояла ошибка флогистонщиков. Байесовские сети были разработаны для того, чтобы, кроме всего прочего, не учитывать свидетельства дважды в том случае, когда логический вывод между причиной и следствием возможен в обе стороны. Например, я добыл кусочек ненадёжной информации о том, что тротуар мокрый. Это заставляет меня подумать: «возможно, идёт дождь». Но если идёт дождь, то утверждение «тротуар мокрый» стало более правдоподобным, так? То же самое ведь касается и скользкости тротуара, верно? Но если тротуар скользкий, то он, скорее всего, мокрый — и тогда нужно опять повысить вероятность того, что идёт дождь.

Джуда Перл приводит в качестве метафоры алгоритм подсчёта солдат в колонне. Представьте, что вы стоите в колонне и видите рядом только двух солдат: одного спереди и одного сзади. Всего трое солдат. Вы спрашиваете своего соседа: «А сколько солдат видишь ты?» Он вертит головой и говорит: «Троих». Получается, всего солдат шесть. Очевидно, что так решать эту задачу совершенно не стоит.

Умнее будет спросить у стоящего впереди солдата: «Сколько солдат перед тобой?», и у стоящего позади: «Сколько солдат за тобой?». Сообщение с вопросом «сколько солдат перед тобой?» можно передать дальше без особых затруднений. Если я стою первым, то я передам назад «1 солдат впереди». Человек, стоящий прямо за мной, получит сообщение «1 солдат впереди» и скажет второму своему соседу «2 солдата впереди». В это же время кто-то получает сообщение «N солдат позади» и передаёт стоящему впереди солдату сообщение «N+1 солдат позади». Сколько же всего солдат? Сложите оба полученных числа и добавьте единицу для себя — это и есть общее число солдат в линии.

Ключевая идея состоит в том, что каждый солдат должен отдельно отслеживать эти два сообщения, прямое и обратное, и сложить их вместе только в конце. Нельзя добавлять солдат из обратного сообщения, которое ты получил, в прямое сообщение, которое ты передашь дальше. Разумеется, сообщение с общим числом солдат никогда не появляется в этой цепочке: никто не произносит этого числа вслух.

Аналогичный принцип применяется в строгих вероятностных рассуждениях о причинности. Получение из не связанного с мокрым тротуаром источника каких-либо свидетельств о дожде создаст прямое сообщение от узла [дождь] к узлу [мокрый тротуар], и тем самым усилит ожидание увидеть мокрый тротуар. Наблюдение мокрого тротуара создаст обратное сообщение, идущее к убеждению о дожде, а затем это сообщение распространится от узла [дождь] до всех его соседей, кроме узла [мокрый тротуар]. Каждый кусочек свидетельства учитывается ровно единожды; корректировки никогда не застревают между узлами, скача туда и обратно. Точный алгоритм можно найти в классической книге «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference» Джуды Перла.

Так что же было неправильно в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел [огонь] посылает обратное сообщение со свидетельством узлу [флогистон], вынуждая нас обновить убеждения о флогистоне. Но тогда мы не можем считать это успешным предсказанием теории флогистона. Сообщение должно идти в единственном направлении, не отражаясь назад.

Увы, для обновления сетей убеждений люди используют не строгий алгоритм, а его грубое приближение. Мы изучаем родительские узлы, наблюдая за дочерними узлами, и предсказываем поведение дочерних узлов, используя убеждения о родительских узлах. Но ящик с документацией по прямым сообщениям не отделён от ящика с документацией по обратным сообщениям толстой непроницаемой стеной. Мы просто помним: «флогистон горячий, и из-за этого огонь тоже горячий». Всё это выглядит так, будто теория флогистона предсказывает «горячесть» огня. Или, что ещё хуже, нам кажется: «флогистон делает огонь горячим».

Лишь после того, как кто-нибудь заметит полное отсутствие предсказаний заранее, не ограничивающий ожиданий причинно-следственный узел получит ярлык «фальшивка». До этого момента он не будет отличаться от остальных узлов в сети убеждений. Утверждение «флогистон делает огонь горячим» ощущается фактом точно так же, как и все остальные известные тебе факты.

Правильно спроектированный ИИ заметит проблему мгновенно. Для этого не понадобится какой-нибудь особенной заплатки, нужен всего лишь правильный учёт происходящего в сети убеждений (к сожалению, в отличие от правильно спроектированных ИИ, люди не способны переписывать свой исходный код, чтобы исправить найденные ошибки)

Рассуждения об «эффекте знания задним числом» — это просто способ не привлекая технических терминов рассказать о том, что люди не разделяют прямые и обратные сообщения, из-за чего прямые сообщения могут загрязняться обратными.

Люди, пошедшие по пути флогистона, не намеревались стать дураками. Ни один учёный не желает застрять в тупике. Не скрываются ли лжеобъяснения в недрах твоего разума? Если они там есть, то к ним определённо не приклеен ярлык «лжеобъяснение», и поэтому поиска по ключевому слову «фальшивка» явно недостаточно для того, чтобы их обнаружить.

Проверить, насколько хорошо теория «предсказывает» уже известные тебе факты, также недостаточно: эффект знания задним числом обесценит все усилия. Предсказывать нужно на завтра, а не на вчера. Лишь так можно быть уверенным в том, что захламлённый человеческий разум действительно посылает чистое прямое сообщение.

И ребёнок спросил:

— Откуда взялся этот булыжник?

— Я отломил его от большого камня в центре деревни.

— Откуда взялся этот камень?

— Наверное, он скатился с большой горы, что возвышается над нашей деревней.

— Откуда взялась эта гора?

— Оттуда же, откуда и все камни. Это кости Имира, изначального великана.

— Откуда появился изначальный великан Имир?

— Из мировой бездны по имени Гинунгагап.

— Откуда появилась мировая бездна Гинунгагап?

— Никогда этого не спрашивай.

Рассмотрим кажущийся парадокс первопричины. Наука отследила цепочку событий до Большого Взрыва, но отчего случился сам Большой Взрыв? Можно и нужно сказать, что Большой Взрыв произошёл в «ноль часов ноль минут», и поэтому нельзя говорить о времени «до Большого Взрыва», поскольку к этому понятию неприменима обычная концепция времени. Но, говоря так, мы используем существующие физические законы, которые звучат довольно структурировано, что тоже требует объяснений. Откуда появились физические законы? Можно ответить, что вся Вселенная является компьютерной симуляцией, но тогда это симуляция должна быть запущена в каком-то другом мире, подчиняющемся другим законам физики — а откуда взялись они?

После того, как вопросы доходят до этой стадии, некоторые люди отвечают «Бог!».

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал: это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертариа́нцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в универсальный контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Семантический стоп-сигнал отличает неспособность представить следующий очевидный вопрос.

Представь, что ты глядишь на свою руку, ничего не зная ни о клетках, ни о биохимии, ни о ДНК. У тебя есть некоторые познания в анатомии, полученные путём препарирования, поэтому тебе ясно, что в ладони есть мышцы. Однако, ты не знаешь, почему они движутся, вместо того, чтобы неподвижно лежать, как кусок глины. Твоя рука — просто кусок… эмм… вещества, и почему-то этот предмет исполняет твои мысленные приказы. Разве это не волшебство?

«Животное тело не ведёт себя, как термодинамическая система… сознание говорит каждому человеку, что он является, в какой-то степени, предметом своей воли. Это проявляется в том, что живые существа могут мгновенно прикладывать к определённым движущимся частицам материи внутри своих тел силы, направляющие движение этих частиц, для того, чтобы создавать наблюдаемые механические эффекты… Вопрос о влиянии животной или растительной жизни на материю беспредельно далёк от любых научных изысканий, начатых до настоящего времени. Сила управлять движением материи, ежедневно проявляемая в чуде свободы воли человека, и в поколениях растений, выросших из единого зерна, безгранично непохожа на любой возможный результат движения атомов, каким бы удачным он ни оказался… Современным биологам придётся запомнить ещё один принцип, и на этот раз — жизненно важный». (Лорд Кельвин)

В этом состоит теория витализма: загадочные различия между живой и неживой материей могут быть объяснены посредством «жизненной силы» («elan vital» или «vis vitalis»). «Жизненная сила» внедряется в живую материю и подчиняет её приказам сознания. Жизненная сила участвует в химических реакциях, из-за чего неживая материя не может проявлять часть свойств живой материи. В частности, без помощи жизненной силы невозможно получить живую материю из неживой; поэтому проведённый Фридрихом Вёлером химический синтез мочевины нанёс сильный удар по теории витализма, показав, что обыкновенной химии по силам получить биологический продукт.

Называть «жизненную силу» объяснением или даже лжеобъяснением вроде флогистона — значит, переоценивать эту теорию. «Жизненная сила», в первую очередь, работает, как затычка для любопытства. Ты спрашиваешь «почему?», слышишь ответ «жизненная сила!», и на этом разговор окончен.

Когда ты говоришь «жизненная сила!», тебе кажется, будто ты знаешь, почему двигается твоя рука. В твоей голове есть маленькая причинно-следственная диаграмма, которая говорит: [«жизненная сила!»] -> [рука двигается].

Однако на самом деле ты не знаешь ничего, что не знал раньше. Например, ты не сможешь сказать, будут ли твои руки отдавать или поглощать тепло, пока не пронаблюдаешь это в действительности. Ты не сможешь предсказать этого заранее. Твоё любопытство удовлетворено, но оно удовлетворено пустышкой. Раз любому наблюдению ты можешь сказать «Почему? Жизненная сила!», то витализм одинаково хорошо объясняет все исходы, не способен противоречить вообще хоть каким-нибудь фактам, является замаскированной гипотезой максимальной энтропии, и так далее.

Но главный урок нужно извлечь из благоговения виталистов пред жизненной силой, из их старания провозгласить её тайной, стоящей выше всей науки. Встретив великого дракона по имени Неизвестность, виталисты не обнажили клинков, чтобы попытаться пронзить его сердце, но мирно склонили головы в знак подчинения. Они превратили биологию в священную тайну и гордились своим невежеством, потому и не желая отказаться от незнания, когда на сцене появились свидетельства.

Великий Секрет Живого был бесконечно далёк от науки! Не просто слегка вдали, заметьте, но бесконечно далёк! Лорд Кельвин явно получал колоссальное наслаждение от незнания.

Но невежество — это то, что рисуется на карте, а не то, что можно обнаружить, гуляя по местности. Если я не имею ни малейшего представления о неком явлении, то это факт о состоянии моего разума, а не о самом явлении. Явление может быть таинственным в глазах некого определённого человека. Не существует явлений, таинственных самих по себе. Поклоняться явлению, потому что оно выглядит столь потрясающе таинственно, — означает поклоняться собственному невежеству.

Витализм, как и флогистон, заключил загадку в отдельную субстанцию. Огонь был загадкой, и теория флогистона заключила загадку в таинственную субстанцию под названием «флогистон». Жизнь была священной тайной, и витализм заключил священную тайну в таинственную субстанцию под названием «жизненная сила». Ни один из ответов не попытался сконцентрировать плотность вероятности модели, сделать какие-то результаты более ожидаемыми, чем другие. Эти «объяснения» просто закутали вопрос в твёрдый непрозрачный чёрный шарик.

В одной из комедий Мольера доктор объясняет действие снотворного тем, что в нём содержится «фактор усыпления». Тот же самый принцип. Это универсальный недочёт человеческой психики: столкнувшись с таинственным явлением, нам легче объяснить его через таинственную субстанцию с внутренне присущими ей свойствами, чем через лежащие в основе сложные процессы.

Но ещё более страшная ошибка — допущение того, что ответ может быть таинственным. Если явление кажется таинственным, то это факт о наших знаниях, а не факт о самом явлении. Виталисты увидели таинственный пробел в своих знаниях и постулировали таинственную штуку, заполняющую этот пробел. Тем самым они перемешали карту и местность. Всё недоумение и замешательство находятся в карте, а не внутри отдельных субстанций.

Именно поэтому раз за разом на протяжении всей человеческой истории люди поражаются тому, что невероятно таинственный вопрос имеет приземлённый не-таинственный ответ. Окутанными тайной могут быть только вопросы, но не ответы.

Поэтому я называю теории вроде витализма «таинственными ответами на таинственные вопросы».

Признаки таинственных ответов на таинственные вопросы:

Во-первых, объяснение работает не контроллером ожиданий, а затычкой для любопытства.

Во-вторых, в гипотезе нет движущихся частей: модель является не определённым сложным механизмом, а, скорее, просто сплошной субстанцией или силой. В гипотезе говорится, что таинственная субстанция или таинственная сила находятся вот здесь и вызывают вот это, но причина, по которой таинственная сила ведёт себя именно таким образом, инкапсулирована в пустую тавтологию.

В-третьих, люди, предлагающие это объяснение, дорожат собственным незнанием. Они с гордостью говорят о том, что обычная наука терпит поражение от этого явления, и о том, как это явление непохоже на все остальные обыденные явления.

В-четвёртых, несмотря на этот ответ, явление по-прежнему остаётся тайной, сохранив ту же степень завораживающей необъяснимости, что и вначале.

Провалы флогистона и витализма — примеры исторического знания задним числом. Посмею ли я выступить и назвать какую-то современную теорию, которую считаю настолько же ошибочной?

Я называю эмерджентность или эмерджентный феномен — обычно определяемый как исследование систем, поведение которых на высоких уровнях являются следствием или «появляется» (to emerge) из взаимодействия многих низкоуровневых элементов. (Википедия: «То, как сложные системы и паттерны появляются из множества относительно простых взаимодействий»). Если воспринимать буквально, это утверждение подходит для любого феномена нашей вселенной, выше уровня отдельных кварков, что и является частью проблемы. Представьте, что можно показать на обвал рынка и сказать «Это не кварк!». Похоже на объяснение? Нет? Ну так и «Это эмерджентный феномен!» тоже не подходит.

Я протестую против прилагательного «эмерджентный», а не против глагола «появляется». Нет ничего плохого во том, чтобы сказать «X появляется на основе Y», где Y — специфическая, детальная модель с динамическими частями. «Возникает на» — еще один способ выразить ту же мысль: гравитация возникает из кривизны пространства-времени, в соответствии со специфической математической моделью Общей Теории Относительности. Химия возникает на основе взаимодействия атомов, в соответствии со специфической моделью квантовой электродинамики.

Представим, я буду говорить, что гравитация объясняется «возникновением», или что химия — «возникающий феномен», и утверждать, что это мое объяснение.

Слово «появляется» приемлемо, так же, как и «появляется из» или «вызвано» приемлемы, если ссылаются на специфическую модель, которую можно оценить саму по себе.

Однако, «эмерджентность» обычно используется иначе. Оно используется как объяснение само по себе.

Я уже потерял счет случаям, когда я слышал «Интеллект — эмерджентный феномен!», как объяснение интеллекта. Это применение подходит всем пунктам, характеризующим мистический ответ на мистический вопрос. Что ты узнал, сказав, что интеллект «эмерджентный»? Ты не можешь сделать новых предсказаний. Ты не знаешь ничего о поведении реальных разумов, о чем бы не знал ранее. Это воспринимается как новый факт, но ты не ожидаешь других результатов. Твое любопытство вроде бы удовлетворено, но не накормлено. Гипотеза не имеет динамических частей, нет детализированной внутренней модели для манипуляций. Те, кто предлагают гипотезу «эмерджентности», признаются в своем незнании внутреннего устройства и гордятся этим; они противопоставляют «эмерджентные» науки и «обычные».

И даже после того, как ответ «Как? Эмерджентность!» дан, феномен не перестаёт быть таинственным и обладать той же непроницаемостью, что и прежде.

Интересное упражнение: удалить прилагательное «эмерджентный» из предложения и посмотреть, изменилось ли что:

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это результат нейронных вспышек.

• До: поведение колонии муравьем — это эмерджентный результат взаимодействия многих отдельных муравьев.

• После: поведение колонии муравьев — это результат взаимодействия многих отдельных муравьев.

• Даже лучше: Колония состоит из муравьев. Мы можем успешно предсказывать поведение колонии, используя модели, включающие только индивидуальных муравьев, без общих переменных колонии, показывая, что мы понимаем, как поведение колонии возникает на основе поведения муравьев.

Еще одно интересное упражнение: заменять слово «эмерджентный» на старое, то, которым люди пользовались до эмерджентности:

• До: жизнь — эмерджентный феномен.

• После: жизнь — магический феномен.

• До: человеческий интеллект — это эмерджентный результат нейронных вспышек.

• После: человеческий интеллект — это магический результат нейронных вспышек.

Не правда ли, что каждое утверждение дает одинаковый объем информации о поведение феномена? Что каждая гипотеза подходит под одинаковый набор результатов?

«Эмерджентность» очень популярна, как раньше «магия» была популярна. «Эмерджентность» имеет глубокую притягательность для человеческой психологии по тем же причинам. «Эмерджентность» — такое замечательное простое объяснение, и это приятно произносить; это дает тебе священную тайну для поклонения. «Эмерджентность» популярна, потому что это «доширак» для любопытства. Можно объяснить что угодно, используя эмерджентность, так что люди это и делают; ведь это так замечательно — объяснять что-то. Люди остаются людьми, даже если посещали пару научных курсов в колледже. Найдя способ избежать оков обычной науки, они возвращаются к тем же проделкам, что и их предки, одеваясь в одежды науки, но сохраняя ту же самую видовую психологию.

Однажды…

Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.

Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретёт для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?

И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему?»

Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определённый алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).

И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».

Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думаем словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…

Я спросил:

— Ты читал «Техническое объяснение технического объяснения»(English)?

— Да, — ответил Марчелло.

— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.

— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.

Тогда я и подумал: «Возможно, это парень обучаем».

Сложность — далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней — тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.

Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, — попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь и вновь, постоянно игнорируя собственное непонимание.

Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного — причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.

Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка — игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.

Подозреваю, что в научных кругах присутствует сильное давление, способствующее сокрытию таких проблем, ведь нужно выдавать бумаги с шлейфом законченности. Тебя будут больше почитать, если в твоей будто бы полной работе будет присутствовать «эмерджентный феномен», а не за незаконченную, в которой есть ярлыки «понятия не имею, как это работает» или «а тут происходит чудо». Журнал может даже не принять такую работу, ведь, кто знает, вдруг необъяснённые явления и являются моментами, где всё самое интересное происходит? И да, случается так, что все немагические части оказываются также и неважными. Это цена, которую приходится порой платить за вход в неизведанное и попытки решить проблемы мелкими шажками. Но это так же означает, что понимание того, что ты еще не закончил чрезвычайно важно. Часто люди даже не осмеливаются исследовать неизведанное, ужасно боясь потратить время впустую.

И, если ты работаешь над революционным ИИ-стартапом, то давление ещё выше, а желание спрятать проблемы ещё больше, иначе придётся признать, что ты не знаешь пока как создать ИИ, и твоя жизнь обратится в прах. Но, возможно, я слишком усложняю, ведь контрабанда происходит неосознанно. Далеко ходить за примерами не нужно: просто послушай, как люди обсуждают философию, религию или науки, в которых у них нет профессиональной подготовки.

Марчелло и я пришли к соглашению о работе с ИИ: если мы сталкиваемся с чем-то, чего мы не понимаем, а это случалось довольно часто, мы будем говорить об этом как о «магии». Например, «Х магически делает У», чтобы напоминать себе о том, что тут присутствует нерешённая проблема, провал в понимании. Гораздо полезней говорить «магия», чем «сложность», ведь последнее слово создает иллюзию понимания. Мудрей говорить «магия» и оставлять себе напоминание о работе, которую надо сделать позже.

Однажды, проводя занятие у студентов, я выписал на доске три числа: 2-4-6. «Я загадал правило, — сказал я, — которому подчиняются последовательности трех чисел. Данная последовательность подходит под это правило. Каждый из вас найдет у себя на парте листы бумаги. Выпишите последовательность трех чисел на карточке, а я в зависимости от того, подходит ли последовательность под правило, напишу на листе «да» или «нет». Это можно повторять до тех пор, пока вы не будете уверены, что угадали правило. После этого вы должны записать правило внизу листа».

Вот последовательность предположений одного из студентов:

4, 6, 2 — нет,

4, 6, 8 — да,

10, 12, 14 — да.

После этого студент записал свою версию правила. Как вы думаете, что он написал? А вы бы тоже остановились здесь или хотели бы протестировать еще триплет чисел? Если да, то какой? Остановитесь здесь и немного подумайте, прежде чем продолжить чтение.

Вышеприведенное упражнение основано на классическом эксперименте Питера Уэйсона, задаче «2-4-6». Несмотря на то, что испытуемые, которым дают эту задачу, выражают большую уверенность в своих предположениях, только 21% из них успешно угадывают задуманное экспериментатором правило, и все повторные опыты продолжали показывать тот же уровень успехов в районе 20%.

Исследование называлось «On the failure to eliminate hypotheses in a conceptual task» (Еженедельник экспериментальной психологии 12: 129-140, 1960). Испытуемые, которым предлагалась задача «2-4-6», обычно пытались придумать положительные примеры, а не негативные — они применяли гипотетическое правило для создания триплета, а потом смотрели, будет ли он отмечен как «да».

Таким образом, кто-то, кто формирует гипотезу «числа, каждое из которых больше предыдущего на два», тестирует триплет 8-10-12, видит, что подходит и уверенно объявляет свое правило. Кто-то, кто формирует гипотезу Х-2Х-3Х, тестирует триплет 3-6-9, обнаруживает, что триплет подходит, и тоже объявит правило.

В каждом из этих случаев настоящее правило одно и то же: три любых числа в порядке возрастания.

Однако, чтобы додуматься до этого, вы должны придумывать триплеты, которые не должны быть правильными, такие как 20-23-26 и проверять, будут ли они отмечены как «нет». Что люди обычно не склонны делать в этом эксперименте. В некоторых случаях испытуемые изобретают, «тестируют» и объявляют правила куда более сложные, чем настоящий ответ.

Данное когнитивное явление часто валят в одну кучу с предвзятостью подтверждения. Однако, на мой взгляд, явление склонности тестирования положительных примеров, а не отрицательных, следует отделять от явления стремления защитить изначальное убеждение. «Положительное искажение» иногда используется как синоним для предвзятости подтверждения и может описывать данный недостаток куда лучше.

Раньше казалось, что теория флогистона может объяснить прекращение огня в закрытой коробке (воздух переполнился флогистоном и больше не может вместить), но теория флогистона точно так же могла бы объяснить и тот вариант, если бы огонь продолжал гореть. Чтобы заметить это, вы должны искать негативные примеры вместо положительных, смотреть на ноль, а не на единицу; что, как показал эксперимент, идет вразрез с человеческим инстинктом.

Следуя инстинкту, мы живем в половинчатом мире.

Можно днями читать про положительное искажение и всё еще не увидеть его в момент срабатывания. Положительное искажение работает не на уровне логики или даже эмоциональной привязанности. Задача 2-4-6 «холодная», логичная, не эмоционально «горячая». Ошибка находится ниже уровня слов, на уровне образов, инстинктивных реакций. Поскольку проблема появляется не из-за следования осознанному правилу, которое говорит «Думай только о положительных примерах», ее нельзя решить, сказав вслух «Мы должны думать как о положительных, так и о негативных примерах». Какие примеры автоматически всплывают в вашей голове? Вы должны уметь еще до вербального формулирования думать о негативном примере, а не о положительном. Вы должны научиться поворачиваться лицом к нулю, а не убегать от него.

Некоторое время назад я писал, что сила гипотезы определяется тем, что она не может объяснить, а не тем что может — если вы одинаково легко объясняете любой исход, то у вас ноль знаний. Так, чтобы указать на то, что объяснение не является полезным, недостаточно задуматься над тем, что оно может объяснить хорошо — вам нужно также искать результаты, которые нельзя объяснить, это и будет истинной силой теории.

Теперь, после всего сказанного напомню, что вчера я бросил вызов «сложности» как понятию. Один комментатор привел сверхпроводимость и ферромагнетизм как примеры сложности. Я ответил, что несверхпроводимость и неферромагнетизм тоже примеры сложности, в чём и состоит проблема. Но я не имел в виду критиковать комментатора! Несмотря на то, что я много читал про предвзятость подтверждения, я не воскликнул «Эврика!», когда в первый раз прочитал про задачу «2-4-6». Это невербальная реакция, работающая очень быстро, и которую надо тренировать заново. Сам я всё еще работаю над этим.

Так что большая часть навыка рационалиста находится за пределами уровня слов. Это делает трудной работу по попыткам передать Искусство через посты в блоге. Люди согласятся с вами, а уже в следующем предложении сделают нечто, ведущее совершенно в другом направлении. Не подумайте, что я жалуюсь! Основная причина, по которой я пишу здесь — наблюдать, какие из моих слов не передаются.

Прямо сейчас вы ищете положительные примеры положительного искажения или ищете, что вы могли не увидеть из-за положительного искажения? Вы смотрите во свет или во тьму?

В «Рациональном выборе в неопределенном мире» Робина Доуза описан эксперимент, проведенный Тверским1 2:

Множество психологических экспериментов были проведены в конце 50-х начале 60-х, в которых испытуемых просили предсказать результат события, имевшего элемент случайности и, при этом, еще и предсказуемую базовую ставку. Например, испытуемых просили предсказать цвет следующей карты (синяя/красная) при условии, что 70% карты были синими, но последовательность красных и синих карт была совершенно случайной.

В такой ситуации, стратегия, обеспечивающая большее количество успеха - ставить на наиболее часто встречающиеся события. Например, если 70% карт были синими, то предсказывая появление синей карты дает 70% успеха в каждом случае.

Испытуемые же предпочитали сопоставлять вероятности - предсказывать наиболее вероятный вариант с учетом относительной частоты появления. Например, испытуемые предсказывали появление синей карты 70% раз и красной 30% раз. Такая стратегия давала 58% долю успеха, потому что испытуемые были правы 70% времени, когда выпадала синяя карта (что происходило с вероятностью .70) и 30% времени, когда выпадала красная карта (что происходило с вероятностью 0,3); (0,7 × 0,7) + (0,3 × 0,3) = 0,58.

Даже больше, испытуемые предсказывали наиболее часто повторяющееся событие с большей вероятностью, чем оно происходило, но и близко не подходили к частоте в 100%, даже если им платили за точность их предсказаний… Например, испытуемые, которым платили по пятаку за каждое сбывшееся предсказание из тысячи,.. предсказывали [наиболее часто встречающееся событие] 76%.

Не стоит думать, что этот эксперимент про небольшие изъяны в игорных стратегиях. Он кратко рассказывает о наиболее важной идее всей рациональности.

Испытуемые продолжали выбирать красный, как будто они полагали, что способны предугадать случайную последовательность. Доуз пишет про это: «Несмотря на получение фидбека от тысячи случаев, испытуемые не могли поверить, что в это ситуации они не в состоянии предугадать».

Но ошибка должна иметь более глубокие последствия. Даже если испытуемые сформулировали какую-то гипотезу, им совершенно необязательно делать ставки на ее основе. Они могут говорить: «Если гипотеза верна - следующая карта будет красной», и ставить на синюю. Они могут выбирать синюю каждый раз, собирая как можно больше пятаков, отмечая мысленно как можно больше паттернов, которые они замечают. Если их предсказания сбываются, они могут легко переключится на новую стратегию.

Я бы не стал упрекать испытуемых за постоянное изобретение новых гипотез - откуда им знать, что цепочка за границами их способностей предсказывать? Но я буду упрекать за ставки на догадки, когда в этом не было необходимости для сбора информации, и буквально сотни предыдущих догадок были опровергнуты.

Неужто люди настолько самонадеянны?

Я бы предположил, что дело обстоит проще - стратегия «всегда-на-синее» просто не приходила испытуемым в голову.

Люди видят кучу синих карт вперемешку с несколькими красными, и полагают, что выигрышная стратегия - больше на синий, но иногда на красный.

Идея оптимальной стратегии, с учетом неполной информации, не предполагающая ставку на типичную последовательность карт - контринтуитивна.

Идея оптимальной стратегии, предполагающая законное поведение, даже если среда содержит элементы случайности - контринтуитивна.

Кажется, что твое поведение, следом за окружающей средой, должно быть непредсказуемым, но нет! Случайный ключ не отпирает случайный замок просто потому что они «оба случайные».

Ты не гасишь огонь огнем, ты гасишь огонь водой. Но эта мысль подразумевает лишний шаг, новый концепт, не активируемый напрямую формулировкой задачи. Поэтому, не приходящий в голову первым.

В дилемме красных и синих карт наше неполное знание говорит нам ставить в каждом раунде на синюю. Совет, даваемый нам нашим неполным знанием, одинаков от раунда к раунду. Если 30% времени мы будем идти против нашего неполного знания и ставить на красную карту, мы будем проваливаться, ведь теперь, мы нарочно тупим, ставя на, как нам прекрасно известно, менее вероятный исход.

Если ты будешь ставить на красную карту в каждом раунде, то ты будешь проигрывать так, как это максимально возможно; ты будешь на 100% тупым. Если ты ставишь на красную карту 30% времени, то ты оказываешься на 30% тупым.

Если твое знание неполно, если реальность, как кажется, содержит элемент случайности - случайное поведение не решит проблему. Делая свое поведение случайным, напротив, ты уводишь себя от цели, а не приближаешь. Если реальность туманна, выбрасывание интеллекта лишь ухудшает ситуацию.

Это контринтуитивно - думать, что оптимальная стратегия предполагает законное поведение, даже в условиях неопределенности.

Поэтому не так уж много вокруг рационалистов; для большинства, восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.

Ты слышал, как непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.

Это настолько же не очевидно, как и всегда ставить на синюю карту, при встрече с совокупностью синих и красных карт. Но каждая ставка на красную - ожидаемый проигрыш, как и каждое отступление от принципов Пути, когда рассуждаешь.

Как много эпизодов Звездного Пути опровергается? Как много теорий ИИ?

• 1. Dawes, Rational Choice in An Uncertain World; Yaacov Schul and Ruth Mayo, “Searching for Certainty in an Uncertain World: The Difficulty of Giving Up the Experiential for the Rational Mode of Thinking,” Journal of Behavioral Decision Making 16, no. 2 (2003): 93–106, doi:10.1002/bdm.434.
• 2. Amos Tversky and Ward Edwards, “Information versus Reward in Binary Choices,” Journal of Experimental Psychology 71, no. 5 (1966): 680–683, doi:10.1037/h0023123.

Говорят, что всё, что родители запрещают делать детям, они делали сами — так они знают, почему это делать не стоит.

Давным-давно, в непостижимо далеком прошлом, я был преданным Традиционным Рационалистом, думая о себе, как о квалифицированном, в соответствии с ее стандартами, тем не менее, я не знал тогда Пути Байеса. Когда юный Элиезер столкнулся с кажется-мистическим вопросом, принципы Традиционной Рациональности не остановили его от производства Таинственного Ответа. Это, на данный момент, моя самая постыдная ошибка, думать о которой мне до сих пор больно.

Что за таинственный ответ на таинственный вопрос? Этого я говорить не стану, так как это длинная и запутанная история. Я был молод, был всего лишь Традиционным Рационалистом, который не ведал учения Тверски и Канемана. Я знал про Бритву Оккама, но не про конъюнктивное заблуждение. Я полагал, что мне удастся думать сложные мысли самому, в том же стиле, который я наблюдал в научных книгах, но не осознавал, что единственно верная сложность — та, где каждый шаг описан с безжалостной точностью. Сегодня, одним из главных советов, который я даю начинающим рационалистам: «Не пытайтесь строить сложных цепочек рассуждений и планов».

Нет нужды говорить больше: даже после того, как я придумал мой «ответ», феномен не потерял свою таинственность и непрошибаемость, которые имел с самого начала.

Не стоит думать, что юный Элиезер был глуп. Все те ошибки, в совершении которых виновен Элиезер, совершаются солидными учеными и в солидных изданиях и сегодня. Ему потребовался более утонченный навык, чем то, что могла дать Традиционная Рациональность.

Действительно, юный Элиезер старательно и кропотливо следовал предписаниям Традиционной Рациональности, сбиваясь при этом с пути.

Как Традиционный Рационалист, юный Элиезер внимательно следил, чтобы его Таинственный Ответ делал прямое предсказание будущего опыта. Конкретно, я ожидал, что будущие неврологи откроют использование квантовой гравитации нейронами, а ля Сэр Роджер Пенроуз. Подразумевалось, что нейроны будут обладать некоторой мерой квантовой запутанности, а это можно обнаружить наблюдениями, или не обнаружить. Ты либо будешь наблюдать это, либо нет, так ведь?

Но моя гипотеза не делала ретроспективных предсказаний. Ведь согласно Традиционной Науке, они не считаются — так что зачем тратить силы на их производство? Но для Байесовского Агента, если гипотеза сегодня не имеет предпочтительных отношений правдоподобия над «я не знаю», возникает вопрос: почему ты веришь сегодня во что-то более сложное чем «я не знаю». Но я не ведал Пути Байеса, так что я не думал про отношения правдоподобия или фокусирование плотности вероятности. Я ведь Сделал Фальсифицируемое Предсказание; разве не таков Закон?

Как Традиционный Рационалист, юный Элиезер был внимателен и не верил в магию, мистицизм, углеродный шовинизм и все такое прочее. Я гордо провозглашал, что мой Мистический Ответ «Такая же физика, как и вся остальная физика!». Как будто можно спасти магию от когнитивной изоморфности магии, называя ее квантовой гравитацией. Но я не ведал Пути Байеса и не видел уровень, на котором моя идея становилась изоморфна магии. Я отдавал мою верность физике, но это не спасло меня; какое дело теории вероятностей до чьей-либо верности? Я избегал всего, что запрещала мне Традиционная Рациональность, но даже то, что оставалось — было магией.

Не сомневайтесь, моя верность Традиционной Рациональности помогла мне выбраться из ямы, что я выкопал для себя. Если бы я не был Традиционным Рационалистом, со мной было бы покончено. Но Традиционной рациональности было все еще недостаточно. Это уводило меня от запрещенных ошибок, но приводило к другим.

Когда я думаю о себе, осторожно следовавшем правилам Традиционной Рациональности, получая при этом неверный ответ, то начинаю понимать, почему люди, называющие себя «рационалистами» не правят миром. Нужно дофига и больше рациональности, прежде чем она приведет хоть куда-то, а не к новым интересным ошибкам.

Традиционная Рациональность преподается как искусство, а не как наука. Читаешь биографии известных физиков, описывающие уроки, которым их научила жизнь, и стараешься делать то же, что и они. Но ты не прожил их жизнь, и половина того, что они описывают — инстинкт, который выработался у них.

Традиционная Рациональность сделана так, что было бы приемлемым для меня провести следующие тридцать лет, исследуя мою глупую идею, пока я был бы способен фальсифицировать её, со временем, и был бы честен сам с собой по поводу предсказаний, которые делает моя гипотеза, столкнувшись с опровержением, и прочее и прочее. Этого достаточно для того, чтобы Колесо Науки двигалось вперед, но немного жестоко по отношению к тем, кто тратит по тридцать лет своей жизни. Традиционная рациональность — прогулка, не танец. Она предназначена привести тебя к ответу, в итоге, но позволяет слишком тратить время на любование цветами по пути.

Традиционные Рационалисты могут согласиться не соглашаться. Традиционная Рациональность не имеет идеи о том, что рассуждения — точно искусство, предполагающее, что есть лишь одна корректная вероятность, с учетом имеющихся свидетельств. В Традиционной Рациональности тебе позволено гадать и тестировать свои догадки. Но опыт подсказывает мне, что если ты гадаешь, не зная, то получаешь неправильный ответ.

Путь Байеса тоже неточное искусство, насколько я его освоил пока. Эти статьи все еще пытаются передать словами то, что лучше будет постигнуто опытом. Но, по крайней мере, тут в основе лежит математика, плюс, экспериментальные свидетельства когнитивной психологии по поводу того, как люди действительно думают. Может быть, этого будет достаточно, чтобы преодолеть стратосферических размеров порог дисциплины, позволяющей получать правильные ответы, вместо новых интересных ошибок.

Однажды, во времена моей дикой и безбашенной юности, когда я еще не ведал Пути Байеса, я дал Таинственный Ответ на вроде бы таинственный вопрос. Это стало следствием цепочки из множества ошибок, однако, среди них была одна критическая: юная версия меня не осознавала, что получение ответа должно делать вопрос менее запутанным. Я пытался объяснить Таинственный Феномен, что означало — дать причину для него, вписывающуюся в интегрированную модель реальности. Почему же это должно было сделать феномен менее Таинственным, когда такова его природа? Я ведь пытался объяснить Таинственный Феномен, а не превратить (посредством какой-то неведомой алхимии) в обыденный, такой, который вообще не потребует странного объяснения.

Будучи Традиционным Рационалистом, я был в курсе историй о астрологии и астрономии, алхимии и химии, витализма и биологии. Но Таинственный Феномен был не таким. Он был чем-то новым, чем-то странным, чем-то более сложным, чем-то, чему обычная наука не могла дать объяснение на протяжении веков…

…как будто звезды и материя, и жизнь не были таинственными в течении сотен и тысяч лет, с самого восхода человеческой мысли, до того момента, как наука взяла и решила их…

Мы узнаём про астрономию и химию, и биологию в школе; нам кажется, что эти знания всегда были частью сферы научного знания, что они никогда не были таинственными. Когда наука бросает вызов новой Великой Загадке, дети этого поколения проявляют скепсис, ведь они не видели, что наука способна объяснить что-то, кажущееся мистическим для них. Наука годится лишь для объяснения научных субъектов, вроде звёзд или материи с жизнью.

Я думал, что урок истории в том, что астрологи с виталистами и алхимиками имели особый изъян характера, тенденцию в пользу таинственности, что и приводило их к таинственным объяснениями совершенно не-таинственных вопросов. Но правда ведь, если феномен странный — объяснение тоже должно быть странным?

Лишь позже, когда я начал видеть обыденную структуру внутри тайны, я начал понимать, на месте кого же я оказался. Лишь позже я понял, насколько разумным казался витализм в то время, насколько неожиданным и смущающим оказался ответ вселенной: «Жизнь обыденная, ей не требуется странных объяснений».

Мы изучаем историю, но мы не живём ей, не переживаем этот опыт. Если бы только я постулировал астрологическую тайну и позже открыл бы механику Ньютона, постулировал алхимическую тайну и открыл бы химию, постулировал бы витализм и открыл бы биологию. Я бы посмотрел на мой Таинственный Ответ и решил бы: ни за что на свете, я не попадусь на это снова.

Есть такая привычка мышления, которую я называю ошибкой обобщения на основе вымышленного свидетельства. Журналисты, которые, например, ведут речь про Терминатора, в обсуждении про ИИ, не относятся к этому сюжету, как к пророчеству или свершившейся правде. Но фильм приходит на ум, он доступен, как будто-то бы он является иллюстрированным историческим случаем. Как если бы журналисты видели, как это случилось на какой-то другой планете, и может произойти и на нашей. Подробней про это в секции 7 в «Когнитивных искажениях, влияющих на оценку глобальных рисков»1.

Есть и обратная обобщению на основе вымышленного свидетельства ошибка: неспособность в достаточной степени учитывать исторические свидетельства. Проблема с обобщением на основе вымышленного свидетельства в том, что оно вымышленное — оно никогда не происходило. Оно не начертано на основе того же распределения, что и наша вселенная; художественная литература систематически отличается от реальности. Но история же действительна случилась и должна быть доступной.

В мире наших предков не было фильмов; всё, что ты видел своими глазами, было правдой. Стоит ли удивляться, что вымысел, который мы видим в реалистичном кино, оказывает на нас такое серьезное влияние? Наоборот, то, что реально происходило, доступно нам на бумаге; оно произошло, но мы не видели этого. Мы не помним, что это происходило с нами.

Обратная ошибка — обращаться с историей как с обычными рассказами, анализировать той же частью разума, что используется при чтении новелл. Ты можешь произнести, что это «правда», а не «вымысел», но это не означает, что ты воспринимаешь это так серьезно, как следовало бы. Множество искажений являются следствием недостаточно серьезного восприятия сухой, абстрактной информации.

Однажды, я дал Таинственный Ответ на таинственный вопрос, не осознавая, что совершаю ту же самую ошибку, что и астрологи, придумавшие мистическое объяснение звёздам, или алхимики, придумавшие мистические свойства материи, или виталисты, постулировавшие мутное «élan vital» для объяснения биологии.

Когда я посмотрел на ситуацию с другой стороны, то ощутил шок неожиданной связи с прошлым. Я осознал, что изобретение и уничтожение витализма, о котором я читал лишь в книгах, действительно происходило с реальными людьми, которые переживали опыт так же, как и я переживал изобретение и разрушение моего собственного таинственного ответа. И я понял, что если бы я действительно переживал опыт прошлого, если бы я жил во времена научных революций, а не читал о них в книгах, я, вероятно, не совершил бы эту же ошибку снова. Я бы не стал изобретать очередной таинственный ответ; достаточно было бы тысяч предыдущих.

Итак, — подумал я, — для того, чтобы действительно ощутить силу истории, я должен думать, как Элиезер, живший в прошлом, должен думать о событиях так, как если бы они случились со мной (с соответствующей переоценкой искажения доступности исторической литературы — мне следует помнить себя тысячей крестьян на одного лорда). Я должен погрузить себя в историю, вообразить жизнь сквозь эры, которые я наблюдал лишь посредством чернил на бумаге.

Почему мне следует помнить полёт Братьев Райт? Меня там не было. Но, как рационалист, посмею ли я не помнить, если событие действительно произошло? Действительно ли есть большая разница, видеть событие собственными глазами — что, по сути, представляет собой воздействие отраженных фотонов и даже не прямой контакт, — и наблюдать событие через книгу по истории? Фотоны и книги по истории спускаются по цепочке причин и следствий от самого события.

Мне нужно было пересилить ложную амнезию, вызванную рождением в конкретную эпоху. Я должен был вспомнить, сделать доступными все воспоминания, а не только те, что чисто случайно принадлежат мне и моему времени.

Земля внезапно стала старше.

С точки зрения моих старых воспоминаний, Соединённые Штаты существовали всегда — не было времени, когда не было бы Соединённых Штатов. Я не помнил, до того момента, как поднялась Римская Империя, принесла мир и порядок, и, просуществовав множество веков, что я даже забыл, что могло быть иначе, пала, и варвары захватили мой город, и знание, которым я обладал, было потеряно. Современный мир стал более хрупким для меня, ведь я перестал воспринимать его, как мой первый современный мир.

Так много ошибок, снова и снова, ведь я не помнил, что совершал их в каждой эре, в которой я никогда не жил.

Только представьте, люди ещё удивляются, почему преодоление искажений важно.

Неужели ты не помнишь, как много раз ошибки убивали тебя? Я заметил, что внезапная амнезия часто следует сразу за роковой ошибкой. Но поверьте мне, это случалось. Я помню, хоть меня там и не было.

Так что в следующий раз, когда ты усомнишься в странности будущего, вспомни, как ты был рожден в племени охотников-собирателей тысячи лет назад, когда еще никто не знал о Науке. Вспомни, как ты был шокирован до глубины души, когда Наука объяснила великие и ужасные священные тайны, которые ты так восхвалял. Вспомни, как ты думал, что сможешь летать, если съешь нужный гриб, как ты разочарованно усвоил, что никогда не сможешь полететь, а потом полетел. Вспомни, как ты всегда думал, что рабство — это правильно и хорошо, а потом передумал. Не надо воображать, как бы ты мог предсказать перемены — ведь это проявление амнезии. Вспомни, что на самом деле ты не угадал. Вспомни, как век за веком мир менялся так, как ты и представить не мог.

Может так ты будешь менее шокирован тем, что будет дальше.

• 1. Eliezer Yudkowsky, “Cognitive Biases Potentially Affecting Judgment of Global Risks,” in Global Catastrophic Risks, ed. Nick Bostrom and Milan M. Ćirković (New York: Oxford University Press, 2008), 91–119.

Наше племя бродит по лугам в поисках съедобных растений и добычи, а с неба время от времени льётся вода.

— Почему с неба иногда падает вода? — спрашиваю я у бородатого мудреца нашего племени.

Старик погружается в размышления, — он никогда не задавался этим вопросом раньше — и через некоторое время отвечает:

— Иногда небесные духи сражаются, и во время этих битв с небес капает их кровь.

— Откуда появились небесные духи? — спрашиваю я.

Голос старца превращается в шепот:

— Они зародились в далёком прошлом в таких далях и безднах, что нам и не снились.

Твоё незнание причин, по которым идёт дождь, предоставляет тебе несколько вариантов действий. Во-первых, ты можешь просто не спрашивать «почему?» — не уделять вопросу никакого внимания или просто вообще никогда не задаваться этой мыслью. Это — команда «пренебречь», и именно её изначально выбрал старец. Во-вторых, ты можешь попытаться придумать какое-нибудь объяснение, то есть выбрать команду «объяснить», как сделал старец в ответ на первый вопрос. В-третьих, ты можешь смаковать тайну, выбрав команду «поклониться».

Прочитав эту историю, трудно не заметить то, что каждый выбор «объяснить», если всё получится, предоставляет тебе объяснение (например, «небесные духи»). Но это объяснение вновь возвращает нас к трилемме: объяснить, поклониться, пренебречь? После каждого нажатия «объяснить» наука трещит своими шестернями, возвращает ответ, и затем всплывает новое диалоговое окно. Рационалисты считают своим долгом постоянно нажимать «объяснить», но это выглядит, как дорога без конца.

Нажмёшь «объяснить» для жизни — получишь химию. Нажмёшь «объяснить» для химии — получишь атомы. Нажмёшь «объяснить» для атомов — получишь электроны и нуклоны. Нажмёшь «объяснить» для нуклонов — получишь хромодинамику и кварки. Нажмёшь «объяснить» для того, чтобы узнать, откуда взялись кварки — вернёшься во времена Большого Взрыва…

Если нажать «объяснить» для Большого Взрыва, то придётся некоторое время подождать, пока наука, треща своими шестернями, будет искать ответ. И, возможно, она когда-нибудь вернёт замечательное объяснение — но это повлечёт за собой ещё одно диалоговое окно. И, если мы продолжим достаточно долго, то мы должны увидеть особенное диалоговое окно с Объяснением, Не Требующим Объяснения, и оно закончит эту цепочку. Возможно, это будет самое важное объяснение из числа всех объяснений: как уже известных, так и тех, что ещё станут известными человеку.

Погодите! Я только что нажал «поклониться».

Не забывайте, что поклоняться можно по-разному. Поклоняться можно и не зажигая свечей вокруг алтаря.

Если бы я сказал «Хм, это какой-то парадокс. Интересно, как он разрешается?», то это означало бы, что я нажал «объяснить» и теперь терпеливо жду ответа.

И если весь вопрос кажется тебе неважным, или неуместным, или тебе кажется, что лучше подумать о нём потом — значит, ты нажал «пренебречь».

Выбирай кнопку с умом.

Представьте что я, находясь под наблюдением телекамер, поднял руки, произнёс «абракадабра!» — и произвёл слепящий сгусток света, висящий в воздухе невдалеке от моих вытянутых рук. Представьте, что я осуществил этот акт отъявленной, безошибочно-подлинной магии под прямым наблюдением со стороны Джеймса Рэнди (известный скептик и разоблачитель псевдонаучных теорий — прим. перев.) и всех армий скептиков. Думаю, большинству людей будет довольно любопытно, что же здесь происходит.

А теперь представим, что я не отправлялся на телевидение. Я не хочу делиться ни своей силой, ни правдой, которая за ней стоит. Я хочу, чтобы моя магия оставалась в секрете. Но при этом я хочу также иметь возможность пользоваться ею где и когда захочу. Я хочу призывать сгусток света, чтобы почитать книгу в поезде — но так, чтобы при этом никому не становилось любопытно. Есть ли заклинание, останавливающее любопытство?

Конечно есть! Когда кто-то спрашивает: «Как ты это сделал?», я просто отвечаю: «Наука!»

Это не столько настоящее объяснение, сколько эдакая «затычка для любопытства». Оно не говорит, станет ли свет ярче или потускнеет, изменятся ли тон или насыщенность его цвета, и, конечно же, не объясняет, как сделать такой огонёк самому. Вопрошающий не получил новых знаний, которых у него не было до того, как я произнёс магическое слово. Но он отворачивается, удовлетворившись тем, что не происходит ничего необычного.

Что ещё лучше, тот же трюк работает с обыкновенным выключателем света. Клацаем выключателем — и загорается лампочка. Почему? В школе нам объясняют, что паролем для лампочки накаливания является «Электричество!». Надеюсь, что к данному моменту вы уже не столь склонны к тому, чтобы обозначать лампочку «понятой» на основе такого «объяснения». Позволяет ли фраза «Электричество!» проводить расчёты, контролирующие ожидания? Нужно ещё много чего изучить! (Физики должны проигнорировать этот абзац и заменить его проблемой в эволюционной теории, где суть теории, опять-таки, заключается в вычислениях, которые умеет проводить очень малое количество людей).

Если бы вы считали, что лампочка накаливания научно необъяснима, она захватила бы всё ваше внимание. Вы бы бросили все дела и занялись бы исключительно лампочкой.

Но что значит фраза «научно объяснима»? Она значит, что кто-то ещё знает, как работает лампочка. Когда вам говорят, что лампочка «научно объяснима», вы не узнаёте ничего нового; вы не знаете, загорится ли лампочка ярче или потускнеет. Но раз кто-то уже знает о лампочке, эти знания в ваших глазах уже не так ценны. Вы становитесь менее любопытным.

Кто-то обязан сказать: «Если лампочка была неизвестна науке, вы можете получить славу и богатство исследуя её». Но я не говорю о жадности. Я не говорю о карьерных амбициях. Я говорю о чистом любопытстве—чувстве интереса. Почему ваше любопытство должно уменьшаться, если кто-то, не вы, знает как работает лампочка? Это ли не призрак? Для вас недостаточно знать; другие люди должны также быть невежественны, иначе вы не будете счастливы?

Хорошо, что знание может служить не только любопытству, как например социальная полезность технологий. Для таких инструментальных благ это важно как некоторая сущность в локальном пространстве знаний. Но что это должно значить для моего любопытства?

Кроме того, учитывайте последствия если вы допускаете «кто-то ещё знает ответ» в качестве семантического стоп-сигнала.

Однажды вы заходите в вашу комнату и видите гигантского зелёного слона, по видимому парящего в воздухе, окружённого аурой серебристого света. Вы скажете: «Какого чёрта?»

И голос, исходящий сверху от слона, говорит:

Кто-то уже знает почему слон здесь.

«О, — говорите вы. — Тогда это не важно». И идёте в кухню, как ни в чём не бывало.

Я не знаю великую единую теорию для законов физики этой вселенной. Я также многого не знаю о человеческой анатомии за исключением мозга. Я не могу указать где у меня почки, и я не могу тотчас вспомнить что делает моя печень.(Я не горжусь этим. Увы, со всей той математикой, которую мне нужно исследовать, я, скорее всего не научусь анатомии в какое-либо ближайшее время)

Следует мне, столь далеко как простирается любопытство, быть более заинтересованным моим незнанием элементарных законов физики, когда факт, что я немногое знаю о том, что происходит внутри моего тела?

Если бы я поднял свои руки и сотворил заклинание света, вы бы заинтересовались. Следует ли вам быть менее заинтересованным самим фактом поднятия моих рук? Когда вы поднимаете руку и водите ладонью вокруг, этот акт воли координируется (превыше других зон мозга) вашим мозжечком. Я поспорю, вы не знаете как работает мозжечок. Я знаю немного поверхностных деталей, недостаточных для проведения вычислений… но что с того? Какое имеет значение, если вы не знаете? Почему должен быть двойной стандарт любопытства для колдовства и движений рук?

Осмотрите себя в зеркале. Знаете ли вы, на что смотрите? Знаете ли вы, что выглядывает из-за ваших глаз? Знаете, чем вы являетесь? На некоторые из этих вопросов Наука знает ответы, на некоторые нет. Но почему это различие значимо для вашего любопытства, если вы не знаете?

Вы знаете, как работают ваши колени? Вы знаете, как сделана ваша обувь? Вы знаете, как светится ваш монитор? Вы знаете, почему вода мокрая?

Мир вокруг вас полон загадок. Расставляйте приоритеты, если вам нужно. Но не жалуйтесь, что жестокая наука опустошила мир тайн. С таким рассуждением я могу заставить вас проглядеть слона в вашей комнате.

Классическая работа Дрю МакДермота «Искусственный интеллект и естественная глупость» критикует ИИ программы, которые пытаются представить понятия вроде счастья, как состояние ума, при помощи семантической сети: 1


СОСТОЯНИЕ-УМА
^
| ЭТО
|
СЧАСТЬЕ


И разумеется, внутри узла СЧАСТЬЕ ничего нет. Это просто токен языка Лисп с говорящим английским названием.

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все ещё восхищаться системой, если СОСТОЯНИЕ-УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит далеко не столь впечатляюще».

Или если я слегка перефразирую идею: если ты заменишь случайными символами вообще все осмысленные английские слова, то ты никак не поймёшь, что означает G1071 (G1072, 1073). Эта программа ИИ описывает гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь все говорящие английские названия, обратно они не вернутся.

Представим, что физик сказал тебе: «Свет — это волны», и ты ему полностью поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ)

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что именно ему сказали. Не „понял“, а всего лишь „заметил“». Предположим, что физик сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (на всякий случай: это неправда). Заметишь ли ты разницу в ожидаемом опыте?

Как можно понять, что не стоит доверять кажущемуся знанию «Свет — это волны»? Один из способов: «смогу ли я восстановить это знание, если оно почему-то исчезнет из моей головы?»

Это похоже по духу на замену говорящих английских названий из программы ИИ с целью узнать, сможет ли кто-то понять к чему они должны «относиться». Также здесь можно привести пример Искусственного Вычислителя, который запрограммирован записывать и выдавать ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ. Он, разумеется, не сможет восстановить это знание, если стереть его из его памяти (если только ещё кто-нибудь не запишет его обратно). Аналогично и знание «Свет — это волны» будет потеряно безвозвратно, если только ты не спросишь о нём заново у физика. Ты не сможешь создать это знание сам, как может это сделать физик.

Тот же опыт, что заставляет нас формулировать убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобёр грызёт дерево, то ты будешь знать как «зверь-что-грызёт-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрёл свои убеждения о «бобрах», когда кто-то другой рассказал тебе факты о «бобрах», то, возможно, ты не опознаешь бобра, если его увидишь.

Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.

Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».

Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.

Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.

Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.

Пастух строит систему учёта овец, которая работает, если добавлять камень в корзину каждый раз, когда овца покидает амбар, и изымать - когда овца возвращается. Если ты, ученик, не понимаешь работу этой системы, если для тебя это магия, которая непонятно почему работает, то ты не поймёшь, что делать, если случайно бросишь лишний камень в корзину. Если ты не можешь что-то создать сам, ты не сможешь это и восстановить, если ситуация этого потребует. Ты не сможешь вернуться к истокам, подправить параметры и заново получить результат, если у тебя нет истоков. Предположим, тебе известен факт «два плюс четыре равно шести». Один из элементов изменяется на «пять». Как ты узнаешь, что «два плюс пять равно семи», когда всё, что ты знаешь: «два плюс четыре равно шести»?

Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчёта овец. Если бы первый изобретатель узнал об этом факте, он мог бы его использовать для улучшения своей системы. Однако, ты не в состоянии вернуться к истокам и переизобрести новую систему подсчёта.

Если источник мысли находится внутри тебя самого, то с приобретением новых знаний и навыков мысль может меняться. Она поистине становится частью тебя и растёт вместе с тобой.

Старайся стать источником для всех своих мыслей, стоящих обдумывания. Если мысль первоначально пришла извне, убедись, что она также исходит изнутри. Постоянно спрашивай себя: «Как я восстановлю это знание, если оно исчезнет?» Найдя ответ на этот вопрос, представь, что знание, которое помогло бы тебе в таком случае, тоже удалено. И когда увидишь фонтан - посмотри, что ещё из него течёт.

• 1. Drew McDermott, «Artificial Intelligence Meets Natural Stupidity», SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.
• 2. Richard Rorty, «Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion», The Boston Globe (October 2003).