Вы здесь

Нижняя строчка

Элиезер Юдковский

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искусный спорщик с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает спорщика.

Искусный спорщик начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, спорщик его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда искусный спорщик пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В тот миг, когда в каждом из миров искусный спорщик записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть определённый процент таких, в которых алмаз находится в ящике А. Это состояние не изменится, независимо от того, что искусный спорщик написал на строчках выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её охотнее. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что именно говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же искусного спорщика говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Это эссе вручает вам повод остерегаться собственных размышлений, а не Универсальный Контраргумент против тех выводов, которые вам не нравятся. «Моя оппонентка — искусная спорщица» — неплохой аргумент… если вы стремитесь сохранить свои убеждения неизменными. Самый искусный спорщик мира может сказать, что светит солнце, и всё ещё будет светло.


Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
70
Оцените качество перевода: 
Средняя оценка: 4 (29 votes)
  • Короткая ссылка сюда: lesswrong.ru/168