Вы здесь

Делая историю доступной

Элиезер Юдковский

Есть такая привычка мышления, которую я называю ошибкой обобщения на основе вымышленного свидетельства. Журналисты, которые, например, ведут речь про Терминатора, в обсуждении про ИИ, не относятся к этому сюжету, как к пророчеству или свершившейся правде. Но фильм приходит на ум, он доступен, как будто-то бы он является иллюстрированным историческим случаем. Как если бы журналисты видели, как это случилось на какой-то другой планете, и может произойти и на нашей. Подробней про это в секции 7 в «Когнитивных искажениях, влияющих на оценку глобальных рисков»1.

Есть и обратная обобщению на основе вымышленного свидетельства ошибка: неспособность в достаточной степени учитывать исторические свидетельства. Проблема с обобщением на основе вымышленного свидетельства в том, что оно вымышленное — оно никогда не происходило. Оно не начертано на основе того же распределения, что и наша вселенная; художественная литература систематически отличается от реальности. Но история же действительна случилась и должна быть доступной.

В мире наших предков не было фильмов; всё, что ты видел своими глазами, было правдой. Стоит ли удивляться, что вымысел, который мы видим в реалистичном кино, оказывает на нас такое серьезное влияние? Наоборот, то, что реально происходило, доступно нам на бумаге; оно произошло, но мы не видели этого. Мы не помним, что это происходило с нами.

Обратная ошибка — обращаться с историей как с обычными рассказами, анализировать той же частью разума, что используется при чтении новелл. Ты можешь произнести, что это «правда», а не «вымысел», но это не означает, что ты воспринимаешь это так серьезно, как следовало бы. Множество искажений являются следствием недостаточно серьезного восприятия сухой, абстрактной информации.

Однажды, я дал Таинственный Ответ на таинственный вопрос, не осознавая, что совершаю ту же самую ошибку, что и астрологи, придумавшие мистическое объяснение звёздам, или алхимики, придумавшие мистические свойства материи, или виталисты, постулировавшие мутное «élan vital» для объяснения биологии.

Когда я посмотрел на ситуацию с другой стороны, то ощутил шок неожиданной связи с прошлым. Я осознал, что изобретение и уничтожение витализма, о котором я читал лишь в книгах, действительно происходило с реальными людьми, которые переживали опыт так же, как и я переживал изобретение и разрушение моего собственного таинственного ответа. И я понял, что если бы я действительно переживал опыт прошлого, если бы я жил во времена научных революций, а не читал о них в книгах, я, вероятно, не совершил бы эту же ошибку снова. Я бы не стал изобретать очередной таинственный ответ; достаточно было бы тысяч предыдущих.

Итак, — подумал я, — для того, чтобы действительно ощутить силу истории, я должен думать, как Элиезер, живший в прошлом, должен думать о событиях так, как если бы они случились со мной (с соответствующей переоценкой искажения доступности исторической литературы — мне следует помнить себя тысячей крестьян на одного лорда). Я должен погрузить себя в историю, вообразить жизнь сквозь эры, которые я наблюдал лишь посредством чернил на бумаге.

Почему мне следует помнить полёт Братьев Райт? Меня там не было. Но, как рационалист, посмею ли я не помнить, если событие действительно произошло? Действительно ли есть большая разница, видеть событие собственными глазами — что, по сути, представляет собой воздействие отраженных фотонов и даже не прямой контакт, — и наблюдать событие через книгу по истории? Фотоны и книги по истории спускаются по цепочке причин и следствий от самого события.

Мне нужно было пересилить ложную амнезию, вызванную рождением в конкретную эпоху. Я должен был вспомнить, сделать доступными все воспоминания, а не только те, что чисто случайно принадлежат мне и моему времени.

Земля внезапно стала старше.

С точки зрения моих старых воспоминаний, Соединённые Штаты существовали всегда — не было времени, когда не было бы Соединённых Штатов. Я не помнил, до того момента, как поднялась Римская Империя, принесла мир и порядок, и, просуществовав множество веков, что я даже забыл, что могло быть иначе, пала, и варвары захватили мой город, и знание, которым я обладал, было потеряно. Современный мир стал более хрупким для меня, ведь я перестал воспринимать его, как мой первый современный мир.

Так много ошибок, снова и снова, ведь я не помнил, что совершал их в каждой эре, в которой я никогда не жил.

Только представьте, люди ещё удивляются, почему преодоление искажений важно.

Неужели ты не помнишь, как много раз ошибки убивали тебя? Я заметил, что внезапная амнезия часто следует сразу за роковой ошибкой. Но поверьте мне, это случалось. Я помню, хоть меня там и не было.

Так что в следующий раз, когда ты усомнишься в странности будущего, вспомни, как ты был рожден в племени охотников-собирателей тысячи лет назад, когда еще никто не знал о Науке. Вспомни, как ты был шокирован до глубины души, когда Наука объяснила великие и ужасные священные тайны, которые ты так восхвалял. Вспомни, как ты думал, что сможешь летать, если съешь нужный гриб, как ты разочарованно усвоил, что никогда не сможешь полететь, а потом полетел. Вспомни, как ты всегда думал, что рабство — это правильно и хорошо, а потом передумал. Не надо воображать, как бы ты мог предсказать перемены — ведь это проявление амнезии. Вспомни, что на самом деле ты не угадал. Вспомни, как век за веком мир менялся так, как ты и представить не мог.

Может так ты будешь менее шокирован тем, что будет дальше.

  • 1. Eliezer Yudkowsky, “Cognitive Biases Potentially Affecting Judgment of Global Risks,” in Global Catastrophic Risks, ed. Nick Bostrom and Milan M. Ćirković (New York: Oxford University Press, 2008), 91–119.

Перевод: 
Muyyd, Abel
Номер в книге "Рациональность: от ИИ до зомби": 
42
Оцените качество перевода: 
Средняя оценка: 4.6 (19 votes)
  • Короткая ссылка сюда: lesswrong.ru/232