Вы здесь

Аффективные смертельные спирали

Элиезер Юдковский

Огромное множество потоков человеческого мышления ведут нас к переоценке того, как хорошо наша любимая теория объясняет факты. Теория флогистона в химии могла объяснить все что угодно, пока не требовалось предсказать что-либо заранее. И чем больше феноменов вы объясняете своей теорией, тем истиннее она кажется — разве все эти наблюдения не подтверждают ее? И по мере того, как теория набирает в глазах у вас вес, вы будете склонны ставить под сомнение те свидетельства, которые конфликтуют с ней. И поскольку любимая теория кажется все более общей, вы будете искать возможности объяснить ею как можно больше вещей.

Если вы знаете кого-то, кто верит в то, что Бельгия тайно контролирует банковскую систему США или что они могут использовать силу невидимого синего духа для поиска доступных мест для парковки — скорее всего они уже дошли до этой стадии.

(Просто следите, и вы будете наблюдать много того, что, кажется, подтверждает эту теорию…)

Этот цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.

Новая политическая система, которая может спасти мир. Великий лидер, сильный, благородный и мудрый. Удивительный тоник, который может лечить расстройство желудка и рак.

Эй, почему бы не все три сразу? Великое дело нуждается в великом лидере. Великий лидер должен быть способен приготовить один-два волшебных тоника.

Эффект ореола — это когда любая воспринимаемая положительная характеристика (такая как привлекательность или сила) увеличивает восприятие любых других положительных характеристик (таких как интеллект или мужество). Даже когда это не так или почти не так.

Позитивные характеристики усиливают восприятие других позитивных характеристик? Звучит сильно похоже на то, как делящийся атом урана испускает нейтроны, которые расщепляют другие атомы урана.

Слабый положительный аффект не дотягивает до критической массы; он не выходит из-под контроля. Привлекательный человек кажется более честным, что, похоже, делает его еще более привлекательным; однако эффективное размножение нейтронов меньше единицы. Метафорически говоря. Резонанс немного сбивает с толку в отношении некоторых вещей, однако быстро сходит на нет.

С сильным положительным аффектом, имеющим отношение к Великой Вещи, резонанс проявляется везде. Верящий коммунист видит мудрость Маркса в каждом гамбургере, купленном в Макдональдс; в любом движении они запрещают все, что не подпадает под определение рая для истинных трудящихся; любые выборы, в которых они проигрывают, во всех статьях они объявляют подтасованными. Каждый раз, когда они используют Великую Идею для интерпретации другого события, Великая Идея подтверждается все больше и больше. Это ощущается как что-то хорошее — положительное подтверждение — и конечно, когда что-то позволяет нам чувствовать себя хорошо, то, увы, это заставляет нас хотеть верить в это еще больше.

Когда Великая Идея ощущается достаточно хорошей для того, чтобы заставить вас искать новые возможности ощутить, что Великая Идея еще лучше, применяя ее для интерпретации всех новых событий каждый день, резонанс положительного аффекта похож на комнату, забитую сверхчувствительными мышеловками, в которую забросили несколько мячей от пинг-понга.

Вы можете назвать это «аттрактором счастья», «перекрывающейся положительной обратной связью», «замкнутой петлей похвалы» или «бумагой веселья». Лично я предпочитаю термин «аффективная смертельная спираль».

В следующем посте: как сопротивляться аффективной смертельной спирали. (Подсказка: не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.)


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
106
Оцените качество перевода: 
Средняя оценка: 3.4 (25 votes)
  • Короткая ссылка сюда: lesswrong.ru/116