Сопротивление аффективным смертельным спиралям

Элиезер Юдковский

Когда-то давно был человек, считавший, что он обладает Великой Идеей. Действительно, по мере того, как он думал об Идее всё больше, он понимал, что это была не просто Великая Идея, а Самая Замечательная Когда-Либо Существовавшая Идея. Великая Идея могла бы разгадать тайны Вселенной, вытеснить авторитет подверженных коррупции и ошибкам ведомств, предоставить почти магическую силу её обладателям, накормить голодных, вылечить больных, улучшить мир в целом и т.д., и т.п.

Этим человеком был Френсис Бекон, его великой идеей был научный метод, и он был единственным фриком в истории, утверждавшем о таких преимуществах для человечества, и оказавшимся совершенно правым.

(Разумеется, Бэкон не изобрел единолично всю науку, однако он сделал в нее немалый вклад и, возможно, был первым, кто осознал ее полный потенциал.)

В этом и заключается слабое место решения, когда человек решает вообще не увлекаться идеями: некоторые из них на самом деле хорошие. Хотя на данный момент неизвестны идеи, которые были бы более революционны, чем идея Бэкона, и при этом выполняли бы свои заявления.

Но как мы можем сопротивляться аффективным смертельным спиралям, продолжая при этом уважать Науку? Подобная спираль проявляется, когда вы верите, что некоторая вещь настолько великолепна, что эффект ореола заставляет вас искать все больше и больше хороших слов, которые можно сказать об этой вещи, заставляя вас верить, что эта вещь еще более замечательна и таким образом увлекая вас в бездну. Что, если Наука в действительности настолько полезна, что мы не можем даже признать ее истинное величие и остаться при этом в здравом уме? Ой, похоже это началось…

Если вы пытаетесь защититься от данного эффекта, возможно, вам на ум придут стандартные кэшированные мысли вида «Наука дала нам кондиционеры, но ведь также дала и атомные бомбы» или «Ученые могут рассказывать о звездах и биологии, однако никогда не смогут доказать или опровергнуть существование дракона у меня в гараже». Однако люди, которые так думают, не пытаются сопротивляться аффективной смертельной спирали. Их заботит не то, что восхищение наукой выходит из-под их контроля. Скорее, им не нравится то, что наука говорит об их убеждениях, и они ищут пути, чтобы подорвать ее авторитет.

Для тех, кто искренне восхищается наукой, не подойдут те негативные вещи, которые о ней обычно говорят — не та аудитория. Так что мы должны искать другие негативные вещи на замену этим.

Но если вы пытаетесь избирательно очернить науку — пусть даже в попытке сопротивляться аффективной смертельной спирали — разве при этом вы не впадаете в рационализацию? Почему вы должны уделять внимание своим мыслям, если вы знаете, что пытаетесь манипулировать самим собой?

В общем, я достаточно скептично отношусь к тем людям, которые утверждают, что одно искажение можно использовать для нейтрализации другого. Для меня это звучит так, словно механик говорит вам, что у вашей машины сломался двигатель правого стеклоочистителя и чтобы было симметрично, механик сломал вам двигатель левого. Это такой вид «умных рассуждений», который больно ударит по вам самим. Любое решение, каким бы оно не было, должно включать в себя правильные убеждения, а не веру в убеждение, что вы верите, что определенная вещь не особо хороша.

Можете ли вы предотвратить аффективную смертельную спираль путем ограничения вашего восхищения наукой узким диапазоном? Частью спирали является стремление видеть Великую Идею везде — думать, что Коммунизм бы даже рак вылечил, если бы ему дали шанс. Возможно, что единственным наиболее надежным признаком гуру культа является тот факт, что гуру заявляет о своем знании не касательно одной области или ряда областей — а сразу во всем. Гуру знает, что членам культа нужно есть, носить, чем заниматься, как выбирать себе партнера, какие картины смотреть, какую музыку слушать…

К сожалению, в данном случае такой план имеет изъян — большинству людей не удается описать границы, в которых должна оставаться наука. Обычный аргумент «наука не вылечит рак» не работает. «Наука ничего не может сказать о любви родителей к своему ребенку» — простите, это уже явная ложь. Если вы пытаетесь отделить науку от так называемой родительской любви, вы не просто отрицаете когнитивную науку и эволюционную психологию. Вы также отрицаете факт основания Мартином Ротблаттом Объединения Терапевтов для поиска лекарства для его дочери, больной легочной гипертензией. (К слову сказать, успешного поиска.) Наука так или иначе связана со всеми важными аспектами человеческого существования.

Хорошо, но можно ли придумать подходящее утверждение о «великолепности» науки, которое было бы ложным?

По моему скромному мнению, ложным утверждением будет то, что наука столь великолепна, что учёным не нужно беспокоится об этической ответственности за свою работу, потому что так или иначе результат будет хорошим. Учёные тоже люди, они (как и другие люди) так или иначе думают о благе для обществе, и это, по крайней мере, одна из причин, почему наука создаёт хорошего всё же больше, чем плохого.

Однако эта точка зрения, очевидно, не бесспорна. Можно придумать и более простое ложное утверждение: «Пациент с раком может быть вылечен, путем публикации достаточного количества журнальных статей». Или «Социопаты могли бы стать полностью нормальными, если бы они заставили себя не верить ничему, без воспроизводимого экспериментально свидетельства с p менее 0,05».

Для того, чтобы не поверить в эти ложные утверждения, следуя аффективной спирали, не надо искать причин верить в то, что публикация журнальных статей вызывает рак. Не надо пытаться поверить в то, что наука всё равно ничего не может сказать о раке. Надо принять для себя как данность, что наука хороша лишь слегка.

Точнее, если вы достаточно конкретно знаете как работает наука, то вы знаете, что хоть наука и может со временем «вылечить рак», но больной пациент, пишущий журнальные статьи, не получит чудодейственной ремиссии. Эта конкретная цепь причин и следствий не будет работать.

Аффективная смертельная спираль представляет собой эмоциональную проблему, возникающую вследствие проблемы в восприятии, эффекта ореола, который заставляет нас приписывать бо́льшую вероятность истинности будущим положительным заявлениям, если мы приняли начальное положительное заявление. Мы не можем избавиться от этого эффекта по своему желанию, скорее всего, он всегда в той или иной мере будет влиять на нас. Но мы можем уменьшить размер этого влияния, остановившись и рассматривая каждое дополнительное положительное заявление как лишнее усложнение, и концентрируясь на самих заявления отдельно от положительных эмоций, ими вызываемых.

Что делать, если определенное хорошее заявление «не может быть опровергнуто», хотя есть аргументы «за» и «против»? На самом деле таких слов вообще стоит опасаться, поскольку часто их произносят те люди, которые повторяют свидетельство или пытаются избежать слабых мест. Учитывая опасность аффективной смертельной спирали радости, имеет смысл постараться избегать радоваться неподтвержденным заявлениям — избегать делать их источником еще больших положительных эмоций касательно того, что вам уже нравится.

Аффективная смертельная спираль является столь большой проблемой вследствие перекрывающейся положительной обратной связи, которая дает возможность процессу перейти в критическую стадию. Возможно, вы не можете совсем убрать эффект ореола, однако вы можете мыслить достаточно критически, чтобы не давать ему довести вас до критической отметки — при этом резонанс прекратится до того, как все взорвется.

Можно даже сказать, что вся проблема начинается с людей, которые не утруждают себя критическим анализом любой детали, вносящей дополнительную сложность — рассматривая подходящие свидетельства для компенсации сложности, ища недостатки так же как и поддержку, вовлекая любопытство — как только были приняты некоторые основные положения. Без ложной конъюнкции эффект ореола все еще действовал бы, однако не приводил бы к аффективной смертельной спирали.

Даже в отношении Самых Крутых Штук в известной вселенной идеальный рационалист, требующий безусловно необходимые свидетельства для каждого дополнительного (положительного) заявления, никогда бы не впадал в аффективный резонанс. Вы не можете так делать, но вы можете постараться приблизиться к этому идеалу достаточно близко, чтобы сохранять свое счастье от выхода из-под контроля в смертельную спираль.

По-настоящему опасные случаи это те, где любая критика любого положительного заявления про Великую Идею ощущается плохой или социально неприемлемой. Аргументы — это солдаты, любое положительное заявление — солдат вашей стороны, причинять им вред — предательство. Тогда реакция достигает критической точки. Больше об этом в следующем посте.

Добавление: Стюарт Армстронг предложил весьма дельный совет:

Разделите вашу Великую Идею на мелкие отдельные идеи и обращайтесь с ними как с независимыми.

Для примера: марксист должен делить Великую Идею Маркса на теорию стоимости, теорию политических отношений между классами, теорию заработной платы, теорию крайнего политического состояния человечества. Каждая из них должна оцениваться отдельно от других, и истинность или ложность одной не должна распространяться ореолом на другую. Если мы можем сделать это, спираль будет нам не страшна, поскольку каждая теория слишком мала, чтобы стать началом спирали.

Метафорически говоря, это похоже на дробление плутония, чтобы не дать ему достигнуть критической массы. Три Великих Идеи намного менее вероятно сведут вас с ума, чем одна Великая Идея. К тому же совет Армстронга помогает сохранить концентрацию на деталях: как только кто-то говорит «Публикация достаточного количества статей может вылечить ваш рак», вы спрашиваете: «Это было получено экспериментальным методом? Если да, то на каком этапе эксперимента вылечивается рак? Или это преимущество от науки как от социального процесса? В таком случае нужно полагаться на отдельных ученых, желающих вылечить рак или они могут быть эгоистами?». Возможно, что это поможет вам избавиться от эффекта ореола и даст возможность более эффективно замечать замешательство и отсутствие поддержки.

Добавление 2: как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.

Перевод: 
Remlin, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
107
Оцените качество перевода: 
Средняя оценка: 3.4 (19 votes)