Вы здесь

Любая деятельность хочет быть культом

Элиезер Юдковский

Cade Metz в The Register недавно заявил, что секретный почтовый список топ-администраторов Википедии помешался на бане всех критиков и возможных критиков Википедии. Включая баны продуктивных юзеров, когда один администратор — исключительно из-за продуктивности — начинает уверять, что юзер был шпионом, подосланным Обзором Википедии. И что большинство людей в Википедии закрыли свои ранги для своей защиты. (Я сам не исследовал эти заявления пока еще. Информация была предоставлена Eugen Leitl.)

Существует какой-то неявный моральный изъян в систематизации мировых знаний, который приводит последователей этой причины в безумие? Возможно только люди с врожденной тягой к тоталитаризму попытались бы стать мировыми авторитетами во всем…

Осторожно: фундаментальная ошибка атрибуции! (Фундаментальная ошибка атрибуции: делать выводы о чьем-либо характере на основе поведения, которое может быть полностью объяснено ситуацией, в которой находится этот человек. Когда мы видим, как кто-либо пинает торговый автомат, мы думаем, что это «злой человек», но когда мы сами пинаем автомат, мы объясняем это тем, что опоздали на автобус, не успели на поезд и к тому же автомат работает не так как надо.) Если высказывания о Википедии истинны, то они объясняются обычной человеческой природой, а не необычными сторонами данной природы.

Деление на «своих» и «чужих» — это часть обыденной человеческой натуры. Как и смертельные спирали счастья и спирали ненависти. Благородное Дело не обязано содержать дефект, чтобы его последователи сформировали культ. Достаточно, чтобы они были людьми. Все остальное произойдет само собой, так же закономерно, как то, что еда портится в холодильнике, если отключили электричество.

В таком же смысле, что любая температурная разница хочет свестись к нулю и любая программа хочет стать набором патчей, любая деятельность хочет быть культом. Это состояние с высокой энтропией, в которое развивается система, аттрактор в человеческой психологии. И не имеет значения, даже если Дело по-настоящему Благородно. Вы можете думать, что Хорошее Дело растянуло бы свою хорошесть на все аспекты людей, которые с ним связаны — что последователи Дела также меньше заинтересованы в статусных играх, искажении «своих» и «чужих», аффективных спиралях, обожествлении лидеров. Но вера в истинную идею не отменяет гало-эффекта. Благородное дело не делает его последователей чем-то превосходящим обычных людей. Есть множество плохих видов деятельности, из-за которых может произойти множество плохого — но вред не всегда происходит только из-за того, что исходная идея была плоха.

Каждая группа людей с необычной целью — хорошей, плохой, глупой — будет склонна становится аттрактором культа, если члены группы не предпринимают постоянных усилий, чтобы сопротивляться этому. Вы можете сделать так, чтобы у вас дома было прохладнее, чем на улице, однако вам для этого придется держать кондиционер включенным, и как только вы выключите его — сдадитесь в поединке с энтропией — вещи вернутся к «нормальному состоянию».

Как-то был случай, когда существовала группа с лозунгом «Рациональность! Причина! Объективная реальность!» (Больше об этом в следующих постах.) Навешивание на Великую Идею ярлыка «рациональность» защитит вас не более, чем вывешивание на доме таблички «Холодно!» Вам все еще нужно включить кондиционер — тратить требуемую энергию, чтобы компенсировать естественное сползание в культ. Поклонение рациональности не сделает ваш разум яснее, как поклонение гравитации не позволит вам летать. Вы не можете говорить с термодинамикой и молиться теории вероятности. Вы можете использовать это, но не можете присоединиться к этому как к группе.

Культовость количественна, а не качественна. Вопрос «Есть ли здесь признаки культа, да или нет?» — неправильный. Правильный вопрос — «В какой мере это является культом и где именно это проявляется?» Даже в Науке, которая является архетипической По-Настоящему Благородной Деятельностью, мы можем без труда указать на рубежи борьбы против энтропии культа, где текущая линия боя колеблется то туда, то обратно. Журналы склонны в большей степени принимать статьи с хорошо известной авторской подписью или от неизвестного источника из хорошо известного института по сравнению со статьями от неизвестного автора из неизвестного института? Какая доля убеждения диктуется авторитетом, а какая — экспериментом? Какие журналы используют «слепой метод» обзора и насколько это эффективно?

Я привожу этот пример, а не обычные расплывчатые обвинения «Ученые недостаточно открыты новым идеям», потому что он показывает линию фронта — место, где отбрасывается человеческая психология, где откидывается накопленная энтропия культа (конечно, это требует потерять немного тепла на излучение).

Данный пост – это не сборник методов противостояния культовости. О некоторых таких методах я говорил ранее, о некоторых расскажу позднее. Но сегодня я просто хочу указать, что служение Делу не значит, что вы можете тратить меньше усилий на противостояние аттрактору культа. И что если вы можете указать где сейчас пролегает рубеж, это не значит, что вы можете признать вашу Благородную Деятельность низкой. Вы можете думать, что если бы вопрос был поставлен как «Культ это или нет?», то вам бы пришлось ответить нет, или иначе предать вашу Идею. Но это похоже на то, как если бы вы делили двигатели на «идеально эффективные» и «неэффективные», вместо того, чтобы измерить их расход.

И наоборот, если вы верите, что это Изначальная Испорченность этих Глупых Прочих Дел заставила людей ошибаться, если вы смеетесь над глупостью «жертв культа», если вы думаете, что культы возглавляются и популяризируются мутантами — тогда вы не потратили нужных усилий на противостояние энтропии — на сопротивление бытию человеком.


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
112
Оцените качество перевода: 
Средняя оценка: 4 (7 votes)
  • Короткая ссылка сюда: lesswrong.ru/124