Культовая контркультовость

Элиезер Юдковский

В современном мире присоединиться к культу — возможно одна из наиболее плохих вещей, которые могут с вами произойти. В лучшем случае вы окажетесь в группе хороших, но запутавшихся людей, которые просто ошибаются, но не имеют против вас ничего плохого в принципе. Тогда вы всего лишь потратите много времени и денег, ничего не получив взамен. На самом деле, это описание подходит любому провалившемуся стартапу в Силиконовой долине. Что подразумевает под собой чертовски тяжелый опыт, если подумать. Так что да, это все же достаточно страшно.

Но настоящие культы намного хуже. Демонстративное проявление внимания и заботы к человеку, находящемуся в личном кризисе, как техника вербовки. Депривация сна. Стимулируемая апатия от тяжелой работы. Удаленные коммуны для изоляции новообращенного от друзей и семьи. Ежедневные собрания для исповеди в нечистых мыслях. Не является необычным для культов и забирать все деньги новообращенного — все сбережения плюс зарплата — заставляя его зависеть от культа даже в отношении еды и одежды. Голодание как наказание за неподчинение. Серьезный ущерб здоровью и промывка мозгов.

Принимая все это во внимание, наверное я должен больше симпатизировать тем людям, которые ужасно нервничают, начиная делать что-то, что странно выглядит, по поводу того, не попали ли они в культ. Это не должно действовать мне на нервы. Хотя действует.

Момент первый: «культы» и «не-культы» это не отдельные естественные виды как собаки и кошки. Если вы посмотрите на любой список характеристик культа, вы увидите черты, которые легко обнаруживаются в политических партиях и корпорациях — «члены группы призывают не доверять внешней критике как имеющей скрытые мотивы», «иерархическая структура власти». Я постил групповые режимы неудач, типа раскола группы, смертельных спиралей счастья, некритичности и охлаждения испарением, каждый из которых усиливает другие. Когда все эти недостатки растут и встречаются друг с другом, они все вместе комбинируются в супер-Недостаток, глупее, чем каждая из составляющих его частей, типа Вольтрона. Но это не сущность культа; это его аттрактор.

Собаки рождаются со своей ДНК, а кошки со своей. В нашем мире нет существ, которые имели бы среднюю между ними ДНК. (Даже с учетом генетических манипуляций, далеко не просто создать существо с половиной собачьих генов и половиной кошачьих.) И невероятно, что кошачьи гены внезапно мутируют наполовину и дадут кошке половину собачьих характеристик, превратив ее в гибрида.

Человеческое сознание, когда думает о категориях, похоже предпочитает сущности аттракторам. Оно хочет сказать «это культ» или «это не культ», и тем самым завершить задачу классификации. Если вы наблюдаете, что у Сократа десять пальцев, он носит одежду и говорит по-гречески, тогда вы можете сказать «Сократ — человек» и из этого вывести «Сократ уязвим к болиголову» без проведения тестов крови, чтобы подтвердить его смертность. Вы выводите человечность Сократа раз и навсегда.

Но если вы наблюдаете определенную группу людей, которая похоже проявляет внутригрупповое-внешнегрупповое разделение и видите эффект положительного ореола вокруг их Лучшей Штуки В Мире — которой может быть объективизм, вегетерианство или нейронные сети — вы не можете из свидетельств на данный момент вывести, достигли ли они уже некритичности. Вы не можете вывести, истинна ли их идея или ложна, или действительно полезна, но совсем не в той степени, как они думают. Из информации собранной к текущему моменту вы не можете вывести всегда ли они так вежливы, или они заманивают вас, чтобы изолировать от остальных и лишить вас сна и еды. Характеристики культа присутствуют не все и отсутствуют не все.

Если посмотреть поверх аргументов типа «Х это культ», «Х это не культ», то можно видеть, что одна сторона смотрит на список характеристик культа, находит те, что совпадают и говорит «Поэтому это культ!», а противная сторона находит список не совпадающих характеристик и возражает «Поэтому это не культ!»

Вы не можете сформировать точную картину динамики группового мышления используя данный вид эссенциализма. Вам нужно уделить внимание каждой характеристике отдельно.

При этом обратное глупости не есть ум. Если вы заинтересованы в центральной идее, а не в группе, которая ее реализует, то умные идеи могут иметь глупых последователей. Множество последователей Нью Эйдж болтали о «квантовой физике», однако это никак не свидетельствует против самой квантовой физики. Разумеется, глупые идеи тоже могут иметь глупых последователей. Из бинарного эссенциализма следует мысль, что если вы определяете, что группа является «культом», то их убеждения должны быть ложными, поскольку ложные убеждения являются характеристикой культа, равно как мех является одной из характеристик кошки. Если же вы интересуетесь идеей, то смотрите на нее, а не на людей. Культовость это в большей степени характерстика групп, а не гипотез.

Вторая ошибка — это когда люди нервно спрашивают «Это же не культ, да?» Для меня это звучит так, словно они ищут уверений от рациональности. Понятие рационалиста не привязано к их виденью самого себя настолько, насколько этого заслуживает. Но даже не вдаваясь в детали, конечно любой может видеть, что нервный поиск уверений не лучший шаблон, в котором сознание может оценивать вопросы рациональности. При этом ваше любопытство не является искренним и вы не ищете способы проверить свои сомнения. Вместо этого вы приметесь искать некий внешний источник, который скажет вам, что культы используют депривацию сна для управления людьми, отметите, что Ваша-Любимая-Группа так не делает и сделаете вывод «Это не культ! Ура!» Если нет шерсти, то это не должна быть кошка. Весьма ободряюще.

Но любая деятельность стремится стать культом, и не имеет значения, осмысленна ли она сама по себе или глупа. Дихотомия «свои-чужие» часть человеческой природы, а не бич отдельных мутантов. Рациональность это исключение, а не правило. Вы должны прилагать постоянные усилия, чтобы поддерживать рациональность и не давать себе естественно съехать в энтропию. Если вы решили «Это не культ» и вздохнули с облегчением, тогда вы больше не будете прилагать усилий для противостояния обычным тенденциям съезжания в культ. Вы решите, что сущности культа тут нет и прекратите сопротивлятся энтропии аттрактора культа.

Если вы ужасно тревожитесь о принадлежности к культу, тогда вы захотите убрать любое упоминание о любой характеристике, которая сигнализирует о культе. Но любая группа, которая видит цель в позитивном свете, рискует поддаться эффекту ореола и должна прилагать усилия, чтобы избежать смертельной спирали. Это истинно даже для обычных институтов, таких как политические партии — люди, которые думают, что либеральные или консервативные ценности могут вылечить рак и т.д. Это истинно для стартапов Силиконовой долины, как провальных так и успешных. Истинно для пользователей Маков и пользователей Линукс. Эффект ореола не становится хорошим только потому что все вокруг делают так же; если все пойду прыгать в пропасть, вы не пойдете. С ошибками в мышлении нужно сражаться, а не примиряться. Но если вы слишком тревожитесь о «Вы уверены, что это не культ?», тогда вы будете отказываться видеть любой знак культовости, поскольку это будет подразумевать, что вы в культе и — это не культ!!! Так что вы не увидите настоящее поле боя, где обычные тенденции к культу либо наступают, либо отбрасываются.

Третья ошибка в том, чтобы тревожно спрашивать «Это же не культ, да?» это то, что я подозреваю, что тревожность при этом присутствует там по неправильным причинам.

Почему группы, которые возносят свои Счастливые Штуки до небес, вдохновляют своих членов пожертвовать им деньги и добровольно работать на них без оплаты, формируют частные общины, в которых члены группы тесно связаны друг с другом, зовутся «религиями», а не «культами», если единственное отличие их в том, что они существуют больше нескольких сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике «это же не культ, да?» не настолько тревожатся, когда уделяют внимание предвыборной гонке, принимая сторону демократов или республиканцев? Дихотомии «свой-чужой» и спирали счастья могут образовываться в политических дебатах, в основных религиях, в спортивных сообществах. Если бы тревожность происходила из страха сделать ошибку в рациональности, люди бы спрашивали «Это не дихотомия «свой-чужой»?» о политической гонке точно с тем же уровнем страха.

Есть легитимная причина меньше боятся либертарианства чем культа летающего макаронного монстра, поскольку у либертарианства нет репутации использования депривации сна для обращения людей в свою веру. Однако у крионики тоже. Так почему же люди больше волнуются о том, что голова человека будет заморожена после остановки дыхания?

Подозреваю, что данная тревожность это не страх веры в ложь и не страх физических увечий. Это страх оказаться одиноким инакомыслящим. Тревожность, в которую впадал испытуемые в экспериментах Аша, когда другие подопытные (на самом деле — сообщники экспериментатора) один за одним говорили, что линия С одинакова с Х, хотя испытуемый видел, что одинаковы В и Х. Страх отстать от группы.

Вот почему группы, убеждения которых существуют так долго, что стали казаться «нормальными», не провоцируют такой тревоги, как «культы», хотя при этом те же основные религии вполне могут забрать все ваши деньги и отослать вас в монастырь. Вот почему группы наподобие политических партий, которые очевидно ложны в рациональности, не провоцируют такой тревожности как «культы». Слово «культ» не используется для обозначения ошибок в рациональности; оно используется как ярлык для всего, что кажется странным.

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму без сомнения помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жить с сомнением не является добродетелью — назначение любого сомнения это уничтожить само себя, либо подтвердившись либо будучи опровергнутым, и сомнение это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жить с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между жить загнанным или жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингуляризма только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингуляризм очевидно не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). Только потому что что-то не является культом сейчас, не значит, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои фишки Го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов о ошибках культов в мышлении.

Люди, говорящие о «рациональности» также имеют повышенный фактор риска. Давать людям советы как думать — это по определению опасное занятие. Но это фактор риска, а не порок.

Оба моих любимых занятия имеют риск стать культом. Но почему-то я слышу вопросы вида «а вы уверены, что это не культ?» куда чаще, когда говорю о сильном ИИ, нежели когда говорю о теории вероятности и когнитивных науках. Я не знаю, выше ли один фактор риска другого, но знаю, что из этих двух занятий звучит страннее…

Проблема 6 с вопросом «Это же не культ, да?»…

Просто сам вопрос по себе ставит меня в весьма раздражающую безвыходную ситуацию. Настоящий Злой Гуру конечно бы использовал тревожность человека против него самого и придумал бы удобный и подробный аргумент, который объяснил бы Почему Это Не Культ, который человек хотел бы принять. Иногда у меня складывается такое впечатление, что это то, чего люди от меня хотят! Что бы я ни пытался писать о культовости и как ее избежать, я не могу избавиться от ощущения, словно я поддаюсь этому порочному желанию — что в конце концов я все же даю людям уверение. Даже когда говорю людям, что нужно постоянно бороться с энтропией.

Такое ощущение, что я первый инакомыслящий в эксперименте Аша, который говорит остальным: «Да, линия Х на самом деле такая же как линия В, и нормально говорить, что это так». У них не должно быть необходимости спрашивать! Или, что даже хуже, ощущение такое, что я привожу подробный аргумент Почему Это Не Культ. Это неправильный вопрос.

Просто посмотрите на процессы мышления той группы сами и решите для себя, то ли это, частью чего вы хотите быть, как только отставите в сторону страх странного. Только вы ответственны за остановку себя от мышления в стиле культа, и не имеет значения, с какой группой вы на самом деле работаете.

Когда кто-либо спрашивает «Это же не культ, да?» то в независимости от моего ответа, я всегда ощущаю себя так, словно защищаю что-то. Мне не нравится это чувство. Это не работа мастера-байесианца — уверять и успокаивать, и не работа рационалиста — защищаться.

Культы паразитируют на групповой тревожной потребности в уверениях. Вы не можете заставить тревожность уйти только пожелав этого, а ложная самоуверенность при этом будет только хуже. Если кто-либо ищет уверений — пусть даже уверений в том, чтобы быть рационалистом — это значит что в его броне есть брешь. Умелый мечник концентрируется на цели, а не на том, чтобы оглядываться вокруг — не смеется ли кто над ним. Когда вы знаете, что вы пытаетесь сделать и зачем, вы будете знать, получается ли это у вас или нет, и помогает ли вам в этом ваша группа или только мешает.

(Постскриптум: если кто-то придет к вам и скажет «Вы уверены, что это не культ?» не пытайтесь объяснить все вышеприведенное за один заход. Вы при этом недооцените понятийные расстояния. Человек скажет «Ага, так вы признаете, что это культ?» или «Стоп, ты говоришь, что я не должен обращать внимания на то, культ ли это?» или «Так…страх культа является признаком культа? Это звучит так, словно ты в культе» Так что последний раздражающий фактор — седьмой, если вы продолжаете считать — это что все это приходится очень долго объяснять.)

Перевод: 

Remlin
  • Короткая ссылка сюда: lesswrong.ru/138