Вы здесь

Зло в людях и неясное мышление

Элиезер Юдковский

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
66
Оцените качество перевода: 
Средняя оценка: 4.1 (26 votes)
  • Короткая ссылка сюда: lesswrong.ru/105