Вы здесь

Эпистемология темной стороны

Элиезер Юдковский

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным магистерием

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подражателями; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
80
Оцените качество перевода: 
Средняя оценка: 4.8 (16 votes)
  • Короткая ссылка сюда: lesswrong.ru/188