Вы здесь

Обратное глупости не есть ум

Элиезер Юдковский

— … После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Допустим, вы знаете, что кто-то ошибался в 99,99 % случаев, отвечая на вопросы вида «да/нет». Это значит, что вы можете получать верные ответы в 99.99% случаев, просто инвертируя его ответы. Ему придётся проделать всю работу по получению качественных свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом. И всё это лишь для того, чтобы надёжно ошибаться. Нельзя быть настолько глупым, не будучи сверхумным.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

  • Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

  • Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

  • Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

  • Ad hominem аргумент — некорректен.

  • Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

  • Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

  • Допустим, ваш компьютер вдруг перестал работать. Не стоит думать, что вся система никуда не годится и что новую сборку придётся заказать без процессора от АМD, видеокарты от ATI, жесткого диска от Maxtor и без кулеров — ведь все эти компоненты есть в вашей неработающей системе. Возможно, вам нужно всего лишь заменить провод питания.

  • Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.


Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
62
Оцените качество перевода: 
Средняя оценка: 3.8 (40 votes)
  • Короткая ссылка сюда: lesswrong.ru/91