Один довод против армии

Элиезер Юдковский

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

Перевод: 

Remlin, Quilfe
  • Короткая ссылка сюда: lesswrong.ru/166