Один аргумент против армии

Элиезер Юдковский

В предыдущей статье я говорил о таком стиле мышления, в котором не допускается существование контраргументов, что приводит к оспариванию любого наблюдения, которое не свидетельствует в поддержку вашей теории. Сегодня я предлагаю посмотреть на то, как люди, при встрече с контраргументом, отказываются сдвигать вниз свою уверенность, повторяя уже известные им аргументы.

Предположим, что страна Фридония обсуждает, ответственна ли соседняя страна Сильвания за недавний метеоритный дождь, обрушившийся на города. Есть несколько свидетельств в пользу этого: метеориты били по городам рядом с сильванийской границей, на сильванийских рынках до этого наблюдалась необычная активность, а кто-то слышал, как сильванийский посол Трентино бормотал о «небесной каре».

Кто-либо приходит к вам и говорит: «Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллионы динаров». «Ага, — говорите вы, — но вспомните, в тех городах, которые попали под удар, была подозрительная активность на рынках, да и их посол говорил о „небесной каре“ впоследствии». Поскольку три ваших аргумента перевешивают контраргумент оппонента, вы никак не меняете ваше убеждение, что ответственность лежит на Сильвании — качественно вы скорее верите в ее вину, нежели нет. Ведь ясно, что баланс взвешенных свидетельств говорит против Сильвании.

Потом к вам приходит другой человек и говорит: «Не думаю, что виновата Сильвания. Управлять таким ударом слишком трудно, а у Сильвании даже нет космической программы». Вы отвечаете: «Но метеориты ударили в города рядом с границей Сильвании, их инвесторы знали об этом, к тому же их посол сам это признал!» Снова три аргумента перевешивают один (потому что один меньше трех), так что ваше убеждение об ответственности Сильвании по-прежнему остается в неприкосновенности.

На самом деле ваши убеждения даже крепнут. В двух разных случаях к настоящему моменту вы оценили баланс свидетельств и оба раза баланс свидетельствовал против Сильвании с отношением три к одному.

Вы встречаетесь с дальнейшими аргументами просильванских изменников — снова и снова, сотни раз, но каждый раз новый аргумент легко побеждается вашими тремя. И каждый раз вы становитесь все уверенней в том, что Сильвания и правда несет ответственность, и сдвигаете вверх вашу априорную вероятность на балансе свидетельств.

Проблема, разумеется, в том, что повторяя аргументы которые вы уже знаете, вы повторно учитываете свидетельство. Это смертельный грех, даже если вы поступаете так со всеми свидетельствами. (Представьте ученого, который проводит эксперимент с 50 людьми, не может получить статистически значимые данные, и поэтому учитывает все данные по два раза.)

Но двойной учет лишь избранных свидетельств вообще является чистейшим фарсом. Я помню как ребенком смотрел мультфильм, где злодей делил добычу используя следующий алгоритм «одно тебе, одно мне, одно тебе, два мне, одно тебе, три мне».

Как я уже говорил в прошлой статье, даже если желаемое убеждение истинно, рационалисту может иногда понадобиться уменьшить вероятность, пока не будут учтены все свидетельства. Да, баланс поддержки все еще может быть в пользу вашего убеждения. Но вы все еще должны сдвинуть вероятность вниз — да, вниз — от того значения, на каком она была до того, как вы услышали противоречащее свидетельство. Повторять поддерживающие аргументы плохо, поскольку вы уже принимали их во внимание.

И пока что я наблюдаю, как люди, встречаясь с новыми контраргументами, ищут оправдание не снижать свою уверенность и разумеется находят поддерживающие аргументы, которые им уже известны. Мне приходится постоянно быть настороже, чтобы самому так не делать! Это ощущается таким же естественным, как парировать удар меча с ручным щитом.

Умело используя неверное мышление, несколько (или даже один) аргументов могут отбиваться от целой армии возражений.

Перевод: 

Remlin
  • Короткая ссылка сюда: lesswrong.ru/166