Обновляй себя шаг за шагом

Элиезер Юдковский

Политика — убийца разума. Спор — это война, а аргументы — солдаты. Всегда есть искушение искать пути истолковать любой результат эксперимента в пользу вашей теории, словно бы защитить цитадель от атаки со всех сторон. Но вы не можете это сделать. Это невозможно математически. Для любого ожидания свидетельства существует равное по силе и противоположное ожидание контрсвидетельства.

Но даже если ваше любимое убеждение защищено не идеально — все в порядке. Если гипотеза гласит, что монета выпадает орлом в 95% случаев, то в одном из двадцати случаев вы увидите контрсвидетельство. Все в порядке. Это нормально. Этого даже можно ожидать, одно контрсвидетельство вполне допустимо, если у вас есть девятнадцать свидетельство в пользу теории. Вероятностная модель может выдержать один-два удара и все еще остаться на плаву, если ударов больше не будет.

Однако широко, особенно среди обычных людей, распространено мнение, что истинная теория не имеет права на ошибку, а ложная теория не может ничего предсказать правильно.

Вы можете найти таких людей, которые держаться за один факт, который они рассматривают как свидетельство и заявляют, что их теория «объясняет» это, словно бы это единственная поддержка, нужная их теории. Видимо они считают, что ложная теория не может иметь свидетельств в свою поддержку и, таким образом, любой теории нужен только единичное поддерживающее ее свидетельство.

И лишь немногим менее глупо держаться за единственное вероятностное контрсвидетельство как опровержение, словно бы верная теория не должна иметь даже малейшего свидетельства против нее. Но именно в таком ключе люди спорили веками, пытаясь развеять все вражеские аргументы, отрицая, что враг может иметь хотя бы одно свидетельство в свою поддержку. Люди хотят, чтобы их дебаты были однобокими; они привыкли к миру, в котором их теории поддерживаются полностью, без каких-либо контраргументов. Таким образом, появление хотя бы одного вероятностного контрсвидетельства для них означает чуть ли не конец мира.

Я знаю, что сейчас кто-то из читателей возмутится: «Но нельзя же оставлять хотя бы один контраргумент, если хочешь выиграть реальный спор! Если допустить существование любого контраргумента, то Враг снова и снова будет использовать его — как можно позволить Врагу так поступать! Это будет проигрыш! Что может быть ужасней?»

Это не имеет значения. Рациональность нужна не для выигрывания споров, а для выбора верной стороны. Если вы уже решили, на чьей вы стороне, то работа рациональности уже закончена, в независимости от того, хорошо ли была проделана эта работа, или нет. Но как вы сами можете решить на какой стороне сражаться? Если инстинктивно вы ощущаете, что выбор неправильной стороны приведет к ужасающим последствиям, то вы должны как можно тщательней учесть все свидетельства.

Рациональность это не ходьба, это танец. Каждый шаг в этом танце должен быть максимально точным, ни на миллиметр ни вправо, ни влево. Сдвигайте убеждение вверх с каждым зернышком подтверждающего свидетельства. Сдвигайте убеждение вниз с каждым зернышком опровергающего свидетельства. Да, вниз. Даже если модель верна, но не точна, вам временами придется сдвигать убеждение вниз.

Если ваше убеждение получает один или два удара контрсвидетельства — все в порядке. Это временами случается с вероятностными свидетельствами в неточных теориях. (А вот если терпит крах точная теория, то у вас проблемы!) Просто сдвиньте ваше убеждение немного вниз — вероятность, отношение шансов или даже невербальный вес доверия в вашем сознании. Просто сдвиньге немного вниз и ждите дальнейших свидетельств. Если теория верна, то скоро появятся свидетельства в ее пользу, сдвинув вероятность обратно вверх. А если теория ложна, то зачем она вам?

Проблема с использованием черно-белого, двоичного, качественного мышления — что любое наблюдение либо разрушает теорию, либо нет. Если нет ни одного противоречащего наблюдения, то теория создает когнитивный диссонанс и должна быть оспорена. И это формирует пошаговый прогресс; это управляет корректной интеграцией всех свидетельств. Размышляя в вероятностном ключе, мы можем понять, что в среднем верная теория будет обладать большим весом подтверждающих свидетельств, а не опровергающих. И тогда вы можете, отбросив страх, сказать себе: «Это свидетельство немного противоречит моей теории, я сдвину мое убеждение вниз». Да, вниз. Это не разрушит вашу любимую теорию. Это количественное мышление; думайте количественно.

Для любого ожидания свидетельства есть равное по силе и противоположное ожидание контрсвидетельства. В любой ситуации вы должны в среднем допускать как возможность сдвига убеждения вниз, так и возможность сдвига вверх. Если вы думаете, что уже знаете, какое свидетельство получите, то вы уже должны быть уверены в своей теории — присвоить ей вероятность, близкую к 1 — которая не оставляет много пространства вероятности, чтобы стать еще больше. И каким бы маловерятным бы вам не казалось контрсвидетельство, итоговый сдвиг вниз должен быть достаточно большим, чтобы точно отразить возможный сдвиг вверх с другой стороны. Математическое ожидание апостериорной вероятности должно быть равно вашей априорной вероятности.

Насколько же глупо бояться сдвига вероятности убеждения вниз, если вы вообще озаботились его исследованием? В среднем, вы должны для каждого наблюдения допускать возможность сдвига убеждения как вниз, так и вверх.

Возможно, случится так, что контрсвидетельства будут приходить снова и снова, а поддерживающие свидетельства будут запаздывать. Вы обнаружите, что ваше убеждение сдвигается все дальше вниз, пока в один момент вы не поймете, что четверть ветров доказательства дуют против вас. В этот момент понимания не нужно бросаться придумывать оправдания. В этот момент вы уже отказались от вашего любимого убеждения — время отпраздновать это! Откройте шампанское или закажите пиццу! В конце концов, невозможно стать сильнее, держась за те же убеждения, которые были у вас изначально.

Перевод: 

Remlin
  • Короткая ссылка сюда: lesswrong.ru/165