Рационализация

Элиезер Юдковский

В «Нижней строчке» я представил дилемму двух коробок, только в одной из которых лежит алмаз, с различными признаками и тестами в качестве свидетельств. Я ввел разделение на любопытных исследователей и умных аргументаторов. Любопытный исследователь выписывает все признаки и знаки, обрабатывает их и, наконец, пишет в заключении «Таким образом, я оцениваю вероятность, что алмаз в коробке Б, в 85%». Умный аргументатор работает на того, кто предложит большую цену и начинает с того, что пишет «Таким образом, алмаз в коробке Б», после чего выписывает все подходящие ему признаки выше.

Первая процедура — это рациональность. Вторая известна по большей части как «рационализация».

«Рационализация». Любопытный термин. Я бы назвал его неправильным словом. Вы не можете «рационализировать» то, что рациональным не является. Это все равно что ложь назвать «правдофикацией».

На чистом вычислительном уровне есть достаточно большая разница между:

Начать со свидетельства, а потом оценить вероятность, чтобы сделать вероятностное заключение. (выписать все признаки, а потом найти вероятность, которая должна стоять на нижней строчке, отталкиваясь от этих признаков).

Начать с заключения, а потом подводить под него вероятность, чтобы подобрать только те свидетельства, которые говорят в пользу определенного вывода. (начать с нижней линии, а потом перейти к выбору тестов и признаков, которые можно поставить выше.)

Какой идиот придумал два запутывающе похожих слова, «рациональность» и «рационализация», чтобы описать настолько разные ментальные процессы? Я бы предпочел термины, которые делают очевидной разницу в этих алгоритмах, например «рациональность» и «гигантская идиотская когнитивная черная дыра».

Не каждое изменение это улучшение, но каждое улучшение это изменение. Вы не можете получить больше истины из фиксированного положения, просто доказывая его; вы можете заставить большей людей поверить этому, но вы не можете сделать это более истинным. Чтобы улучшить наши убеждения, мы обязательно должны менять их. Рациональность — это операция, которую мы используем для получения большей истинности наших убеждений, путем их изменения. Рационализация же фиксирует убеждения на месте; ее лучше было бы назвать «антирациональностью», как по ее результатам, так и по ее алгоритму.

«Рациональность» это поток, направленный вперед, которые собирает свидетельства, взвешивает их и делает заключение. Любопытный исследователь использует алгоритм направленного вперед потока: сначала собирает свидетельства, выписывая все видимые признаки и черты, которые затем обрабатываются, чтобы получить ранее неизвестную вероятность того, что в коробке находится алмаз. В течение всего этого процесса рациональности идет движение вперед, любопытный исследователь еще не знает места назначения, вот почему он любопытен. На Пути Байеса, априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» это обратный поток — от заключения к избранным свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и фиксирована; цель вашей работы — найти, какие аргументы можно написать выше. Неизвестны они, а не заключение.

Боюсь, что Традиционная Рациональность не привлекает должным образом внимания к разнице между потоком, направленным вперед, и потоком, направленным назад. В Традиционной Рациональности нет ничего плохого в ученом, который создает пробную гипотезу, а потом ищет эксперимент, которые доказал бы ее. Традиционный Рационалист посмотрел бы на это одобряюще и сказал бы «Эта гордость — тот механизм, что движет Науку вперед.» Ну, да, это механизм, движущий Науку вперед. Легче найти обвинителя и защитника с искажениями, нежели одного человека без искажений.

Но только то, что кто-то что-то делает, не делает это правильным. Было бы лучше, если бы ученый, создавая пробную гипотезу, стремился бы проверить эту гипотезу ради любопытства — создавая эксперименты, которые вели бы его убеждения в неизвестном направлении.

Если вы искренне не знаете, куда вы идете, вы, вероятно, будете ощущать любопытство насчет этого. Любопытство — это первая добродетель, без которой вопросы не имеют цели, а навыки — места приложения.

Ощутите течение Силы и убедитесь, что она не течет в неправильном направлении.

Перевод: 

Remlin
  • Короткая ссылка сюда: lesswrong.ru/170