Что такое рациональность

Элиезер Юдковский

Здесь под «рациональностью» имеется в виду:

  • Эпистемическая рациональность: образ действий и мыслей, укрепляющий соответствие между местностью и её когнитивной картой, корректировка убеждений в свете новой информации. Искусство обретения убеждений, согласующихся с реальностью настолько близко, насколько возможно. Это соответствие обычно называют «точностью», «правдивостью» или «правильностью», и нас удовлетворяет подобное обозначение.

  • Инструментальная рациональность: реализация ваших ценностей. «Ваших» не обязательно в смысле «личных» или «эгоистичных»: «твоей ценностью» может быть любая вещь, которая тебе небезразлична. Искусство направлять будущее в сторону более устраивающих тебя результатов. На LW это порой называется «выигрыванием».

Если это кажется довольно неплохим определением, вы можете прекратить чтение здесь; в ином случае продолжаем.

Временами экспериментальные психологи обнаруживают человеческие умозаключения, которые выглядят крайне удивительно — например, кто-то оценивает вероятность «Билл играет джаз» меньше, чем вероятность «Билл — бухгалтер, который играет джаз». Это выглядит странным суждением, так как любой играющий джаз бухгалтер — это явно человек, играющий джаз. Но к каким именно правилам мы обращаемся, называя данное суждение ошибочным?

Экспериментальные психологи применяют два золотых стандарта: теорию вероятности и теорию принятия решений. Поскольку в теории вероятности P(A) ≥ P(A & B), то суждение P(«Билл играет джаз» & «Билл — бухгалтер») > P(«Билл играет джаз») считается неверным.

Говоря формально, это утверждение не байесианское. Убеждения, соответствующие какому-либо логически непротиворечивому распределению вероятности, и решения, максимизирующие вероятностное ожидание логически непротиворечивой функции полезности, называются байесианскими.

Вопрос о том, как применять рациональность на практике, вовсе не исчерпывается этим абзацем. Причиной этому — два весомых обстоятельства.

Во-первых, байесианские алгоритмы «в чистом виде» плохо применимы к большинству задач реального мира из-за своей трудновычислимости. Математик, попытавшийся это сделать, столкнётся примерно с теми же проблемами, что и физик, попытавшийся предсказать поведение фондовой биржи, вычисляя траектории кварков.

Именно поэтому здесь вы видите целый сайт, а не просто список формальных аксиом с жирной точкой в конце. К тому же, совсем другое искусство необходимо для того, чтобы находить истину и достигать цели, находясь в недрах человеческого разума: нужно узнать о недостатках нашей когнитивной архитектуры, победить порождённые ей ошибки (искажения), сорвать с глаз все шоры самообмана, достигнуть хорошей эмоциональной формы перед тем, как столкнуться с истиной, избавиться от влияющих на решение посторонних факторов и так далее и тому подобное.

Во-вторых, иногда корректность самих формул вызывает сомнения. Правила теории вероятности получают удар от, скажем, задач на антропный принцип(English), где неизвестно число наблюдателей. Правила теории принятия решений разваливаются под действием, скажем, задачи Ньюкома(English), где другие агенты могут предсказать ваше решение до того, как оно было совершено.

В таких случаях бессмысленно придумывать альтернативное определение слова «рациональность» и надеяться, что это разрешит проблему. Фраза «Выбранный мною ответ, по определению, рационален» всего лишь создаёт новый вопрос: почему кого-то должно интересовать новое определение? Теорией вероятности пользуются не потому, что она была спущена с небес руками Святого Лапласа. Мы используем корректировку убеждений в байесианском стиле (с априорными вероятностями, выбранными согласно бритве Оккама) потому, что мы считаем, что этот образ мышления систематически приближает нас к точности: к карте, которая отражает местность.

(подробнее о диспутах, где фраза «по определению» выступает в качестве главного аргумента можно почитать здесь(English) и здесь(English))

Не стоит также забывать о вопросах из разряда «как мыслить?», ответов на которые нет ни в теории вероятности, ни в теории принятия решений. Например, какие чувства испытывать по отношению к правде после того, как она найдена? Определение и переопределение «рациональности» не в силах найти ответа, разве что лишь разрешить его.

Из «Двенадцати добродетелей рациональности»:

Как можно улучшить свое представление о рациональности? Явно не за счёт напевания мантры «мой долг — быть рациональным»; так можно лишь закрепить ошибочное представление. Возможно, твоё понимание рациональности состоит в том, что нужно верить словам Великого Учителя; Учитель говорит: «Небо зелёного цвета», ты поднимаешь глаза и видишь, что оно голубое. Если мысль «Можно подумать, что небо голубое, но суть рациональности состоит в доверии словам Великого Учителя» промелькнёт в твоём мозгу, то ты потеряешь шанс обнаружить свою ошибку.

Не спрашивай, как советует поступить Учение; вместо этого спрашивай, какого цвета небо. Чрезмерно говорящий об Учении не достигнет просветления.

Можно попытаться назвать самый главный принцип: например, «карта, отражающая местность» или «опыт успеха и поражений», или «байесианская теория принятия решений». Но ты мог ошибиться в описании безымянной добродетели. Как ты обнаружишь свой промах? Не благодаря тому, что ты сравнишь описание с самим собой, но благодаря тому, что ты сравнишь описанное с неописанным.

Споры о том, какое значение вкладывать в слово, — даже в такое важное слово, как «рациональность», — бессмысленны. Привязка последовательности букв к определённым понятиям нужно для того, чтобы позволить людям обмениваться информацией(English); для того, чтобы помочь перенести мысли из одного разума в другой. Манипулирование этими привязками не может изменить мир.

Если ты понимаешь, примерно в каком направлении мы показываем, говоря о «рациональности», «эпистемической рациональности» и «инструментальной рациональности», то обмен информацией между нами уже произошёл. Нельзя достичь большего, оставаясь в рамках спора об определениях. Пришло время говорить не о том, какое понятие лучше всего привязать к набору слогов «ра-ци-о-наль-ность», а том, каким образом стоит думать.

С учётом всего этого, имей в виду, что многие из нас будут считать спорным — как минимум — любое ненормативное толкование слова «рациональность».

Например, говорящий «убеждение X рационально, но убеждение Y правдиво», скорее всего, использует слово «рационально» в не совсем принятом здесь смысле (например, считается, что рациональность должна быть логически последовательна при переходе к рефлексии: т.е. «рациональный» взгляд на информацию и «рациональное» моделирование того, как твой разум «рационально» обрабатывает эту информацию, не должны вести к двум разным выводам). Аналогично с «рационально сделать X, но правильно сделать Y» — «рационально» или «правильно» сказавшего это человека почти наверняка не «рационально» или «правильно» большей части читателей.

В таких случаях — да и в любых других случаях, когда слова можно понять превратно, — рекомендуется говорить более конкретно: «Предельно эгоистичный поступок — убежать, но я хотя бы попытался стащить девочку с рельс» или «Причинная теория принятия решений говорит, что в задаче Ньюкома нужно выбрать оба ящика, но я лучше заберу миллион долларов».

Как правило, фраза «X рационально» означает то же, что «я думаю, что X правдиво» или «я думаю, что X хорошо», но просто звучит чуточку более вычурно. Зачем нужны отдельное слово «рациональность», когда есть «правдивость» и «хорошесть»? Потому что так легче говорить о методичных техниках добычи правды и выигрывания.

В слове «рациональность» хватает подводных камней, но есть куча неграничных случаев, в которых это слово отлично выполняет свою коммуникативную функцию; в таких ситуациях не бойтесь его использовать.

Но всё же не стоит злоупотреблять этим словом. Нельзя заработать очки, просто громко произнеся его вслух. Чрезмерно говорящий об Учении не достигнет просветления.

Перевод: 

BT
  • Короткая ссылка сюда: lesswrong.ru/41