Вы здесь

Что такое рациональность

Элиезер Юдковский

Под рациональностью я подразумеваю:

  1. Эпистемическую рациональность, то есть, систематическое улучшение точности своих убеждений.
  2. Инструментальную рациональность, то есть, систематическое достижение своих целей.

Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно.

Примерно так и выглядят ложные убеждения — карта мира, не соответствующая территории. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют «истиной», и я тоже с радостью пользуюсь этим словом.

С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность — это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это «выигрыванием».

Так что рациональность — это искусство формировать истинные убеждения и принимать выигрышные решения.

Поиск «истины» не означает, что нужно отвергать нечёткие или косвенные свидетельства. Вы можете оглядеть комнату и построить её мысленную модель. Убеждения о комнате принципиально ничем не отличаются от убеждений, что у Земли есть расплавленное ядро, а Юлий Цезарь был лысым. Возможно, эти вопросы вам кажутся более сложными и абстрактными, чем вопрос о вашем шкафе, ведь вас и предметы этих вопросов разделяет значительное пространство и время. И тем не менее состояние ядра Земли в 2015 году нашей эры и состояние головы Цезаря в 50 году до нашей эры — это вопросы о фактах. Эти факты могут влиять на реальность, даже если у вас нет никакой возможности лично встретить Цезаря или посмотреть на земное ядро.

А когда я пишу о «выигрывании», это не значит, что речь идёт о достижении успеха за счёт других. Не обязательно превращать жизнь в соревнование, её можно строить на базе сотрудничества и самопожертвования. Под «вашими ценностями» подразумевается абсолютно всё, о чём вы заботитесь — включая других людей. Они не ограничиваются исключительно эгоистическими ценностями.

Зачастую, когда люди говорят «Х — рационально!», это просто более звучный способ сказать: «Я думаю, что Х — истинно» или «Я считаю, что Х — хорошо!». Так зачем же использовать дополнительное слово «рационально», если можно говорить «истинно» и «хорошо»?

Тот же самый аргумент применим и к слову «истинно». Незачем говорить «истинно, что снег белый», когда можно сказать просто «снег белый». Идея истины полезна, потому что она позволяет нам говорить о соответствии карты и территории в целом. Фраза «истинные модели позволяют лучше делать проверяемые предсказания, чем ложные модели» — это полезное обобщение, и его нельзя сделать, не пользуясь понятиями вроде «истины» и «точности».

Аналогично, фраза «Рациональные агенты принимают решения, которые максимизируют вероятностное ожидание согласованной функции полезности» относится к понятию (инструментальной) рациональности, а фразу «Рационально есть овощи» наверняка можно заменить на «Полезно есть овощи» или «Есть овощи — в ваших интересах». Нам нужно понятие, вроде «рациональности», чтобы описывать общие факты о том, какие способы мышления систематически приводят нас к истине или к выигрышу, а также какие способы систематически приводят нас к обратному.

Иногда экспериментальные психологи обнаруживают, что в некоторых ситуациях люди, размышляют, судя по всему, очень странно. Например, человек присваивает утверждению «Билл играет джаз» вероятность меньшую, чем утверждению «Билл — бухгалтер, который играет джаз». Поскольку, очевидно, любой играющий джаз бухгалтер — играет джаз, такое суждение выглядит странно. Однако какими принципами мы пользуемся, когда говорим, что это суждение неверно?

Экспериментальные психологи применяют два золотых стандарта: теория вероятностей и теория принятия решений.

Теория вероятностей — это набор законов, лежащих в основе рациональных убеждений. Математика теории вероятностей абсолютно одинаково описывает и а) как выяснить, где находится ваш книжный шкаф, и б) как узнать температуру земного ядра, и в) как вычислить, сколько волос было на голове Юлия Цезаря. С точки зрения того, как нужно обрабатывать свидетельства и наблюдения, чтобы пересматривать и обновлять свои убеждения, это одинаковые задачи. Аналогично, теория принятия решений — это набор законов, лежащих в основе рациональных действий, и её можно применять независимо от того, о каких целях и каких вариантах действий идёт речь.

Обозначим выражением «Р(что-нибудь)» вероятность того, что это что-нибудь случится, а выражением «Р(А, В)» — вероятность, что А и В случатся вместе. Поскольку в теории вероятностей есть универсальный закон, что P(A)P(A, B), суждение, что Р(Билл играет джаз) меньше, чем Р(Билл играет джаз, Билл — бухгалтер) отмечается как неверное.

Говоря формально, такое рассуждение о вероятностях — небайесианское. Убеждения и действия, рациональные в строго определённом математическом смысле, называются байесианскими.

Обратите внимание, современное понятие рациональности не привязано к словесным рассуждениям. Я привёл пример, как вы открываете глаза, осматриваетесь и строите мысленную модель комнаты со шкафом около стены. Современное понятие рациональности — достаточно общее и включает ваши глаза и зрительную кору вашего мозга, как объекты на карте. Оно включает и вашу интуицию, которую сложно выразить словами. Математика не обращает внимание на то, что мы используем одинаковое слово «рациональный», и описывая Спока1, и описывая байесианский способ рассуждений. Математические модели — это хороший способ достигать своих целей или строить карту мира, независимо от того, какие у нас сложились предубеждения и стереотипы относительно слова «рациональность».

Однако это не решает проблему о том, что именно подразумевается под занятием «рациональностью», по двум основным причинам.

Во-первых, невозможно строго вычислить байесовские вероятности, необходимые для решения подавляющего большинства реальных задач. Никто не в состоянии посчитать правильное решение и ему следовать. Это всё равно, что попытаться предсказать поведение рынка акций, исходя из движения кварков.

Именно поэтому существует целый сайт под названием «Less Wrong», а не одна страница, которая ограничивается простым перечислением строгих аксиом. Для человеческого разума находить истину и достигать своих целей — это целое искусство. Чтобы сталкиваться с правдой и делать то, что должно, нам надо изучать собственные недостатки, справляться со своими предубеждениями, удерживаться от самообмана, поддерживать себя в хорошей эмоциональной форме, и так далее, и так далее.

Во-вторых, иногда математика сама по себе приводит к новым вопросам. Например, точные правила теории вероятностей приводят к вопросу антропного принципа, где неизвестно число наблюдателей. Точные правила теории принятия решений приводят к задачам вроде парадокса Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как вы его примете.

В таких случаях совершенно бессмысленно пытаться решить проблему, введя новое определение слова «рациональность» и заявив: «Таким образом под «рациональностью», по определению, будет подразумеваться предпочитаемый мной ответ». В этом случае, естественно, встанет вопрос, почему ваше определение должно кого-то интересовать. Теория вероятностей важна для меня не потому, что это священные слова, вручённые нам Лапласом. Байесианское обновление убеждений (вместе с оккамовскими априорными вероятностями) интересно для меня, потому что я ожидаю, что именно такой способ думать приведёт нас к карте, которая систематически более точно отображает территорию.

А ещё некоторые вопросы о том, как следует думать, кажется, не решаются целиком ни с помощью теории вероятностей, ни с помощью теории принятия решений. Например, вопрос о том, какие чувства испытывать по отношению к правде. В этих случаях какое-то собственное определение «рациональности» тоже лишь будет включать в себя уже существующий ответ, но не позволит найти что-то новое.

Я не собираюсь здесь спорить о значении слов, даже если речь идёт о слове «рациональность». Привязка неких последовательностей букв к определённым понятиям нужна, чтобы люди могли разговаривать между собой — передавать мысли от одного человека к другому. Невозможно изменить реальность или доказать какую-то мысль, манипулируя этими привязками.

Поэтому если вы поняли, какое понятие я связываю со словом «рациональность» и со словосочетаниями «эпистемическая рациональность» и «инструментальная рациональность», передача информации уже случилась. В рамках разговора о том, как определять «рациональность», мы сделали всё, что нужно. Дальше мы не будем разговаривать, какой смысл привязан к слогам «ра-ци-о-наль-ность». Дальше мы будем разговаривать, как именно лучше рассуждать.

Если вы говорите «Для меня (эпистемически) рационально считать, что Х, однако истина в том, что Y», вы наверняка используете слово «рационально» не в том же смысле, что и я. (Например, «рациональность» должна «выдерживать рефлексию» — «рациональный» взгляд на свидетельства и «рациональные» размышления о том, как ваш разум обрабатывает эти свидетельства, не должны приводить к разным выводам.)

Аналогично, если вы вдруг говорите «Для меня (инструментально) рационально сделать Х, но я считаю, что правильно делать Y», то почти наверняка вы используете для слова «рационально» или для слова «правильно» какие-то другие значения. Я использую термин «рациональность» нормативно: чтобы выбирать предпочитаемый способ рассуждений.

В этих случаях — а также во всех других, когда люди не соглашаются относительно смысла слов — вам стоит заменять слово «рационально» на более точные описания. Например: «Ради собственного благополучия следовало бы убежать, но я надеюсь, что хотя бы постараюсь вытащить ребёнка с рельсов». Или: «Причинная теория приятия решений в привычной формулировке говорит, что в задаче Ньюкома нужно брать оба ящика, но я предпочту получить миллион долларов».

Я вообще рекомендую перечитать это эссе, заменяя все вхождения слова «рационально»(и однокоренные) на «фузально». Проверьте, изменится ли смысл текста. Если изменится, стремитесь не к рациональности, а к фузальности.

В слове «рационально» таятся многочисленные ловушки. Однако во многих случаях с его помощью можно прекрасно передавать тот смысл, который я в него вкладываю. В этих случаях я не боюсь его использовать.

И всё же будьте с этим словом осторожны и не используйте его напрасно. Вы ничего не заработаете, просто произнося его вслух. Слишком много рассуждающий о пути не достигнет просветления.

  • 1. Известный персонаж сериала «Звёздный путь». — Прим.перев.

Перевод: 
Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
1
Оцените перевод: 
Голосов пока нет
  • Короткая ссылка сюда: lesswrong.ru/41