Рациональность: введение

Роб Бенсинджер

Во что мне следует верить?

Как оказалось, на этот вопрос есть правильный ответ.

Правильный ответ есть даже тогда, когда ты по горло в неуверенности, а не только при условии наличия убедительного доказательства. Всегда есть корректное количество уверенности в утверждении, даже если это выглядит как «личное мнение», а не подтвержденный экспертом «факт».

И все же, мы часто рассуждаем так, будто существование неуверенности или разногласий делает убеждения вопросами вкуса. Мы говорим: «Это всего лишь мое мнение», или: «Ты имеешь право на личное мнение», как будто заявления науки и математики существуют на более высоком уровне бытия, чем те убеждения, которые всего лишь «личные» и «субъективные». Но, как пишет Робин Хансон (1):

У тебя нет прав на личное мнение. Никогда! У тебя нет прав даже на «я не знаю». У тебя есть право на желания и, порой, на выбор. Ты можешь распоряжаться выбором, ты можешь выбирать предпочтения, у тебя может даже есть право на это. Но твои убеждения - это не о тебе; убеждения - о мире. Твои убеждения - лучшее, что ты можешь предположить о том, как дела обстоят на самом деле. Все остальное - ложь. [ … ]

Правда, что некоторые вопросы предоставляют экспертам более сильные механизмы для разрешения споров. Когда дело касается других вопросов, наши искажения и сложность мира мешают делать сильные выводы [ … ]

Но не забывай, что на любой вопрос о том, как обстоят дела (или как должны), и при любой информации всегда есть лучшая оценка. Ты имеешь право лишь на возможность приложить все силы для нахождения лучшей оценки; все остальное - ложь.

Предположим, что ты узнаёшь, что один из шести человек влюблен в тебя. Может, ты получаешь письма от тайного обожателя, и ты не сомневаешься, что это один из тех шести. Твой одноклассник Боб - один из шести кандидатов, но у тебя нет особых свидетельств за и против того, чтобы именно он влюблен. В этом случае шансы на то, что Боб именно тот, кто влюблен в тебя - 1:5.

Шесть возможностей означают, что ты угадаешь один раз верно, а пять - не верно, в среднем. Это и есть то, что мы обозначаем как «шансы 1 к 5». Ты не можешь сказать: «Ну, понятия не имею, кто в меня влюблен; может это Боб, может нет. Так что шансы мои пятьдесят на пятьдесят.» Ты даже не можешь сказать «я не знаю» или «может быть» и остановиться на этом, ответ все еще - 1:5 (2).

Предположим, что ты так же замечаешь, что влюбленные люди в десять раз чаще подмигивают тем, в кого они влюблены. И если Боб подмигивает тебе, то это - новое свидетельство. В данном случае, будет ошибкой по-прежнему сохранять скептицизм по поводу идеи, что Боб - тайный обожатель; шансы 10:1 в пользу «случайный человек, подмигнувший мне, влюблен в меня» перевешивают шансы 1:5 против «Боб влюблен в меня».

Но так же будет ошибкой заявлять: «Это свидетельство такое сильное, что сомневаться глупо! Я просто буду думать, что Боб в меня влюблен!» Сверхуверенность ничем не лучше неуверенности.

По факту, только один ответ математически непротиворечив. Для того, чтобы изменить свое мнение с априорных шансов 1:5, основываясь на свидетельстве с отношениями правдоподобия 10:1, мы умножаем отдельно левые стороны и правые, получая апостериорные шансы 10:5 (т.е. 2:1 в пользу того, что «Боб влюблен в меня»). С учетом наших предположений и доступных свидетельств, догадка, что Боб влюблен в тебя, окажется правдой каждые два раза, и ложью - один раз. Эквивалентно: вероятность, что ты его привлекаешь - 2\3. Любое другое число, выражающее уверенность, в данном случае будет несовместимым.

Наша культура не усвоила пока уроки теории вероятности, что правильный ответ на вопросы вроде «как сильно я могу верить в то, что Боб влюблен в меня?» точно так же логически определены как и и правильные ответы на вопросы из контрольной по алгебре или учебника геологии. Наши шаблоны мышления идут не в ногу с открытием, что «каких убеждений о мне следует придерживаться?» имеет объективно верный ответ, независимо от того, является ли это вопросом вроде «влюблен ли в меня мой одноклассник?» или «есть ли у меня бессмертная душа?» Есть правильный путь изменения своего мнения. И точный.

Как не менять свое мнение?

Однако, пересмотр своих убеждений так же, как и в том (с Бобом) идеальном случае - задача не из легких.

В первом томе «Рациональности: от ИИ до Зомби» мы обсуждали ценность «правильных» убеждений. Нет ничего предосудительного в выражении поддержки тому, что тебя волнует - группе, с которой ты себя идентифицируешь, духовному опыту, который ты находишь превозносящим. Когда мы сталкиваем провозглашения с фактическими убеждениями, однако, эти «недопонятые» провозглашения могут защитить целую идеологию от загрязнения свидетельствами.

Даже те убеждения, что элегантно объясняют наши наблюдения, не обладают иммунитетом от этой проблемы. Слишком уж просто нам воспринимать туманно-научные (так или иначе авторитетные) фразы и делать выводы, что они «объясняют» что-либо, даже если они не меняют шансы, которые мы использовали для косвенной оценки наших ожиданий будущего.

Хуже всего, что даже прозаичные убеждения - те, что принципиально фальсифицируемы, что ограничивают варианты будущих наблюдений - могут застрять в голове, будучи поддержанными сетью иллюзий и искажений.

В 1951 году произошло необычайно жесткая игра между Дартмутом и Принстоном. Психологи Хасторф и Кантрил провели опрос среди болельщиков от каждой школы о том, кто же начал вести жесткую игру первым. Почти все были согласны в том, что это был не Принстон; однако, на 86% студентов Принстона, веривших, что начал Дартмут, приходилось лишь 36% студентов Дартмута, тоже обвинявших Дартмут. (Большинство студентов Дартмута верило, что «обе стороны начали».)

Нет никаких оснований полагать, что это было противоположным настоящим убеждениям провозглашение. Студенты, вероятно, следовали разным убеждениям в разных оценках будущего поведения игроков в будущих играх. И все же, совершенно обычные фактические убеждения Дартмута сильно отличались от совершенно обычных фактических убеждений Принстона.

Можем ли мы винить разницу в доступных источниках информации? Сами по себе искажения в разных источниках новостей, на которые полагаются группы - серьезная проблема.

Однако факторов больше. Когда студентам была показана запись игры и они должны были посчитать количество нарушений, то Дартмутские насчитали в среднем 4.3 нарушения со стороны Дартмута (половина из которых была названа «мягкими»), в то время как Принтсонские - 9.8 нарушений со стороны Дартмута (треть из которых была названа «мягкими»).

Чего уж тут надеяться на согласие конкурирующих фракций по сложным вопросам или моральной философии; студенты, верные разным группам, не могли согласится о том, что они видели (3).

Когда над дорогим нам «чем-то» нависла угроза, - мировоззрением, социальным статусом или чем-либо еще, - наши мысли и даже восприятие спешат на защиту (4) (5). Некоторые психологи сегодня полагают, что наша способность придумывать явные оправдания для наших выводов специально эволюционировала для того, чтобы помогать нам выигрывать споры (6).

Одним из определяющих психологию 20-го века озарений, освещающим всех, от Фрейда до когнитивных психологов наших дней, является идея сложных подсознательных процессов, в значительной степени ответственных за наше поведение, и искаженности (большей, чем кажется на первый взгляд) историй, которые мы рассказываем себе о наших мотивах и поступках.

По факту, мы часто не замечаем сам процесс рассказывания таких историй. Когда кажется, что мы «прямо переживаем» что-то о себе посредством интроспекции, часто бывает, что это основано на незначительных косвенных причинных моделях (7, 8). Когда мы защищаем наши убеждения, то можем выдумывать хрупкие причины, не имеющие никакого отношения к тем, благодаря которым мы действительно пришли к таким убеждениям (9). Вместо того, чтобы судить объяснения на основе их предсказательной силы, мы пытаемся найти смысл в том, что, как нам кажется, мы знаем.

Как мы можем стать лучше? Как мы можем приобрести реалистичный взгляд на мир, если наши умы так склонны к рационализации? Как мы можем реалистично взглянуть на свой внутренний мир, если даже наши мысли под подозрением? Как мы можем снизить искаженность, если даже наша деятельность по исправлению этого имеет свои искажения?

Есть ли твердая кочка в этом болоте?

Математика Рациональности.

На рубеже 20-го века создание простых (например, теоретико-множественных) аксиом для арифметики дало математикам возможность оценивать корректность их выводов. Если человек или калькулятор выдает «2+2=4», теперь мы можем сказать больше, чем просто «интуитивно это кажется верным». Мы можем объяснить почему это верно, и мы можем доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Но логика и математика позволяют нам моделировать более интересные системы, чем карманный калькулятор. Мы можем формализовать рациональные убеждения в целом, используя теорию вероятности для сбора сливок со всех успешных форм вывода. Мы даже можем формализовать рациональное поведения в целом, разработав теорию принятия решений.

Теория вероятности описывает идеальные рассуждения в условиях неуверенности, если бы у нас было достаточно времени, вычислительных мощностей и самоконтроля. Учитывая предыдущие знания (априорные) и новое свидетельство, теория вероятности однозначно определяет наилучший набор новых убеждений (апостериорные), которые я могу принять. Так же, теория принятия решений определяет, какие действия я должен предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, что я имею о Бобе, есть ответ теории принятия решений о том, как я должен действовать, чтобы удовлетворить свои предпочтения.

Люди являются идеальными мыслителями или разработчиками решений настолько же, насколько могут быть идеальными калькуляторами. Наш мозг небрежно слеплен эволюцией. Даже сильно постаравшись, мы не способны вычислить правильный ответ на «что мне следует думать?» и «как мне следует поступить?». У нас не хватает времени и вычислительных мощностей, и эволюции оказалась недостаточно дальновидной и компетентной, чтобы создать менее багнутую систему.

Максимально эффективный, свободный от ошибок мыслитель в реальном мире, по факту, все равно будет полагаться на эвристики и аппроксимациями. Оптимальные алгоритмы, путь вычислений которых можно проследить, выпадают из непротиворечивой теории вероятности.

И все же, даже зная, что мы не можем быть полностью непротиворечивыми, мы можем стать лучше. Зная о существовании идеала, с которым мы можем себя сравнивать (исследователи называют это «Байесовской рациональностью»), мы можем улучшать наши рассуждения и действия. И хотя, мы никогда не станем идеальными байесовскими агентами, математика рациональности поможет нам понять, почему некий ответ является верным, заметить где мы облажались.

Только представь изучение математики исключительно с помощью заучивания. Тебе сказали, что “10 + 3 = 13,” “31 + 108 = 139,” и т.д., но это не слишком поможет, если ты не будешь понимать последовательность, стоящую за закорючками. Трудно искать методы улучшения рациональности, не имея при этом парадигмы для оценки успешности этих методов. Цель этой книги - помочь построить такую парадигму индивидуально каждому.

Прикладная рациональность.

В своем блог-посте про разницу между восторженными рациональностью «рационалистами» и «рационалистами анти-эмпиристами» Скотт Александр пишет (10):

[O]чевидно - здорово иметь как можно больше свидетельств, в том же смысле, что и иметь как можно больше денег. Но так же очевидно, что и полезно уметь распоряжаться имеющимися ресурсами с умом, так же, как и полезно уметь распоряжаться с умом ограниченным бюджетом.

Техники рациональности помогут выжать больше из имеющихся свидетельств в тех случаях, когда они неоднозначны или когда наши искажения и пристрастия мешают интерпретировать их. Это применимо и к таким обыденным ситуациям, как та, что с Бобом. К разногласиям политических фракций (и спортивных болельщиков). И так же применимо к технологическим и философским загадкам, вроде дебатов о трансгуманизме и том, должны ли мы использовать технологии для радикального изменения нашего состояния. Признавая, что те же математические правила применимы к каждой из описанных областей, как и господство когнитивных искажений, автор, в «Как действительно изменить свое мнение», обрисовывает множество примеров проблем.

Первая цепочка статей в «Как действительно изменить свое мнение», - «Чрезвычайно удобные оправдания», - фокусируется на на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях, когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Отсюда мы движемся в темные воды вместе с цепочкой «Политика и Рациональность». Мейнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

В игре Дартмута с Принстоном есть пара подсказок. Большая часть наших рассуждений - рационализация, рассказывание историй, которые помогают нам воспринимать наши убеждения как последовательные и оправданные. при этом редко улучшая их точность. Об этом автор пишет в «Против рационализации», затем следует цепочка «Против двоемыслия» (о самообмане) и «Свежий взгляд на вещи» (о вызове признавать свидетельства, даже если они не слишком подходят нашим ожиданиям и предположениям).

Поднятие уровня своей рациональности подразумевает знакомство с множеством интересных и сильных идей. Часто, это так же означает знакомства с людьми для обсуждений этих идей и даже сообществами, поощряющими саморазвитие. «Смертельные Спирали» описывает потенциальные риски, влияющие на группы, созданные вокруг общих интересов и блестящих идей, которые надо обойти или перебороть, если мы рассчитываем получить хоть какую-то выгоду от сообщества рационалистов. «Как действительно изменить свое мнение» заканчивается цепочкой «Отпустить».

Наша природа не подразумевает изменение нашего мнения, как это делал бы байесовский агент. Чтобы заставить студентов Дартмута и Принстона заметить, что же происходило в реальности, понадобится больше, чем обучение их теории вероятности. Как писал Люк Мюлхаузер в «Силе автономного Агента» (11):

Ты не байесовский гомункул, чье мышление «загрязнено» когнитивными искажениями.

Ты просто когнитивное искажение.

Ошибка подтверждения, ошибка статуса кво, ошибка соответствия и прочие не присосались к нашему мышлению; они являются его сутью.

Это не значит, что снижение их влияния невозможно. Мы не являемся идеальными калькуляторами под слоем арифметических ошибок. Множество из наших ограничений в математике являются следствием особенностей работы мозга. И тем не менее, мы способны тренировать математические навыки; мы способны обучаться различать ситуации, где можно, а где нельзя доверять математической интуиции и делиться этим знанием с другими; мы способны менять окружающую среду и создавать инструменты, снимающие бОльшую часть нагрузки.

Наши искажения - часть нас самих. Но в нас так же присутствует тень Байеса - сломанный аппарат, способный, тем не менее, приблизить нас к правде. Не гомункул, но все же что-то. Возможно, достаточно, чтобы начать.

  1. Robin Hanson, “You Are Never Entitled to Your Opinion,” Overcoming Bias (blog) (2006), http://www.overcomingbias.com/2006/12/you_are_never_e.html.
  2. Это следует из того, что тут шесть возможностей и у тебя нет причин ожидать одну из них сильней по сравнению с другими. Мы так же предполагаем, пусть и нереалистично, что ты можешь быть уверен в том, что поклонник принадлежит именно к этой шестерке людей, и ты не отбрасываешь другие возможности. (Что если влюбленность у большего числа людей, чем «один»?)
  3. Albert Hastorf and Hadley Cantril, “They Saw a Game: A Case Study,” Journal of Abnormal and Social Psychology 49 (1954): 129134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/ Hastorf1954.pdf.
  4. Pronin, “How We See Ourselves and How We See Others.”
  5. Robert P. Vallone, Lee Ross, and Mark R. Lepper, “The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre,” Journal of Personality and Social Psychology 49 (1985): 577585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.
  6. Hugo Mercier and Dan Sperber, “Why Do Humans Reason? Arguments for an Argumentative Theory,” Behavioral and Brain Sciences 34 (2011): 5774, https://hal.archives-ouvertes.fr/file/index/docid/904 097/filename/Mercie….
  7. Richard E. Nisbett and Timothy D. Wilson, “Telling More than We Can Know: Verbal Reports on Mental Processes,” Psychological Review 84 (1977): 231259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.
  8. Eric Schwitzgebel, Perplexities of Consciousness (MIT Press, 2011).
  9. Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,” Psychological Review 108, no. 4 (2001): 814834, doi:10.103 7/0033-295X.108.4.814.
  10. Scott Alexander, “Why I Am Not Rene Descartes,” Slate Star Codex (blog) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.
  11. Luke Muehlhauser, “The Power of Agency,” Less Wrong (blog) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.
  • Короткая ссылка сюда: lesswrong.ru/236