Тайное общество борьбы с глупостью

Люди Писания

Давным-давно (по стандартам интернета), в далекой стране (кажется, в Калифорнии) бородатый мужчина из еврейской семьи принялся за написание книги. И планировал он этой книгой научить людей хорошо мыслить, чтобы человечество обрело наконец-то мудрость и спасение. Судя по всему, бородатым мужчинам из еврейских семей свойственно писать что-нибудь такое раз в несколько веков. И искусство хорошо мыслить, о котором он писал, было известно, как Рациональность.

И вокруг этой книги, известной в то время как «Цепочки по Рациональности», собрались мудрые женщины и мужчины, которые поверили всему на слово(зачёркнуто) придрались к каждому слову и уравнению и даже к самой цели книги. Тем не менее почти все прочитавшие Цепочки согласились с тем, что да, это отличное руководство по здравым рассуждениям и что всё в нём настолько просто и правдиво, что всё это очевидно в ретроспективе. Разумеется, книга об этом их предупредила заранее. И эта группа прочитавших Цепочки людей стала известна как Сообщество Рационалистов. Правда они, будучи правильными рационалистами, потратили годы на споры о том, хорошее ли это название или нет.

И узрели другие люди, как рационалисты читают Цепочки и проводят хорошо время. И говорили им: «Лол, да вы кучка ботанов, попавших в дурацкую секту». И рационалисты терпеливо им объясняли, что, нет, искусство заключается именно в том, чтобы мыслить независимо. И что Элиезер в процессе написания Цепочек предвидел, что людям настолько понравятся статьи, что забудут они про скептицизм, и посвятил целый раздел книги вопросам, как избегать группового мышления и культовости. И посему, несмотря на то, что любые два рационалиста согласны с 95% цепочек, они проводят уйму времени в спорах об оставшихся 5%, чтобы никто не смел обвинить их в недостаточном скептицизме.

При этом рационалисты подтвердили, что да, они кучка ботанов.

Элиезер на LW объясняет многомировую интерпретацию

Но другие люди не успокаивались на этом и говорили рационалистам: «Ну и зачем нужна ваша понтовая рациональность, кроме как чтобы препираться о ней на форумах?» И рационалисты не отвечали, потому как были заняты, помогая нуждающимся, распространяя искусство, запуская кучу стартапов, развивая науку и спасая человечество от вымирания.

Но другие люди продолжали упорствовать и говорили рационалистам: «Ну вы даёте, ребята, это такой 2007 год, всё это уже устарело, самый хайп сейчас — пострациональность». И вопрошали рационалисты — какие ошибки есть в книге и какие части должны быть отвергнуты в пользу чего-то нового? Но правда в том, что все с Цепочками хорошо, и что они успешно предусмотрели каждый вызов, брошенным им за прошедшие 9 лет, и что всем вам стоит взять и прочитать уже цепочки прямо сейчас[Русский перевод пока не завершён, оригинал можно найти на сайте Read the Sequences. — Прим.перев.]. И все же эти самодовольные пострационалисты способствовали возникновению ауры старомодности вокруг LessWrong’а и тому, что меньше людей смогло получить пользу от него.

Сейчас самое время, чтобы прекратить читать этот пост и приступить к чтению Цепочек — они довольно длинные (vita brevis ars longa и все такое), да и написаны лучше. Если вы еще не заметили, почти все ссылки ведут на сайт LessWrong’а и Цепочки — чтобы вы прочувствовали, как много идей они покрывают. Если по каким-то причинам вы не хотите пока уходить по ссылкам, я коротко объясню вам, что я понимаю под рациональностью, и немного выскажусь по поводу «пострационалистов».

От Уицилопочтли к Рациональности

Человечество прошло путь от идеи, что солнце — это колибриобразный воинственный бог, требующий человеческих жертвоприношений, до использования солнечного излучения для межпланетных перелётов. Практически всеми подобными впечатляющими достижениями мы обязаны науке (кое-чем — Элу Гору). Наука начала давать результаты, когда заметила пару моментов:

1. «Колибриобразный воинственный бог» звучит суперкруто, однако по крутости сложно понять, истинно то или иное утверждение. Вместо этого мы можем узнать, является ли что-то правдой в результате наблюдений. Древние ученые считали, что «наблюдение» значит «смотреть прямо на солнце» — и результаты у них были не очень. Позже ученые углубили эту идею до «узнавать о мире с помощью наблюдения свидетельств».
2. Самый полезный способ организации и выражения научного знания о мире предполагает использование чисел. Мир очень сложный и у нас довольно ограничена информация о нем, поэтому нам нужен способ описывать числами неполноту знания. Использование чисел для разговоров о неполном знании описывается в теории вероятности.

Также выяснилось, что если спросить у теории вероятностей, как именно познавать реальность с помощью наблюдения свидетельств, она ответит, что, хотя сам процесс может сильно отличаться в разных ситуациях, в его основе окажется теорема Байеса. И раз уж в поп-культуре слово «рациональный» закрепилось за совершенно иррациональными соломенными персонажами, в сообществе рационалистов часто вместо него говорят «байесианский».

Посмотрите-ка! Кое-кто написал великую книгу под названием «Теория вероятностей: логика науки» [Эта книга не переводилась на русский. Речь о книге E. T. Jaynes, «Probability Theory: The Logic of Science» — Прим.перев.].

Обычно выяснением того, как устроена реальность, занимаются учёные. Но для не-учёных тоже бывает полезным узнавать правду о мире. Возможно, вам интересно узнать, сколько времени потребуется на новый проект, насколько вероятно выпадение красного сектора на рулетке, есть у вас рак груди или нет. Всё это кажется довольно простым, однако материал по ссылкам в предыдущем предложении (на которые вы, скорее всего, не кликнули) показывает, что люди регулярно лажают в ответах на такие простые вопросы, а также в очень-очень-очень многих других ситуациях.

Почему же нашим мозгам так сложно просто отвергнуть ложное и поверить в истинное? К сожалению, вместо безупречных машин по производству идеальных рассуждений в наших головах оказались глючные компьютеры на мясной основе, предназначенные для обезьян. И обезьяньи мозги могут верить в какую-нибудь идею по многим причинам:

• Идея кажется красивой, и в неё приятно верить.
• В идею выгодно верить по политическим соображениям.
• Идея поднимает нашу самооценку.
• Люди вокруг нас громко и часто повторяют эту идею.
• Мы пытаемся убедить в этой идее других, и мы лучше лжём, когда сами верим в то, что говорим.
• Идея хорошо соотносится с другими неверными идеями, скопившимся в нашей голове.
• Какой-нибудь авторитет сказал нам, что это правда, а мы не озаботились проверить.
• В очень редких случаях, мы верим в идею, потому что видели свидетельства в её пользу.

Возможно, вы слышали ещё об одной великой книге, рассказывающей о том, как предсказуемо ошибаются наши мозги по самым разным поводам. Она называется «Думай медленно… решай быстро».

Плохая новость заключается в том, что очень сложно и неприятно обучить наши глючные обезьяньи мозги справляться с фактом, что они глючные обезьяньи мозги. Интеллект, опыт и общее представление об ошибках мышления не слишком помогают решить эту задачу и даже могут помешать. Дело не только в том, что абсолютная рациональность недостижима. Сложно даже начать двигаться в эту сторону — для этого необходимо заметить у себя огромное слепое пятно, которое мешает нам признать, что иногда мы бываем иррациональны. Ваш мозг продолжает настаивать, что он действует совершенно здраво, даже когда цепляется за неверные, вредные и даже противоречивые убеждения.

Хорошая новость заключается в том, что вы не одиноки. Рационалисты есть повсюду. Среди рационалистов есть трансгендеры-математики и религиозные юристы, полиаморные коммунисты и асексуальные консерваторы. Рационалисты устраивают свои встречи на пяти континентах и в трёх городах вокруг Залива. [Подразумевается агломерация залива Сан-Франциско. — Прим.перев.] И что самое важное, Цепочки дают сообществу общий язык для разговоров о рациональности. Как аборигены не могут рассуждать о количестве, поскольку у них нет слов для обозначения чисел, изучать рациональность практически невозможно без словаря.

Если бы я не слышал о «пушистых ощущениях в груди» и утилонах, не знаю, как я смог бы объяснить, почему пожертвования на обеспечение базового дохода нельзя сравнивать с покупкой счастья за деньги. Более того, вероятно, я бы не понял этого и сам. С другой стороны, когда я почувствовал, что могу попасть в воронку счастливой «смертельной спирали» вокруг клёвой идеи, я потратил дополнительное время на изучение того, к каким отрицательным последствиям может привести безусловный доход. Я поймал себя на том, что после прочтения аргументов о том, что гарантированный базовый доход уменьшает занятость населения, я поддерживаю идею базового дохода сильнее, потому что все эти аргументы — дурацкие. Мне пришлось напомнить себе, что противоположность глупости не есть ум: плохой аргумент против базового дохода не делает базовый доход лучшей политикой. Я прочитал сложное рассуждение о том, как базовый доход в случае его введения уменьшит налоги в США, и отбросил и его. Оно выглядело как типичный пример написания нижней строчки до всего остального текста ради поддержки одной стороны, а множество обязательных шагов заставляют вспомнить об ошибке конъюнкции.

Я даже не помню, как вообще можно рассуждать о сложных вещах — вроде экономических стратегий — без тренировки рациональности. Вероятно, я о них много и не думал, просто соглашался с правильной «синей или зелёной» позицией. Если меня сейчас спросить, считаю ли я, что базовый доход улучшит качество жизни американцев по сравнению с нынешней системой пособий, я отвечу «на 75% уверен, что да, но это мнение может измениться в результате соответствующих исследований». Вы можете представить себе политика, который даёт подобный ответ? И всё же любой ответ по такой сложной теме, данный не в виде вероятности между нулём и единицей, выглядит для меня как полное безумие. Когда я листаю историю своего фейсбука, мне немного стыдно за 90% «политических» взглядов, которых я раньше придерживался. Не потому что все они были неверны, а потому что я их придерживался и провозглашал по дурацким причинам.

[На картинке синий человечек говорит: «Свободная торговля — это заговор Уолл-стрит. Зелёный отвечает: «Продуктовые талоны — это сталинизм». Под продуктовыми талонами (food stamps) подразумевается существующая в США программа помощи малоимущим. — Прим.перев.]

Надеюсь, приведенные мной примеры звучат хорошо с точки зрения здравого смысла. Почему же нам нужно тратить столько сил на обучения вещам вроде байесианских вероятностей, эвристиках принятия решений и прочему такому? Тут я дам слово Скотту:

Я думаю, что Байесианство — это реально полезная эпистемология, и единственная причина, по которой ее полезность не очевидна, заключается в том, что она настолько полезна, что легко забыть, что другие люди ее частенько не имеют.

…

Теория вероятности в целом и Байесианство в частности дают целостный философский фундамент для того, чтобы не быть идиотом.

Разумеется, людям довольно редко нужен целостный философский фундамент, чтобы что-то делать. Им не нужна грамматика, чтобы говорить, не нужна классическая физика, чтобы попасть по мячу, и не нужна теория вероятностей, чтобы принимать хорошие решения. Поэтому я нахожу фразы вроде: «Но теория вероятностей в повседневности не слишком полезна!» бессодержательными.

«В повседневности» значит «в зоне комфорта». Вам не нужна теория внутри зоны комфорта, потому что вы уже с легкостью справляетесь с находящимися внутри нее задачами. Но иногда вы понимаете, что внутри этой зоны не так-то уж и комфортно (мой классический пример — это ответ на звонок телефона: «Скотт? Да, это он»). А иногда вы хотите покинуть зону комфорта и освоить новый язык или создать свой.

Когда Дэвид говорит, что вывод о существовании/несуществовании Бога на основе свидетельств — это пограничный случай и поэтому его не стоит учитывать, я отвечаю, что именно такие вещи и стоит учитывать, ведь это пример рассуждений за границей зоны комфорта, где одной интуиции будет недостаточно. И оказывается, что когда большинство людей пробуют рассуждать о том, что находится за пределами их повседневности, они часто терпят неудачу. Если вы из тех людей, которым нравится думать о сложных философских проблемах за границами зоны комфорта, в которой можно положиться на инстинкт, — а политика, религия, философия и благотворительность попадают именно в эту категорию, — то очень полезно иметь эпистемологию, которая не отстой.

Я готов пойти даже дальше: люди совершают кучу глупых и затратных ошибок даже внутри предполагаемой зоны комфорта. Я вижу, как люди застревают на ненавистной работе, потому что их мозги слишком ленивы, чтобы выбраться из ложной дилеммы. На этой работе они делают проекты, попадая при этом под действие ошибки планирования и искажения невозвратных потерь, и это если они вообще способны преодолеть акразию и прокрастинацию, чтобы сделать хоть что-то. При этом они тратят деньги на то, что не делает их счастливыми. Они тратят время на дурацкие споры, не могут объяснить или понять идеи, повторяют пустые слова, как будто эти слова содержат в себе глубокую мудрость, находят утешение в невежестве.

Если вас всё это не напрягает, то, вероятно, вам действительно не стоит тратить время на эту книгу.

Пострациональность: Почти столь же хороша, как и рациональность

Итак, рациональность — это эпистемология и сообщество, посвящённое тому, как думать лучше и достигать своих стратегических целей. С другой стороны, это стремление к идеалу, а не состояние, которого можно достигнуть. Именно по этому основной сайт сообщества называется lesswrong.com (в настоящее время его собираются перезапустить, чтобы он лучше соответствовал развивающемуся сообществу[Упомянутый перезапуск сайта уже завершён. — Прим. перев.]), а не perfectwisdominfoureasysteps.com (даже если не учитывать, что лучше выбирать доменные имена покороче). [«Less wrong» переводится как «менее неправ», «perfect wisdom in four easy steps» — «идеальная мудрость за четыре простых шага». — Прим.перев.]

Понятно, что некоторые люди примут рациональность и будут её изучать. Понятно, что большинство людей скажут: «Да ну её, я и так крут» и останутся при своих воззрениях — это обычное поведение для людей. Однако, я не могу понять людей, которые являются частью большого сообщества рационалистов и которые при этом говорят: «Да хватит вам уже. Я уже разобрался со всей этой вашей рациональностью и теперь нашёл кое-то получше». Попробуем разобраться, что им не нравится в рациональности.

В записи под названием «Пострациональность, оглавление» Йерли Сидер пишет:

Рациональность часто даёт советы вроде «не обращайте внимания на вашу интуицию/чувства, а полагайтесь на осознанные размышления и явные вычисления». Пострациональность, напротив, говорит: «На самом деле интуиция и чувства важны, давайте разберёмся, как нам их использовать вместо того, чтобы с ними бороться».

Например, рационалистам очень нравятся модели мышления, вроде канемановской Система-1/Система-2. В этой модели Система-1 — в сущности, интуиция, а Система-2 — аналитическое мышление. Кроме того, Система-1 — быстрая, а Система-2 — медленная. Более подробно я опишу эту модель в следующей записи, но смысл в том, что рационалисты склонны считать Систему-1 необходимым злом. Она неточная и подвержена ошибкам, но она быстрая, и если вам нужно закончить свои размышления вовремя, вы просто вынуждены использовать эту быструю, но хреновую систему. Однако, для по настоящему важных решений вам следует использовать Систему-2. Более того, вам стоит попытаться выписать ваши вероятности в явном виде и всё посчитать — это лучшая стратегия для принятия решений.

Йерли Сидер не указывает, где именно рационалисты так утверждают, поэтому мы за ответом обратимся к основам рациональности — Цепочкам. К счастью, Цепочки развенчали приведённую выше критику за семь лет до того, как она была написана:

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Судя по записи Сары Перри, сайт RibbonFarm тоже считается «пострационалистским». Единственная критика рациональности в упомянутой записи, похоже, сводится к тому, что рациональность отвергает ценность ритуалов. Не знаю, насколько это важно, но и Цепочки описывают ритуалы, и у самого сообщества есть настоящие ритуалы.

Варг Франклин, судя по всему, доказывает, что рациональность практически невозможна и потому является пустой тратой времени. С его точки зрения лучше руководствоваться здравым смыслом и традицией:

Некоторые рационалисты представляют разум как что-то механистичное. С их точки зрения разум — это мешанина из склонных к ошибкам алгоритмов для отдельных областей деятельности, и эти алгоритмы каждый может перехитрить и взломать — избавиться от когнитивных искажений. Разум, конечно, действительно машина, состоящая из отдельных элементов, однако, это сложная машина, в которой мы плохо разбираемся, очень умная и созданная, чтобы работать как единое целое. В большинстве случаев вы не сможете перехитрить собственный разум. Таким образом, лучше рассматривать разум как единый чёрный ящик и работать с ним на его условиях. Разум — это опыт, интуитивно понятные свидетельства, хорошие идеи и текущие стремления. Разум уже хорошо настроен эволюцией и может лишь стать мудрее получив много точного знания и опыта. Он не станет рациональнее благодаря нескольким сильнодействующим когнитивным трюкам.

Здравый смысл и интуиция в качестве основы рассуждений незаменимы. Попытки перейти на явно сформулированные рассуждения, построенные на математике и когнитивной психологии — нереалистичная глупость. Благодаря теории мы можем научиться полезным метафорам, мы можем использовать математический аппарат, но теория не может быть универсальным основанием нашего познания. Практическое мышление, не основанное на здравом смысле, — фикция.

В этом рассуждении есть здравое зерно, но его явно недостаточно, чтобы осудить стремление к рациональности как бесполезное. Да, мы знаем, что рациональность очень сложна, но есть и руководство о том, как делать невозможное. Мы знаем, что эпохи эволюции прекрасно настроили наш мозг, но эволюция, во-первых, не приводит к максимальной эффективности, во-вторых, не заточена на достижение целей, которые волнуют нас, людей.

Дружеское напоминание о том, что эволюция породила и рыбу-каплю.

Наконец, рациональность стремится расширить здравый смысл, а не противоречить ему. Исключением являются лишь некоторые задачи, в которых здравый смысл и интуиция бессильны. В процессе написания «Цепочек» Элиезер занимался (и занимается до сих пор) разработкой математических основ для сверхразумного ИИ, ценности которого совпадали бы с человеческими. Это очень сложная задача, поскольку человеческие ценности составляют ничтожно малую область во вселенной возможных целей ИИ. У нашего вида есть лишь одна попытка для решения этой задачи, и без большого количества рациональности у нас очень мало шансов.

Возможно, Элиезер не уверен, что рациональность способны освоить люди, которые не посвятили свою жизнь спасению мира, но мне это не кажется нереалистичным. Я считаю, что и при выборе лучшего мыла рациональность лучше, чем глупость. Тем не менее, я в этом году скорее всего пожертвую больше денег MIRI, чем потрачу на покупку мыла. Познакомившись с рациональностью, люди часто загораются идеей спасти мир.

Злословие против Байеса

Наш обзор «пострациональности» начался с Дэвида Чапмена, им же я и закончу.

[1] В популярном байесианстве, теорема, судя по всему, не имеет отношения к арифметике — это священный символ Рациональности. Ситуации, когда можно реально использовать формулу, крайне редки. Вместо этого теорема становится чем-то вроде священной метафоры или религиозного талисмана. Вы поклоняетесь ей, чтобы продемонстрировать то, как вы уважаете Рациональность, а также свою принадлежность к байесианской религии.

[2] Возможно, байесианство сродни иглоукалыванию. Оно почти бессмысленно с практической точки зрения, а его изощрённые теоретические основы — это чушь. Однако, обычно оно безвредно и повышает человеческую самооценку, то есть, плюсы перевешивают минусы.

[3] Тоже самое наблюдается и в байесианстве. Лидеры начиняют свои тексты аллюзиями на таинственную метафизику и математику, которые почти никак не связаны с тем, как они рассуждают на самом деле.

[4] Широко известно, что байесианство похоже на квазирелигиозную секту. Это не только моё личное мнение.

Здесь Чапмен замечает следующую цитату Элиезера:

[Элиезер]: Давайте выйдем за пределы наших системы: Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес… Священные звуки бессмысленны, за исключением случаев, когда они советуют кому-то использовать математику.

И, судя по всему, не понимает прочитанное:

[Чапмен]: Правильно. Так почему же он не выходит за пределы системы? Он сам здесь называет это «священными звуками». Получается, он понимает квазирелигиозную природу своих действий. Тогда зачем это всё?

Кто эти заблудшие байесианские фанатики? Общались ли люди, которые обвиняют рационалистов в квазирелигиозности, хотя бы с одним человеком, прочитавшим Цепочки? Неужели Чапмен всерьёз считает, что когда Элиезер говорит «не будьте сектой, а займитесь математикой», он подразумевает «будьте сектой»? Ответов на эти вопросы мы никогда не узнаем, поскольку, когда Скотт ответил на соломенную версию байесианства в изложении Чапмена, тот внезапно изменил позицию и написал:

Дело в том, что я вижу в LessWrong’е очень много правильного, и я очень сильно восхищаюсь его целями. Поэтому я так огорчён его ограничениями и (возможно, кажущимися) ошибками. Боюсь, мой безрассудный способ выразить огорчение мог кого-нибудь обидеть. Также он мог кого-то сбить с толку, поскольку я не предложил никакой конструктивной критики (и даже не определился, стоит ли этим заняться). Прошу прощения за всё это.

Конечно, приятно, что Чапмен извинился, но было бы ещё приятней, если бы он удалил соответствующие высказывания из своего блога. Самые лучшие рационалисты — это люди вроде Скотта, Кая Соталы и Ванивера. Они ответили на высказывания Чапмена вдумчивыми вежливыми дискуссиями о математике и эпистемологии. Единственная ошибка, которую я могу усмотреть с их стороны, заключается в том, что им стоило бы сказать: «Послушай, Дэвид, давай ты перестанешь называть байесианцев религиозной сектой, а затем мы вежливо поговорим о математике и эпистемологии?»

[Томас Байес на картинке говорит: «Я сам пресвитерианский священник. Как забавно!» — Прим.перев.]

И не важно, сколько Дэвид Чапмен теперь будет говорить, что он, конечно, совершенно не хотел назвать Скотта, Кая и Ванивера сектантами. Вред уже нанесён. Слово «секта»(«cult») выпадает первым предложением, когда вы ищете в гугле «LessWrong». Люди смеются над LessWrong’ом за увлечённость загадочными нердовскими вопросами вроде безопасного ИИ и крионики. Теперь сверхпопулярный блоггер пишет тысячи слов о рационалистском просвещении, безопасном ИИ и крионике, брезгливо избегая любого упоминания LessWrong’а. Журналисты, не прочитавшие и страницы Цепочек, высмеивают сообщество. Я и сам наткнулся на сайт благодаря одной из таких статей!

Посты, подобные приведённым выше, очерняют всё сообщество, и Дэвид должен был это понять, с учётом того, что он знаком со Скоттом и другими. Мем «байесианство — это секта» привёл к тому, что многие члены сообщества покинули сайт — кто-то ради своих собственных уголков «диаспоры рационалистов», а кто-то и вовсе перестал поддерживать связь с сообществом. Это лишило всех общей базы интуиции и языка, которые у нас есть благодаря Цепочкам и которые позволяют нам делиться идеями и учиться друг у друга.

Что ещё хуже, это злословие оттолкнуло от LessWrong’а новых людей и случайных читателей и помешало им обнаружить ресурс, который мог бы изменить их жизнь. Именно поэтому я тут потратил 1500 слов на обсуждение «пострационалистов». Я не хочу, чтобы любопытный читатель начал гуглить «LessWrong» и получил ужасно искажённое впечатление.

Рациональность помогла мне встретить прекрасную девушку (подробнее об этом я расскажу позже). Благодаря рациональности у меня появились интуиция, умение анализировать и уверенность, позволяющая не доверять на слово даже учёным. Рациональность позволяет мне сохранять хладнокровие и рассуждать о кривых распределения в разгар «войны культур». Рациональность даёт мне мудрость менять то, что я могу изменить, и принимать то, что я изменить не могу. Рациональность вдохновила меня на написание единственной в моей жизни поэмы.

И вы теперь тоже можете писать плохие поэмы. Добро пожаловать в общество рационалистов. Да будете вы завтра менее неправы, чем сегодня.