«Рациональность: от ИИ до зомби» – это электронная книга, собранная из примерно двухлетней работы Элиезера Юдковского, основателя исследовательского центра , в котором я работаю. Это очень хороший вводный текст для начинающих рационалистов, – за несколькими исключениями. Во-первых, он достаточно большой, примерно 1800 страниц. (Он разбит на 6 частей; считайте их 6 книгами – начинайте с первой и смотрите, понравится ли вам). Во-вторых, как Элиезер говорит в предисловии, содержимое, использованное для написания книги, немного устарело и далеко от совершенства. В-третьих, прежде, чем я порекомендую эту книгу, знайте, что вам потребуются некоторый бекграунд, который, как предполагает Элиезер, у вас уже есть.

В нескольких следующих постах я попытаюсь сделать некоторые из этих предположений о бэкграунде более явными в формате коротких ремарок (и сказать еще кое-что, что я бы хотел услышать от кого-нибудь много лет назад). После этого я вернусь к написанию цепочки постов об избавлении от вины и стыда в качестве мотивации, как и планировал.

Небольшая заметка о «рациональности».

Существует популярное мнение, что мышление может быть разделено на «горячее, эмоциональное мышление» и «холодное, рациональное мышление» (а Кирк и Спок являются соответствующими стереотипами). Стереотипы говорят, что горячие решения часто глупые (и невнимательные к последствиям), в то время, как холодные решения часто умные (но сделаны одиноким занудой, который носит лабораторный халат и разрабатывает странные технологии). Конечно же (как утверждает стереотип) есть Глубокие Человеческие Истины, доступные горячим мыслителям, а холодным мыслителям они неизвестны.

Когда люди встречают кого-то, кто говорит, что изучает искусство человеческой рациональности, они часто сразу делают вывод, что этот «рационалист» полностью отвергает горячее мышление и пытается отключить себя от эмоций раз и навсегда, чтобы избежать поспешных ошибок «горячего мышления». Многие думают, что такие воодушевлённые рационалисты проводят своего рода тёмный ритуал, в котором они жертвуют эмоциями раз и навсегда, не замечая при этом, что те самые эмоции, которыми они жертвуют, это и есть то, что делает их людьми. «Любовь горяча, поспешна и иррациональна», говорят они, «но вы, конечно же, не хотите ею жертвовать». Вполне понятно, что многие люди находят перспективу «стать рациональнее» весьма некомфортной.

Теперь внимание: эта жертва эмоциями имеет мало общего со значением слова «рациональность», как оно используется в книге «Рациональность: от ИИ до зомби».

Когда «Рациональность: от ИИ до зомби» говорит о «рациональности», она не говорит о «холодной» части фразы «холодное и горячее мышление», она говорит о мышлении.

Так или иначе, мы, люди, – мыслящие существа. Иногда, в спешке, мы принимаем быстрые решения, и следуем за своими мгновенными интуициями. Иногда, когда ставки очень высоки, и у нас есть достаточно времени, мы используем механизмы логики, в тех местах, где мы доверяем им больше, чем своим импульсам. Но в обоих случаях мы мыслим. Является ли наше мышление холодным или горячим, или каким-то ещё, в любом случае, есть более хорошие и более плохие способы мышления.

(И, поверьте мне, мозги нашли гораздо больше плохих способов. Чего еще ожидать, если вы запускаете программы, буквально-таки въе*авшие себя в действительность на компьютерах, сделанных из мяса?)

Рациональность «Рациональности: от ИИ до зомби» не о том, как использовать холодную логику, чтобы выбрать, о чем заботиться. «Мыслить лучше» как процесс имеет мало общего с объектом, о которым вы мыслите. Если ваша цель – наслаждаться жизнью на полную катушку и любить без ограничений, тогда более хорошее мышление (горячее или холодное, спешное или расслабленное) поможет вам в этом. Но верно также, что если ваша цель – уничтожить как можно большее число щенков, то этот-вид-рациональности может вам помочь и в этом.

(К сожалению, это употребление слова «рациональность» не соответствует разговорному употреблению. Я хотел бы, чтобы у нас было слово получше для науки о том как улучшить чье-либо мышление во всех его формах, которое при этом не вызывало бы в сознании образы людей, жертвующих свои эмоции на алтарь холодной логики. Но, увы, этот поезд ушел.)

Если вы раздумываете а не пройти ли вам путь в сторону рациональности-как-лучшего-мышления, тогда, пожалуйста, не жертвуйте вашей душевной теплотой. Ваши глубочайшие страсти не тяжелая ноша, но компас путеводный. Рациональность этого типа не о том как изменить направление вашего движения, а об изменении вашей скорости и соответственно длины пройденного пути.

Люди часто навешивают на свои глубинные страсти ярлык «иррациональное». Они говорят что-то типа: «Я знаю, это иррационально, но я люблю своего партнера и, если бы я его потерял, то я свернул(а) бы горы, лишь бы вернуть его/ее обратно». Но что я отвечаю: когда я указываю на «рациональность», я указываю не на то, что заберет ваши желания, а скорее на то, что поможет вам реализовать их.

Это и есть тот тип рациональности, который я предлагаю вам изучать, когда я рекомендую прочесть книгу «Рациональность: от ИИ до зомби».

Это вторая из пяти коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Заметка о том, что за артефакт наш мозг:

Мозг — это специальное устройство, которое, когда сталкивается со своим окружением определённым способом, изменяется так, что его внутреннее начинает отражать его внешнее. Мозг — это точная, сложная машина, которая постоянно сталкивается с окружающими вещами таким образом, что её внутренние части начинают коррелировать с окружающим миром.

Представьте фотоны, отскакивающие от кресла, стоящего в комнате, где я это пишу. Грубо обобщая, эти фотоны попадают при ударе в специализированные протеины в мембранах клеток фоторецепторов моих глаз, меняя их форму и запуская цепную реакцию, которая активирует энзимы, которые разбивают определенные нуклеотиды, таким образом меняя электрохимический градиент между внешней средой (межклеточной жидкостью) и внутренней средой клетки, предотвращая выброс определенных нейротрансмиттеров через мембрану. Эта нехватка нейротрансмиттеров провоцирует ближайшие клетки пройти аналогичные процессы ионизации, и эти клетки передают сигнал от некоторого количества ближайших клеток фоторецепторов в первый слой моих клеток сетчатки (снова, благодаря механизму изменения протеинами формы и изменения этим электрохимического градиента). И это только начало дли-и-инной машины Руба Голдберга: сигнал далее спускается по сетчатке (взаимодействуя на каждом уровне с сигналами более высоких уровней) до тех пор, пока не достигнет оптического нерва, где будет передан в зрительную кору, в которой особый паттерн ионизации нервных клеток приводит особую группу нейронов к срабатыванию, запуская каскад нейронов-возбуждающих-другие-нейроны, словно в эффекте домино, который завершается появлением внутри моего мозга крошечного обобщенного образа кресла.

Мозг является сложным механизмом, присоединенным к сенсорам света, который при погружении в разливанное море фотонов проводит длинную цепную реакцию, которая, в свою очередь, приводит внутренние отделы мозга к корреляции с вещами, от которых отражаются фотоны.

Мозг — это машина, которая выстраивает взаимную информационную связь между своими внутренними состояниями и вещами вовне.

Конечно, мозг не только машина, выстраивающая такую взаимную связь. Мозг также делает много других дел. Части машины Руба Голдберга предсказывают будущее. Другие части строят планы, и каким-то образом устройство эмулирует сознание, что является достаточно, блин, впечатляющим.

Кроме того, мозг точно не был создан как машина взаимной информационной связи. Не существует четко ограниченной части устройства вроде «информационной машины», которая может быть отделена от предсказателя, планировщика и ощущающего.

И, конечно, мозг не идеальная информационная машина. И близко нет.

Но, несмотря на то, что мозги не единственные информационные машины и, несмотря на то, что они не были сознательно созданы как информационные машины и, несмотря на то, что они не лучшие информационные машины, они точно являются информационными машинами: один из процессов, которым занят ваш мозг, причем прямо сейчас, это постоянные соударения себя о внешнюю среду так, как нужно, чтобы уточнить свою внутреннюю модель реальности.

Многие люди уже знают, что то, что они воспринимают, не есть реальность сама по себе, а скорее образ внешнего мира, созданный внутри их головы. И, тем не менее, это знание часто приводит людей к тому, что они представляют гомункулуса, сидящего внутри комнаты в форме мозга, просматривающего видео с центрального экрана.

Более полезно, скорее, представить слепую машину Руба Годберга, так умно собранную, что когда она соприкасается с остальной реальностью, искусно размещенные колесики и шестеренки выстраиваются и соединяются столь ровно и правильно, что маленькая обобщенная карта мира возникает внутри машины.

Я часто нахожу, что для многих людей этот образ что-то высвобождает. Он напоминает людям о том, что мозг это устройство, конкретная вещь, которой нужно соприкасаться с окружением, чтобы делать о нем выводы. Этот образ напоминает людям, что каждое устройство слепо, что единственная возможность заполучить модель реальности внутрь — это ударяться о внешнее в таком объеме, который нужен внутреннему для корреляции с внешним.

С этой точки зрения будет гораздо легче заметить необходимость искусства человеческой рациональности — ведь мы устройства, и мы слепы.

Это третья из пяти (или около того) коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Ваш мозг - это машина, которая устанавливает взаимное соответствие между тем, что у неё внутри, и тем, что снаружи. Это не только информационная машина. Это не умышленно сделанная информационная машина. Но он воспринимает фотоны и колебания воздуха и создаёт внутреннюю карту, которая коррелирует с внешним миром.

Тем не менее, в этой информационной машине происходит нечто очень странное.

Представьте себе: часть вашего мозга строит карту мира вокруг вас. Это делается автоматически, без существенной передачи информации на ту вашу часть, которая определяет, как должна выглядеть внутренняя модель. Когда вы смотрите на небо, вы не получаете запрос, который говорит:

Данные с сетчатки показывают, что небо голубое. Обозначить небо как голубое в модели мира? [Да/нет]

Нет. Небо просто кажется голубым. Это такая информация, которая выбирается из окружающей среды и сразу встраивается в карту.

Вы можете сделать выбор утверждать, что небо зелёное, но вы не можете сделать выбор видеть зелёное небо.

Большинство людей не идентифицируют ту часть своего разума, которая строит карту. Эта часть теряется на заднем плане. Легко забыть, что она существует, и делать вид, что вещи, которые мы видим, - это и есть сами вещи. Если вы не обдумывали тщательно, как работает мозг, вы можете думать, что мозг осуществляет человека в 2 отдельных шага: (1) построить карту мира; (2) запустить планировщик, который использует эту карту, чтобы понять, как действовать.

Это, конечно, не всё, что происходит.

Поскольку, хотя вы не можете выбрать видеть небо зелёным, вы можете выбрать, как будут выглядеть некоторые части модели мира. Когда ваш коллега говорит «отличная работа, приятель», вы можете решить, как это воспринимать - как комплимент или как оскорбление.

Да, типа того. Это зависит от тона и от человека. Некоторые люди автоматически примут это за комплимент, другие автоматически примут это за оскорбление. Другие будут сознательно обдумывать это много часов и беспокоиться. Но почти все ощущают более сознательный контроль над восприятием чего-то в качестве комплимента или оскорбления, чем над восприятием неба зеленым или голубым.

Это устройство мозга выглядит чрезвычайно странным, когда вы об этом задумываетесь. Почему исполнительный процесс, отвечающий за выбор того, что делать, также может менять модель мира? Более того, ПОЧЕМУ ИСПОЛНИТЕЛЬНЫЙ ПРОЦЕСС, ОТВЕЧАЮЩИЙ ЗА ВЫБОР ТОГО, ЧТО ДЕЛАТЬ, ТАКЖЕ МОЖЕТ МЕНЯТЬ МОДЕЛЬ МИРА? Это просто очевидно ведёт к ужасному когнитивному диссонансу, самообману и ошибкам! ААААААА!

Конечно, для этого есть «причины». Можно взглянуть на историю эволюции человеческого мозга, чтобы получить некоторые подсказки о том, почему все устроено так, а не иначе. У мозга есть довольно прямая связь с цветом неба, а вот с намерениями других людей связь у мозга весьма косвенная. И тогда имеет смысл, что первое устанавливается автоматически, а второе требует обработки. И вроде как имеет смысл, что исполнительный процесс управления может требовать дорогих вычислений, а не дешевых (особенно если функциональность исполнительного контроля сначала стала заметна как что-то вроде осведомленного-о-ценностях вычислительного инструмента).

Но с точки зрения разработчика сознания это безумие. Штука-создающая-модель-мира не подключена к реальности напрямую! Периодически мы можем выбирать как будет выглядеть тот или другой кусок модели мира! Мы, родственники обезьян, способные к самообману и имеющие склонность поддаваться манипуляции, можем говорить о том, как информационный двигатель строит нечто, что по идее должно соответствовать реальности!

Я борюсь со словом «мы» в этом контексте, потому что у меня нет слов, чтобы показать различие между «я» в широком смысле, которое строит такую карту мира, в которой небо синее; и «я» в узком смысле, которое не может выбрать видеть зеленое небо. Я отчаянно хочу втиснуть слово «я» во многие слова, но в этом обсуждении и так слишком много жаргона, и мне приходится выбирать мои битвы.

Видите ли, мы знаем кое-что о том, как машины могут производить взаимную информацию, и одна из этих вещей состоит вот в чем: чтобы построить что-то, что видит небо в подходящем цвете, штука, дающая на выходе цвет неба, не должна быть подсоединена к своевольной обезьянке, выбирающей ответ из вариантов под давлением товарищей. Эта штука должна быть подсоединена напрямую к сенсорам неба.

И вообще-то иногда мозг это делает. Иногда он, блин, вставляет синее небо в модель мира. Но в других случаях, по тем или иным причинам, он отправляет запросы на сознательную обработку.

Вопросы вроде «синее ли небо?» и «хотел ли коллега меня оскорбить?» - одного типа, и все же на первый вопрос мозг дает отклик, а на второй - нет. Он автоматически строит большие куски карты, но придумывать важные детали оставляет нам.

Что беспокоит, так как большинство из нас не являются прирождёнными мастерами теории информации. Это как раз тот случай, где на помощь приходит тренировка рациональности.

Иногда мы получаем сознательный контроль над моделью мира, поскольку попадаются сложные вопросы. Контроль исполнения не требуется при принятии решения о цвете неба, но он часто необходим для выделения сложных вещей (таких, как мотивация других обезьян) из разрозненных наблюдений. Изучение человеческой рациональности может улучшить вашу способность генерировать более точные ответы, когда вы-контролирующий-исполнение должны заполнить модель мира особенностями, которые подсознательный-вы не может выделить автоматически: аккуратное построение карты в уме - это навык, который, как и любой другой навык, можно тренировать и оттачивать.

Что почти заставляет все выглядеть так, как будто для нас нормально - иметь сознательный контроль над моделью мира; почти кажется, что в порядке вещей, если человек контролирует, какой цвет неба он видит: в конце концов, он всегда может выбрать оставить своё восприятие неба связанным с настоящим небом.

Однако и вы, и я знаем, чем это заканчивается. Можете ли вы вообразить, что произойдёт, если люди на самом деле будут выбирать, как им воспринимать цвет неба, тем же способом, как они выбирают, во что верить насчёт верности своих возлюбленных, насчёт чести своего племени, насчёт существования своих богов?

Примерно шесть секунд спустя люди начнут спорить друг с другом насчёт цвета этого чёртова неба (потому что кто сказал, что можно считать эти неточные сенсоры неба абсолютным авторитетом?) Они немедленно разделятся на племена и начнут убивать друг друга. Затем, когда все немного успокоится, все начнут заявлять, что поскольку люди могут выбирать такой цвет неба, какой им нравится, и раз у людей разные любимые цвета, истинного цвета неба не существует. Цвет в любом случае субъективен; он существует только в наших головах. Если вы попытаетесь посоветовать просто связать цвет неба с сенсорами неба, то вы закончите где-то между мертвым и осмеянным, в зависимости от того, в какую эпоху вы живёте.

Разумный ответ, после осознания того, что внутренний цвет неба определяется не сенсорами неба, а родовой предрасположенностью обезьяньего разума к политиканству и групповому мышлению, - это закричать в ужасе и затем напрямую привязать генератор модели мира к реальности как можно скорее. Если ваш разум выдаёт вам небольшое всплывающее сообщение:

По политическим причинам, сейчас можно отсоединить ваше восприятие неба от вашей сетчатки, и позволить давлению союзников определять, какие цвета видеть. Продолжить? [Да/нет]

тогда разумный ответ, если вы - человеческий ум, это несколько паническое «мм, спасибо, нО нет, поЖАЛуЙСТА, ОСТАВЬ ГЕНЕРАТОР МОДЕЛИ МИРА ПРИВЯЗАННЫМ К РЕАЛЬНОСТИ, ПОЖАЛУЙСТА.»

Но, к сожалению, эти события не ощущаются как всплывающие сообщения. Они даже не ощущаются как возможность выбора. Они обычно автоматические, и поэтому почти не происходят на сознательном уровне. Ваша модель мира теряет связь с реальностью каждый раз, когда вы автоматически находите причины игнорировать свидетельство, которое конфликтует с миром, который вы бы хотели видеть (поскольку это доказательство пришло от кого-то, кто очевидно неправ!); каждый раз, когда вы находите оправдания для игнорирования наблюдений (это исследование было плохо организовано!); каждый раз, когда вы находите причины прекратить искать дополнительную информацию, сразу как только вы находите ответ, который вам нравится (потому что какой смысл терять время на дальнейшие поиски?)

Каким-то образом, племенные социальные обезьяны обнаружили, что они управляют своими моделями мира. Но они не чувствуют, что они управляют своими моделями мира, они чувствуют, что они правы.

Вы сами являетесь отрезком пути между реальностью и своей картой реальности, частью хрупкой связи между тем, что существует и тем, во что вы верите. И если вы позволите себе потерять бдительность, даже на миг, то можете невероятно легко дрогнуть и разрушить это эфемерное соответствие.

Это четвёртая из пяти (или около того) коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Люди склонны объединять разум с мозгом.

Люди часто думают, что мозг - это то-что-создаёт-личность; то-что-думает. Но фактически мозг одновременно создаёт личность и строит модель мира. Мозг - это не просто думающий-орган, это ещё и строящий-то-что-кажется-реальностью орган.

Популярная культура не помогает разрешить это недоразумение. Популярная культура рисует мозг как вещь, которая делает умным или которая дает советы; популярная культура рисует мозг как место, где происходят мысли . Мозг обычно воспринимается как орган в реальности, который производит мышление, как целостная антропоморфная сущность.

Все эти картины игнорируют факт, что мозг также строит модель реальности.

Помните, чем на самом деле является мозг. Это, помимо прочего, машина Руба Голдберга, которая ударяется об реальность и реагирует, так что ее внутреннее отражает ее внешнее. Одна из первейших вещей, которую делает ваш мозг - это построение модели мира.

Но слишком часто люди объединяют мозг и сознание.

Далее - нужно осторожно отделять мозг от сознания. И это не как будто ваш мозг содержит и модель мира и окно в мир для крошечного гомункулуса: это привело бы к бесконечной регрессии.

(Про бесконечного гомункулуса русскоязычному читателю можно частично прочитать тут: Картезианский театр)

Еще раз, я хочу подчеркнуть, часть, с которой люди себя идентифицируют, мыслящая часть, чувствующая часть, это всего лишь одна из многих частей, которые воплощены в мозге. Сознание - не окно в мир для крошечного гомункулуса, который смотрит на картинки, нарисованные на изнанке черепа, но сознание при этом и также и не мозг!

Многим людям интуитивно кажется, что сознание есть нечто большее, чем мозг. Социологи отметят, что на то, каким будет сознание, очень сильно влияет не только мозг, но и культурная среда, в которую это сознание погружено. Более того, многие испытывали опыт того, как сознание ощущается как что-то, что двигается вокруг тела, или даже как что-то, что простирается за пределы тела. У вас когда-нибудь было, чтобы вы взяли молоток чтобы забить несколько гвоздей, и вдруг осознали себя на головке молотка? У вас когда-нибудь бывало, чтобы вы вели машину, и машина вдруг начала казаться продолжением вашего тела?

Такие наблюдения могут приводить в замешательство, если вы забываете, чем в действительности является мозг.

Мозг не есть сознание. Мозг это штука, которая навязчиво бьется об реальность, чтобы построить ее модель. Сознание воплощено в мозге, но оно - не единственная вещь, которую мозг делает.

Ваше сознание испытывает влияние культуры, в которой оно находится, но это происходит только при посредничестве вашего мозга. Не существует какого-то сознания, которое летает вокруг вашего тела и пьет из омута культуры; скорее ваш мозг шлепается ушами о звуковые волны и собирает по кусочкам подробную модель того, что разные люди вам говорят. И эти модели-людей влияют на обстановку, в которой воплощено сознание - обстановку, изменений от которой вы-сознание не можете избежать. Люди обычно идентифицируют себя как сознательные штуки, находящиеся под влиянием культуры, но мозг одновременно воплощает сознание и моделирует культуру, которая его определяет! Культура определяет сознание, но только постольку, поскольку мозг моделирует культуру!

Точно так же, нет никакого «сознания», которое слетает с вашей руки в молоток. Напротив, ваши глаза (направляемые мозгом) сталкиваются со светом и мозг строит внутреннюю модель молотка. Вы-сознание можете ощущать себя там, между ушей, или на наконечнике молотка, но точка ощущения себя в любом случае находится внутри модели мира, которая обычно ощущается как неизменная, но которая все же представлена с помощью мозга.

Легко позабыть, что мы - всего лишь часть неповоротливого слепого двигателя, который силится смоделировать окружающий мир, и вместо этого верить, что мозг - это я, взаимодействующий с Истинной Реальностью.

Однажды давным-давно три человека, изучающие человеческую рациональность, шли вместе долгой дорогой. Первый был новичок, только приступивший к изучению искусства. Второй практиковался уже некоторое время. Третий был их учитель.

И вот во время этого путешествия им встретилась женщина, сидящая рядом с большой лотерейной корзиной, приделанной к огромной штуковине. Она поприветствовала путешественников и, когда они выразили интерес, объяснила, что она несла эту штуковину в город (где она надеялась заработать с ее помощью денег), после чего предложила им посмотреть поближе.

Она показала им, что у неё было сто шариков, идентичных за исключением цвета: один был белый и 99 были красными. Она положила их в урну и затем показала им, как работает механизм: он состоял из встряхивателя (который сильно тряс корзину, достаточно для того, чтобы никто не смог определить, где какой шарик) и механической руки, которая вытаскивала шарик из корзины.

«Я дам каждому из вас 10 долларов, если выпадет белый шарик», сказала она сквозь рёв встряхивателя. «Обычно игра стоит 1 доллар, но я вам сделаю демонстрацию бесплатно».

Когда тряска замедлилась, новичок сказал: «Я хочу, чтобы рука вытащила белый шарик, поэтому я верю, что она вытащит белый шарик. У меня есть вера, что выпадет белый шарик, и есть шанс, что я прав, поэтому вы не можете сказать, что я ошибаюсь!»

Когда тряска остановилась, ученик ответил: «Я изучаю рациональность и я знаю, что добродетель состоит в том, чтобы не отклоняться от данных. В этой урне больше красных шариков, чем белых, значит, данные говорят, что красный шарик выпадет с большей вероятностью, чем белый. Поэтому я верю, что выпадет красный шарик».

Когда рука начала раскрываться, учитель улыбнулся и сказал только: «Я отвожу вероятность 1% утверждению „выпадет белый шарик“ и вероятность 99% утверждению „выпадет красный шарик“ ».

Чтобы изучать искусство человеческой рациональности, необходимо заключить с собой важную сделку. Нужно дать обет прекратить пытаться желать, чтобы реальность соответствовала чему-либо; нужно дать обет слушать, что говорит реальность о том, какая она есть. Нужно считать «веру» попыткой отсоединить свои убеждения от голоса данных; нужно дать обет защищать эфемерное соответствие между реальным миром и своей картой этого мира.

Ученику легко, заключая с собой эту сделку, перепутать её с другой. Многие рационалисты считают, что они дают обет всегда слушать доказательства и позволять доказательствам выбирать, во что им верить. Они считают, что добродетель состоит в том, чтобы взвешивать доказательства и затем верить в наиболее вероятную гипотезу, и неважно, что в это может быть.

Но нет: это мышление-красного-шарика.

Путь к рациональности - это не путь, где доказательство выбирает убеждения. Путь к рациональности - это путь без убеждений.

На пути к рациональности есть только вероятности.

Наш язык представляет убеждения, как «качественные», мы говорим о них, как если бы они были бинарными. Ты либо знаешь что-то, либо нет. Ты либо веришь мне, либо нет. Ты либо прав, либо не прав.

Традиционная наука, как ей учат в школе, распространяет эту ошибку. Задача статистиков (как они говорят) - установить 2 гипотезы (нулевую и альтернативную), потом их обязанность (по их мнению) поверить той гипотезе, которую подтвердят данные. Ученый должен делать свои убеждения фальсифицируемыми (как они говорят), и если есть достаточное количество данных против убеждения, ученый должен поменять свою точку зрения (с одного бинарного убеждения на другое). До тех пор, пока ученый держит свои убеждения проверяемыми и фальсифицируемыми, он выполняет свой долг и имеет право верить в что-то. Так или иначе у всех сохраняется их собственное мнение, по крайней мере так учит традиционная наука.

Но это не путь рационалиста.

Мозг - машина для обработки информации, и человечество уже узнало пару вещей о том, как делать точные машины для обработки информации. Одна из этих вещей: чтобы построить точную модель мира, нужно убрать «качественную характеристику» веры, а использовать вместо этого «количественную характеристику» доверия.

Идеальный рационалист не скажет: «Я хочу, чтобы следующий шарик был белым, поэтому я верю, что он будет белым». Идеальный рационалист также не скажет: «большинство шариков красные, поэтому я верю, следующий будет красным». Идеальный рационалист отставит веру и определит значение вероятности.

Чтобы построить точную модель мира, вы должны не отклоняться от свидетельств. Вы должны использовать данные, чтобы выяснить вероятность каждой из гипотез. Но после этого нельзя просто выбрать наиболее вероятную гипотезу. Нет.

Вероятности не говорят вам, во что верить. Вероятности заменяют веру. Они являются верой. Вы говорите вероятности и останавливаетесь, потому что всё сказано.

Многие, кому я рассказываю эту притчу, думают, что это очевидно. Почти все, кому я это рассказываю, просто кивают, но большинство не может глубоко понять и усвоить этот урок.

Они слышат притчу и продолжают думать в терминах «знаю» или «не знаю» (вместо того, чтобы думать в терминах степени уверенности). Они кивают в ответ на эту притчу, но продолжают думать в рамках «быть правым» или «ошибаться» (вместо того, чтобы думать, насколько они хорошо откалиброваны). Они знают притчу, но в следующем разговоре они по-прежнему настаивают: «ты не можешь доказать это!» или «хорошо, это не доказывает, что я не прав», как будто высказывания о реальности вообще могут быть «доказаны», как будто полная определенность вообще возможна.

Никакое утверждение о мире не может быть доказано. Нет никакой определенности. Всё, что у нас есть - вероятности.

Большинство людей, когда они сталкиваются с событиями, противоречащими тому, во что они верят, решают, что эти события не являются достаточно сильными данными, чтобы поменять одно бинарное убеждение на другое, поэтому они не могут поменять мнение вообще. Многие не могут осознать, что все свидетельства против гипотезы снижают ее вероятность, даже если ненамного, потому что многие люди продолжают думать качественно, а не количественно.

На самом деле многие продолжают думать, что они должны выбрать, какой вывод сделать из свидетельства, которое они видели. И это так, но только для тех, кто не против допускать неточности, которых можно было бы избежать.

Многих это удивит, но человечество открыло много законов рассуждения.

Данная вам исходная структура знания, плюс наблюдения, которые вы совершаете - вот единственная максимально точная, обновленная структура знания.

Невозможно достичь этого состояния - совершенного опытного знания. Построить идеальную информационно-вычислительную машину так же невозможно, как построить идеальный тепловой двигатель. Но идеал известен. Уже известное вам плюс то, что вы видите - единственная максимально точная структура знания.

Вопреки распространенному мнению, вы не обязаны быть привязаными к своей точке зрения, не обязаны выбирать, во что верить. Не если вы хотите быть точными. Говорить, что знаешь и что видел - наилучшая структура опытного знания. Вычислить эту структуру практически невозможно, но процесс хорошо понятен. Мы не можем использовать информацию идеально, но мы знаем, в каком направлении двигаться, чтобы знать лучше.

Если вы хотите пройти этот путь, если вы хотите взрастить эфемерное соответствие между вашим сознанием и реальным миром, если вы хотите научиться составлять точную карту этой прекрасной, запутанной, вдохновляющей территории, на которой мы живём, тогда запомните:

Путь количественнен.

Чтобы пройти этот путь, вам нужно оставить позади веру и позволить вероятностям направлять вас. Они - это всё, что у вас есть.

Если это путь, который вы хотите пройти, то теперь я официально рекомендую начать с книги «Рациональность: от ИИ до зомби» Книга 1 «Карта и Территория».