Вы здесь

Эфемерное соответствие

Nate Soares

Это третья из пяти (или около того) коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Ваш мозг - это машина, которая строит взаимную информационную связь между ее внутренним ее внешним. Это не только информационная машина. Это не умышленно сделанная информационная машина. Но он воспринимает фотоны и колебания воздуха и создаёт внутреннюю карту, которая коррелирует с внешним миром.

Тем не менее, в этой информационной машине происходит нечто очень странное.

Представьте себе: часть вашего мозга строит карту мира вокруг вас. Это делается автоматически, без существенной передачи информации на ту вашу часть, которая определяет, как должна выглядеть внутренняя модель. Когда вы смотрите на небо, вы не получаете запрос, который говорит:

Данные с сетчатки показывают, что небо голубое. Обозначить небо как голубое в модели мира? [Да/нет]

Нет. Небо просто кажется голубым. Это такая информация, которая выбирается из окружающей среды и сразу встраивается в карту.

Вы можете сделать выбор утверждать, что небо зелёное, но вы не можете сделать выбор видеть зелёное небо.

Большинство людей не идентифицируют ту часть своего разума, которая строит карту. Эта часть теряется на заднем плане. Легко забыть, что она существует, и делать вид, что вещи, которые мы видим, - это и есть сами вещи. Если вы не обдумывали тщательно, как работает мозг, вы можете думать, что мозг осуществляет человека в 2 отдельных шага: (1) построить карту мира; (2) запустить планировщик, который использует эту карту, чтобы понять, как действовать.

Это, конечно, не всё, что происходит.

Поскольку, хотя вы не можете выбрать видеть небо зелёным, вы можете выбрать, как будут выглядеть некоторые части модели мира. Когда ваш коллега говорит «отличная работа, приятель», вы можете решить, как это воспринимать - как комплимент или как оскорбление.

Да, типа того. Это зависит от тона и от человека. Некоторые люди автоматически примут это за комплимент, другие автоматически примут это за оскорбление. Другие будут сознательно обдумывать это много часов и беспокоиться. Но почти все ощущают более сознательный контроль над восприятием чего-то в качестве комплимента или оскорбления, чем над восприятием неба зеленым или голубым.

Это устройство мозга выглядит чрезвычайно странным, когда вы об этом задумываетесь. Почему исполнительный процесс, отвечающий за выбор того, что делать, также может менять модель мира? Более того, ПОЧЕМУ ИСПОЛНИТЕЛЬНЫЙ ПРОЦЕСС, ОТВЕЧАЮЩИЙ ЗА ВЫБОР ТОГО, ЧТО ДЕЛАТЬ, ТАКЖЕ МОЖЕТ МЕНЯТЬ МОДЕЛЬ МИРА? Это просто очевидно ведёт к ужасному когнитивному диссонансу, самообману и ошибкам! ААААААА!

Конечно, для этого есть «причины». Можно взглянуть на историю эволюции человеческого мозга, чтобы получить некоторые подсказки о том, почему все устроено так, а не иначе. У мозга есть довольно прямая связь с цветом неба, а вот с намерениями других людей связь у мозга весьма косвенная. И тогда имеет смысл, что первое устанавливается автоматически, а второе требует обработки. И вроде как имеет смысл, что исполнительный процесс управления может требовать дорогих вычислений, а не дешевых (особенно если функциональность исполнительного контроля сначала стала заметна как что-то вроде осведомленного-о-ценностях вычислительного инструмента).

Но с точки зрения разработчика сознания это безумие. Штука-создающая-модель-мира не подключена к реальности напрямую! Периодически мы можем выбирать как будет выглядеть тот или другой кусок модели мира! Мы, родственники обезьян, способные к самообману и имеющие склонность поддаваться манипуляции, можем говорить о том, как информационный двигатель строит нечто, что по идее должно соответствовать реальности!

Я борюсь со словом «мы» в этом контексте, потому что у меня нет слов, чтобы показать различие между «я» в широком смысле, которое строит такую карту мира, в которой небо синее; и «я» в узком смысле, которое не может выбрать видеть зеленое небо. Я отчаянно хочу втиснуть слово «я» во многие слова, но в этом обсуждении и так слишком много жаргона, и мне приходится выбирать мои битвы.

Видите ли, мы знаем кое-что о том, как машины могут производить взаимную информацию, и одна из этих вещей состоит вот в чем: чтобы построить что-то, что видит небо в подходящем цвете, штука, дающая на выходе цвет неба, не должна быть подсоединена к своевольной обезьянке, выбирающей ответ из вариантов под давлением товарищей. Эта штука должна быть подсоединена напрямую к сенсорам неба.

И вообще-то иногда мозг это делает. Иногда он, блин, вставляет синее небо в модель мира. Но других случаях, по тем или иным причинам, он отправляет запросы на сознательную обработку.

Вопросы вроде «синее ли небо?» и «хотел ли коллега меня оскорбить?» - одного типа, и все же на первый вопрос мозг дает отклик, а на второй - нет. Он автоматически строит большие куски карты, но придумывать важные детали оставляет нам.

Что беспокоит, так как большинство из нас не являются прирождёнными мастерами теории информации. Это как раз тот случай, где на помощь приходит тренировка рациональности.

Иногда мы получаем сознательный контроль над моделью мира, поскольку попадаются сложные вопросы. Контроль исполнения не требуется при принятии решения о цвете неба, но он часто необходим для выделения сложных вещей (таких, как мотивация других обезьян) из разрозненных наблюдений. Изучение человеческой рациональности может улучшить вашу способность генерировать более точные ответы, когда вы-контролирующий-исполнение должны заполнить модель мира особенностями, которые подсознательный-вы не может выделить автоматически: аккуратное построение карты в уме - это навык, который, как и любой другой навык, можно тренировать и оттачивать.

Что почти заставляет все выглядеть так, как будто для нас нормально - иметь сознательный контроль над моделью мира; почти кажется, что в порядке вещей, если человек контролирует, какой цвет неба он видит: в конце концов, он всегда может выбрать оставить своё восприятие неба связанным с настоящим небом.

Однако и вы, и я знаем, чем это заканчивается. Можете ли вы вообразить, что произойдёт, если люди на самом деле будут выбирать, как им воспринимать цвет неба, тем же способом, как они выбирают, во что верить насчёт верности своих возлюбленных, насчёт чести своего племени, насчёт существования своих богов?

Примерно шесть секунд спустя люди начнут спорить друг с другом насчёт цвета этого чёртова неба (потому что кто сказал, что можно считать эти неточные сенсоры неба абсолютным авторитетом?) Они немедленно разделятся на племена и начнут убивать друг друга. Затем, когда все немного успокоится, все начнут заявлять, что поскольку люди могут выбирать такой цвет неба, какой им нравится, и раз у людей разные любимые цвета, истинного цвета неба не существует. Цвет в любом случае субъективен; он существует только в наших головах. Если вы попытаетесь посоветовать просто связать цвет неба с сенсорами неба, то вы закончите где-то между мертвым и осмеянным, в зависимости от того, в какую эпоху вы живёте.

Разумный ответ, после осознания того, что внутренний цвет неба определяется не сенсорами неба, а родовой предрасположенностью обезьяньего разума к политиканству и групповому мышлению, - это закричать в ужасе и затем напрямую привязать генератор модели мира к реальности как можно скорее. Если ваш разум выдаёт вам небольшое всплывающее сообщение:

По политическим причинам, сейчас можно отсоединить ваше восприятие неба от вашей сетчатки, и позволить давлению союзников определять, какие цвета видеть. Продолжить? [Да/нет]

тогда разумный ответ, если вы - человеческий ум, это несколько паническое «мм, спасибо, нО нет, поЖАЛуЙСТА, ОСТАВЬ ГЕНЕРАТОР МОДЕЛИ МИРА ПРИВЯЗАННЫМ К РЕАЛЬНОСТИ, ПОЖАЛУЙСТА.»

Но, к сожалению, эти события не ощущаются как всплывающие сообщения. Они даже не ощущаются как возможность выбора. Они обычно автоматические, и поэтому почти не происходят на сознательном уровне. Ваша модель мира теряет связь с реальностью каждый раз, когда вы автоматически находите причины игнорировать свидетельство, которое конфликтует с миром, который вы бы хотели видеть (поскольку это доказательство пришло от кого-то, кто очевидно неправ!); каждый раз, когда вы находите оправдания для игнорирования наблюдений (это исследование было плохо организовано!); каждый раз, когда вы находите причины прекратить искать дополнительную информацию, сразу как только вы находите ответ, который вам нравится (потому что какой смысл терять время на дальнейшие поиски?)

Каким-то образом, племенные социальные обезьяны обнаружили, что они управляют своими моделями мира. Но они не чувствуют, что они управляют своими моделями мира, они чувствуют, что они правы.

Вы сами являетесь отрезком пути между реальностью и своей картой реальности, частью хрупкой связи между тем, что существует и тем, во что вы верите. И если вы позволите себе потерять бдительность, даже на миг, то можете невероятно легко дрогнуть и разрушить это эфемерное соответствие.

Перевод: 
Александр Попов, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
  • Короткая ссылка сюда: lesswrong.ru/275