Вы здесь

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.


Перевод: 
Muyyd1, Alaric, El_Aurens, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
162
Оцените качество перевода: 
Средняя оценка: 4.3 (18 votes)
  • Короткая ссылка сюда: lesswrong.ru/320