Вы здесь

Замечания про зомби

Элиезер Юдковский

Я сегодня немножко не в форме, потому что вчера до трёх утра писал эссе о зомби почти на шесть тысяч слов, поэтому сегодня лишь отвечу Ричарду и заполню вновь замеченный пробел.

(А) Ричард Чаппелл пишет:

Замечание по терминологии (во избежание ненужного замешательства): то, что вы называете «мыслимым», другие назовут всего лишь «по-видимому мыслимым»

Разница между «я пока не вижу противоречий» и «это логически возможно» настолько велика (это NP-полная задача даже в некоторых кажущихся простыми случаях), что полезно иметь для этого два разных термина. Поскольку спор о зомби разросся настолько, что эта огромная разница может быть погребена под грудой мелких терминологических отличий, я считаю, что будет правильно говорить «мыслимо» вместо «логически возможно», или даже сделать ещё более заметное различие. Я не могу подобрать серьёзный термин, который уже устоялся, а в данном случае, предпочёл бы вообще не использовать таковой.

Возможно, я буду говорить «по-видимому мыслимо» в отношении такой информации, которую сторонники зомби получают, воображая Миры Зомби, а «логически возможно» в отношении такой информации, которая возникает после представления завершенной модели или логического доказательства. Обратите внимание на разницу между информацией, которую можно получить, закрыв глаза и представив себе зомби, и информацией, которая необходима для построения аргумента к тезису эпифеноменализма.

Таким образом, вашу позицию можно отнести к материализму типа А, а именно: зомби (поистине) немыслимы, не говоря уже о метафизической возможности.

Материализм типа А — это большой пакет. Не следует сопоставлять этот пакет со мной, пока не увидите, что я согласен с каждой его частью. Я считаю, что задающийся вопросом «Что есть сознание?», задаёт правомочный вопрос и движим жаждой откровения. Вовсе необязательно, ответ будет похож на «Вон та штука, обладающая всеми свойствами, которые обычно присущи сознанию по тем-то и тем-то причинам». Но ответ может в какой-то степени состоять из озарений, которые приведут к пониманию, что сам вопрос был задан неверно.

Всё это не про одно лишь сознание. Всё это про реалистичные ожидания того, какие озарения могут возникать при столкновении с задачей, которая (1) кажется, будто должна иметь какое-нибудь решение, (2) кажется, будто не может иметь никаких решений и (3) обсуждать её приходится с опорой на не до конца понятную ad-hoc модель человеческого мышления.

(1) Насколько я могу судить, вы до сих пор не установили какого-либо логического противоречия в описании мира зомби. Вы лишь указали, что он типа странный. Однако существует множество возможных чудных миров. Это не причина постулировать внутреннее противоречие. Поэтому мне до сих пор совершенно не ясно, о каком таком противоречии шла речь.

Хорошо, я распишу всё с позиции материалиста:

  1. Мир зомби, по определению, содержит все части нашего мира, которые входят в замыкание множества наблюдаемых явлений относительно связей «вызвано тем-то» или «является эффектом того-то». В частности, это замыкание содержит причину моего зримого высказывания «я мыслю, следовательно, существую».

  2. Если я сосредоточу внутренний взор на своём внутреннем взоре, то впоследствии замечу, как мой внутренний рассказчик скажет: «я сосредотачиваю свой внутренний взор на своём внутреннем взоре» и при желании могу произнести это вслух.

  3. Интуитивно кажется, будто эта моя внутренняя сосредоточенность заставляет внутреннего рассказчика произносить определённые вещи, а внутренний рассказчик может заставить мои губы произносить некоторые вещи.

  4. Слово «сознание», если оно вообще что-либо значит, отсылает к тому-что-есть или к тому-что-есть-причина или к тому-что-заставляет-меня-говорить-что-у-меня-есть внутренний взор.

  5. Из пунктов 3 и 4 должно следовать, что если мир зомби замкнут и включает в себя причины, которые заставляют меня говорить «я мыслю, следовательно, существую», тогда мир зомби содержит нечто, на что мы ссылаемся, когда говорим про «сознание».

  6. По определению, мир зомби не содержит сознания.

  7. Мне кажется, что пункт 3 весьма вероятно должен быть эмпирически истинным. Поэтому я присваиваю высокую вероятность тому, что мир зомби логически невозможен.

Мир Зомби можно спасти, дозволив чему-то иному, а не сознанию, быть той причиной, вынуждающей моего внутреннего рассказчика говорить «я мыслю, следовательно, существую». В сочетании с допущением, что сознание всё же существует, эта мысль кажется мне чокнутой.

Но если всё вышеуказанное мыслимо, то разве нельзя помыслить себе и Мир Зомби?

Нет, ведь в этих двух способах конструирования Мира Зомби слово «сознание» будет отсылать к эмпирически различающимся референтам — как слово «вода», означающая H2O в нашем мире, и XYZ на патмэновской Земле-Двойнике1. Для того, чтобы Мир Зомби был логически возможен, недостаточно заявить, учитывая накопленные нами знания об устройстве эмпирического мира, что слово «сознание» может отсылать к некоторому эпифеномену, совершенно непохожему на сознание, которое известно нам. В Мире Зомби отсутствует сознание, а не «сознание» — это мир без H2O, а не мир без «воды». Именно это необходимо для поддержания эмпирического утверждения: «Можно удалить нечто, подразумеваемое под словом ”сознание” из нашего мира, оставив все атомы на том же месте».

Иначе говоря: я считаю эмпирическим фактом, что если выяснить, к чему на самом деле отсылает слово «сознание», то логически невозможно удалить сознание, не потревожив при этом ни единого атома. Я не собираюсь рассуждать, что будет означать удаление из мира «сознания», а не сознания.

(2) Заявление, что соответствие наших квалий физическому миру «чудесно» (с точки зрения вещественного дуалиста), вызывает путаницу. В конце концов, это то, что гарантируется законами природы. Это не более чудесно, чем любая другая логически связная закономерная необходимость (например, значения констант в наших законах физики).

Утверждать, что законы природы «чудесны» сами по себе — значит вводить дополнительный сложный и невероятный элемент теории, который не опирается на то, что мы уже знаем. Постулируются, (а) сознательный внутренний мир, (б) неисправный внешний мир, который беспричинно рассуждает о сознании, и (в) что оба мира идеально сосуществуют. Утверждение (в) не следует из (а) и (б), следовательно, это отдельный постулат.

Согласен, что такое использование слова «чудесный» конфликтует с философским пониманием нарушения законов природы. Я использовал его в смысле возникающей из ниоткуда невероятности, как в убеждении о вечном двигателе. В данном контексте это неподходящее слово. Но разве мы не должны интуитивно называть вещи такого рода чудом? Не сознание заставляет вас говорить, что вы обладаете сознанием, а отдельная физическая штуковина, и существует закон, который приводит эти две вещи в соответствие друг другу. Это ведь так же упорото, как печенье, которое заменяет плоть Христа, но при этом выглядит и ведёт себя точь-в-точь как печенье. Это закон природы такой, гарантирующий соответствие двух вещей, понимаете?

Таким образом, Зомби (или «Внешний») Чалмерс фактически не делает никаких выводов, поскольку его разглагольствования бессмысленны. И уж тем более он не делает каких-либо безосновательных выводов. Он просто производит звуки, не более достойные эпистемической оценки, чем пение птиц.

С позиций разработчика ИИ, мне кажется, должна быть возможность создать ИИ, который будет систематически улучшать ту внутреннюю часть себя, которая коррелирует (в терминах общей информации и системных отношений) с окружающей средой, возможно, используя числа с плавающей точкой для выражения того, что я обычно называю «вероятностью», коль скоро они подчиняются внутренним правилам, заданным теоремами Коха, когда ИИ встречается с новой информацией. То есть, прошу прощения, с новыми чувственными вводными.

Вы можете заявить, что до тех пор, пока ИИ это всего лишь транзисторы — до тех пор, он не обладает дуальностью — у ИИ нет убеждений.

Я считаю, что достаточно ясно высказался на эту тему в «Простой истине».

Мне кажется очевидным создавать карты, которые систематически коррелируют с территориями, не обращаясь ни к чему, кроме чистой физической причинности. Допустим, один ИИ создаёт карту Техаса. Другой ИИ пролетает с этой картой над Техасом и проверяет, что шоссе расположены в указанных местах и издаёт сигнал «Истина», обнаружив соответствие и «Ложь», обнаружив несоответствие. Можно отказаться называть это «картой Техаса», но ИИ продолжат подавать сигналы «Истина» или «Ложь». Рассмотрев убеждения Чалмерса об эпифеноменальном внутреннем ядре, вышеупомянутые ИИ дадут сигнал «Ложь», а я с ними соглашусь.

Очевидно, что карту реальности строит исключительно Внешний Чалмерс. Убеждения создаются исключительно байесовской структурой на основе причинно-следственных связей. Внутреннему Чалмерсу остаётся лишь освящать происходящее эпифеноменальной значимостью. И «значимость» здесь никак не связана с отношениями между картой и территорией или с возможностью использовать карту для перемещений по реальности. Поэтому, когда речь заходит о «точности», не говоря уже о «систематической точности», мне кажется, мы можем ориентироваться исключительно на Внешнего Чалмерса.

(Б) Во вчерашнем тексте я оставил допущение, когда писал:

Допустим, что самосовершенствующийся ИИ обратится к той части себя, которая выводит «Б» из при наличии А — то есть, записывает в память «Б», если истинно условие А. Исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большей вселенной, и решает, что эта часть систематически записывает в память ложные данные. В этом случае ИИ обнаружил нечто, похожее на баг, и изменит себя так, чтобы не записывать «Б» в область убеждений при наличии А.

Однако нет совершенно никакой гарантии, что внешний Чарлмерс или иной рефлексивно согласованный самосовершенствующийся ИИ поверит в эту загадочную правильность. На мой взгляд, хорошо спроектированный ИИ будет рефлексивно согласованным интеллектом, который обладает проверяемой теорией собственной работы как каузальной системы, а следовательно — проверяемой теорией того, как такая каузальная система производит систематически точные убеждения на пути к достижению своих целей.

По сути, необходимо ещё одно допущение, а именно, что «хорошо спроектированный ИИ» (по крайней мере, в моём представлении) модульно рассуждает о собственной рациональности. То есть он обеспечивает свою общую рациональность через обеспечение локальной рациональности. Если обнаружен элемент, который в собственном контексте систематически ненадёжен локально — то есть из набора возможных убеждений «Бi» и условий Аi, в область убеждений добавляется некоторое «Бi» при локальном условии Аi и после рефлексии система показывает, что Бi ложно (или не точно, в случае вероятностных убеждений) при истинности локального условия Ai — то это баг. Такое модульное устройство позволит отслеживать проблемы и именно таким я вижу устройство ИИ первого поколения [Редакция от 2013: То, что я имел в виду здесь, обрело плоть и формализовано в разделе 6 статьи Tiling Agents for Self-Modifying AI.]

Идея в том, что если каузально замкнутая когнитивная система — например, ИИ, запрограммированный использовать только причинно действующие свои части, или ИИ, теория функционирования которого может быть проверена им самим, или внешний Чалмерс, который пишет философские статьи — верит, что у неё есть эпифеноменальное внутреннее «Я», то видимо она делает нечто систематически ненадёжное, поскольку она пришла бы к точно таким же выводам и в Мире Зомби. Разум, все части которого систематически локально надёжны в соответствующих контекстах, будет систематически надёжен в общем. Следовательно, разум, который ненадёжен в общем, содержит как минимум одну ненадёжную локальную часть. Поэтому, проверив свою локальную надёжность, каузально замкнутая когнитивная система обнаружит, что как минимум один шаг в рассуждениях при добавлении убеждения об эпифеноменальном внутреннем «Я» является ненадёжным.

Приглашаю философов указать на иные подходы, в которых разум может быть рефлексивно согласованным, и при этом не затрагивалось бы данное доказательство невозможности веры в зомби.

Всё это нужно было отметить для того, чтобы показать, что иначе можно остановиться на весьма низкокачественной рефлексивной согласованности, в которой ИИ никогда не назовёт себя ненадёжным. Например, если ИИ обнаружит часть себя, которая вычислит $ 2 + 2 = 5$ (в контексте подсчёта овец), то он помыслит: «Так, эта часть работает неправильно и утверждает, что $ 2 + 2 = 5$… однако, какое совпадение, $ 2 + 2 $ и в самом деле равно $5$, или мне так кажется… так что, даже не смотря на кажущуюся систематическую ненадёжность данной части, лучше бы сохранить её как есть, иначе не удастся правильно обработать этот особый случай.» Поэтому я говорю об обеспечении общей надёжности через обеспечение локальной систематической надёжности — если просто сравнивать убеждения в общем с убеждениями в общем, проку не будет.

Отсюда можно извлечь урок: Показывай общую надёжность своих суждений демонстрируя локальную надёжность каждого отдельного шага. Избегай простого сравнения выводов суждения со своей интуицией [Редакция от 2013: обсуждение факта, что валидная логика является валидной локально, ищите в заметке Proofs, Implications, and Models]

(В) Анонимный комментарий:

Оффтоп: мне кажется, что используемая вами этимология слова «н’шама» неверна. Оно связано со словом, обозначающим «дышать», а не «слышать». Корень слова «слышать» содержит букву айин, а н’шама — нет.

Вот что я называю удивительно обманчивым совпадением — несмотря на то, что слово Н’Шама всплыло из совершенно иных соображений, его звучание заставило меня считать, будто оно отсылает к внутреннему слушателю.

Упс.


Перевод: 
ildaar, sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
222
Оцените качество перевода: 
Средняя оценка: 4.8 (5 votes)
  • Короткая ссылка сюда: lesswrong.ru/628