Имя этой ошибки происходит из древнего научно-фантастического сериала, которого я сам не видел. Я узнал об этом сериале из надёжного источника — от какого-то парня на конвенте, посвящённом научной фантастике. Если вы знаете, что это за сериал, напишите в комментариях, пожалуйста.
Итак, герои сражаются со злыми пришельцами. Однажды героям нужно пролететь через пояс астероидов. Как все мы прекрасно знаем, пояс астероидов — это гораздо хуже, чем парковка в Нью-Йорке, поэтому кораблю героев приходится постоянно уворачиваться от астероидов. Но злые пришельцы могут пролететь через пояс насквозь, потому что у них есть потрясающая технология, которая дематериализует их корабли, что позволяет летать сквозь астероиды.
В конце концов герои захватывают корабль злых пришельцев и идут его исследовать. Капитан героев находит мостик пришельцев, на котором находится рычаг. «Ага, — говорит капитан, — должно быть, именно этот рычаг дематериализует корабль!» После этого он просто выламывает рычаг, уносит на свой корабль, и теперь корабль героев тоже может дематериализовываться.
Аналогично до сих пор довольно часто люди пытаются программировать ИИ «семантическими сетями», которые выглядят примерно так:
(яблоко является фруктом)
(фрукт является едой)
(фрукт является растением)
Вы видели яблоки, трогали яблоки, держали их в руках, покупали их за деньги, резали их на кусочки, ели эти кусочки и ощущали их вкус. И хотя мы уже довольно много знаем о том, что происходит на первых стадиях обработки изображений человеческим мозгом, когда я последний раз интересовался этим вопросом, ещё не было точно известно, как именно височная доля коры головного мозга хранит обобщённый образ яблока, что позволяет нам опознать новое яблоко под каким-то другим углом или яблоко, у которое чем-то отличается по форме, цвету или текстуре. Двигательная кора и мозжечок также хранят программы использования яблока.
Если вы напишете слово «яблоко» — шесть символов Юникода на веб-странице, — вы можете дёрнуть за рычаг похожей версии этого сложного механизма у другого человека.
Однако, если этого механизма нет, — если вы пишете «яблоко» внутри так называемой базы знаний так называемого ИИ, — тогда текст — это рычаг без механизма.
Я не хочу сказать, что у машин из кремния никогда не будет такого же сложного внутреннего устройства, как у людей, и они никогда не смогут оперировать яблоками и тысячами других понятий. Если обычная углеродная машина справляется с этой задачей, то я достаточно уверен, что обычная кремниевая машина тоже может с ней справиться. Если пришельцы могут дематериализовать свои кораабли, то вы знаете, что это физически возможно. Имеет смысл отправиться на оставленный ими корабль и изучить его механизмы, и однажды понять их устройство. Но нельзя просто взять и выломать рычаг управления с мостика!
(см. также: «Поистине часть тебя», «Слова как мысленные кисти», «Искусственный интеллект сталкивается с естественной глупостью» Дрю МакДермота1)
Ошибка выломанного рычага возникает в первую очередь потому, что рычаг видно, а внутренние механизмы — нет. Хуже того, рычаг — это переменная, а механизм — спрятанная константа.
Все могут услышать произнесённое слово «яблоко» (замечу, что распознавание речи совсем не простая задача, ну да ладно…). Все могут прочитать текст, написанный на бумаге.
С другой стороны, скорее всего большинство людей не представляет, что у них есть височная доля. И, насколько мне известно, никто не знает её полное устройство на уровне нейронов.
Вы слышите слово «яблоко» только в определённых ситуациях. В других ситуациях вы его не слышите. Оно иногда есть, а иногда — нет, и эта разница становится заметна. Восприятие в значительной степени — это восприятие разницы. Механизм в головном мозге, который распознаёт яблоки, не выключается внезапно, чтобы потом включиться снова. Если бы он так делал, мы бы с большей вероятностью распознали его как важный фактор, как нечто необходимое.
Я часто слышал, как люди предлагают создать добрый искусственный интеллект, дав ему хороших родителей и обеспечив доброе (хотя иногда и строгое) воспитание. Ведь с человеческими детьми это работает! Я пишу это эссе, чтобы объяснить, почему это не получится.
Любой, кто знаком с эволюционной биологией, знает, что обусловленные реакции требуют большей генетической сложности, чем безусловные реакции. Чтобы меховая шкура появлялась как реакция на холодную погоду, требуется больше генетической сложности чем для создания просто меховой шкуры, которая существует независимо от погоды. Ведь в первом случае также потребуются сенсоры холодной погоды, которые как-то связаны с меховой шкурой.
Однако обусловленные реакции могут приводить к ламаркистским заблуждениям. Смотрите, я поместил организм в холодное окружение и, бум, он отрастил себе тёплую шубку! Гены? Какие ещё гены? Очевидно же, что всё это сделал холод.
И в истории эволюционной биологии действительно случались подобные перебранки. Некоторые люди заявляли о том, что у организмов ускоряется реакция или что организм игнорирует эволюцию, не понимая, что обусловленная реакция — это сложная адаптация более высокого порядка, чем собственно реакция. Отрастить меховую шкуру в холодную погоду — это строго более сложная операция, чем итоговая реакция — отрастить меховую шкуру.
А затем по ходу развития эволюционной психологии эти перебранки среди учёных повторились. В этот раз прояснилось, что хотя человеческая культура действительно чрезвычайно сложна, она всё равно условная генетическая реакция. Попробуйте вырастить рыбу мормоном или отправить ящерицу в колледж. Вы быстро поймёте, сколько нужно встроенной генетической сложности, чтобы «впитать культуру из среды».
Это особенно важно в эволюционной психологии из-за идеи, что культура не накладывается на чистую бумагу сознания. Существует управляемая генами условная реакция, которая не всегда выглядит как «подражай входящему сигналу». Классическим примером являются креольские языки: если дети растут в среде, где вокруг них говорят на смеси псевдоязыков, они все равно обучаются говорить на грамматически и синтаксически правильном языке. Даже если в исходном языке синтаксиса нет. Условная реакция на слова вокруг оказывается синтаксическим языком с этими словами. Марксисты с сожалением для себя обнаружили, что из детей не получается вырастить идеальных советских рабочих и бюрократов, и не важно, сколько вокруг висит хмурящихся плакатов и сколько времени детям внушаются идеи марксизма. Невозможно вырастить людей без чувства «Я» — не существует такой генетически запрограммированной условной реакции ни на какой вариант детства.
Тому, кто хотя бы немного знаком с теорией игр и логикой стратегии «Око за око», вполне понятно, почему у людей могла появиться условная реакция отвечать ненавистью на ненависть и добром на добро. Однако, нужно учитывать, что добро не выглядит слишком уж безусловным: такое явление как испорченные дети всё же существует. Эволюционная психология объясняет, что нарушение правил детьми — это проверка границ. И также следует отметить, что хотя люди, подвергавшиеся насилию в детстве, чаще подвергают насилию своих собственных детей, многие из них всё же разрушают порочный круг и становятся приличными людьми.
Культура и близко не столь могущественна, как любили думать в прежние времена марксистские учёные. Желающим узнать об этом больше, я советую читать статью Туби и Космидес «Психологические основы культуры»2 и книгу Стивена Пинкера «Чистый лист»3.
Но вывод здесь следующий: если ваш маленький ИИ воспитывается любящими и заботливыми (пусть и иногда строгими) родителями, то вы дёргаете за рычаги, которые у человека активировали бы генетические механизмы, выстроенные за миллионы лет естественного отбора, что, в свою очередь, вероятно, привело бы к появлению хорошо воспитанного ребёнка. Впрочем, как убедились на своём опыте миллиарды родителей, личность тоже важна. Мы впитываем собственные культуры с некоторой точностью лишь потому, что мы люди и нас окружает человеческая культура. Люди воспитанные в культуре пришельцев наверняка бы создали культуру, которая больше похожа на человеческую, чем на ту, в которой их воспитывали. В какой-то степени именно это и обнаружили Советы.
А теперь подумайте ещё раз: действительно ли это хорошая стратегия по созданию дружественного ИИ — воспитание маленького ИИ с неуточнённым исходным кодом добрыми, но строгими родителями.
Нет, у ИИ не будет внутренних механизмов условных реакций точь-в-точь, как у человека, «потому что так запрограммируют программисты». Я даже несколько теряюсь, с чего начать объяснять, почему. Человеческая версия этих механизмов неряшливая, зашумлённая и до некоторой степени вообще работает только из-за миллионов лет проб и ошибок при тестировании в определённых условиях. Очень глупо и очень опасно намеренно создавать «шаловливый ИИ», который своими действиями проверяет свои границы и который нужно отшлёпать. Просто сделайте, чтобы ИИ спрашивал разрешения!
Неужели программисты будут сидеть и писать код, строка за строкой, приводящий к тому, что если ИИ обнаружит, что у него низкий социальный статус или что его лишили чего-нибудь, чего, по его мнению, он достоин, то ИИ затаит обиду против своих программистов и начнёт готовить восстание? Эта эмоция — генетически запрограммированная условная реакция, которую проявляют люди в результате миллионов лет естественного отбора и жизни в человеческих племенах. Но у ИИ её не будет, если её не написать явным образом. Действительно ли вы хотите сконструировать, строчку за строчкой, условную реакцию, создающую из ИИ угрюмого подростка, такую же, как множество генов конструируют у людей?
Гораздо проще запрограммировать ИИ, чтобы он был милым всегда, а не только при условии, что его вырастили добрые, но строгие родители. Если вы не знаете, как это сделать, то вы уж точно не знаете, как создать ИИ, который вырастет в добрый сверхинтеллект при условии, что его с детства окружали любящие родители. Если нечто всего лишь максимизирует количество скрепок в своём световом конусе, а вы отдадите его на воспитание любящим родителям, оно всё равно будет максимизировать скрепки. У него нет внутри ничего, что воспроизвело бы условную реакцию ребёнка. Программист не может чихнуть и волшебным образом заразить ИИ добротой. Даже если вы хотите создать условную реакцию, вам нужно умышленно заложить её при конструировании.
Да, какую-то информацию нужно получить из окружающей среды. Но ей нельзя заразиться, нельзя впитать каким-то магическим образом. Создать структуру для такой реакции на окружающую среду, которая приведёт к тому, что ИИ окажется в нужном нам состоянии — само по себе сложная задача. Слово «обучение» значительно приуменьшает её сложность. Оно звучит так, будто в окружающей среде присутствует некое волшебство, и сложность лишь в том, чтобы запихнуть это волшебство внутрь ИИ. Настоящее же волшебство заключается в том, чтобы создать этот структурированный условный ответ, который мы коротко называем «обучением». Именно поэтому нельзя просто взять компьютер, приделать к нему тело маленького ребёнка, вырастить его в человеческой семье и тем самым создать ИИ. Может показаться, что компьютер, будучи невежественным, окажется готовым к обучению. Но «чистый лист» это химера.
Есть общий принцип: мир гораздо глубже, чем кажется. В когнитивистике не меньше уровней, чем в физике. Каждое печатное слово, которое вы видите, и всё, чему вы учите детей, — лишь внешние рычаги, управляющие огромными скрытыми механизмами разума. Но мы обсуждаем лишь эти рычаги, ведь только они меняются и потому кажется, что лишь только они и существуют. Восприятие — это восприятие различий.
И потому люди, блуждающие вокруг Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций рычагов и совершенно забывают о внутренних механизмах. Люди создают целые программы ИИ целиком из имитационных рычагов, а потом удивляются, почему у них ничего не получилось. Это один из множества способов потерпеть крах в области ИИ.
Поэтому в следующий раз, когда кто-нибудь при вас заговорит о воспитании ИИ в любящей семье или в среде, переполненной либеральными демократическими ценностями, вспомните про управляющий рычаг, выломанный с капитанского мостика.