Искусственное суммирование

Предположим, что люди совершенно не понимали бы, как именно они выполняют арифметические действия. Вообразим мир, где люди получили возможность считать овец в результате эволюции, а не научились этому навыку. И люди используют эту врождённую способность, не понимая, как именно она работает, точно так же, как Аристотель не понимал, каким образом зрительная кора его головного мозга позволяет ему что-то видеть. Арифметика Пеано в известном нам виде так и не изобретена. Философы пытаются формализовать свои интуитивные представления о действиях с числами, но они используют формулировки вроде:

Сложить(Семь, Шесть) = Тринадцать

чтобы формально описать интуитивно очевидный факт, что, когда вы складываете «семь» и «шесть», то, конечно же, получается «тринадцать».

В этом мире карманные калькуляторы хранят в памяти огромную справочную таблицу арифметических фактов для всех значений от нуля до ста, введённых вручную командой экспертов по Искусственному Вычислению. И хотя такие калькуляторы на практике иногда полезны, многие философы утверждают, что подобные устройства лишь симулируют вычисления. Никакая машина не может считать по-настоящему — именно поэтому людям необходимо сперва сосчитать тринадцать овец, прежде чем записать «тринадцать» в калькулятор. Калькуляторы могут показывать сохранённые в них факты, но они не понимают, что именно они делают. Если ввести «две тысячи плюс две тысячи», калькулятор выдаст: «Ошибка: Превышен предел допустимых значений». Хотя интуитивно очевидно, что если понимать, что именно означают введённые слова, то ответ: «четыре тысячи».

Некоторые философы, конечно же, не настолько наивны, и такими рассуждениями их с толку не сбить. В действительности числа — это исключительно формальная система: ярлык «тридцать семь» имеет смысл не из-за какого-то неотъемлемого свойства самих слов, а потому что он отсылает к тридцати семи овцам во внешнем мире. Число приобретает свой смысл в результате нахождения внутри семантической сети связей с другими числами. Вот почему в компьютерных программах LISP токен «тридцать-семь» не нуждается в какой-либо внутренней структуре – он имеет смысл лишь в результате отсылок и связей, а не какой-либо самостоятельной вычислительной характеристики «тридцати-семи».

Никто ещё не смог создать Сильный Искусственный Вычислитель, хотя, конечно же, есть множество узконаправленных Искусственных Вычислителей, которые, например, работают на множестве чисел от «двадцати» до «тридцати». И если посмотреть на то, как медленно движется прогресс в отношении чисел порядка «двухсот», становится очевидным, что в ближайшее время Сильный Искусственный Вычислитель не появится. Лучшие эксперты в области предполагают, что потребуется не меньше ста лет, прежде чем калькуляторы смогут складывать не хуже двенадцатилетнего ребёнка.

Однако не все согласны с данной оценкой или же с всего лишь общепринятыми убеждениями касательно Искусственного Вычисления. Вполне распространены и следующие взгляды:

• «Это проблема окружения. То, чему равно „двадцать один плюс“, зависит от того, идёт речь о „плюс три“ или „плюс четыре“. Если мы сможем загрузить в калькулятор достаточно арифметических фактов, чтобы покрыть все общеизвестные истины, то вскоре сможем увидеть в системе и настоящее сложение».
• «Но вы никогда не сможете запрограммировать достаточное количество арифметических фактов, нанимая экспертов, которые будут вводить их вручную. На самом деле нам нужен Искусственный Вычислитель, который сможет научиться всей обширной сети связей между числами, которую люди приобретают в течение детства, наблюдая за кучками яблок».
• «Нет, на самом деле нам нужен Искусственный Вычислитель, способный понимать естественные языки. Тогда в него не придётся явно вводить, что двадцать один плюс шестнадцать равно тридцать семь — он сможет получить эту информацию из Интернета».
• «Честно говоря, создаётся впечатление, что вы просто-напросто пытаетесь убедить самих себя, словно вы способны решить данную проблему. Никто из вас в действительности не знает, что такое арифметика, и вы просто перебираете привычные фразы, вроде: „Нам нужен ИИ, способный выучить X“, „Нам нужен ИИ, который способен извлечь X из Интернета“. В смысле, это звучит хорошо, появляется впечатление, будто вы делаете какие-то успехи. Это хорошо в плане связей с общественностью, так как всем кажется, что они понимают предлагаемое решение. Но, на самом деле, это не приближает вас к суммированию в общем виде в противовес к узкоспециализированному суммированию. Не исключено, что мы никогда не сможем познать фундаментальную природу арифметики. Эта задача просто слишком сложна для людей».
• «Именно поэтому нам нужно разработать Сильного Вычислителя тем же способом, что и природа - посредством эволюции».
• «Подход „сверху вниз“ определённо продемонстрировал свою неспособность создать арифметику. Нам нужно использовать подход „снизу вверх“, каким-то образом заставить арифметику просто возникнуть. Необходимо признать принципиальную непредсказуемость сложных систем».
• «Вы все неправы. Предыдущие попытки создать машинную арифметику были заранее обречены на провал просто потому, что вычислительных мощностей не хватало. В человеческом мозге триллионы синапсов — очевидно, что в калькуляторы нельзя загрузить настолько большие справочные таблицы. Нам необходимы калькуляторы настолько же мощные, как и человеческий мозг. Согласно закону Мура, они появятся в 2031 году, 27 апреля, между 4.00 и 4.30 утра».
• «Полагаю, что машинная арифметика появится, когда исследователи просканируют каждый нейрон человеческого мозга. Таким образом мы сможем симулировать на компьютере биологические нейронные связи, которые и позволяют людям складывать числа».
• «Не думаю, что нам необходимо ждать сканирования всего мозга. Нейронные сети ничем не отличаются от человеческого мозга и их можно натренировать делать что-нибудь без понимания того, как они этого делают. Так мы сможем научить программы заниматься арифметикой, даже если мы, их создатели, так и не разберёмся, как им это удаётся».
• «Но теорема Гёделя показывает, что никакая формальная система не сможет вместить в себе основные свойства арифметики. Классическая физика формализуема, поэтому, чтобы сложить два и два, мозг должен использовать особенности квантовой физики».
• «Эй, если бы арифметику можно было воспроизвести в компьютере, мы бы не умели считать достаточно хорошо, чтобы построить компьютер».
• «Разве вы не слышали о „китайском калькуляторе“, мысленном эксперименте Джона Сёрла? Даже если бы у вас был огромный набор правил, позволяющий складывать „двадцать один“ и „шестнадцать“, просто представьте, что произойдёт, если перевести все слова на китайский язык. Сразу становится понятным, что подлинного сложения не происходит: нигде в системе нет настоящих чисел, есть лишь ярлыки, которые люди используют для их обозначения…»

Из этой притчи можно вывести несколько моралей, и в разных контекстах я её рассказывал по разным причинам. В частности, она демонстрирует идею уровней организации. Скажем, процессор может складывать два больших числа, потому что числа — это упорядоченные структуры из 32 бит, а не непроницаемые черные ящики.

Но для целей преодоления искажений1, обратим внимание на следующие две морали:

• Во-первых, опасно полагаться на утверждения, которые вы не способны вывести самостоятельно.
• Во-вторых, опасно игнорировать собственное непонимание базовых вопросов.

Дабы не быть обвиненным в обобщении на основании вымышленного свидетельства отмечу, что оба эти урока могут быть получены и из реальной истории исследований искусственного интеллекта.

Первая опасность — это конкретная проблема, с которой сталкиваются устройства ИВ. Они функционируют подобно диктофонам, проигрывающим «знания», полученные извне системы, используют процесс, который они сами не способны воспроизвести. Человек может сказать устройству ИВ, что «двадцать один плюс шестнадцать равно тридцать семь», и ИВ может записать это и в нужный момент повторит. Или даже распознать шаблон «двадцать один плюс шестнадцать» и вывести «тридцать семь!». Однако ИВ не в состоянии генерировать подобное знание самостоятельно.

И это очень сильно напоминает ситуацию, где кто-то верит физику, говорящему: «Свет – это волны», запоминает эту восхитительную последовательность слов, а затем повторяет её, когда кто-то спросит: «Что такое свет?», но при этом не способен создать такое знание самостоятельно.

Вторая мораль говорит об ловушке более высокого уровня, которая поглотила исследователей Искусственного Вычисления и прочих интересующихся этим вопросом людей. Если в ваших знаниях зияет дыра, опасно пытаться её просто обойти. Нужно сжать зубы и трудиться изо всех сил, чтобы заполнить эту чёртову дыру. Но люди часто делают, что угодно, только не это.

Когда вы говорите: «Дело в эмерджентности!» или же «Это непознаваемо!», — вы не отдаёте себе отчёт в существовании основополагающего знания, которое вполне можно постигнуть, но вы это просто пока не сделали.

Откуда вам знать, когда появится основополагающее знание? Нет иного способа обрести его, кроме как упорно биться головой о задачу, изучать со всех мыслимых сторон всё, что имеет к ней отношение, возможно, годами. В академических кругах такой подход не одобряется, ведь вы должны публиковать статьи хотя бы раз в месяц. Наверняка венчурные капиталисты не дадут денег за такое изучение. Вы хотите либо пойти напролом и построить что-то прямо сейчас, либо сдаться и заняться чем-нибудь ещё.

Взгляните на комментарии выше. Ни один из них не нацелен на приобретение недостающего понимания, в результате которого числа перестали бы быть таинственными, которое превратило бы «тридцать-семь» во что-то большее, чем чёрный ящик. Ни один из комментаторов не понял, что сложности порождаются их собственным непониманием, а не какими-то присущими арифметике свойствами. Они не пытались достичь того состояния, когда непонятное перестаёт быть непонятным.

Если вы прочтёте книгу Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: Сети правдоподобных выводов»2, то увидите, что для решения соответствующих проблем совершенно необходимо понимать, что лежит в основе графовых моделей. (Боюсь, объяснение, о чём здесь идёт речь, длиннее надписей на футболках, поэтому вам придется прочитать книгу самостоятельно. В интернете мне не встречались научно-популярные материалы, адекватно описывающие принципы, лежащие в основе байесианских сетей или же важность того, что математические выкладки именно такие, какие есть, но книга Перла восхитительна). Когда-то были дюжины «немонотонных логик», хоть как-то пытающихся формализовать интуиции вроде: «Если сигнализация сработала, то, скорее всего, в дом пытается пробраться грабитель, однако если после этого я узнаю, что около моего дома произошло небольшое землетрясения, то, скорее всего, дело не в грабителе». Поняв графовые модели, вы сможете математически объяснить, почему логика первого порядка не подходит для этой задачи, и записать верное решение в простом и удобном виде, причём это решение элегантно учтёт все нюансы бытовой интуиции и здравого смысла. Но пока у вас нет этого понимания, в попытках привести логику в соответствие «очевидно истинному» вы будете лишь лепить на неё многочисленные заплатки и добавлять тут и там «костыли».

Вы не можете наверняка знать, что проблема Искусственного Вычисления неразрешима, если вы не понимаете её суть. Если вы не знаете правил, то вы не знаете и о правиле, которое гласит, что вы должны знать правила, чтобы что-нибудь сделать. Именно из-за этого появляется все эти гениальные идеи, вроде создания Искусственного Вычислителя, способного понимать естественные языки и скачивать миллионы арифметических утверждений из интернета.

И «почему-то» эти гениальные идеи никогда не срабатывают. Почему-то всё время оказывается, что вы «не видите причин, почему это может не сработать» не из-за того, что их нет, а из-за собственного невежества. Это похоже на стрельбу вслепую по далёкой цели. Вы можете делать выстрел за выстрелом и кричать: «Никто не докажет, что я не попаду в центр мишени!». Однако, пока вы не снимете повязку с глаз, вы не способны прицелиться. Когда «никто не может доказать», что ваша драгоценная идея на самом деле не верна, это значит лишь то, что у вас недостаточно информации, чтобы попасть по небольшой цели в широком пространстве возможных ответов. Если вы не знаете, что ваша идея работает, то она не работает.

Из истории открытий в области Искусственного Интеллекта и жуткой путаницы, царившей до них, я вывожу важный жизненный урок: «Если основная проблема — это ваше невежество, то при попытках придумать хитрый способ, как его игнорировать, вы лишь выстрелите себе в ногу».

• 1. В оригинале здесь присутствует игра слов. Юдковский использует словосочетание «overcoming bias», что совпадает с исходным названием блога, где появлялись эти эссе. — Прим.перев.
• 2. Judea Perl, «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference». Книга не переводилась на русский язык — Прим.перев.