Искусственное Исчисление

Элизер Юдковский

Представьте, что человечество не имело бы ни малейшего понятия о том, как работает арифметика. Представьте, что люди не научились считать овец, а приобрели возможность считать в процессе эволюции. И используя этот встроенный функционал, люди понятия не имеют, как именно он работает, так же, как и Аристотель не знал, каким образом зрительная кора его головного мозга обеспечивает способность видеть объекты. Пеано Арифметика, какой мы ее знаем, так и не была изобретена. Философы пытаются формализовать свои интуитивные численные представления, но они используют утверждения вроде:

Сложить(Семь, Шесть) = Тринадцать

чтобы формально описать интуитивно очевидный факт, что, когда вы складываете «семь» и «шесть», то конечно же получается «тринадцать».

В этом мире карманные калькуляторы работают путем хранения в памяти огромных справочных таблиц арифметических фактов, введенных вручную командой экспертов по Искусственному Исчислению, для всех значений от нуля до ста. И хотя такие калькуляторы и могут быть полезны на практике, многие философы утверждают, что подобные устройства лишь симулируют вычисления. Никакая машина не может действительно считать - вот, почему людям необходимо сперва сосчитать тринадцать овец, прежде чем записать «тринадцать» в калькулятор. Калькуляторы могут показывать сохраненные в них факты, но они не понимают, что именно означает само утверждение: если ввести «двести плюс двести» калькулятор выдаст: «Ошибка: Превышен предел допустимых значений», в то время как совершенно очевидно, что ответ «четыреста».

Философы, конечно же, не настолько наивны, чтобы подобное сбило их с толку. В действительности числа — это формальная система: ярлык «тридцать семь» имеет смысл не из-за какого-то неотъемлемого свойства самих слов, а потому, что он отсылает к тридцати семи овцам во внешнем мире. Число приобретает свой смысл в результате нахождения внутри семантической сети связей с другими числами. Вот почему в компьютерных программах LISP токен «тридцать-семь» не нуждается в какой-либо внутренней структуре – он имеет смысл лишь в результате отсылок и связей, а не какой-либо самостоятельной вычислительной характеристики «тридцати-семи».

Никто еще не смог создать Сильный Искусственный Исчислитель, хотя, конечно же, есть множество узконаправленных Искусственных Исчислителей, которые, например, работают на множестве чисел от «двадцати» до «тридцати». И если посмотреть на то, как медленно движется прогресс в отношении чисел порядка «двухсот», становится очевидным, что в ближайшее время Сильный Искусственный Исчислитель не появится. Лучшие эксперты в области предполагают, что пройдет еще по меньшей мере сто лет, прежде чем калькуляторы смогут складывать так же хорошо, как и двенадцатилетний ребенок.

Но не все согласны с данной оценкой или же с всего лишь общепринятыми убеждениями касательно Искусственного Исчисления. Вполне распространены и следующие взгляды:

• «Это граничная проблема. То, чему равно ‘двадцать один плюс’, зависит от того ‘плюс три’ или ‘плюс четыре’. Если мы сможем загрузить в калькулятор достаточно арифметических фактов, чтобы покрыть весь здравый смысл, то вскоре сможем увидеть и настоящее сложение в системе».
• «Но вы ни за что не сможете запрограммировать достаточное количество арифметических фактов, нанимая экспертов, которые будут вводить их вручную. Что нам нужно, так это Искусственный Исчислитель, который смог бы научиться всей обширной сети связей между числами, которую люди приобретают в течение детства, наблюдая за кучами яблок»
• «Нет, что нам действительно нужно, так это Искусственный Исчислитель, способный понимать естественные языки, тогда в него не придется явно вводить, что двадцать один плюс шестнадцать равно тридцать семь – он сможет получить эту информацию из Интернета».
• «Честно говоря, создается впечатление, что вы просто-напросто пытаетесь убедить самих себя, что вы способны решить данную проблему. Никто из вас в действительности не знает, что такое арифметика, так что вы просто снуете вокруг да около с утверждениями вроде: “Нам нужен ИИ, способный выучить X”, “Нам нужен ИИ, который способен извлечь X из Интернета”. В смысле это звучит хорошо, так как будто бы есть какой-то прогресс, это хорошо для связей с общественностью, так как всем кажется, что они понимают предполагаемое решение, но, на самом деле, это не приближает вас к исчислению в общем виде в противовес к узкоспециализированному исчислению. Вероятно мы никогда не сможем познать фундаментальную природу арифметики. Эта проблема просто слишком сложна, чтобы люди могли бы ее решить.»
• «Вот почему нам нужно разработать Сильного Исчислителя тем же способом, что и Природа - посредством эволюции».
• «Нисходящий подход определенно продемонстрировал свою неспособность произвести арифметику. Нам нужно использовать восходящий подход, каким-то образом заставить арифметику просто возникнуть. Необходимо признать фундаментальную непредсказуемость сложных систем»
• «Ничего вы не понимаете, все прошлые исследования по машинной арифметике были заранее обречены на провал просто потому, что не было достаточно вычислительных мощностей. В человеческом мозге триллионы синапсов - очевидно, что в калькуляторы нельзя загрузить настолько большие справочные таблицы. Нам необходимы калькуляторы на столько же мощные, как и человеческий мозг. Согласно закону Мура, это произойдет в 2031 году, 27 апреля, между 4.00 и 4.30 утра.»
• «Я считаю, что машинная арифметика станет реальностью, когда исследователи просканируют каждый нейрон человеческого мозга, таким образом мы сможем симулировать на компьютере биологические нейронные связи, которые и позволяют людям проводить вычисления.»
• «Не думаю, что нам необходимо ждать возможности сканирования всего мозга. Нейронные сети ничем не отличаются от человеческого мозга и их можно натренировать делать вещи без понимания того, как они этого делают. Так мы сможем научить программы заниматься арифметикой, даже если мы, их создатели, так и не разберемся как им это удается».
• «Но теорема Геделя о Неполноте демонстрирует, что никакая формальная система не сможет воспроизвести основные свойства арифметики. Классическая физика формализуема, так что, чтобы сложить два и два мозг должен использовать особенности квантовой физики».
• «Если бы арифметику можно было воспроизвести в компьютере, мы бы не умели считать достаточно хорошо, чтобы построить компьютер»
• «Вы что, не слышали о Китайском Калькуляторе, мысленном эксперименте Джона Сирля? Даже если бы у вас был огромный набор правил, позволяющий складывать ‘двадцать один’ и ‘шестнадцать’, просто представьте, что произойдет, если перевести все слова на китайский язык. Сразу становится понятным, что подлинного сложения не происходит: нигде в системе нет настоящих чисел, всего лишь ярлыки, которые люди используют для их обозначения…»

Мораль данной притчи многогранна, и в свое время я рассказывал ее по разным причинам. Она иллюстрирует идею уровней организации, например, процессор может складывать два больших числа, потому что числа — это упорядоченные структуры из 32 бит, а не непроницаемые черные ящики.

Но для целей преодоления искажений, обратим внимание на следующие два момента:

• Во-первых, опасность веры в утверждения, которые вы не способны вывести самостоятельно.
• Во-вторых, опасность попыток ходить вокруг да около собственного непонимания.

Дабы не быть обвиненным в обобщении на основании вымышленного свидетельства отмечу, что оба эти урока могут быть получены и из реальной истории развития Искусственного Интеллекта.

Первая опасность – это конкретная проблема с которой сталкиваются устройства ИИ: они функционируют подобно диктофонам, проигрывающим «знания», полученные извне системы, используя процесс, который они сами не способны воспроизвести. Человек может сказать устройству ИИ, что «двадцать один плюс шестнадцать равно тридцать семь», и ИИ может записать это и в нужный момент повторить или даже подогнать шаблон «двадцать один плюс шестнадцать» к результату «тридцать семь!», но ИИ не в состоянии генерировать подобное знание самостоятельно.

Что весьма напоминает то, как можно просто поверить какому-нибудь физику, говорящему: «Свет – это волны», запомнив эту восхитительную последовательность слов, а затем повторяя ее, когда кто-то спросит: «Что такое свет?», но так и не иметь возможность приобрести данное знание самостоятельно.

Второй момент – мета-опасность, поглотившая исследователей Искусственного Исчисления и сочувствующих – опасность ходить вокруг да около дыр в собственном понимании. Тенденция делать практически все что угодно кроме того, чтобы сжать зубы и трудиться изо всех сил, чтобы заполнить чертову дыру.

Произнося: “Это эмерджентный феномен!” или же “Это непознаваемо!”, - вы не отдаете себе отчет в существовании постижимого знания, просто пока не доступного вам.

Откуда вам знать, когда удастся приобрести больше базового понимания? И нет иного способа, чтобы получить его, кроме как упорно биться о проблему, изучать все что имеет какое-то отношение к ней, со всех мыслимых сторон, возможно на протяжении нескольких лет. Это не то занятие, что может одобрить университет, который требует, чтобы вы публиковали новые статьи хотя бы раз в месяц. И это явно не то, что проспонсируют венчурные капиталисты. Вы должны либо быть способны реализовать проект прямо сейчас, либо же бросить это дело и заняться чем-то другим.

Взгляните на комментарии выше. Ни один из них не нацелен на приобретение недостающего понимания, которое бы избавило числа от таинственности, превратив “двадцать семь” в нечто большее чем просто черный ящик. Ни один из комментаторов не понимал, что сложности возникают из-за их собственного непонимания или недоумения, а вовсе не из-за непосредственных свойств арифметики. Они не пытались достичь того состояния, когда загадочное переставало быть загадочным

Если вы прочтете книгу Джуды Перла «Вероятностное Обоснование Интеллектуальных Систем: Сети Правдоподобного Вывода»1, то увидите, что фундаментальное понимание, лежащие в основе графовых моделей совершенно необходимо для решения соответствующих проблем. (Боюсь это не что-то, что можно уместить на футболке и вам придется прочитать книгу самостоятельно. В Интернете мне не встречались какие-либо научно-популярные материалы, адекватно описывающие принципы, лежащие в основе Байесианских сетей или же важность того, что математические выкладки именно такие, какие есть, но книга Перла восхитительна). Когда-то были дюжины «немонотонных логик», неловко пытающихся формализовать интуиции вроде: «Если звенит сигнализация, то вероятно грабитель пытается проникнуть в дом, но если мне позже стало известно, что произошло небольшое землетрясение рядом с домом, то вероятно никакого грабителя не было». Понимая графовые модели, вы сможете дать математическое объяснение, почему логика первого порядка не способна решить данную проблему, и выразить верное решение в простом и удобном виде, одним взмахом охватив все нюансы бытовой интуиции и здравого смысла. До тех же пор, вы будете продолжать пытаться исправлять логику то тут, то там, добавляя все больше и больше костылей, чтобы заставить ее соответствовать тому, что кажется «очевидно истинным».

Вы не можете знать, что проблема Искусственного Исчисления неразрешима, не понимая ее суть. Не зная правил, вы не знаете и правила, регламентирующего, какие правила нужно знать, чтобы что-либо сделать. И так у вас будет множество умных идей, которые вроде бы могут сработать, вроде создания Искусственного Исчислителя, способного понимать естественные языки и скачивать миллионы арифметических утверждений из интернета.

И все же, почему-то эти умные идеи никогда не срабатывают. Почему-то, все время оказывается, что вы «не видите причин, почему это может не сработать» не из-за отсутствия причин, а из-за собственного невежества. Подобно стрельбе вслепую по удаленной цели – вы конечно можете делать выстрел за выстрелом крича «Нельзя доказать, что я не попаду в центр мишени!», но до тех пор, пока вы не снимите повязку с глаз, вы не способны прицелиться. Когда «никто не может доказать», что ваша драгоценная идея не верна, это значит лишь то, что у вас недостаточно информации, чтобы попасть по небольшой цели в широком пространстве возможных ответов. Идея не сработает до тех пор, пока вы не будете знать, что это так.

Из истории предыдущих открытий в области Искусственного Интеллекта и жуткой путаницы, царившей до них, я вывожу важный жизненный урок: Когда основной проблемой является ваше невежество, хитрые стратегии с целью его игнорировать приводят лишь к выстрелам в собственную ногу.

  • 1. Judea Perl, «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference». Книга не переводилась на русский язык — Прим.перев.
Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
147
Оцените перевод: 
Средняя оценка: 5 (Всего оценок: 1)