Вы здесь

Скажи нет «сложности»

Элиезер Юдковский

Однажды…

Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.

Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретет для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?

И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему?»

Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определенный алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).

И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».

Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думает словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…

Я спросил:

— Ты читал «Техническое объяснение технического объяснения»?

— Да, — ответил Марчелло.

— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.

— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.

Тогда я и подумал: «Возможно, это парень обучаем».

Сложность - далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней - тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.

Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, - попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь в вновь, постоянно игнорируя собственное непонимание.

Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного - причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.

Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка - игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.

Подозреваю, что в научных кругах присутствует сильное давление, способствующее сокрытию таких проблем, ведь нужно выдавать бумаги с шлейфом законченности. Тебя будут больше почитать, если в твоей будто бы полной работе будет присутствовать «эмерджентный феномен», а не за незаконченную, в которой есть ярлыки «понятия не имею, как это работает» или «а тут происходит чудо». Журнал может даже не принять такую работу, ведь, кто знает, вдруг необъясненные явления и являются моментами, где все самое интересное происходит? И да, случается так, что все немагические части оказываются также и неважными. Это цена, которую приходится порой платить за вход в неизведанное и попытки решить проблемы мелкими шажками. Но это так же означает, что понимание того, что ты еще не закончил чрезвычайно важно. Часто люди даже не осмеливаются исследовать неизведанное, ужасно боясь напрасно потратить время впустую.

И, если ты работаешь над революционным ИИ-стартапом, то давление ещё выше, а желание спрятать проблемы ещё больше, иначе придется признать, что ты не знаешь пока как создать ИИ, и твоя жизнь обратится в прах. Но, возможно, я слишком усложняю, ведь контрабанда происходит неосознанно. Далеко ходить за примерами не нужно: просто послушай, как люди обсуждают философию, религию или науки, в которых у них нет профессиональной подготовки.

Марчелло и я пришли к соглашению о работе с ИИ: если мы сталкиваемся с чем-то, чего мы не понимаем, а это случалось довольно часто, мы будем говорить об этом как о «магии». Например, «Х магически делает У», чтобы напоминать себе о том, что тут присутствует нерешенная проблема, провал в понимании. Гораздо полезней говорить «магия», чем «сложность», ведь последнее слово создает иллюзию понимания. Мудрей говорить «магия» и оставлять себе напоминание о работе, которую надо сделать позже.

Перевод: 
Muyyd
  • Короткая ссылка сюда: lesswrong.ru/228
Москва, 25 ноября — 16 декабря:
3-недельный курс прикладной рациональности
от рационального клуба Кочерга