Поставить разработку ИИ на паузу не достаточно. Нам надо остановить её полностью

Сегодня вышло открытое письмо, призывающее «все ИИ-лаборатории немедленно приостановить обучение ИИ-систем мощнее, чем GPT-4, хотя бы на 6 месяцев».

Этот шестимесячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто присоединился и подписал письмо. Это – небольшое улучшение.

Я воздержался от подписывания, потому что я думаю, что письмо занижает серьёзность ситуации и просит о слишком малом для её разрешения.

Ключевая проблема – не «конкурирующий с людьми» интеллект (как написано в письме), а то, что произойдёт после того, как ИИ доберётся до уровня интеллекта выше человеческого. Ключевые пороги могут быть неочевидны, мы уж точно не можем заранее просчитать, когда что произойдёт, и сейчас кажется вполне представимым, что исследовательская лаборатория пересечёт критические линии, не заметив этого.

Многие исследователи, разбиравшиеся в этих проблемах, включая меня, ожидают, что наиболее вероятный результат создания сверхчеловечески умного ИИ при обстоятельствах, хоть отдалённо напоминающих нынешние – что буквально все на Земле умрут. Не как «может быть, возможно, какой-то шанс», а «это очевидное событие, которое произойдёт». Не то, чтобы нельзя было в принципе пережить создание чего-то умнее себя, но это потребовало бы аккуратности, подготовки, новых научных озарений, и, вероятно, чтобы ИИ-системы не состояли из гигантских непонятных массивов матриц вещественных чисел.

Без этой аккуратности и подготовки, наиболее вероятный исход – ИИ делает не то, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такую заботу можно в принципе вложить в ИИ, но мы не готовы,* и мы сейчас не знаем, как.

Без этой заботы мы получаем «ИИ вас не любит, и не ненавидит, и вы состоите из атомов, которые он может использовать для чего-то другого».

Ожидаемый результат столкновения человечества с противостоящим сверхчеловеческим интеллектом – полное поражение. Подходящими метафорами могут быть «десятилетка пытается играть в шахматы с Stockfish 15», «11-й век пытается сражаться с 21-м веком» и «Австралопитеки пытаются сражаться с Homo sapiens».

Чтобы визуализировать сверхчеловеческий ИИ, не представляйте, как книжный червь, у которого нет жизни, лезет в интернет и посылает злонамеренные е-мейлы. Представьте целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально заключённую в компьютерах – в мире существ, с её точки зрения, очень глупых и очень медленных. Достаточно интеллектуальный ИИ не останется ограничен компьютерами надолго. В современном мире можно послать е-мейл с последовательностями ДНК в лаборатории, которые произведут белки по запросу, что позволит изначально заключённому в интернете ИИ создать искусственные формы жизни или сразу разогнаться до постбиологической молекулярной сборки.

Я ожидаю, что, если кто-то создаст слишком мощный ИИ в нынешних условиях, все до единого представители человеческого вида и вся биологическая жизнь на Земле погибнут вскоре после этого.

Нет планов о том, как мы можем это сделать и выжить. OpenAI открыто объявили, что собираются заставить какие-то будущие ИИ выполнять нашу работу по согласованию ИИ. Любому разумному человеку должно быть достаточно услышать, что это и есть план, чтобы начать паниковать. У другой ведущей ИИ-лаборатории, DeepMind, вовсе нет плана.

Отступление: Эта опасность никак не зависит от того, могут ли ИИ осознавать себя и делают ли они это; она выводится из понятия мощной когнитивной системы, которая мощно оптимизирует выводы согласно достаточно сложному критерию исходов. Всё же, я бы увильнул от исполнения своего человеческого морального долга, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли себя ИИ-системы – потому что мы понятия не имеем, как декодировать что-либо, происходящее в огромных непонятных массивах – а следовательно, мы можем в какой-то момент непреднамеренно создать цифровые разумы, обладающие настоящим сознанием, которые должны будут иметь права, и которыми с моральной точки зрения нельзя будет владеть.

Правило, которое одобрило бы большинство осведомлённых об этих проблемах людей 50 лет назад, заключается в том, что если ИИ-система владеет языком, и говорит, что она осознаёт себя и заслуживает человеческих прав, то это должно сразу прекратить владение такими ИИ и использование их в своих целях. Мы уже разметали эту линию на песке. И это скорее всего было правильно; я согласен, что нынешние ИИ скорее всего просто имитируют разговоры о самосознании из своих обучающих данных. Но отмечу, что из-за того, как мы мало понимаем во внутренностях этих систем, мы на самом деле не знаем.

Если таково наше непонимание GPT-4, и мы позволим людям создать GPT-5, и GPT-5 будет таким же огромным скачком способностей, как от GPT-3 до GPT-4, то, я думаю, мы больше не сможем обоснованно сказать «скорее всего не имеет сознания». Это будет просто «я не знаю, никто не знает». Если вы не можете быть уверены, создаёте ли вы осознающие себя ИИ, это тревожит не только из-за моральных следствий «сознания», но и из-за того, что такая неуверенность означает, что вы понятия не имеете о том, что делаете, и это опасно, и вам надо остановиться.

7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал по поводу того, что новый Bing «заставит Google поплясать». «Я хочу, чтобы люди знали, что они у нас попляшут», – сказал он.

Это не то, как говорит директор Microsoft в не сошедшем с ума мире. Это демонстрирует ошеломляющий разрыв между тем, как серьёзно мы воспринимаем задачу, и тем, как серьёзно нам надо было её воспринимать, начиная 30 лет назад.

Мы не преодолеем этот разрыв за шесть месяцев.

С момента, когда впервые было предложено понятие Искусственного Интеллекта и начаты исследования в этом направлении, достижение нынешнего уровня способностей заняло больше 60 лет. Решение безопасности сверчеловеческого интеллекта – не идеальной безопасности, безопасности в смысле «не убьёт буквально всех» – вполне может занять как минимум половину от этого. И особенность попыток сделать это с сверхчеловеческим интеллектом – что если с первой попытки не получилось правильно, то вы не учитесь на своих ошибках, потому что вы мертвы. Человечество не учится на этой ошибке и не пытается снова и снова, как оно делало с другими вызовами на протяжении своей истории, потому что все погибли.

В науке и инженерии попытаться сделать что угодно правильно с первого раза – экстраординарное требование. У нас нет ничего похожего на подход, который позволил бы успешно с этим справиться. Если бы мы оценивали всю зарождающуюся область Сильного Искусственного Интеллекта минимальными стандартами, применимыми к мосту, который должен выдерживать пару тысяч машин, всю область прикрыли бы на следующий же день.

Мы не готовы. Мы не на пути к тому, чтобы стать готовыми в осмысленные сроки. Плана нет. Прогресс способностей ИИ намного, намного опережает прогресс согласования ИИ или даже прогресс понимания того, что, чёрт побери, происходит внутри этих систем. Если мы будем продвигаться так, мы все умрём.

Многие исследователи, работающие над этими системами, думают, что мы несёмся навстречу катастрофе. Больше из них осмеливаются говорить это в личном разговоре, а не на публику; они думаю, что не могут в одиночку остановить этот поезд, что даже если они уйдут со своей работы, её продолжат другие. Так что они думают, что с тем же успехом можно и продолжать. Это глупое положение дел, недостойная гибель для Земли, и остальное человечество должно в этот момент вмешаться и помочь индустрии решить её проблемы коллективных действий.

Некоторые мои друзья недавно сообщили мне, что когда люди за пределами индустрии ИИ впервые слышат о риске вымирания от Сильного Искусственного Интеллекта, их реакция – «может, тогда нам не следует создавать СИИ».

Это даёт мне крохотный проблеск надежды, потому что это более простая, осмысленная, и, честно говоря, не-безумная реакция, чем то, что я слышал последние 20 лет, пытаясь заставить людей в индустрии воспринимать всё серьёзно. Те, кто говорят так здраво, заслуживают услышать, насколько ситуация на самом деле плоха, и чтобы им не говорили, что шестимесячный мораторий её исправит.

16 марта моя партнёрка послала мне этот е-мейл (Она потом разрешила мне привести его тут):

«У Нины выпал зуб! Обычным детским образом, не от неосторожности! То, что GPT-4 взорвала эти стандартизированные тесты в тот же день, что у Нины случилась эта детская веха, на минутку эмоционально свалило меня с ног. Это всё слишком быстро. Я беспокоюсь, что, делясь этим, увеличу твою собственную скорбь, но я скорее выберу, чтобы ты это знал, а не чтобы мы с тобой страдали поодиночке.»

Я думаю, что, когда личные разговоры – о скорби из-за мыслей о том, что у твоей дочери, у которой выпал первый зуб, не будет шанса вырасти, играть в политические шахматы с шестимесячным мораторием слишком поздно.

Если бы был план выживания Земли, если бы мы только продавили шестимесячный мораторий, я бы его поддержал. Такого плана нет.

Вот, что на самом деле надо сделать:

Мораторий на новые обучения больших моделей должен быть всемирным и неограниченным во времени. Не может быть никаких исключений, включая государства и вооружённые силы. Если политика начнётся с США, то Китаю надо увидеть, что США не преследует преимущество, а пытается предотвратить появление ужасающе опасной технологии, у которой не будет истинного владельца, и которая убьёт всех и в США, и в Китае, и на всей Земле. Если бы у меня была неограниченная свобода писать законы, я, может быть, оставил бы одно исключение для ИИ, обученных исключительно для решения задач биологии и биотехнологии, не обученных на текстах из интернета, и не обученных до того уровня, на котором они начнут разговаривать и планировать; но, если это хоть немного всё усложняет, я сразу же отбросил бы это предложение, и просто сказал бы всё это закрыть.

Закрыть все большие кластеры GPU (большие компьютерные фермы, на которых создаются самые мощные ИИ). Прекратить все большие процессы обучения. Поставить верхний предел того, сколько вычислительных мощностей можно использовать для обучения ИИ-системы, и понижать его со временем для компенсации более эффективных алгоритмов обучения. Никаких исключений ни для кого, включая государства и вооружённые силы. Немедленно составить международные соглашения по предотвращению переезда запрещённой деятельности в другие места. Отслеживать все проданные GPU. Если разведка говорит, что не подписавшая соглашение страна создаёт кластер GPU, надо меньше бояться вооружённого межнационального конфликта, чем нарушения моратория; будьте готовы уничтожить мятежный датацентр авиаударом.

Не подавайте ничего как конфликт национальных интересов, сделайте совершенно ясным, что любой, говорящий о гонке вооружений – дурак. Что мы все выживаем или гибнем в одной лодке – это не политическое заявление, а объективная реальность. Международная дипломатия должна в явном виде учитывать, что предотвращение сценария связанного с ИИ вымирания считается приоритетнее предотвращения полномасштабного обмена ядерными ударами, и что союзные страны «ядерного клуба» готовы пойти на некоторый риск обмена, если это нужно для снижения риска большого процесса обучения ИИ.

Такие политические изменения нужны, чтобы мы с партнёркой обнялись, сказали друг другу, что произошло чудо, что теперь есть шанс, и может быть, Нина выживет. Здравомыслящие люди, слышащие обо всём этом в первый раз, и здраво предлагающие «может, нам не следует», заслужили услышать, что для этого надо. И когда политические запросы настолько велики, то единственное, как это может пройти – если политики осознают, что продолжи они вести дела как обычно, делая то, что политически просто, то их дети тоже погибнут.

Остановите это всё.

Мы не готовы. Мы не на пути к тому, чтобы быть готовы в обозримом будущем. Если мы будем нестись вперёд, погибнут все, включая детей, которые это не выбирали, и не сделали ничего неправильного.

Остановите.