ИИ - не гонка вооружений

Область того, что ИИ не может делать, сокращается каждую неделю. Машины уже могут писать красивую прозу и полезный код, сдавать экзамены, создавать красивые произведения искусства, и предсказывать, как свернётся белок.

Эксперты напуганы. Прошлым летом я опросила более 550 исследователей ИИ, и почти половина из них считала, что, будучи созданным, мощной машинный интеллект с шансом не меньше 10% приведёт к «крайне плохим (например, вымирание людей)» последствиям. 30 мая сотни учёных из области ИИ, вместе с генеральными директорами ведущих ИИ-лабораторий, вроде OpenAI, DeepMind и Anthropic, подписали заявление, призывающее к осторожности касательно ИИ: «Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом подобно другим всеобщим рискам, такими как пандемии или ядерная война».

С чего всё это? Простейший аргумент – прогресс в ИИ приведёт к созданию сверхчеловечески-умных искусственных «существ» с целями, конфликтующими с интересами человечества, и способностью автономно их преследовать. Представьте себе вид, который для homo sapiens будет тем же, что homo sapiens для шимпанзе.

Однако, пока многие боятся, что ИИ может привести человечество к гибели, некоторые беспокоятся о том, что если «мы» – обычно имеются в виду исследователи на Западе, или даже исследователи из конкретной лаборатории или компании – не будем нестись вперёд, то это сделает кто-то менее ответственный. Если более безопасная лаборатория приостановится, наше будущее будет в руках более беспечной лаборатории – например, китайской, даже не пытающейся избежать значительных рисков.

Аргумент проводит аналогию между ситуацией с ИИ и классической гонкой вооружений. Скажем, я хочу одолеть вас в войне. И я, и вы тратим деньги на создание всё большего количества оружия, но никто не получает сравнительного преимущества. В конце концов, мы потратили много денег и ничего не получили. Это может показаться безумием, но, если кто-то не будет принимать участие в гонке, эта сторона проиграет. Мы в ловушке.

Но ситуация с ИИ критически отличается. Отметим, что в классической гонке вооружений сторона теоретически может вырваться вперёд и победить. Но в случае ИИ победителем будет сам мощный ИИ. Это может превратить спешку в проигрышный выбор.

Некоторые другие переворачивающие игру факторы в случае ИИ: сколько безопасности можно купить, жертвуя скоростью; насколько вложения одной стороны в безопасности снижают риск для всех; означает ли второе место мелкие потери или полную катастрофу; насколько растёт опасность, если другие стороны тоже разгоняются; и как отвечают остальные игроки.

Настоящая игра сложнее, чем можно описать простыми моделями. В частности, если отдельные нескоординированные стимулы приводят к извращённой ситуации «гонки вооружений», то выигрышный ход, при наличии возможности, это покинуть игру. И в реальном мире мы можем скоординироваться для выхода из такой ловушки: мы можем разговаривать друг с другом; можем давать обязательства и отмечать их соблюдение; можем призывать правительства к регуляциям и соглашениям.

В случае ИИ выгода отдельного игрока может быть не такая же, как у всего общества. Для большинства из нас не особо важно, сможет ли Meta опередить Microsoft. Но исследователи и инвесторы, стремящиеся к славе и богатству могут куда больше об этом беспокоиться. Разговоры о ИИ как о гонке вооружений усиливают нарратив о том, что им надо преследовать свои интересы. Остальным из нас стоит проявить осторожность, и не дать им всё решить.

Лучшая, чем гонка вооружений, аналогия для ИИ – толпа, стоящая на тонком льду, и несметные богатства на дальнем берегу. Все могут достичь их, ступая осторожно, но кто-то думает «Если я побегу, лёд может сломаться, и мы все провалимся, но я уж точно могу бежать осторожнее, чем Боб, а он может решить это сделать».

С ИИ мы можем оказаться в точной противоположности гонки. Лучшее индивидуальное действие – продвигаться медленно и осторожно. А коллективно нам следует не дать никому пожертвовать миром в извращённой гонке к разрушению – особенно, когда пути к скоординированному выходу так слабо исследованы.