Безопасность искусственного интеллекта

Задача безопасности искусственного интеллекта состоит в том, чтобы создание в будущем сильного искусственного интеллекта оказало положительное влияние на человечество и не оказало отрицательного. К задаче безопасности ИИ относят как вопросы технической реализации систем безопасности (внешних и внутренних по отношению к самим ИИ-системам), так и вопросы регулирования в области разработки ИИ.

Техническое согласование ИИ

Вопросы технического согласования ИИ с целями оператора/человечества (англ. technical AI alignment) посвящены тому, как задать для искусственного интеллекта такую систему целей и ценностей, которая принесла бы благо людям и не нанесла бы вреда. Ключевая проблема связана с классическим принципом "компьютерная программа делает то, что вы ей скажете, а не то, что вы хотите чтобы она делала": существуют сложности как с четким и недвусмысленным определением того, какие цели и ценности вообще являются желательными, а также с тем, как перенести соответствующие цели в код и/или базу данных ИИ (и при этом не привнести нежелательные цели и ценности).

Помимо вопросов исследования целей и ценностей, к этой области относят исследования в области принятия решений агентами, теории игр (как искусственные агенты будут взаимодействовать друг с другом и с людьми), теории вероятности (как агенты будут строить и обновлять вероятностную модель внешнего мира на основе фактических наблюдений) и т.п.

Помимо вопросов внутреннего устройства ИИ, которое делало бы его безопасным, также исследуются вопросы внешнего контроля за деятельностью ИИ (например, помещение его в "коробку" или "песочницу" с целью ограничения возможности его влияния, в т.ч. негативного, на внешний мир; возможность интерпретирования его внутренних когнитивных процессов и принимаемых им решений). Однако, принято считать, что возможности внешнего контроля тем менее эффективны, чем более "интеллектуальным" будет соответствующий ИИ; поэтому вопросы внутреннего устройства подобных систем считаются более перспективными в долгосрочной перспективе.

Регулирование в области ИИ

К вопросам регулирования, в частности, относится выработка и внедрение практик разработки ИИ, которые позволили бы предотвратить разработку и запуск потенциально опасного ИИ (а также оценить риски, связанные с разработкой и запуском конкретной ИИ-системы). Соответствующие практики должны в конечном итоге применяться на разных уровнях - от уровня отдельных исследовательских лабораторий, индивидуальных разработчиков и технологических компаний до уровня международных соглашений, подобных соглашениям в области изменения климата или контроля за распространением оружия массового поражения.

Важность задачи безопасности ИИ

Ожидается, что будущие системы искусственного интеллекта могут достичь уровня, на котором смогут решать все или почти все практические задачи лучше, чем отдельный человек (а, возможно, и всё человечество в совокупности); причем вероятность того, что это случится в обозримом будущем (во многих оценках - несколько десятилетий, в некоторых - годы или столетия) оценивается как довольно значительная (десятки процентов). Если это случится, то такие системы будут оказывать значительное влияние на судьбу всего человечества; причем, скорее всего, даже в большей степени, чем сами люди. С учетом подобной перспективы становится крайне важным, чтобы такое влияние было положительным и не было отрицательным; для этого требуется, чтобы ИИ был запрограммирован стремиться оказывать на человечество позитивное влияние и не оказывать отрицательное.

При этом в настоящий момент не предложено достаточно надежных способов запрограммировать подобное поведение для достаточно интеллектуального агента. Все предложенные варианты (включая известные "законы робототехники" из произведений Айзека Азимова) при тщательном анализе оказываются либо совершенно не поддающимися строгой формализации в виде программного кода или математических структур, либо приводящими к различным негативным последствиям (причем обычно глобального масштаба) в большинстве сколько-нибудь реалистичных сценариев развития событий. С учетом этого, в настоящий момент нельзя ожидать, что искусственный интеллект окажется "безопасным" по умолчанию; чтобы обеспечить его безопасность, потребуются целенаправленные усилия по решению ныне не решенных задач.

Статьи по теме

• Соответствие ИИ целям оператора - сборник переведенных статей на тему безопасности ИИ, написанных исследователями из MIRI и другими авторами, близкими к сообществу рационалистов.

См. также

• Machine Intelligence Research Institute

Ссылки

Обзорные материалы

На русском

• Предотвращение катастрофы, связанной с ИИ - большой обзор проблемы на сайте 80.000 часов; содержит также ссылки на материалы и раздел "Что конкретно мы можешь сделать, чтобы помочь"
• Искусственный интеллект и экзистенциальные риски - большой обзор проблемы в формате древовидной структуры от Андрея Ведерникова

На английском

• AI Alignment: Why It’s Hard, and Where to Start - видео Элиезера Юдковского 2016 года (+ текстовая расшифровка)

Ресурсы, посвященные теме безопасности ИИ

На русском

• Сайт с переводами статей на тему безопасности ИИ
• Start in AI Safety - телеграм канал со ссылками на образовательные и карьерные возможности в AI Safety

На английском

• AI Alignment Forum - коллективный блог, посвященный вопросам technical alignment, родственный LessWrong (читать посты на нем может кто угодно; однако, возможность писать доступна только по определенной системе инвайтов)
• Сайт MIRI
• stampy.ai - сборник FAQ по теме безопасности ИИ
• Arbital - вики-ресурс про AI Safety с большим уклоном в математические аспекты

Курсы и стажировки

На английском

• AI Safety Training - удобный инструмент для отслеживания стажировок и дедлайнов подачи заявок на них

Рассылки

На английском

• Рассылка сообщества ML Safety
• Рассылка Center for AI Safety
• Рассылка публикаций по AI Alignment от Rohin Shan

Сообщество

На русском

• Русскоязычная сеть по безопасности ИИ - перепись русскоязычных участников из разных городов и стран