Безопасность искусственного интеллекта

Задача безопасности искусственного интеллекта состоит в том, чтобы создание в будущем сильного искусственного интеллекта оказало положительное влияние на человечество и не оказало отрицательного. К задаче безопасности ИИ относят как вопросы технической реализации систем безопасности (внешних и внутренних по отношению к самим ИИ-системам), так и вопросы регулирования в области разработки ИИ.

Техническое согласование ИИ

Вопросы технического согласования ИИ с целями оператора/человечества (англ. technical AI alignment) посвящены тому, как задать для искусственного интеллекта такую систему целей и ценностей, которая принесла бы благо людям и не нанесла бы вреда. Ключевая проблема связана с классическим принципом "компьютерная программа делает то, что вы ей скажете, а не то, что вы хотите чтобы она делала": существуют сложности как с четким и недвусмысленным определением того, какие цели и ценности вообще являются желательными, а также с тем, как перенести соответствующие цели в код и/или базу данных ИИ (и при этом не привнести нежелательные цели и ценности).

Помимо вопросов исследования целей и ценностей, к этой области относят исследования в области принятия решений агентами, теории игр (как искусственные агенты будут взаимодействовать друг с другом и с людьми), теории вероятности (как агенты будут строить и обновлять вероятностную модель внешнего мира на основе фактических наблюдений) и т.п.

Помимо вопросов внутреннего устройства ИИ, которое делало бы его безопасным, также исследуются вопросы внешнего контроля за деятельностью ИИ (например, помещение его в "коробку" или "песочницу" с целью ограничения возможности его влияния, в т.ч. негативного, на внешний мир; возможность интерпретирования его внутренних когнитивных процессов и принимаемых им решений). Однако, принято считать, что возможности внешнего контроля тем менее эффективны, чем более "интеллектуальным" будет соответствующий ИИ; поэтому вопросы внутреннего устройства подобных систем считаются более перспективными в долгосрочной перспективе.

Статьи по теме

• Соответствие ИИ целям оператора - сборник переведенных статей на тему безопасности ИИ, написанных исследователями из MIRI и другими авторами, близкими к сообществу рационалистов.

См. также

• Machine Intelligence Research Institute

Ссылки

Обзорные материалы

На русском

• Предотвращение катастрофы, связанной с ИИ - большой обзор проблемы на сайте 80.000 часов; содержит также ссылки на материалы и раздел "Что конкретно мы можешь сделать, чтобы помочь"
• Искусственный интеллект и экзистенциальные риски - большой обзор проблемы в формате древовидной структуры от Андрея Ведерникова

На английском

• AI Alignment: Why It’s Hard, and Where to Start - видео Элиезера Юдковского 2016 года (+ текстовая расшифровка)

Ресурсы, посвященные теме безопасности ИИ

На русском

• Сайт с переводами статей на тему безопасности ИИ
• Start in AI Safety - телеграм канал со ссылками на образовательные и карьерные возможности в AI Safety

На английском

• AI Alignment Forum - коллективный блог, посвященный вопросам technical alignment, родственный LessWrong (читать посты на нем может кто угодно; однако, возможность писать доступна только по определенной системе инвайтов)
• Сайт MIRI
• stampy.ai - сборник FAQ по теме безопасности ИИ
• Arbital - вики-ресурс про AI Safety с большим уклоном в математические аспекты