Изменения

'''Задача безопасности искусственного интеллекта''' состоит в том, чтобы создание в будущем сильного искусственного интеллекта оказало положительное влияние на человечество и не оказало отрицательного.К задаче безопасности ИИ относят как вопросы технической реализации систем безопасности (внешних и внутренних по отношению к самим ИИ-системам), так и вопросы регулирования в области разработки ИИ. == Техническое согласование ИИ == Вопросы [[Согласование ИИ|технического согласования ИИ с целями оператора/человечества]] (англ. ''technical AI alignment'') посвящены тому, как задать для искусственного интеллекта такую систему целей и ценностей, которая принесла бы благо людям и не нанесла бы вреда. Ключевая проблема связана с классическим принципом "компьютерная программа делает то, что вы ей скажете, а не то, что вы хотите чтобы она делала": существуют сложности как с четким и недвусмысленным определением того, какие цели и ценности вообще являются желательными, а также с тем, как перенести соответствующие цели в код и/или базу данных ИИ (и при этом не привнести нежелательные цели и ценности). Помимо вопросов исследования целей и ценностей, к этой области относят исследования в области принятия решений [[Агент|агентами]], теории игр (как искусственные агенты будут взаимодействовать друг с другом и с людьми), теории вероятности (как агенты будут строить и обновлять вероятностную модель внешнего мира на основе фактических наблюдений) и т.п. Помимо вопросов внутреннего устройства ИИ, которое делало бы его безопасным, также исследуются вопросы внешнего контроля за деятельностью ИИ (например, помещение его в "[[AI Boxing|коробку]]" или "песочницу" с целью ограничения возможности его влияния, в т.ч. негативного, на внешний мир; возможность интерпретирования его внутренних когнитивных процессов и принимаемых им решений). Однако, принято считать, что возможности внешнего контроля тем менее эффективны, чем более "интеллектуальным" будет соответствующий ИИ; поэтому вопросы внутреннего устройства подобных систем считаются более перспективными в долгосрочной перспективе. == Регулирование в области ИИ == == Важность задачи безопасности ИИ ==

* [https://www.alignmentforum.org/ AI Alignment Forum]- коллективный блог, посвященный вопросам technical alignment, родственный [[LessWrong]] (читать посты на нем может кто угодно; однако, возможность писать доступна только по [https://www.alignmentforum.org/about#How_do_I_join_the_Alignment_Forum_ определенной системе инвайтов])