36
правок
Изменения
Добавила абзацы про инструментальную конвергенцию и тезис ортогональности. И ссылку на вики-страницу про тезис ортогональности
Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.
[[Тезис ортогональности|'''Тезис об Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.
Тезис об '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целях. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.
==Альтернативные формулировки==
Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].
==Другие материалы по теме==
* [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии
* [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома "Искусственный интеллект [Этапы. Угрозы. Стратегии]" об Инструментальной Конвергенции (Сходимости)
* [[Тезис ортогональности|Тезис Ортогональности]]
[[Категория:AI Safety]]
