36
правок
Изменения
Нет описания правки
{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}
'''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели.
[[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.
Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.
==Альтернативные формулировки==
* [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома "Искусственный интеллект [Этапы. Угрозы. Стратегии]" об Инструментальной Конвергенции (Сходимости)
* [[Тезис ортогональности|Тезис Ортогональности]]
* [[Инструментальная Конвергенция]]
[[Категория:AI Safety]]
[[Категория:Понятия]]