36
правок
Изменения
м
→Связь с другими концепциями
'''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.
[[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая "глупые".
Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.
==Альтернативные формулировки==
'''Максимизатор ЗавитковЗагогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.
Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентная бесполезность|конвергентно-бесполезную ]] вещь.
'''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.
==Другие материалы по теме==
* [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор ЗавитковЗагогулин] - цепочка на Lesswrong.com
* [[Безопасность искусственного интеллекта]]
* [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com