Максимизатор скрепок - История изменений

Madoka Memika: /* Связь с другими концепциями */

2023-12-08T16:14:03Z

‎Связь с другими концепциями

Madoka Memika: /* Другие материалы по теме */

2023-12-05T20:51:17Z

‎Другие материалы по теме

Madoka Memika: /* Альтернативные формулировки */

2023-12-05T19:44:08Z

‎Альтернативные формулировки

Madoka Memika: /* Альтернативные формулировки */

2023-12-05T19:43:23Z

‎Альтернативные формулировки

Madoka Memika: /* Альтернативные формулировки */

2023-12-05T19:38:38Z

‎Альтернативные формулировки

Madoka Memika: /* Другие материалы по теме */

2023-12-03T15:49:04Z

‎Другие материалы по теме

Madoka Memika в 15:48, 3 декабря 2023

2023-12-03T15:48:39Z

Madoka Memika в 15:43, 3 декабря 2023

2023-12-03T15:43:21Z

Madoka Memika в 17:03, 27 ноября 2023

2023-11-27T17:03:49Z

Madoka Memika: /* Связь с другими концепциями */

2023-11-27T16:47:26Z

‎Связь с другими концепциями

@@ Строка 13: / Строка 13: @@
 '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.
-[[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.
+[[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая "глупые".
 Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.

@@ Строка 31: / Строка 31: @@
 ==Другие материалы по теме==
-* [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com
+* [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Загогулин] - цепочка на Lesswrong.com
 * [[Безопасность искусственного интеллекта]]
 * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com

@@ Строка 21: / Строка 21: @@
 '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.
-Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентно-бесполезный|конвергентно-бесполезную]] вещь.
+Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентная бесполезность|конвергентно-бесполезную]] вещь.
 '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.

@@ Строка 21: / Строка 21: @@
 '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.
-Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.
+Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентно-бесполезный|конвергентно-бесполезную]] вещь.
 '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.

@@ Строка 19: / Строка 19: @@
 ==Альтернативные формулировки==
-'''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.
+'''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.
 Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.

@@ Строка 38: / Строка 38: @@
 * [[Тезис ортогональности|Тезис Ортогональности]]
 * [[Инструментальная Конвергенция]]
-* [[Минимизаторы Скрепок]] - название отсылает к Максимизатщру скрепок
+* [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок
 [[Категория:AI Safety]]
 [[Категория:Понятия]]

@@ Строка 27: / Строка 27: @@
 Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].
+'''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.
 ==Другие материалы по теме==

@@ Строка 14: / Строка 14: @@
 [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько "умный" не может ставить своей целью что-то настолько "глупое" как создание скрепок. Однако Ник Бостром пишет, что "почти любой уровень интеллекта совместим с почти любыми конечными целями", следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.
-Тезис '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целях. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.
+Тезис '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.
 ==Альтернативные формулировки==