https://lesswrong.ru/wiki/api.php?action=feedcontributions&feedformat=atom&user=Madoka+Memika 2026-06-11T05:00:35Z Вклад участника MediaWiki 1.30.0 https://lesswrong.ru/wiki/index.php?title=%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C&diff=3398 2024-03-31T13:11:18Z

<p>Madoka Memika: </p> <hr /> <div>{{DraftPage}}<br /> &lt;div style=&quot;float: right&quot;&gt;<br /> {{LwComWikiLink|Agency}}<br /> <br /> '''Агентность''' - способность [[Рациональный агент|'''агента''']] изменять среду для достижения своих целей. Чем больше агентность, тем ближе его действия к оптимальным с точки зрения увеличения шансов на достижение целей.<br /> <br /> ==Другие материалы по теме==<br /> <br /> [[Рациональный агент|'''Рациональный агент''']]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C&diff=3397 2024-03-31T13:09:50Z

<p>Madoka Memika: Новая страница: «{{LwComWikiLink|Agency}} '''Агентность''' - способность '''агента''' изменять сред…»</p> <hr /> <div>{{LwComWikiLink|Agency}}<br /> <br /> '''Агентность''' - способность [[Рациональный агент|'''агента''']] изменять среду для достижения своих целей. Чем больше агентность, тем ближе его действия к оптимальным с точки зрения увеличения шансов на достижение целей.<br /> <br /> ==Другие материалы по теме==<br /> <br /> [[Рациональный агент|'''Рациональный агент''']]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%A2%D0%B5%D0%B7%D0%B8%D1%81_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8&diff=3351 2023-12-10T11:35:35Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{LwComWikiLink|Orthogonality Thesis}}<br /> {{DraftPage}}<br /> <br /> '''Тезис ортогональности''' — утверждает, что интеллект и финальные цели [[агент]]а — это отдельные, независимые аспекты и их комбинации могут быть какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и [[Функция полезности|функции полезности]].<br /> <br /> == Связанные понятия ==<br /> '''Ортогональность''' термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у [[агент]]ов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.<br /> <br /> '''[[Инструментальная конвергенция]]''' — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями. <br /> <br /> == Другие материалы по теме ==<br /> * [https://arbital.com/p/orthogonality/ Тезис ортогональности] — статья на Arbital.com</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%A2%D0%B5%D0%B7%D0%B8%D1%81_%D0%BE%D1%80%D1%82%D0%BE%D0%B3%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8&diff=3340 2023-12-08T21:20:13Z

<p>Madoka Memika: Новая страница: «&lt;div style=&quot;float: right&quot;&gt; {{LwComWikiLink|Orthogonality Thesis}} {{DraftPage}} '''Тезис ортогональности''' - утверждает, что и…»</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{LwComWikiLink|Orthogonality Thesis}}<br /> {{DraftPage}}<br /> <br /> '''Тезис ортогональности''' - утверждает, что интеллект и финальные цели [[Агент|агента]] - это отдельные, независимые аспекты и их комбинации могут быть какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и [[Функция полезности|функции полезности]].<br /> <br /> ==Связанные понятия==<br /> <br /> '''Ортогональность''' термин из программирования, означающий, что части системы работают независимо друг от друга. То есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны - у [[Агент|агентов]] с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.<br /> <br /> '''[[Инструментальная Конвергениця]]''' - предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями. <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://arbital.com/p/orthogonality/ Тезис ортогональности] - статья на Arbital.com</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3339 2023-12-08T16:14:03Z

<p>Madoka Memika: /* Связь с другими концепциями */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая &quot;глупые&quot;.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентная бесполезность|конвергентно-бесполезную]] вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Загогулин] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3338 2023-12-05T20:51:17Z

<p>Madoka Memika: /* Другие материалы по теме */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентная бесполезность|конвергентно-бесполезную]] вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Загогулин] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3337 2023-12-05T20:39:22Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> {{DraftPage}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - Любой достаточно продвинутый интеллект вероятно будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).<br /> <br /> * '''Стремление к эффективности'''<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию''' <br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3336 2023-12-05T20:38:59Z

<p>Madoka Memika: /* Стремления Омохундро */</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - Любой достаточно продвинутый интеллект вероятно будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).<br /> <br /> * '''Стремление к эффективности'''<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию''' <br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3335 2023-12-05T20:29:00Z

<p>Madoka Memika: /* Стремления Омохундро */</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - Любой достаточно продвинутый интеллект вероятно будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).<br /> <br /> * '''Стремление к эффективности'''<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию'''<br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3334 2023-12-05T20:28:42Z

<p>Madoka Memika: /* Стремления Омохундро */</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - Любой достаточно продвинутый интеллект вероятно будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).<br /> <br /> * '''Стремление к эффективности'''<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию'''<br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [[https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3333 2023-12-05T20:28:08Z

<p>Madoka Memika: /* Стремления Омохундро */</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - Любой достаточно продвинутый интеллект вероятно будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).<br /> <br /> * '''Стремление к эффективности'''<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию'''<br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [[Thhttps://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3332 2023-12-05T20:17:19Z

<p>Madoka Memika: /* Стремления Омохундро */</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил стремления, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения.<br /> <br /> * '''Стремление к самосохранению''' - <br /> <br /> * '''Стремление к эффективности''' -<br /> <br /> * '''Стремление к аккумуляции ресурсов'''<br /> <br /> * '''Стремление к креативности'''<br /> <br /> * '''Стремление к самосовершенствованию'''<br /> <br /> * '''Стремление к [[Рациональность|рациональности]]'''<br /> <br /> * '''Стремление к сохранению своей [[Функция полезности|функции полезности]]'''<br /> <br /> * '''Стремление к предотвращению фальсификации [[утилон|утилонов]]'''<br /> <br /> <br /> Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [[Thhttps://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives]]<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F_%D0%B1%D0%B5%D1%81%D0%BF%D0%BE%D0%BB%D0%B5%D0%B7%D0%BD%D0%BE%D1%81%D1%82%D1%8C&diff=3327 2023-12-05T19:59:18Z

<p>Madoka Memika: </p> <hr /> <div>'''Конвергентная бесполезность''' - свойство не являться полезным для [[Агент|агента]] с любой целью. То есть конвергентно бесполезной стратегией можно назвать такую стратегию, для которой среди всех доступных стратегий найдется более эффективная стратегия для достижения любой конечной цели. Название отсылает на [[Инструментальная Конвергенция|инструментальную конвергенцию]]. Введено Славой Меритон.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F_%D0%B1%D0%B5%D1%81%D0%BF%D0%BE%D0%BB%D0%B5%D0%B7%D0%BD%D0%BE%D1%81%D1%82%D1%8C&diff=3326 2023-12-05T19:55:02Z

<p>Madoka Memika: </p> <hr /> <div>'''Конвергентная бесполезность''' - свойство не являться полезным для [[Агент|агента]] с любой целью. То есть конвергентно бесполезная вещь не помогает достичь практически никакой цели. Название отсылает на [[Инструментальная Конвергенция|инструментальную конвергенцию]]. Введено Славой Меритон.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%82%D0%BD%D0%B0%D1%8F_%D0%B1%D0%B5%D1%81%D0%BF%D0%BE%D0%BB%D0%B5%D0%B7%D0%BD%D0%BE%D1%81%D1%82%D1%8C&diff=3324 2023-12-05T19:50:47Z

<p>Madoka Memika: Новая страница: «'''Конвергентная бесполезность''' - свойство не являться полезным для агента с люб…»</p> <hr /> <div>'''Конвергентная бесполезность''' - свойство не являться полезным для [[Агент|агента]] с любой целью. То есть конвергентно бесполезная вещь не помогает достичь абсолютно никакой цели. Название отсылает на [[Инструментальная Конвергенция|инструментальную конвергенцию]]. Введено Славой Меритон.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3322 2023-12-05T19:47:27Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' (также известна как Инструментальная сходимость) - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Стремления Омохундро==<br /> <br /> Стивен Малверн Омохундро, создавший понятие инструментальной конвергенции, выделил два набора ценностей, которые весьма вероятно будут сформированы у достаточно продвинутых системах ИИ любого назначения. Первый набор - для саморазвивающихся искусственных интеллектов, а второй - для достаточно развитых, уже достигших Сильного Искусственного Интеллекта систем.<br /> <br /> '''Первый набор'''<br /> <br /> '''Самосохранение'''<br /> <br /> '''Эффективность'''<br /> <br /> '''Аккумуляция ресурсов'''<br /> <br /> '''Креативность'''<br /> <br /> '''Второй набор'''<br /> <br /> '''Самосовершенствование'''<br /> <br /> '''[[Рациональность]]'''<br /> <br /> '''Сохранение своей [[Функция полезности|функции полезности]]'''<br /> <br /> '''Предотвращение фальсификации [[утилон|утилонов]]'''<br /> <br /> '''Самосохранение'''<br /> <br /> '''Аккумуляция ресурсов и их эффективное использование'''<br /> <br /> <br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3321 2023-12-05T19:44:08Z

<p>Madoka Memika: /* Альтернативные формулировки */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентная бесполезность|конвергентно-бесполезную]] вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3320 2023-12-05T19:43:23Z

<p>Madoka Memika: /* Альтернативные формулировки */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на [[конвергентно-бесполезный|конвергентно-бесполезную]] вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3319 2023-12-05T19:38:38Z

<p>Madoka Memika: /* Альтернативные формулировки */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Загогулин''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3296 2023-12-03T21:53:34Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu|Инструментальная сходимость}}<br /> <br /> '''Инструментальная Конвергениця''' - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3295 2023-12-03T21:52:33Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu}}<br /> <br /> '''Инструментальная Конвергениця''' - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ==Связанные понятия==<br /> <br /> [[Максимизатор скрепок]] - пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллеками - захват ресурсов Земли.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3289 2023-12-03T15:49:04Z

<p>Madoka Memika: /* Другие материалы по теме */</p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатору скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3288 2023-12-03T15:48:39Z

<p>Madoka Memika: </p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> '''Катастрофа Гипотезы Римана''' - ИИ, созданный для решения Гипотезы Римана может попытаться захватить все ресурсы Земли для производства суперкомпьютеров, которые могли бы выполнить возложенную на него задачу.<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатщру скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3287 2023-12-03T15:43:21Z

<p>Madoka Memika: </p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> * [[Минимизаторы Скрепок]] - название отсылает к Максимизатщру скрепок<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3286 2023-12-03T15:24:34Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu}}<br /> <br /> '''Инструментальная Конвергениця''' - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.<br /> <br /> ====<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [https://www.alignmentforum.org/tag/instrumental-convergence Инструментальная конвергенция] - www.alignmentforum.org</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3283 2023-11-27T17:09:22Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu}}<br /> <br /> '''Инструментальная Конвергениця''' - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3282 2023-11-27T17:09:01Z

<p>Madoka Memika: </p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu}}<br /> <br /> Инструментальная Конвергениця - предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3281 2023-11-27T17:03:49Z

<p>Madoka Memika: </p> <hr /> <div>{{LwComWikiLink|Squiggle Maximizer Formerly Paperclip Maximizer}}<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''[[Инструментальная Конвергенция|Инструментальной Конвергенции]]''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> * [[Инструментальная Конвергенция]]<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BD%D0%B2%D0%B5%D1%80%D0%B3%D0%B5%D0%BD%D1%86%D0%B8%D1%8F&diff=3280 2023-11-27T17:02:29Z

<p>Madoka Memika: Новая страница: «&lt;div style=&quot;float: right&quot;&gt; {{WikipediaRu}} '''Тезис об инструментальной конвергенции''' - гипотеза о совпаден…»</p> <hr /> <div>&lt;div style=&quot;float: right&quot;&gt;<br /> {{WikipediaRu}}<br /> '''Тезис об инструментальной конвергенции''' - гипотеза о совпадении промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3279 2023-11-27T16:47:26Z

<p>Madoka Memika: /* Связь с другими концепциями */</p> <hr /> <div><br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целей. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3278 2023-11-27T16:41:58Z

<p>Madoka Memika: добавлен раздел &quot;Связь с другими концепциями&quot;, в нем добавлено понятие &quot;скрепки&quot;, добавлена категория понятия</p> <hr /> <div><br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Связь с другими концепциями==<br /> <br /> '''Скрепки''' - часто используется в контексте согласования ИИ как условное обозначение чего-то малоценного и бесполезного для людей.<br /> <br /> [[Тезис ортогональности|'''Тезис Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целях. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. Молекулярные структуры, по форме напоминающие скрепки были выбраны новой формулировкой так как они больше интуитивно похожи на конвергентно-бесполезную вещь.<br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://arbital.com/p/paperclip/ Скрепки] - статья на Arbital.com<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> <br /> [[Категория:AI Safety]]<br /> [[Категория:Понятия]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3277 2023-11-27T01:20:22Z

<p>Madoka Memika: Добавила абзацы про инструментальную конвергенцию и тезис ортогональности. И ссылку на вики-страницу про тезис ортогональности</p> <hr /> <div><br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> [[Тезис ортогональности|'''Тезис об Ортогональности''']] утверждает, что в существовании разумного [[Агент|агента]], преследующего какую-либо цель, нет ничего невозможного и единственной сложностью в его создании является количество ресурсов, требующихся для этого. Поэтому вероятность появления Сильного Искусственного Интеллекта с ценностями, чуждыми человеческим реальна. При этом, кажущееся интуитивно верным утверждение о том, что кто-то настолько &quot;умный&quot; не может ставить своей целью что-то настолько &quot;глупое&quot; как создание скрепок. Однако Ник Бостром пишет, что &quot;почти любой уровень интеллекта совместим с почти любыми конечными целями&quot;, следовательно, у СИИ могут быть самые разнообразные цели, включая глупые.<br /> <br /> Тезис об '''Инструментальной Конвергенции''' же гласит, что даже если цели у Сильных Интеллектов могут радикально различаться, одинаковые инструментальные причины породят множество похожих промежуточных целях. В отношении Максимизатор Скрепок это значит, что он, являясь СИИ, будет стараться взять под контроль окружающую материю и пространство, а также предотвращать свое отключение, что схоже со многими другими сценариями, включающими СИИ.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. <br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> <br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)<br /> * [[Тезис ортогональности|Тезис Ортогональности]]<br /> <br /> [[Категория:AI Safety]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%97%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D1%8B_%D0%BD%D0%B0_%D1%81%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86&diff=3276 2023-11-27T00:36:52Z

<p>Madoka Memika: убрала &quot;Максимизатор скрепок&quot; из списка (страница теперь существует)</p> <hr /> <div>На этой странице можно указывать, какие статьи было бы полезно создать. Функционал страницы отчасти аналогичен списку [[Служебная:Требуемые_страницы|Требуемые страницы]], с тем отличием, что список формируется автоматически - в нем приводятся те страницы, на которые есть ссылки, но которые еще не были созданы. Если вы считаете, что статью о каком-то понятии было бы полезно добавить на эту вики, но на это понятие еще нет ссылок ни из одной из существующих страниц - добавьте ссылку на нее сюда. Имейте в виду, что в списке &quot;Требуемые страницы&quot; она в этом случае тоже появится.<br /> <br /> Понятия могут быть связаны с рациональностью или с одной из [[:Категория:Родственные_темы|родственных тем]].<br /> <br /> == Рациональность ==<br /> * [[Babble and Prune]]<br /> * [[Bucket Errors]]<br /> * [[Mental Contrasting]] aka техника WOOP<br /> * [[Split and Commit]] - см. [https://www.lesswrong.com/posts/t2LGSDwT7zSnAGybG/split-and-commit первоисточник]<br /> * [[Trigger-Action Planning]], Trigger-Action Pattern, ТАПы<br /> * [[Virtue of Silence]] -см. [https://www.lesswrong.com/posts/2brqzQWfmNx5Agdrx/the-virtue-of-silence первоисточник]<br /> * [[Гильотина Юма]]<br /> * [[Забор Шеллинга]]<br /> * [[Идеологический тест Тьюринга]]<br /> * [[Компартментализация]] - то же, что двоемыслие?<br /> * [[Мотт и бейли]]<br /> * [[Мышление разведчика]] - о книге и самом типе мышления (+ мышление солдата)<br /> * [[Ограбление Паскаля]]<br /> * [[Понятийные расстояния]]<br /> * [[Проблема вагонетки]]<br /> * [[Рационализация]]<br /> * [[Слак]] - &quot;степень толерантности среды к ошибкам&quot;, не путать со [[Slack-чат]]ом<br /> * [[Терминальные и инструментальные ценности]], цели<br /> <br /> == Безопасность искусственного интеллекта ==<br /> * [[Быстрый и медленный взлет]]<br /> * [[Меса-оптимизатор]]<br /> * [[Тезис ортогональности]]<br /> <br /> [[Категория:Вики]]</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3275 2023-11-26T17:55:15Z

<p>Madoka Memika: </p> <hr /> <div><br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. <br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3274 2023-11-26T17:51:06Z

<p>Madoka Memika: /* Альтернативные формулировки */</p> <hr /> <div><br /> ==Максимизатор Скрепок==<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. <br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией иллюстрации проблемы внутреннего согласования является Максимизатор Счастья. Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)</div>

Madoka Memika https://lesswrong.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA&diff=3273 2023-11-26T17:49:22Z

<p>Madoka Memika: Новая страница: « ==Максимизатор Скрепок== '''Максимизатор Скрепок''' — гипотетический искусственный интел…»</p> <hr /> <div><br /> ==Максимизатор Скрепок==<br /> <br /> '''Максимизатор Скрепок''' — гипотетический искусственный интеллект, чья [[Функция полезности|функция полезности]] зависима от количества существующих скрепок. Скрепки (канцелярские) используются как пример малоценного для человечества объекта, который, однако, в данном примере, является высшей ценностью для чуждого нам интеллекта. Максимизатор Скрепок это канонический мысленный эксперимент, который показывает, как недостаточно хорошее согласование ценностей Сильного Искусственного Интеллекта (СИИ) с человеческими может привести к катастрофическим последствиям и стать экзистенциальным риском. В оригинальном сценарии Максимизатор Скрепок не имеет самоцели вредить людям, но делает это по мере необходимости на пути к своей цели. <br /> <br /> ==Классическая формулировка==<br /> <br /> Допустим, у нас есть Сильный Искусственный Интеллект, единственной целью которого является создание максимально возможного количества скрепок. Такой ИИ быстро придет к выводу, что отсутствие существования людей предпочтительнее их существования. Люди могут отключить Максимизатор Скрепок и тогда он не сможет производить скрепки. К тому же, в людях содержится множество атомов, из которых можно сделать скрепки. Предпочтительный сценарий будущего для такого ИИ — будущее, где есть множество скрепок, но нет людей.<br /> <br /> Эксперимент впервые был представлен Ником Бостромом в 2003 году в качестве иллюстрации опасности создания AGI без правильного согласования с человеческими ценностями. Скрепки были намеренно выбраны как объект для максимизации количества, так как это крайне маловероятный сценарий.<br /> <br /> ==Альтернативные формулировки==<br /> <br /> '''Максимизатор Завитков''' — основным отличием является максимизация не канцелярских скрепок, а молекулярных структур, по форме напоминающих скрепки.<br /> <br /> Эта формулировка сейчас используется в цепочке на Lesswrong.com. Этот подход был применен, так как производство канцелярских скрепок само по себе имеет смысл, и множество людей было введено в заблуждение относительно сути проблемы в эксперименте. Создавалось ощущение, что производство скрепок было изначальной задачей ИИ, то есть иллюстрируемой проблемой являлась постановка задачи. [[Юдковский, Элиезер|Юдковский]] же утверждает, что иллюстрируемой проблемой является внутреннее согласование и изначальный сценарий включал постановку иной изначальной цели для ИИ. Производство же скрепок должно было выглядеть произвольной с точки зрения людей целью, которую поставили внутренние алгоритмы ИИ. <br /> <br /> '''Максимизатор счастья''' — Сильный Искусственный Интеллект, чьей задачей является максимизация количество счастья во Вселенной.<br /> <br /> Еще одной вариацией Например в работе [https://intelligence.org/files/AIPosNegFactor.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] [[Юдковский,_Элиезер|Юдковский]] пишет о сценарии, где ИИ меняет мозг программистов, заставляя их чувствовать счастье от процесса написания кода. Или ИИ, натренированный распознавать счастье по признаку улыбки мог бы [https://www.lesswrong.com/posts/PoDAyQMWEXBBBEJ5P/magical-categories наполнить галактику крошечными улыбающимися лицами].<br /> <br /> ==Другие материалы по теме==<br /> <br /> * [https://www.lesswrong.com/tag/squiggle-maximizer-formerly-paperclip-maximizer Максимизатор Завитков] - цепочка на Lesswrong.com<br /> * [[Безопасность искусственного интеллекта]]<br /> * [https://ru.wikipedia.org/wiki/Инструментальная_сходимость Инструментальная сходимость] - статья в Википедии<br /> * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] - глава книги Ника Бострома &quot;Искусственный интеллект [Этапы. Угрозы. Стратегии]&quot; об Инструментальной Конвергенции (Сходимости)</div>

Madoka Memika