Инструментальная конвергенция — различия между версиями
Alaric (обсуждение | вклад) м (Лишняя большая буква, опечатка) |
Kirdan (обсуждение | вклад) м (→Другие материалы по теме) |
||
| (не показаны 2 промежуточные версии 2 участников) | |||
| Строка 4: | Строка 4: | ||
{{DraftPage}} | {{DraftPage}} | ||
| − | '''Инструментальная конвергенция''' (также известна как Инструментальная сходимость) | + | '''Инструментальная конвергенция''' (также известна как Инструментальная сходимость) — предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим. |
| − | ==Стремления Омохундро== | + | == Стремления Омохундро == |
| + | Стивен Малверн Омохундро, выделил стремления, которые весьма вероятно будут сформированы в достаточно продвинутых системах ИИ любого назначения. | ||
| − | + | * '''Стремление к самосохранению''' — Любой достаточно продвинутый интеллект, вероятно, будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать). | |
| − | |||
| − | * '''Стремление к самосохранению''' | ||
* '''Стремление к эффективности''' | * '''Стремление к эффективности''' | ||
| Строка 18: | Строка 17: | ||
* '''Стремление к креативности''' | * '''Стремление к креативности''' | ||
| − | * '''Стремление к самосовершенствованию''' | + | * '''Стремление к самосовершенствованию''' |
* '''Стремление к [[Рациональность|рациональности]]''' | * '''Стремление к [[Рациональность|рациональности]]''' | ||
| − | * '''Стремление к предотвращению фальсификации [[утилон | + | * '''Стремление к предотвращению фальсификации [[утилон]]ов''' |
Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives] | Этот список является объединенным для двух работ Омохундро: [https://selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf The Nature of Self-Improving Artificial Intelligence] и [https://selfawaresystems.files.wordpress.com/2008/01/ai_drives_final.pdf|The Basic AI Drives] | ||
| − | ==Связанные понятия== | + | == Связанные понятия == |
| − | + | [[Максимизатор скрепок]] — пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллектами — захват ресурсов Земли. | |
| − | [[Максимизатор скрепок]] | ||
| − | |||
| − | |||
| − | * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] | + | == Другие материалы по теме == |
| − | * [https://www.alignmentforum.org/tag/instrumental-convergence | + | * [https://educ.wikireading.ru/hCl7qYdvhn Инструментальная конвергенция] — глава книги Ника Бострома «Искусственный интеллект [Этапы. Угрозы. Стратегии]» об Инструментальной Конвергенции (Сходимости) |
| + | * [https://www.alignmentforum.org/tag/instrumental-convergence Instrumental Convergence] — www.alignmentforum.org | ||
| + | * [https://artsoc.jes.su/s207751800009748-1-1/ Основные драйвы систем искусственного интеллекта] — перевод статьи Стива Омохундро | ||
Текущая версия на 23:41, 3 мая 2024
На эту тему существует страница в Википедии: Инструментальная сходимость
 |
Эта страница является черновым документом. Здесь есть ещё много простора для того, чтобы её улучшить. |
Инструментальная конвергенция (также известна как Инструментальная сходимость) — предполагаемая тенденция к совпадению промежуточных целей у сверхинтеллектов с различными конечными целями. Некоторые вещи необходимы для достижения огромного количества финальных целей. Например контроль ресурсов и предотвращение своего уничтожения. Тезис относится как к человеческим сверхинтеллектам, так и к не-человеческим.
Стремления Омохундро[править]
Стивен Малверн Омохундро, выделил стремления, которые весьма вероятно будут сформированы в достаточно продвинутых системах ИИ любого назначения.
- Стремление к самосохранению — Любой достаточно продвинутый интеллект, вероятно, будет хорошо справляться с достижением своих целей. Следовательно для большинства функций полезности польза от отключения или уничтожения системы отрицательная. Они приведут к прекращению осуществления пути к цели. То же касается и неизменности функции полезности. Если изменить функцию полезности продвинутого интеллекта, то он скорее всего станет менее эффективно исполнять предыдущую (или вообще прекратит это делать).
- Стремление к эффективности
- Стремление к аккумуляции ресурсов
- Стремление к креативности
- Стремление к самосовершенствованию
- Стремление к рациональности
- Стремление к предотвращению фальсификации утилонов
Этот список является объединенным для двух работ Омохундро: The Nature of Self-Improving Artificial Intelligence и Basic AI Drives
Связанные понятия[править]
Максимизатор скрепок — пример мысленного эксперимента, связанного с инструментальной конвергенцией. Максимизатор скрепок стремится только к тому, что бы произвести как можно больше скрепок, поэтому причиняет огромное количество сопутствующего ущерба, разрушая человечество ради создания скрепок или устройств для их производства. Максимизатор скрепок имеет общую инструментальную цель со многими другими гипотетическими сверхинтеллектами — захват ресурсов Земли.
Другие материалы по теме[править]
- Инструментальная конвергенция — глава книги Ника Бострома «Искусственный интеллект [Этапы. Угрозы. Стратегии]» об Инструментальной Конвергенции (Сходимости)
- Instrumental Convergence — www.alignmentforum.org
- Основные драйвы систем искусственного интеллекта — перевод статьи Стива Омохундро
