Тезис ортогональности — различия между версиями
Alaric (обсуждение | вклад) м (Викификация) |
Kirdan (обсуждение | вклад) м |
||
| (не показаны 3 промежуточные версии 2 участников) | |||
| Строка 3: | Строка 3: | ||
{{DraftPage}} | {{DraftPage}} | ||
| − | '''Тезис ортогональности''' | + | '''Тезис ортогональности''' утверждает, что интеллект и конечные цели [[агент]]а — это отдельные, независимые аспекты, и их комбинации могут быть почти какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и [[Функция полезности|функции полезности]]. В частности, возможны сверхинтеллекты, преследующие такие "глупые" с точки зрения человечества цели как [[Максимизатор скрепок|максимизация количества скрепок]] во вселенной. |
| + | |||
| + | Более конкретно, строгая форма тезиса ортогональности утверждает, что помимо вычислительной осуществимости той или иной цели нет каких-либо дополнительных препятствий, которые осложняли бы теоретическую возможность существования агента, преследующего именно такую цель. | ||
| + | |||
| + | == Интуитивное обоснование == | ||
| + | |||
| + | Предположим, что какой-то странный инопланетянин прилетел на Землю и убедил нас, что он будет платить нам один миллион долларов каждый раз, когда мы создаем скрепку. У нас не возникло бы никаких особых интеллектуальных трудностей с тем, чтобы научиться делать как можно больше скрепок. | ||
| + | |||
| + | Тезис ортогональности утверждает, что, поскольку эта задача является вычислительно осуществимой, теоретически возможно существование и такого агента, который будет делать как можно больше скрепок не потому, что ему платят, а потому что он сам этого хочет. | ||
== Связанные понятия == | == Связанные понятия == | ||
| − | |||
| − | '''[[Инструментальная конвергенция]]''' — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями. | + | '''Ортогональность''' — термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у [[агент]]ов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели. |
| + | |||
| + | '''[[Инструментальная конвергенция]]''' — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями. | ||
== Другие материалы по теме == | == Другие материалы по теме == | ||
* [https://arbital.com/p/orthogonality/ Тезис ортогональности] — статья на Arbital.com | * [https://arbital.com/p/orthogonality/ Тезис ортогональности] — статья на Arbital.com | ||
Текущая версия на 18:40, 13 мая 2024
 |
Эта страница является черновым документом. Здесь есть ещё много простора для того, чтобы её улучшить.
Поскольку эту страницу последний раз редактировали больше года назад, похоже что это заброшенный черновик. Если вы знаете, как её улучшить, попробуйте так и сделать. Или, быть может, эту страницу стоит удалить? |
Тезис ортогональности утверждает, что интеллект и конечные цели агента — это отдельные, независимые аспекты, и их комбинации могут быть почти какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и функции полезности. В частности, возможны сверхинтеллекты, преследующие такие "глупые" с точки зрения человечества цели как максимизация количества скрепок во вселенной.
Более конкретно, строгая форма тезиса ортогональности утверждает, что помимо вычислительной осуществимости той или иной цели нет каких-либо дополнительных препятствий, которые осложняли бы теоретическую возможность существования агента, преследующего именно такую цель.
Интуитивное обоснование[править]
Предположим, что какой-то странный инопланетянин прилетел на Землю и убедил нас, что он будет платить нам один миллион долларов каждый раз, когда мы создаем скрепку. У нас не возникло бы никаких особых интеллектуальных трудностей с тем, чтобы научиться делать как можно больше скрепок.
Тезис ортогональности утверждает, что, поскольку эта задача является вычислительно осуществимой, теоретически возможно существование и такого агента, который будет делать как можно больше скрепок не потому, что ему платят, а потому что он сам этого хочет.
Связанные понятия[править]
Ортогональность — термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у агентов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.
Инструментальная конвергенция — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями.
Другие материалы по теме[править]
- Тезис ортогональности — статья на Arbital.com
