Тезис ортогональности
 |
Эта страница является черновым документом. Здесь есть ещё много простора для того, чтобы её улучшить. |
Тезис ортогональности утверждает, что интеллект и конечные цели агента — это отдельные, независимые аспекты, и их комбинации могут быть почти какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и функции полезности. В частности, возможны сверхинтеллекты, преследующие такие "глупые" с точки зрения человечества цели как максимизация количества скрепок во вселенной.
Более конкретно, строгая форма тезиса ортогональности утверждает, что помимо вычислительной осуществимости той или иной цели нет каких-либо дополнительных препятствий, которые осложняли бы теоретическую возможность существования агента, преследующего именно такую цель.
Интуитивное обоснование[править]
Предположим, что какой-то странный инопланетянин прилетел на Землю и убедил нас, что он будет платить нам один миллион долларов каждый раз, когда мы создаем скрепку. У нас не возникло бы никаких особых интеллектуальных трудностей с тем, чтобы научиться делать как можно больше скрепок.
Тезис ортогональности утверждает, что, поскольку эта задача является вычислительно осуществимой, теоретически возможно существование и такого агента, который будет делать как можно больше скрепок не потому, что ему платят, а потому что он сам этого хочет.
Связанные понятия[править]
Ортогональность — термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у агентов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.
Инструментальная конвергенция — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями.
Другие материалы по теме[править]
- Тезис ортогональности — статья на Arbital.com
