Тезис ортогональности

На эту тему существует тэг на LessWrong.com: Orthogonality Thesis

Тезис ортогональности утверждает, что интеллект и конечные цели агента — это отдельные, независимые аспекты, и их комбинации могут быть почти какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и функции полезности. В частности, возможны сверхинтеллекты, преследующие такие "глупые" с точки зрения человечества цели как максимизация количества скрепок во вселенной.

Более конкретно, строгая форма тезиса ортогональности утверждает, что помимо вычислительной сложности той или иной цели нет каких-либо дополнительных препятствий, которые осложняли бы теоретическую возможность существования агента, преследующего именно такую цель.

Интуитивное обоснование

Предположим, что какой-то странный инопланетянин прилетел на Землю и убедил нас, что он будет платить нам один миллион долларов каждый раз, когда мы создаем скрепку. У нас не возникло бы никаких особых интеллектуальных трудностей с тем, чтобы научиться делать как можно больше скрепок.

Тезис ортогональности утверждает, что, поскольку эта задача является вычислительно простой, теоретически возможно существование и такого агента, который будет делать как можно больше скрепок не потому, что ему платят, а потому что он сам этого хочет.

Связанные понятия

Ортогональность — термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у агентов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.

Инструментальная конвергенция — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями.

Другие материалы по теме

• Тезис ортогональности — статья на Arbital.com