25
правок
Изменения
м
'''Ортогональность''' термин из программирования, означающий, что части системы работают независимо друг от друга. То есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у [[агент]]ов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели.
Нет описания правки
{{DraftPage}}
'''Тезис ортогональности''' — утверждает утверждает, что интеллект и финальные конечные цели [[агент]]а — это отдельные, независимые аспекты , и их комбинации могут быть почти какими угодно. Это означает, что у разных сверхинтеллектов могут быть принципиально разные цели и [[Функция полезности|функции полезности]]. В частности, возможны сверхинтеллекты, преследующие такие "глупые" с точки зрения человечества цели как [[Максимизатор скрепок|максимизация количества скрепок]] во вселенной. Более конкретно, строгая форма тезиса ортогональности утверждает, что помимо вычислительной осуществимости той или иной цели нет каких-либо дополнительных препятствий, которые осложняли бы теоретическую возможность существования агента, преследующего именно такую цель. == Интуитивное обоснование == Предположим, что какой-то странный инопланетянин прилетел на Землю и убедил нас, что он будет платить нам один миллион долларов каждый раз, когда мы создаем скрепку. У нас не возникло бы никаких особых интеллектуальных трудностей с тем, чтобы научиться делать как можно больше скрепок. Тезис ортогональности утверждает, что, поскольку эта задача является вычислительно осуществимой, теоретически возможно существование и такого агента, который будет делать как можно больше скрепок не потому, что ему платят, а потому что он сам этого хочет.
== Связанные понятия ==
'''Ортогональность''' — термин, означающий, что части системы работают независимо друг от друга, то есть изменения в одной части не затрагивают остальные. В данном контексте цели и уровень интеллекта ортогональны — у [[агент]]ов с разным уровнем интеллекта могут быть похожие цели и у агентов с похожим уровнем интеллекта могут быть разные цели. '''[[Инструментальная конвергенция]]''' — предполагаемая тенденция к совпадению промежуточных (инструментальных) целей у сверхинтеллектов с различными конечными целями.
== Другие материалы по теме ==
* [https://arbital.com/p/orthogonality/ Тезис ортогональности] — статья на Arbital.com