264
правки
Изменения
Помимо раздела technical alignment расписал разделы регулирования и важности задачи
== Регулирование в области ИИ ==
К вопросам регулирования, в частности, относится выработка и внедрение практик разработки ИИ, которые позволили бы предотвратить разработку и запуск потенциально опасного ИИ (а также оценить риски, связанные с разработкой и запуском конкретной ИИ-системы). Соответствующие практики должны в конечном итоге применяться на разных уровнях - от уровня отдельных исследовательских лабораторий, индивидуальных разработчиков и технологических компаний до уровня международных соглашений, подобных соглашениям в области изменения климата или контроля за распространением оружия массового поражения.
== Важность задачи безопасности ИИ ==
Ожидается, что будущие системы искусственного интеллекта могут достичь уровня, на котором смогут решать все или почти все практические задачи лучше, чем отдельный человек (а, возможно, и всё человечество в совокупности); причем вероятность того, что это случится в обозримом будущем (во многих оценках - несколько десятилетий, в некоторых - годы или столетия) оценивается как довольно значительная (десятки процентов). Если это случится, то такие системы будут оказывать значительное влияние на судьбу всего человечества; причем, скорее всего, даже в большей степени, чем сами люди. С учетом подобной перспективы становится крайне важным, чтобы такое влияние было положительным и не было отрицательным; для этого требуется, чтобы ИИ был запрограммирован стремиться оказывать на человечество позитивное влияние и не оказывать отрицательное.
При этом в настоящий момент не предложено достаточно надежных способов запрограммировать подобное поведение для достаточно интеллектуального агента. Все предложенные варианты (включая известные "законы робототехники" из произведений Айзека Азимова) при тщательном анализе оказываются либо совершенно не поддающимися строгой формализации в виде программного кода или математических структур, либо приводящими к различным негативным последствиям (причем обычно глобального масштаба) в большинстве сколько-нибудь реалистичных сценариев развития событий. С учетом этого, в настоящий момент нельзя ожидать, что искусственный интеллект окажется "безопасным" по умолчанию; чтобы обеспечить его безопасность, потребуются целенаправленные усилия по решению ныне не решенных задач.
== Статьи по теме ==