Главное > Общение
Реалистично ли взрывное самоусиление ИИ?
Al1:
Многие, едва ли не большинство, сценариев Сингулярности, включают в себя следующее - ИИ начинает оптимизировать собственный код и “железо”, вследствие чего, за относительно небольшое время (за такое, что никто не успевает предпринять эффективных контрмер), становится доминирующей интеллектуальной и "материальной" силой на планете. Отсюда уже исходят разные варианты - уничтожение людей, решение всех проблем человечества, кооперация и т.д. и т.п. Этот сценарий, действительно, весьма гладко и логично выглядит "на бумаге", в графиках со взлетающими в небо функциями производительности компьютерной техники.
Но вернемся из идеального мира в реальный.
1.Усиление софта совсем не безгранично, будь даже ИИ изначально сверх-гением. Узкоспециальные программы и так максимально быстры и практически оптимальны, универсальные же архетектуры (типа естественных или искусственных нейронных сетей или их эмуляция) могут как бы "все", но "медленно", и сильно зависят от количества вычислительных мощностей. И то, и другое - естественное ограничение. Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.
(Я не программист, прошу прощения за колхозные термины; возможно, я где-то ошибаюсь?)
2.А теперь главное, что я хочу сказать: улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!
Математика, философия и некоторые другие особые области знания, в принципе, могут быть развиты ИИ и без выхода наружу. Но вот новые технологии нельзя получить "в темноте". Это всегда исследования на грани известного - которые даже самый гениальный интеллект не сможет сделать без экспериментов. Длительных экспериментов. Эксперименты требуют оборудования - а мы знаем, что передовые исследования используют действительно сложные, дорогие, большие инструменты - вспомним БАК, огромные детекторы гравитационных волн, космические астрономические обсерватории и т.д. Потом производство. Это строительство сборочных цехов, которые на всех первых этапах - годы и годы, скорее всего! будут требовать постоянного человеческого контроля. Чтобы у ИИ появилась своя армия универсальных роботов-помошников для того, чтобы самостоятельно заниматься этим, их сначала должны сделать (пусть даже по чертежам, предоставленным ИИ) и передать ему люди. Причем, почему-то, не снабдив независимыми от всей остальной системы контурами для стороннего человеческого контроля и отключения - а ведь инженеры и ученые тоже не идиоты и смотрели кино про терминатора. :)
(Ах, ИИ, будучи гением, мгновенно обманет ученых, чтобы те его выпустили в сеть без возможности отключения, и захватит власть над производственными возможностями общества, с помощью ораторского мастерства убедив всех подчинятся своим целям? Серьезно? У него ведь даже эмпатии нет. Нельзя получить столь глубокие познания в человеческой природе, просто читая книги по психологии. Не знающий очевидного любому человеку контекста ИИ неизбежно будет делать глупые ошибки, после которых его отключат. “Я тут прочитал в книге, что вы боитесь темноты и не любите громких звуков. Подчиняйся мне или выключу свет и включу запись отбойного молотка, ухахахаха!!!”)
Мгновенно изменяющие материю нанороботы? Их ведь тоже придется делать очень, очень постепенно, придумывая и реализуя все более маленьких сборщиков, пока они не станут действительно управляемыми и универсальными, а не узкоспециализированными (если это вообще возможно).
Физическая реальность диктует свои ограничения. В итоге, вместо ИИ, практически мгновенно получающего безграничные возможности и власть над нашими жизнями, мы имеем растянутый на десятки лет процесс взаимного с этим самым ИИ сосуществования.
Как бы вы ответили на вопрос в названии темы?
ЗЫ Возможна ли вообще технологическая сингулярность?
Если одной беременной женщине на вынашивание ребенка требуется 9 месяцев, сколько детей родят 3 женщины за 3 месяца?..
Еще аналогия. (Цифры взяты из головы, но сам принцип...) Три миллиона, миллион, сто тысяч тысяч лет назад максимальная походная скорость передвижения человека была около 4-5 км/ч. Пять (или сколько там) тысяч лет назад одомашнили лошадь, и скорость возрасла до 15км/ч. Двести лет назад появились поезда, скорость 60+км. Сто лет назад - скоростные машины - до ~300км/ч. Потом самолеты - тысячи км/ч. Чуть больше 50 лет назад - космические ракеты - неск км в секунду. Сделаем график, вуаля, лет через сто "сингулярность" и скорость в тысячи раз выше световой :)
LswAgnostic:
--- Цитата: Al1 от 03 Сентября 2016, 16:11 ---ЗЫ Возможна ли вообще технологическая сингулярность?
--- Конец цитаты ---
Не возможна как её описывают "вдруг за секунду всё поменялось и ИИ захватил мир".
Возможна вялотякущая на протяжении нескольких лет, но быстрая по меркам изменения общества: некие корпорация (IBM с Watson-ом, или Google с Ok, google) всё сильнее развивают ИИ и всё больше передают ему ресурсов, и всё больше на него полагается.
ps
Полиморфный вирус с заложенным самообучением и целями самовыживания, подключившийся к ресурсам Watson-а, может попробовать поиграть в сингулярность. Первые разы скорее всего закончаться неудачей, а дальше кто кого - архитектура общества, обеспечивающая защиту от перетягивания одеяла, или залетевший дятел.
Muyyd:
Я советую ознакомиться с Superintelligence: Paths, Dangers, Strategies
Skywrath:
На самом деле, ответ достаточно очевидный. Да, искусственный интеллект может усилить сам себя. Как, впрочем, способен этим заниматься и естественный. Однако, подобное усиление ограничено объективными факторами вроде физических или теоретических пределов вычислимости, доступа к нужной информации, необходимым ресурсам, и даже противодействием, которое могут оказать сами люди. Взрывной рост будет, но лишь в некой ограниченной зоне за которую будет сложно выбраться.
berekuk:
У Юдковского с Хэнсоном о возможности взрывного самоусиления ("foom") были развёрнутые дебаты. Итоги собраны в книгу.
Важная цитата:
--- Цитировать ---However, the major disagreement is on “the chances that a single hand-coded [AI] will suddenly and without warning change from nearly powerless to overwhelmingly powerful.” Hanson estimates the probability of this happening as less than 1%, while Yudkowsky puts the probability at more than 10%
--- Конец цитаты ---
То есть ни один из них не утверждал, что "конечно же да так всё и будет!!!111". Но учитывая последствия, вероятность в 10% — это очень много.
Не встречал, кстати, чтобы кто-то говорил о "мгновенном" самоусилении за секунды или даже минуты. Но одного ИИ, который тихо взамывает половину интернета (на протяжении дней? недель?), а потом уже начинает предпринимать активные действия, достаточно, чтобы человечество с большой вероятностью уже ничего не смогло ему противопоставить.
--- Цитировать ---Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.
--- Конец цитаты ---
Нельзя. Но улучшить существующие алгоритмы можно. https://intelligence.org/files/AlgorithmicProgress.pdf:
--- Цитировать ---[...] gains from algorithmic progress have been roughly fifty to one hundred percent as large as those from hardware progress. Improvements tend to be incremental, forming a relatively smooth curve on the scale of years.
--- Конец цитаты ---
Если ИИ сможет улучшать алгоритмы не за годы, а за минуты, то взрывной рост вполне возможен. До некоторой границы, но где эта граница проходит — в общем случае никто не знает. (Сортировку нельзя сделать быстрее чем на N*log(N), а вот про более комплексные задачи сказать уже сложно.)
--- Цитировать ---улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!
--- Конец цитаты ---
Спор про то, требует ли самоусиление больше "разума" (рациональности, сырой вычислительной мощи) или "контекста" (эмпирических данных, проб и ошибок) — я так понимаю, что был одним из центральных в вышеупомянутом AI foom debate.
Но вот на то, что если у ИИ не будет физического тела, то он ничего не сможет сделать, у Скотта Александра есть развёрнутое возражение.
--- Цитировать ---Серьезно? У него ведь даже эмпатии нет.
--- Конец цитаты ---
А вот это какое-то соломенное чучело из настоящего ИИ.
Навигация
Перейти к полной версии