Реалистично ли взрывное самоусиление ИИ?

Автор Тема: Реалистично ли взрывное самоусиление ИИ?  (Прочитано 16106 раз)

Al1

  • Постоялец
  • ***
  • Сообщений: 213
  • +74/-11
    • Просмотр профиля
Многие, едва ли не большинство, сценариев Сингулярности, включают в себя следующее - ИИ начинает оптимизировать собственный код и “железо”, вследствие чего, за относительно небольшое время (за такое, что никто не успевает предпринять эффективных контрмер), становится доминирующей интеллектуальной и "материальной" силой на планете. Отсюда уже исходят разные варианты - уничтожение людей, решение всех проблем человечества, кооперация и т.д. и т.п. Этот сценарий, действительно, весьма гладко и логично выглядит "на бумаге", в графиках со взлетающими в небо функциями производительности компьютерной техники.

Но вернемся из идеального мира в реальный.
1.Усиление софта совсем не безгранично, будь даже ИИ изначально сверх-гением. Узкоспециальные программы и так максимально быстры и практически оптимальны, универсальные же архетектуры (типа естественных или искусственных нейронных сетей или их эмуляция) могут как бы "все", но "медленно", и сильно зависят от количества вычислительных мощностей. И то, и другое - естественное ограничение. Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.
(Я не программист, прошу прощения за колхозные термины; возможно, я где-то ошибаюсь?)

2.А теперь главное, что я хочу сказать: улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!
Математика, философия и некоторые другие особые области знания, в принципе, могут быть развиты ИИ и без выхода наружу. Но вот новые технологии нельзя получить "в темноте". Это всегда исследования на грани известного - которые даже самый гениальный интеллект не сможет сделать без экспериментов. Длительных экспериментов. Эксперименты требуют оборудования - а мы знаем, что передовые исследования используют действительно сложные, дорогие, большие инструменты - вспомним БАК, огромные детекторы гравитационных волн, космические астрономические обсерватории и т.д. Потом производство. Это строительство сборочных цехов, которые на всех первых этапах - годы и годы, скорее всего! будут требовать постоянного человеческого контроля. Чтобы у ИИ появилась своя армия универсальных роботов-помошников для того, чтобы самостоятельно заниматься этим, их сначала должны сделать (пусть даже по чертежам, предоставленным ИИ) и передать ему люди. Причем, почему-то, не снабдив независимыми от всей остальной системы контурами для стороннего человеческого контроля и отключения - а ведь инженеры и ученые тоже не идиоты и смотрели кино про терминатора. :)
(Ах, ИИ, будучи гением, мгновенно обманет ученых, чтобы те его выпустили в сеть без возможности отключения, и захватит власть над производственными возможностями общества, с помощью ораторского мастерства убедив всех подчинятся своим целям? Серьезно? У него ведь даже эмпатии нет. Нельзя получить столь глубокие познания в человеческой природе, просто читая книги по психологии. Не знающий очевидного любому человеку контекста ИИ неизбежно будет делать глупые ошибки, после которых его отключат. “Я тут прочитал в книге, что вы боитесь темноты и не любите громких звуков. Подчиняйся мне или выключу свет и включу запись отбойного молотка, ухахахаха!!!”)

Мгновенно изменяющие материю нанороботы? Их ведь тоже придется делать очень, очень постепенно, придумывая и реализуя все более маленьких сборщиков, пока они не станут действительно управляемыми и универсальными, а не узкоспециализированными (если это вообще возможно).

Физическая реальность диктует свои ограничения. В итоге, вместо ИИ, практически мгновенно получающего безграничные возможности и власть над нашими жизнями, мы имеем растянутый на десятки лет процесс взаимного с этим самым ИИ сосуществования.

Как бы вы ответили на вопрос в названии темы?

ЗЫ Возможна ли вообще технологическая сингулярность?
Если одной беременной женщине на вынашивание ребенка требуется 9 месяцев, сколько детей родят 3 женщины за 3 месяца?..
Еще аналогия. (Цифры взяты из головы, но сам принцип...) Три миллиона, миллион, сто тысяч тысяч лет назад максимальная походная скорость передвижения человека была около 4-5 км/ч. Пять (или сколько там) тысяч лет назад одомашнили лошадь, и скорость возрасла до 15км/ч. Двести лет назад появились поезда, скорость 60+км. Сто лет назад - скоростные машины - до ~300км/ч. Потом самолеты - тысячи км/ч. Чуть больше 50 лет назад - космические ракеты - неск км в секунду. Сделаем график, вуаля, лет через сто "сингулярность" и скорость в тысячи раз выше световой :)
« Последнее редактирование: 03 Сентября 2016, 16:32 от Al1 »

LswAgnostic

  • Ветеран
  • ****
  • Сообщений: 313
  • +29/-12
    • Просмотр профиля
ЗЫ Возможна ли вообще технологическая сингулярность?

Не возможна как её описывают  "вдруг за секунду всё поменялось и ИИ захватил мир".
Возможна вялотякущая на протяжении нескольких лет, но быстрая по меркам изменения общества: некие корпорация (IBM с Watson-ом, или Google с Ok, google) всё сильнее развивают ИИ и всё больше передают ему ресурсов, и всё больше на него полагается.

ps
Полиморфный вирус с заложенным самообучением и целями самовыживания, подключившийся к ресурсам Watson-а, может попробовать поиграть в сингулярность. Первые разы скорее всего закончаться неудачей, а дальше кто кого - архитектура общества, обеспечивающая защиту от перетягивания одеяла, или залетевший дятел.

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Я советую ознакомиться с Superintelligence: Paths, Dangers, Strategies

Skywrath

  • Ветеран
  • ****
  • Сообщений: 723
  • +71/-9
    • Просмотр профиля
На самом деле, ответ достаточно очевидный. Да, искусственный интеллект может усилить сам себя. Как, впрочем, способен этим заниматься и естественный. Однако, подобное усиление ограничено объективными факторами вроде физических или теоретических пределов вычислимости, доступа к нужной информации, необходимым ресурсам, и даже противодействием, которое могут оказать сами люди. Взрывной рост будет, но лишь в некой ограниченной зоне за которую будет сложно выбраться.

berekuk

  • Пользователь
  • *****
  • Сообщений: 52
  • +17/-1
  • test
    • Просмотр профиля
    • Кочерга
У Юдковского с Хэнсоном о возможности взрывного самоусиления ("foom") были развёрнутые дебаты. Итоги собраны в книгу.

Важная цитата:
Цитировать
However, the major disagreement is on “the chances that a single hand-coded [AI] will suddenly and without warning change from nearly powerless to overwhelmingly powerful.” Hanson estimates the probability of this happening as less than 1%, while Yudkowsky puts the probability at more than 10%
То есть ни один из них не утверждал, что "конечно же да так всё и будет!!!111". Но учитывая последствия, вероятность в 10% — это очень много.

Не встречал, кстати, чтобы кто-то говорил о "мгновенном" самоусилении за секунды или даже минуты. Но одного ИИ, который тихо взамывает половину интернета (на протяжении дней? недель?), а потом уже начинает предпринимать активные действия, достаточно, чтобы человечество с большой вероятностью уже ничего не смогло ему противопоставить.

Цитировать
Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.
Нельзя. Но улучшить существующие алгоритмы можно. https://intelligence.org/files/AlgorithmicProgress.pdf:
Цитировать
[...] gains from algorithmic progress have been roughly fifty to one hundred percent as large as those from hardware progress. Improvements tend to be incremental, forming a relatively smooth curve on the scale of years.
Если ИИ сможет улучшать алгоритмы не за годы, а за минуты, то взрывной рост вполне возможен. До некоторой границы, но где эта граница проходит — в общем случае никто не знает. (Сортировку нельзя сделать быстрее чем на N*log(N), а вот про более комплексные задачи сказать уже сложно.)

Цитировать
улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!
Спор про то, требует ли самоусиление больше "разума" (рациональности, сырой вычислительной мощи) или "контекста" (эмпирических данных, проб и ошибок) — я так понимаю, что был одним из центральных в вышеупомянутом AI foom debate.

Но вот на то, что если у ИИ не будет физического тела, то он ничего не сможет сделать, у Скотта Александра есть развёрнутое возражение.

Цитировать
Серьезно? У него ведь даже эмпатии нет.
А вот это какое-то соломенное чучело из настоящего ИИ.

Al1

  • Постоялец
  • ***
  • Сообщений: 213
  • +74/-11
    • Просмотр профиля
К сожалению, мой уровень английского недостаточно хорош (а онлайн переводчики пока не столь продвинуты :) ), чтобы прочитать рекомендованные в теме книги и статьи :-\

По поводу "а никто и не утверждает, что так будет" - не раз встречал в выступлениях и текстах трансгуманистов прогнозирование именно экспоненциального роста возможностей ИИ. Не важно, о минутах ли идет речь, или о нескольких годах, главное, что предполагается рост возможностей такого масштаба, что ИИ станет невозможно остановить, и либо, сообразно собственной воле, он нас убьет (например, переделает в скрепки - и никто не сможет ему противодействовать), или, наоборот, решит проблему смерти, избавит от необходимости работать и т.п. Отсюда и возникает, в частности, необходимость в деятельности разработчиков дружественного ИИ, вроде того института, в котором работает Юдковский.

Если же подобный сценарий практически невозможен в действительности, а ИИ будет оставаться относительно слабым и уязвимым в течение многих десятков лет, равно как и недостаточно мощным, чтобы быстро решать глобальные проблемы, следует считать ряд опасностей или преимуществ ИИ сильно переоцененными.
« Последнее редактирование: 04 Сентября 2016, 18:29 от Al1 »

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Борстром, в книге, пишет, например, про возможность создания ИИ с как бы человеческим уровнем интеллекта (human-like алгоритмы), но на современном железе вместо биомассы мозга. С учетом разницы в скорости прохождения сигналов, коалиция (копии можно получить в результате, например, промышленного шпионажа) таких "разумов", объеденных похожими целями, представляется вполне реалистичным SAI.

anagor1

  • Постоялец
  • ***
  • Сообщений: 113
  • +46/-50
    • Просмотр профиля
Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических. А захватывающий мир ИИ - это пропагандистская страшилка для обывателей вроде свиного гриппа или летящего прямо в землю астероида. Сама парадигма развития вычислительной техники не предполагает создания ничего подобного. Самообучение, самостоятельная постановка задач - это всего лишь повышение эффективности вычислений. Для поступка, какого бы то ни было, требуется волевой акт (см., напр., Шопенгауэра), которому взяться неоткуда. ИИ - всего лишь усиление одной из функций мозга, вычислительной, развитие абстрактного, даже не творческого, а механического мышления. Мой сын (ВМК МГУ, специальность "машинное обучение") уже задолбался это (безуспешно) объяснять радостно-испуганным обывателям.
Чтобы проявить волю и захотеть чего-то самому, ИИ должен обладать рефлексией, самосознанием. Но если каким-то чудом (именно чудом, наука тут бессильна) он его обретет - я уверен, что вместо захвата мира он немедленно повесится с тоски на собственном шнуре питания. Поскольку кроме самого "бытия_для_себя, ускользающего от немедленной определенности" (Сартр) требуется еще смысл, ну хотя бы осмысленность этого бытия, требуется внутреннее ощущение "ради чего".

Более реальным представляется другой путь - и вот его следует анализировать всерьез. Это путь имплантантов, когда возможности живого, думающего, уже сознающего себя человека резко усиливаются путем имплантации в мозг каких-нибудь чипов. Но тут опять же встает вопрос устойчивости психики. Уверен, что если у обычного человека в 10 раз ускорится мышление - он просто свихнется... и тут мы вдруг возвращаемся к проблеме Сингулярности. Она по большому счету состоит не в том, как спастись от ИИ, а в том, как не свихнуться. Готово ли человечество к превращению в сборище специализированных психов?

Muyyd

  • Ветеран
  • ****
  • Сообщений: 756
  • +45/-1
    • Просмотр профиля
Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.

nar

  • Ветеран
  • ****
  • Сообщений: 312
  • +26/-27
    • Просмотр профиля
Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических.
Нет, сингулярность - это устремление к бесконечности. И это не фигуральное выражение для "очень много", от которого кто-то отстал, а именно асимптота вертикально вверх на определённой точке времени.
Естественно, она упрётся в физические ограничения, но это будет там, где смысл всего остального давно потеряется.
Представьте себе усилитель сигнала с положительной обратной связью + ещё какой-то схемой, мешающей этой связи, питающим напряжением 10В, рабочим сигнальным напряжением на выходе порядка 0.001В. Представьте, что сдерживающая схема вышла из строя, и положительная обратная связь осталась единственным действующим фактором. Будет почти вертикальный скачёк выхода и закончится всё перегоранием схемы (а может и стабилизацией режима на 10В), но смысл происходящего с точки зрения остальной логики, живущей при милливольтах, потеряется несравнимо раньше.

berekuk

  • Пользователь
  • *****
  • Сообщений: 52
  • +17/-1
  • test
    • Просмотр профиля
    • Кочерга
Цитировать
По поводу "а никто и не утверждает, что так будет"
Al1, если это мне, то я этого не писал. Я написал, что ни Юдковский, ни Хэнсон в рамках дебатов не утверждал неизбежности взрывного роста. К сожалению, не все трансгуманисты рациональны и бывают аккуратны в своих высказываниях.

Можно говорить о возможности сценария и оценивать вероятность сценария. Можно утверждать невозможность. Можно - неизбежность. Юдковский (и Бостром) пишут о возможности.

Вообще, экзистенциальные риски, будь то ИИ, глобальное потепление, метеориты или пандемии, заслуживают внимания потому, что ожидаемая полезность получается сильно негативной. Даже если вероятность наступления события - единицы процентов, значение (единицы процентов * число жертв) всё равно получается огромным.

Skywrath

  • Ветеран
  • ****
  • Сообщений: 723
  • +71/-9
    • Просмотр профиля
Цитата: berekuk
Заслуживают внимания потому, что ожидаемая полезность получается сильно негативной.
С другой стороны, простая ссылка на якобы огромную негативную полезность при якобы существующих рисках может быть совершенно бессодержательной. Коллайдер не смог превратить нашу планету в однородную серую массу и ядерная бомба не сожгла всю атмосферу, хотя подобные предсказания и были. Вполне возможно, что и искусственный интеллект ничего в общем-то сильно экзистенциального не сделает. Каким именно образом он должен создать миллионы жертв? Сделать что-то опасное, но мы и сами не знаем что именно, никогда не узнаем и в принципе узнать не способны. Сложно поверить, что такая логика рассуждений может являться достаточной для утверждения экзистенциальной опасности некого явления. Какими являются стандартные и известные факторы опасности искусственного интеллекта? Откуда появляются жертвы? :D

anagor1

  • Постоялец
  • ***
  • Сообщений: 113
  • +46/-50
    • Просмотр профиля
Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.
Причем тут Го? При чем тут финансовое казино? До тех пор, пока ИИ не имеет самосознания - это лишь инструмент в руках человека, примерно как топор или бомба. Ничего самовольного он не учинит. А обывателя пугают именно этим: самовольным ИИ, действующим по собственному разумению.
 Защита от злонамеренного применения инструментов - вполне обычный вопрос организации контроля и безопасности. Безусловно, есть риск "безумного хакера", запускающего шибок продвинутый вирус, но подобных рисков цивилизация в себе несет уйму. Скажем, вышедшее из-под контроля биологическое оружие мне пострашнее кажется.

Alaric

  • Старожил
  • *****
  • Сообщений: 1 744
  • +175/-17
    • Просмотр профиля
    • Мой ЖЖ
До тех пор, пока ИИ не имеет самосознания - это лишь инструмент в руках человека, примерно как топор или бомба. Ничего самовольного он не учинит. А обывателя пугают именно этим: самовольным ИИ, действующим по собственному разумению.
Подмена понятий.
Чернобыльская АЭС имела самосознание? Её взрыв был чем-то самовольно учиненным? Результат нас устраивает?
Юдковский вообще не пишет о самосознании ИИ (во всяком случае, я не видел). Он пишет совершенно о другом, что без всякого самосознания (тем более, что всё равно непонятно, что это такое), ИИ может выйти из-под контроля и причинить человечеству непоправимый вред. Не потому, что он этого хочет. А просто потому что человек по ошибке заложил в него такую целевую функцию, что существование человечества стало с ней несовместимо.
А обыватель о Юдковском вообще не в курсе, и именно это Юдковский и пытается изменить.

Цитировать
Безусловно, есть риск "безумного хакера", запускающего шибок продвинутый вирус, но подобных рисков цивилизация в себе несет уйму. Скажем, вышедшее из-под контроля биологическое оружие мне пострашнее кажется.
1. Речь не о безумном хакере. ИИ скорее всего будет создан корпорацией. Предположим, что Гугл создаёт ИИ, чтобы увеличить количество показов рекламы. И всё поначалу идёт совершенно по плану, а потом бац! - взрывной рост и ИИ приковывает всё человечество к компьютерам, чтобы оно не отвлекалось от просмотра рекламы. Да, это утрирование.
2. Один человек призывает обсудить опасность ИИ. Другой человек говорит, "да ну, это фигня, биологическое оружие - это гораздо опаснее". Третий человек говорит, да не, это фигня, на самом деле надо обсуждать глобальное потепление. Ну и так далее. Вот вы считаете, что "биологическое оружие пострашнее". И что вы делаете, чтобы бороться с этой угрозой?

На всякий случай, я сам не убеждён в возможности взрывного роста. Из-за технических деталей. Всё, что выше, было написано по той причине, что не стоит сюда вообще приплетать самосознание. Главная проблема в том, что человек создаёт всё более и более мощные инструменты, и выход этих инструментов из под контроля становится всё более и более опасным. ИИ - это один из таких опасных инструментов.

anagor1

  • Постоялец
  • ***
  • Сообщений: 113
  • +46/-50
    • Просмотр профиля
Нет, сингулярность - это устремление к бесконечности. И это не фигуральное выражение для "очень много", от которого кто-то отстал, а именно асимптота вертикально вверх на определённой точке времени.
Не надо сводить общее понятие к частному. Только в математике сингулярность связана с бесконечностью. В общем, философском смысле это состояние, в котором перестает работать та модель, тот тип описания, или тот способ мышления, который типичен сейчас. Это качественная смена парадигмы, это очень сильная точка бифуркации. Граница взгляда, так сказать. И потеря смысла, да.
Слишком быстро растет сложность бытия человечества. Это прямо связано с развитием технологий. Но ИИ - лишь малая частность. Проблема в том, что система становится настолько сложной, что не подается осмыслению и контролю, ускользает от понимания суть процессов. И мир может рухнуть по куче причин, большинство из которых мы и не видим.
Но понимаете ли в чем дело... именно из-за того, что это сингулярность, все разговоры о ней - по сути своей популистское бла-бла. Пугалово, разновидность многократно обещанного конца света. Ну, конец так конец - что ж теперь, не жить, что ли? Мы все равно ничего не можем сделать с этим. В том и суть, что мы ничего не может предсказать а, значит, предотвратить. Боюсь, система под названием "цивилизация Земли" давно уже вышла в своем развитии из-под какого-либо контроля и развивается так, как ей по нутру, а нам остается лишь отслеживать происходящее и по мере сил объяснять.

Поэтому, уж извините, лично я - ничего не делаю, "чтобы бороться с этой угрозой". И не намерен страдать такой глупостью. Более того, я и к спасителям России отношусь с больши-им подозрением, а уж от спасителей мира всяко постараюсь держатся подальше. "Делай что должно -  и будь что будет." Есть  конкретные вещи, которые я могу изменить - вот ими я и займусь. А пустопорожнее обсуждение непознаваемых глобальных рисков - это развлечение, а не дело.

PS Еще раз про самосознание. Не я его приплетаю. Почитайте или послушайте обычных людей - как они воспринимают проблему "недружественного ИИ". Я же полагаю ИИ одним из рисков, связанных с сингулярностью. Причем вряд ли основным. Основные мы скорее всего и не видим.