Главное > Общение
Реалистично ли взрывное самоусиление ИИ?
Al1:
К сожалению, мой уровень английского недостаточно хорош (а онлайн переводчики пока не столь продвинуты :) ), чтобы прочитать рекомендованные в теме книги и статьи :-\
По поводу "а никто и не утверждает, что так будет" - не раз встречал в выступлениях и текстах трансгуманистов прогнозирование именно экспоненциального роста возможностей ИИ. Не важно, о минутах ли идет речь, или о нескольких годах, главное, что предполагается рост возможностей такого масштаба, что ИИ станет невозможно остановить, и либо, сообразно собственной воле, он нас убьет (например, переделает в скрепки - и никто не сможет ему противодействовать), или, наоборот, решит проблему смерти, избавит от необходимости работать и т.п. Отсюда и возникает, в частности, необходимость в деятельности разработчиков дружественного ИИ, вроде того института, в котором работает Юдковский.
Если же подобный сценарий практически невозможен в действительности, а ИИ будет оставаться относительно слабым и уязвимым в течение многих десятков лет, равно как и недостаточно мощным, чтобы быстро решать глобальные проблемы, следует считать ряд опасностей или преимуществ ИИ сильно переоцененными.
Muyyd:
Борстром, в книге, пишет, например, про возможность создания ИИ с как бы человеческим уровнем интеллекта (human-like алгоритмы), но на современном железе вместо биомассы мозга. С учетом разницы в скорости прохождения сигналов, коалиция (копии можно получить в результате, например, промышленного шпионажа) таких "разумов", объеденных похожими целями, представляется вполне реалистичным SAI.
anagor1:
Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических. А захватывающий мир ИИ - это пропагандистская страшилка для обывателей вроде свиного гриппа или летящего прямо в землю астероида. Сама парадигма развития вычислительной техники не предполагает создания ничего подобного. Самообучение, самостоятельная постановка задач - это всего лишь повышение эффективности вычислений. Для поступка, какого бы то ни было, требуется волевой акт (см., напр., Шопенгауэра), которому взяться неоткуда. ИИ - всего лишь усиление одной из функций мозга, вычислительной, развитие абстрактного, даже не творческого, а механического мышления. Мой сын (ВМК МГУ, специальность "машинное обучение") уже задолбался это (безуспешно) объяснять радостно-испуганным обывателям.
Чтобы проявить волю и захотеть чего-то самому, ИИ должен обладать рефлексией, самосознанием. Но если каким-то чудом (именно чудом, наука тут бессильна) он его обретет - я уверен, что вместо захвата мира он немедленно повесится с тоски на собственном шнуре питания. Поскольку кроме самого "бытия_для_себя, ускользающего от немедленной определенности" (Сартр) требуется еще смысл, ну хотя бы осмысленность этого бытия, требуется внутреннее ощущение "ради чего".
Более реальным представляется другой путь - и вот его следует анализировать всерьез. Это путь имплантантов, когда возможности живого, думающего, уже сознающего себя человека резко усиливаются путем имплантации в мозг каких-нибудь чипов. Но тут опять же встает вопрос устойчивости психики. Уверен, что если у обычного человека в 10 раз ускорится мышление - он просто свихнется... и тут мы вдруг возвращаемся к проблеме Сингулярности. Она по большому счету состоит не в том, как спастись от ИИ, а в том, как не свихнуться. Готово ли человечество к превращению в сборище специализированных психов?
Muyyd:
Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.
nar:
--- Цитата: anagor1 от 04 Сентября 2016, 22:03 ---Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических.
--- Конец цитаты ---
Нет, сингулярность - это устремление к бесконечности. И это не фигуральное выражение для "очень много", от которого кто-то отстал, а именно асимптота вертикально вверх на определённой точке времени.
Естественно, она упрётся в физические ограничения, но это будет там, где смысл всего остального давно потеряется.
Представьте себе усилитель сигнала с положительной обратной связью + ещё какой-то схемой, мешающей этой связи, питающим напряжением 10В, рабочим сигнальным напряжением на выходе порядка 0.001В. Представьте, что сдерживающая схема вышла из строя, и положительная обратная связь осталась единственным действующим фактором. Будет почти вертикальный скачёк выхода и закончится всё перегоранием схемы (а может и стабилизацией режима на 10В), но смысл происходящего с точки зрения остальной логики, живущей при милливольтах, потеряется несравнимо раньше.
Навигация
Перейти к полной версии