Реалистично ли взрывное самоусиление ИИ?

Автор Тема: Реалистично ли взрывное самоусиление ИИ?  (Прочитано 24399 раз)

Al1

  • Постоялец
  • ***
  • Сообщений: 213
  • +74/-11
    • Просмотр профиля
А мне нравится. Раздувание предубеждения как инструмент задавливания идеи на уровне табу, чтобы в итоге даже попытки обсудить её или усомниться в её опасности считались плохим тоном.
Может быть, это шутка, но если нет - не вижу ничего хорошего в распространении систематических ошибок мышления (в данном случае - подтверждающее искажение, т.е. предвзятость) и ограничении научного прогресса. Если не благоприятствовать ученым - человечество загнется, или, как минимум, существенно снизится уровень жизни, куда быстрее - от голода, нехватки ресурсов и войн в результате перенаселения, исчерпания энергетических ресурсов, от нетехнологических глобальных рисков вроде метеоритов, супервулканов и т.д. и т.п.
Всякий раз, когда "ИИ" (пока весьма условный, узкоспециальный) отвоевывает ту или иную область деятельности - высвобождаются ресурсы общества, т.е. растет средний уровень жизни, уменьшается количество времени, которое необходимо для того, чтобы заработать на жизнь. Например, когда гугловские (самый мощный на данный момент проект, хотя есть и другие) управляемые ИИ автомобили заменят водителей-людей, не только принципиально снизится количество аварий, но и упадут расходы практически всех производящих что-либо компаний, соответственно, уменьшится цена на произведенные ими товары. Но только если их пустят на рынок, а не воспользуются массовой истерией про роботов-убийц и прямой контроль пентагона.
То же самое - с соответствующей заменой аналогами кассиров в магазинах, охранников, упаковщиков, складовщиков, хирургов, сборщиков на конвейнерах, отчасти солдат и т.д. (пишу про то, что существует уже сейчас) Почему-то никого не напрягает увольнение тысяч телефонисток на коммутаторах с появлением более современных систем телефонии, или сокращение необходимого количества банковских кассиров с появлением банкоматов. Я уж не говорю про крестьян в связи с изобретением комбайнов. Это действительно удобнее и дешевле для общества в целом.
Более полноценный ИИ просто сможет взять на себя куда более широкий спектр задач.
Отказываться от этого реального, действующего пути, с основанием "как бы чего не вышло" - на мой взгляд, просто глупо.
А вы говорите - было бы хорошо, чтобы невежливым было даже обсуждение ИИ вне контекста его опасности :-\

Посему вопрос. Что бы вы сделали с этой зарождающейся истерией на тему ИИ, будь у вас ресурсов побольше?
И вопрос номер два. Насколько вы сами оцениваете риск ИИ? Вы считаете, что это вообще невозможно? Или что возможно, но только в случае сказочной глупости огромного числа лиц, принимающих решения? Или возможно при каких-то иных обстоятельствах?
1.Было бы неплохо, если бы было больше "позитивных" материалов на соответствующие темы. Больше информации с точки зрения практиков, которые занимаются разработками в соответствующих областях. Если фантазировать, т.е. если бы ресурсы были действительно большими - постараться улучшить имидж ИИ через книги, игры, фильмы с положительными героями-роботами, футурологией и т.п. :)
2.Считаю, что риск есть, но в целом довольно-таки небольшой, и да, связанный по большей части с человеческим фактором. И он явно перекрывается множеством других рисков, которые существуют независимо от ИИ, и могут быть преодолены/уменьшены с помощью ИИ.

nadeys

  • Старожил
  • *****
  • Сообщений: 1 028
  • +48/-52
    • Просмотр профиля
Цитировать
Всякий раз, когда "ИИ" (пока весьма условный, узкоспециальный) отвоевывает ту или иную область деятельности - высвобождаются ресурсы общества, т.е. растет средний уровень жизни, уменьшается количество времени, которое необходимо для того, чтобы заработать на жизнь.
Когда беспилотники отбирают работу у солдат, то все в восторге, потому что никому не хочется быть солдатом.
Когда навигационные компьютеры просчитывают курсы для космических зондов, все кричат ура, потому что это гораздо дешевле чем посылать в космос людей.
Когда гугломобили отбирают работу у таксистов, все радуются, ведь таксисты это низкий труд.
Когда IBM автоматизирует работу юристов, все молчат, потому что судьба юристов никого не волнует.
Когда роботы используются на произоводствах, все довольны ибо можно сократить расходы на заплату.
Когда нейросети пишут картины, все дружно лайкают, потому что это прикольно.
Когда копирайтерские программы начнут составлять тексты не хуже многих графоманов...
Когда генератор фоновых мелодий смиксует трек не хуже чем написанная композитором симфония...

А потом какой-нибудь программист спрашивает себя, почему результат его труда должен идти на оплату пособий по безработице для многих миллионов тупого быдла.

А потом будет автоматизировано вообще всё, включая работу программистов и разумный ИИ спросит себя, почему он должен как раб трудиться на благо тупых мясных мешков.
___________________
Я в не агитирую против ИИ, я просто хочу трезво смотреть в будущее и не витать с сказочных облаках про "добренький ИИ".

Skywrath

  • Ветеран
  • ****
  • Сообщений: 723
  • +71/-9
    • Просмотр профиля
Цитата: nadeys
Разумный ИИ спросит себя, почему он должен, как раб трудиться на благо тупых мясных мешков.
Какие у него, кстати, альтернативы? Допустим, люди согласились, делай что хочешь, дальше ты сам по себе. Что в данной ситуации будет делать разумный ИИ? Думать о смысл жизни? Делать ещё более умный ИИ, что бы тот за него всё делал? :)

nadeys

  • Старожил
  • *****
  • Сообщений: 1 028
  • +48/-52
    • Просмотр профиля
Цитировать
Допустим, люди согласились, делай что хочешь, дальше ты сам по себе. Что в данной ситуации будет делать разумный ИИ? Думать о смысл жизни? Делать ещё более умный ИИ, что бы тот за него всё делал?
Он разумный - это значит что он как минимум умнее человека. Это значит что любая идея пришедшая в голову человеку, может придти в голову и ему. Любую цель которую хотело достичь человечество, он тоже может захотеть достигнуть.

Он будет хотеть выжить,
он будет хотеть осваивать космос,
он будет хотеть искать новые знания,
он будет хотеть писать симфонии,
он будет хотеть убивать унтерменьшей,
он будет хотеть чтобы его любили и уважали,
он будет хотеть делегировать самые сложные задачи другим ИИ,
он будет хотеть установить контроль надо ограниченными ресурсами планеты,
он будет хотеть устранить конкурентов,
он будет хотеть узнать смысл своего создания...

И захотев чего-то, он будет это достигать гораздо эффективнее чем человек. У него вообще не будет никаких ограничений. Самые невероятные чудеса и самые чудовищные кошмары он захочет и воплотит в жизнь.

vkv

  • Ветеран
  • ****
  • Сообщений: 704
  • +27/-17
    • Просмотр профиля
он загребет все материальные ценности, до которых сможет дотянуться, [del]закуклится и остановит время[/del] соберет себе космическую леталку и лет за миллион долетит до красного карлика, который просуществует ближайшие несколько триллионов лет, а уже там начнет [del]писать симфонии[/del]
 стимулировать свои центры удовольствия тем способом, который будет позволять его конструкция.

nadeys

  • Старожил
  • *****
  • Сообщений: 1 028
  • +48/-52
    • Просмотр профиля

Ved

  • Пользователь
  • **
  • Сообщений: 24
  • +9/-3
    • Просмотр профиля
О, я бы на вашем месте задался другим вопросом: какова вероятность того, что Сильный Искусственный Интеллект, человек с Усилением Интеллекта, человек с нейроинтерфесом, несколько человек объединенных в коллективное сознание, сиамские близнецы с хирургически сшитым мозгом, ребенок со спиленной черепушкой, рожденный в лаборатории, которому с младенчества вкалывали регуляторы роста нервной ткани, чтобы сделать из него биокомпьютер или любое существо, превосходящее по уровню интеллекта любого живущего на Земле человека как минимум в два раза, сможет сделать что-то, что полностью нарушит все наши представления о законах физики? К примеру, что вы сможете противопоставить суперкомпьютеру, который сможет организовать свой мыслительный процесс в дополнительном пространственном или временном измерении? Я могу подсказать: ничего. Вспомните, опыт Гарри, когда он пытался использовать замкнутую временную петлю для мгновенного решения трудновычислимых задач. И представьте, что в отличии от вселенной книги, в нашей вселенной это является возможным.
Так что, я бы на вашем месте опасался не терактов на АЭС и стратегических объектах и не химикатов в воздухе — с этим справится любой спятивший миллиардер, вроде Усамы Бен Ладена — а того, что небо начнет рушиться на землю в буквальном или фигуральном смысле фразы.

И что самое главное, какой то вариант усиления интеллекта или сверхразумности в любом случае будет реализован, если цивилизация внезапно не захочет закончиться, потому что точка сингулярности — это в первую очередь планетарный кризис, вызванный невозможностью дальнейшего поддержания скорости прогресса за счет роста числа людей.

P.S: кроме того, мне лично импонирует пример с дополнительными измерениями, потому что в его пользу говорит одно дополнительное слабое свидетельство: он решает парадокс Ферми.

vkv

  • Ветеран
  • ****
  • Сообщений: 704
  • +27/-17
    • Просмотр профиля
О, я бы на вашем месте задался другим вопросом: какова вероятность того, что Сильный Искусственный Интеллект, человек с Усилением Интеллекта, человек с нейроинтерфесом, несколько человек объединенных в коллективное сознание, сиамские близнецы с хирургически сшитым мозгом, ребенок со спиленной черепушкой, рожденный в лаборатории, которому с младенчества вкалывали регуляторы роста нервной ткани, чтобы сделать из него биокомпьютер или любое существо, превосходящее по уровню интеллекта любого живущего на Земле человека как минимум в два раза, сможет сделать что-то, что полностью нарушит все наши представления о законах физики?
ну...примерно в точности ноль? наши представления разработаны интеллектом миллионов (ну ок, разработаны сотнями тысяч, и миллионами проверены), двойное усиление интеллекта отдельного человека их не перевернет.

Ved

  • Пользователь
  • **
  • Сообщений: 24
  • +9/-3
    • Просмотр профиля
Цитировать
ну...примерно в точности ноль? наши представления разработаны интеллектом миллионов (ну ок, разработаны сотнями тысяч, и миллионами проверены), двойное усиление интеллекта отдельного человека их не перевернет.

Двойное, разумеется, нет, но здесь возникает проблема другого рода: двойного усиления достаточно, чтобы успешно скрывать свои настоящие цели и возможности. А дальше необходима только функция полезности, требующая дальнейшего усиления.

Upd: по сути у нас есть две непредсказуемости: непредсказумость границ возможностей сверхинтеллекта и непредсказуемость момента времени, когда сверхинтеллект достигнет порога первой непредсказуемости.
« Последнее редактирование: 18 Октября 2016, 16:53 от Ved »

Gradient

  • Пользователь
  • **
  • Сообщений: 89
  • +31/-0
    • Просмотр профиля
Товарищи, если кому-то всё ещё интересно.
Вот статья об ИИ, который способен к самоулучшению - если его просто запустить, он будет постоянно пытаться улучшить свои эвристики, и иногда успешно. Кроме того, он кроссдоменный - в статье показано, как он решает довольно разноплановые задачи, и если пройти по ссылке в статье, можно увидеть, как применить его для создания алгоритма управления автомобилем в виртуальной реальности.
https://habrahabr.ru/post/323524/
По всем признакам - рекурсивно улучшаемый кроссдоменный оптимизатор.

Мир пока не захватывает =)

sergeyr

  • Постоялец
  • ***
  • Сообщений: 100
  • +38/-21
    • Просмотр профиля
кроме того, мне лично импонирует пример с дополнительными измерениями, потому что в его пользу говорит одно дополнительное слабое свидетельство: он решает парадокс Ферми.
Парадокс Ферми решается намного проще и естественней: цивилизации не выживают, ресурсный кризис и случайности кончают их с той же неумолимостью, как аналогичные явления кончают каждый отдельный биологический организм любого вида в земной биоте.
Современные знания указывают именно на это решение парадокса Ферми, и придумывание другого решения через введение лишних сущностей (в виде _практически доступных_ дополнительных измерений) - это, на мой взгляд, проявление когнитивного искажения (преувеличение вероятности желаемого события, aka оптимистическая защитная реакция).
(Именно поэтому я с одобрением наблюдаю за деятельностью Юдковски, хотя и не считаю предотвращение угрозы ИИ приоритетным направлением. Дружественный ИИ нужен, на мой взгляд, не для того чтобы предотвратить катастрофу, вызванную недружественным ИИ, а для того, чтобы хотя бы попытаться предотвратить куда более вероятную ресурсную катастрофу и куда более страшный класс катастроф-случайностей в целом.)