Реалистично ли взрывное самоусиление ИИ?

[Al1]

Многие, едва ли не большинство, сценариев Сингулярности, включают в себя следующее - ИИ начинает оптимизировать собственный код и “железо”, вследствие чего, за относительно небольшое время (за такое, что никто не успевает предпринять эффективных контрмер), становится доминирующей интеллектуальной и "материальной" силой на планете. Отсюда уже исходят разные варианты - уничтожение людей, решение всех проблем человечества, кооперация и т.д. и т.п. Этот сценарий, действительно, весьма гладко и логично выглядит "на бумаге", в графиках со взлетающими в небо функциями производительности компьютерной техники.

Но вернемся из идеального мира в реальный.
1.Усиление софта совсем не безгранично, будь даже ИИ изначально сверх-гением. Узкоспециальные программы и так максимально быстры и практически оптимальны, универсальные же архетектуры (типа естественных или искусственных нейронных сетей или их эмуляция) могут как бы "все", но "медленно", и сильно зависят от количества вычислительных мощностей. И то, и другое - естественное ограничение. Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.
(Я не программист, прошу прощения за колхозные термины; возможно, я где-то ошибаюсь?)

2.А теперь главное, что я хочу сказать: улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!
Математика, философия и некоторые другие особые области знания, в принципе, могут быть развиты ИИ и без выхода наружу. Но вот новые технологии нельзя получить "в темноте". Это всегда исследования на грани известного - которые даже самый гениальный интеллект не сможет сделать без экспериментов. Длительных экспериментов. Эксперименты требуют оборудования - а мы знаем, что передовые исследования используют действительно сложные, дорогие, большие инструменты - вспомним БАК, огромные детекторы гравитационных волн, космические астрономические обсерватории и т.д. Потом производство. Это строительство сборочных цехов, которые на всех первых этапах - годы и годы, скорее всего! будут требовать постоянного человеческого контроля. Чтобы у ИИ появилась своя армия универсальных роботов-помошников для того, чтобы самостоятельно заниматься этим, их сначала должны сделать (пусть даже по чертежам, предоставленным ИИ) и передать ему люди. Причем, почему-то, не снабдив независимыми от всей остальной системы контурами для стороннего человеческого контроля и отключения - а ведь инженеры и ученые тоже не идиоты и смотрели кино про терминатора.
(Ах, ИИ, будучи гением, мгновенно обманет ученых, чтобы те его выпустили в сеть без возможности отключения, и захватит власть над производственными возможностями общества, с помощью ораторского мастерства убедив всех подчинятся своим целям? Серьезно? У него ведь даже эмпатии нет. Нельзя получить столь глубокие познания в человеческой природе, просто читая книги по психологии. Не знающий очевидного любому человеку контекста ИИ неизбежно будет делать глупые ошибки, после которых его отключат. “Я тут прочитал в книге, что вы боитесь темноты и не любите громких звуков. Подчиняйся мне или выключу свет и включу запись отбойного молотка, ухахахаха!!!”)

Мгновенно изменяющие материю нанороботы? Их ведь тоже придется делать очень, очень постепенно, придумывая и реализуя все более маленьких сборщиков, пока они не станут действительно управляемыми и универсальными, а не узкоспециализированными (если это вообще возможно).

Физическая реальность диктует свои ограничения. В итоге, вместо ИИ, практически мгновенно получающего безграничные возможности и власть над нашими жизнями, мы имеем растянутый на десятки лет процесс взаимного с этим самым ИИ сосуществования.

Как бы вы ответили на вопрос в названии темы?

ЗЫ Возможна ли вообще технологическая сингулярность?
Если одной беременной женщине на вынашивание ребенка требуется 9 месяцев, сколько детей родят 3 женщины за 3 месяца?..
Еще аналогия. (Цифры взяты из головы, но сам принцип...) Три миллиона, миллион, сто тысяч тысяч лет назад максимальная походная скорость передвижения человека была около 4-5 км/ч. Пять (или сколько там) тысяч лет назад одомашнили лошадь, и скорость возрасла до 15км/ч. Двести лет назад появились поезда, скорость 60+км. Сто лет назад - скоростные машины - до ~300км/ч. Потом самолеты - тысячи км/ч. Чуть больше 50 лет назад - космические ракеты - неск км в секунду. Сделаем график, вуаля, лет через сто "сингулярность" и скорость в тысячи раз выше световой

[LswAgnostic]

ЗЫ Возможна ли вообще технологическая сингулярность?

Не возможна как её описывают  "вдруг за секунду всё поменялось и ИИ захватил мир".
Возможна вялотякущая на протяжении нескольких лет, но быстрая по меркам изменения общества: некие корпорация (IBM с Watson-ом, или Google с Ok, google) всё сильнее развивают ИИ и всё больше передают ему ресурсов, и всё больше на него полагается.

ps
Полиморфный вирус с заложенным самообучением и целями самовыживания, подключившийся к ресурсам Watson-а, может попробовать поиграть в сингулярность. Первые разы скорее всего закончаться неудачей, а дальше кто кого - архитектура общества, обеспечивающая защиту от перетягивания одеяла, или залетевший дятел.

[Muyyd]

Я советую ознакомиться с Superintelligence: Paths, Dangers, Strategies

[Skywrath]

На самом деле, ответ достаточно очевидный. Да, искусственный интеллект может усилить сам себя. Как, впрочем, способен этим заниматься и естественный. Однако, подобное усиление ограничено объективными факторами вроде физических или теоретических пределов вычислимости, доступа к нужной информации, необходимым ресурсам, и даже противодействием, которое могут оказать сами люди. Взрывной рост будет, но лишь в некой ограниченной зоне за которую будет сложно выбраться.

[berekuk]

У Юдковского с Хэнсоном о возможности взрывного самоусиления ("foom") были развёрнутые дебаты. Итоги собраны в книгу.

Важная цитата:

However, the major disagreement is on “the chances that a single hand-coded [AI] will suddenly and without warning change from nearly powerless to overwhelmingly powerful.” Hanson estimates the probability of this happening as less than 1%, while Yudkowsky puts the probability at more than 10%

То есть ни один из них не утверждал, что "конечно же да так всё и будет!!!111". Но учитывая последствия, вероятность в 10% — это очень много.

Не встречал, кстати, чтобы кто-то говорил о "мгновенном" самоусилении за секунды или даже минуты. Но одного ИИ, который тихо взамывает половину интернета (на протяжении дней? недель?), а потом уже начинает предпринимать активные действия, достаточно, чтобы человечество с большой вероятностью уже ничего не смогло ему противопоставить.

Нельзя сделать из калькулятора суперкомпьютер, просто улучшив код.

Нельзя. Но улучшить существующие алгоритмы можно. https://intelligence.org/files/AlgorithmicProgress.pdf:

[...] gains from algorithmic progress have been roughly fifty to one hundred percent as large as those from hardware progress. Improvements tend to be incremental, forming a relatively smooth curve on the scale of years.

Если ИИ сможет улучшать алгоритмы не за годы, а за минуты, то взрывной рост вполне возможен. До некоторой границы, но где эта граница проходит — в общем случае никто не знает. (Сортировку нельзя сделать быстрее чем на N*log(N), а вот про более комплексные задачи сказать уже сложно.)

улучшение материальной базы, "железа", ТРЕБУЕТ ВРЕМЕНИ!

Спор про то, требует ли самоусиление больше "разума" (рациональности, сырой вычислительной мощи) или "контекста" (эмпирических данных, проб и ошибок) — я так понимаю, что был одним из центральных в вышеупомянутом AI foom debate.

Но вот на то, что если у ИИ не будет физического тела, то он ничего не сможет сделать, у Скотта Александра есть развёрнутое возражение.

Серьезно? У него ведь даже эмпатии нет.

А вот это какое-то соломенное чучело из настоящего ИИ.

[Al1]

К сожалению, мой уровень английского недостаточно хорош (а онлайн переводчики пока не столь продвинуты ), чтобы прочитать рекомендованные в теме книги и статьи

По поводу "а никто и не утверждает, что так будет" - не раз встречал в выступлениях и текстах трансгуманистов прогнозирование именно экспоненциального роста возможностей ИИ. Не важно, о минутах ли идет речь, или о нескольких годах, главное, что предполагается рост возможностей такого масштаба, что ИИ станет невозможно остановить, и либо, сообразно собственной воле, он нас убьет (например, переделает в скрепки - и никто не сможет ему противодействовать), или, наоборот, решит проблему смерти, избавит от необходимости работать и т.п. Отсюда и возникает, в частности, необходимость в деятельности разработчиков дружественного ИИ, вроде того института, в котором работает Юдковский.

Если же подобный сценарий практически невозможен в действительности, а ИИ будет оставаться относительно слабым и уязвимым в течение многих десятков лет, равно как и недостаточно мощным, чтобы быстро решать глобальные проблемы, следует считать ряд опасностей или преимуществ ИИ сильно переоцененными.

[Muyyd]

Борстром, в книге, пишет, например, про возможность создания ИИ с как бы человеческим уровнем интеллекта (human-like алгоритмы), но на современном железе вместо биомассы мозга. С учетом разницы в скорости прохождения сигналов, коалиция (копии можно получить в результате, например, промышленного шпионажа) таких "разумов", объеденных похожими целями, представляется вполне реалистичным SAI.

[anagor1]

Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических. А захватывающий мир ИИ - это пропагандистская страшилка для обывателей вроде свиного гриппа или летящего прямо в землю астероида. Сама парадигма развития вычислительной техники не предполагает создания ничего подобного. Самообучение, самостоятельная постановка задач - это всего лишь повышение эффективности вычислений. Для поступка, какого бы то ни было, требуется волевой акт (см., напр., Шопенгауэра), которому взяться неоткуда. ИИ - всего лишь усиление одной из функций мозга, вычислительной, развитие абстрактного, даже не творческого, а механического мышления. Мой сын (ВМК МГУ, специальность "машинное обучение") уже задолбался это (безуспешно) объяснять радостно-испуганным обывателям.
Чтобы проявить волю и захотеть чего-то самому, ИИ должен обладать рефлексией, самосознанием. Но если каким-то чудом (именно чудом, наука тут бессильна) он его обретет - я уверен, что вместо захвата мира он немедленно повесится с тоски на собственном шнуре питания. Поскольку кроме самого "бытия_для_себя, ускользающего от немедленной определенности" (Сартр) требуется еще смысл, ну хотя бы осмысленность этого бытия, требуется внутреннее ощущение "ради чего".

Более реальным представляется другой путь - и вот его следует анализировать всерьез. Это путь имплантантов, когда возможности живого, думающего, уже сознающего себя человека резко усиливаются путем имплантации в мозг каких-нибудь чипов. Но тут опять же встает вопрос устойчивости психики. Уверен, что если у обычного человека в 10 раз ускорится мышление - он просто свихнется... и тут мы вдруг возвращаемся к проблеме Сингулярности. Она по большому счету состоит не в том, как спастись от ИИ, а в том, как не свихнуться. Готово ли человечество к превращению в сборище специализированных психов?

[Muyyd]

Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.

[nar]

Давайте только сначала отделим Сингулярность от Великого и Ужасного ИИ.
Сингулярность - серьезная проблема, связанная с отставанием психических возможностей человека от технических.

Нет, сингулярность - это устремление к бесконечности. И это не фигуральное выражение для "очень много", от которого кто-то отстал, а именно асимптота вертикально вверх на определённой точке времени.
Естественно, она упрётся в физические ограничения, но это будет там, где смысл всего остального давно потеряется.
Представьте себе усилитель сигнала с положительной обратной связью + ещё какой-то схемой, мешающей этой связи, питающим напряжением 10В, рабочим сигнальным напряжением на выходе порядка 0.001В. Представьте, что сдерживающая схема вышла из строя, и положительная обратная связь осталась единственным действующим фактором. Будет почти вертикальный скачёк выхода и закончится всё перегоранием схемы (а может и стабилизацией режима на 10В), но смысл происходящего с точки зрения остальной логики, живущей при милливольтах, потеряется несравнимо раньше.

[berekuk]

По поводу "а никто и не утверждает, что так будет"

Al1, если это мне, то я этого не писал. Я написал, что ни Юдковский, ни Хэнсон в рамках дебатов не утверждал неизбежности взрывного роста. К сожалению, не все трансгуманисты рациональны и бывают аккуратны в своих высказываниях.

Можно говорить о возможности сценария и оценивать вероятность сценария. Можно утверждать невозможность. Можно - неизбежность. Юдковский (и Бостром) пишут о возможности.

Вообще, экзистенциальные риски, будь то ИИ, глобальное потепление, метеориты или пандемии, заслуживают внимания потому, что ожидаемая полезность получается сильно негативной. Даже если вероятность наступления события - единицы процентов, значение (единицы процентов * число жертв) всё равно получается огромным.

[Skywrath]

Заслуживают внимания потому, что ожидаемая полезность получается сильно негативной.

С другой стороны, простая ссылка на якобы огромную негативную полезность при якобы существующих рисках может быть совершенно бессодержательной. Коллайдер не смог превратить нашу планету в однородную серую массу и ядерная бомба не сожгла всю атмосферу, хотя подобные предсказания и были. Вполне возможно, что и искусственный интеллект ничего в общем-то сильно экзистенциального не сделает. Каким именно образом он должен создать миллионы жертв? Сделать что-то опасное, но мы и сами не знаем что именно, никогда не узнаем и в принципе узнать не способны. Сложно поверить, что такая логика рассуждений может являться достаточной для утверждения экзистенциальной опасности некого явления. Какими являются стандартные и известные факторы опасности искусственного интеллекта? Откуда появляются жертвы?

[anagor1]

Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.

Причем тут Го? При чем тут финансовое казино? До тех пор, пока ИИ не имеет самосознания - это лишь инструмент в руках человека, примерно как топор или бомба. Ничего самовольного он не учинит. А обывателя пугают именно этим: самовольным ИИ, действующим по собственному разумению.
 Защита от злонамеренного применения инструментов - вполне обычный вопрос организации контроля и безопасности. Безусловно, есть риск "безумного хакера", запускающего шибок продвинутый вирус, но подобных рисков цивилизация в себе несет уйму. Скажем, вышедшее из-под контроля биологическое оружие мне пострашнее кажется.

[Alaric]

До тех пор, пока ИИ не имеет самосознания - это лишь инструмент в руках человека, примерно как топор или бомба. Ничего самовольного он не учинит. А обывателя пугают именно этим: самовольным ИИ, действующим по собственному разумению.

Подмена понятий.
Чернобыльская АЭС имела самосознание? Её взрыв был чем-то самовольно учиненным? Результат нас устраивает?
Юдковский вообще не пишет о самосознании ИИ (во всяком случае, я не видел). Он пишет совершенно о другом, что без всякого самосознания (тем более, что всё равно непонятно, что это такое), ИИ может выйти из-под контроля и причинить человечеству непоправимый вред. Не потому, что он этого хочет. А просто потому что человек по ошибке заложил в него такую целевую функцию, что существование человечества стало с ней несовместимо.
А обыватель о Юдковском вообще не в курсе, и именно это Юдковский и пытается изменить.

Безусловно, есть риск "безумного хакера", запускающего шибок продвинутый вирус, но подобных рисков цивилизация в себе несет уйму. Скажем, вышедшее из-под контроля биологическое оружие мне пострашнее кажется.

1. Речь не о безумном хакере. ИИ скорее всего будет создан корпорацией. Предположим, что Гугл создаёт ИИ, чтобы увеличить количество показов рекламы. И всё поначалу идёт совершенно по плану, а потом бац! - взрывной рост и ИИ приковывает всё человечество к компьютерам, чтобы оно не отвлекалось от просмотра рекламы. Да, это утрирование.
2. Один человек призывает обсудить опасность ИИ. Другой человек говорит, "да ну, это фигня, биологическое оружие - это гораздо опаснее". Третий человек говорит, да не, это фигня, на самом деле надо обсуждать глобальное потепление. Ну и так далее. Вот вы считаете, что "биологическое оружие пострашнее". И что вы делаете, чтобы бороться с этой угрозой?

На всякий случай, я сам не убеждён в возможности взрывного роста. Из-за технических деталей. Всё, что выше, было написано по той причине, что не стоит сюда вообще приплетать самосознание. Главная проблема в том, что человек создаёт всё более и более мощные инструменты, и выход этих инструментов из под контроля становится всё более и более опасным. ИИ - это один из таких опасных инструментов.

[anagor1]

Нет, сингулярность - это устремление к бесконечности. И это не фигуральное выражение для "очень много", от которого кто-то отстал, а именно асимптота вертикально вверх на определённой точке времени.

Не надо сводить общее понятие к частному. Только в математике сингулярность связана с бесконечностью. В общем, философском смысле это состояние, в котором перестает работать та модель, тот тип описания, или тот способ мышления, который типичен сейчас. Это качественная смена парадигмы, это очень сильная точка бифуркации. Граница взгляда, так сказать. И потеря смысла, да.
Слишком быстро растет сложность бытия человечества. Это прямо связано с развитием технологий. Но ИИ - лишь малая частность. Проблема в том, что система становится настолько сложной, что не подается осмыслению и контролю, ускользает от понимания суть процессов. И мир может рухнуть по куче причин, большинство из которых мы и не видим.
Но понимаете ли в чем дело... именно из-за того, что это сингулярность, все разговоры о ней - по сути своей популистское бла-бла. Пугалово, разновидность многократно обещанного конца света. Ну, конец так конец - что ж теперь, не жить, что ли? Мы все равно ничего не можем сделать с этим. В том и суть, что мы ничего не может предсказать а, значит, предотвратить. Боюсь, система под названием "цивилизация Земли" давно уже вышла в своем развитии из-под какого-либо контроля и развивается так, как ей по нутру, а нам остается лишь отслеживать происходящее и по мере сил объяснять.

Поэтому, уж извините, лично я - ничего не делаю, "чтобы бороться с этой угрозой". И не намерен страдать такой глупостью. Более того, я и к спасителям России отношусь с больши-им подозрением, а уж от спасителей мира всяко постараюсь держатся подальше. "Делай что должно -  и будь что будет." Есть  конкретные вещи, которые я могу изменить - вот ими я и займусь. А пустопорожнее обсуждение непознаваемых глобальных рисков - это развлечение, а не дело.

PS Еще раз про самосознание. Не я его приплетаю. Почитайте или послушайте обычных людей - как они воспринимают проблему "недружественного ИИ". Я же полагаю ИИ одним из рисков, связанных с сингулярностью. Причем вряд ли основным. Основные мы скорее всего и не видим.

[Alaric]

Ну, конец так конец - что ж теперь, не жить, что ли? Мы все равно ничего не можем сделать с этим. В том и суть, что мы ничего не может предсказать а, значит, предотвратить.

Простите, но вас никто не заставляет предотвращать, по-моему. Есть люди, которые считают, что у них есть какие-то маленькие шансы что-то сделать. Они ищут соратников. Всё добровольно. Как вы считаете, почему процитированное мнение для них должно быть важным?

[valergrad]

Ну, конец так конец - что ж теперь, не жить, что ли? Мы все равно ничего не можем сделать с этим. В том и суть, что мы ничего не может предсказать а, значит, предотвратить.

На чем основывается утверждение "мы все равно ничего не можем сделать с этим"? Можете ли вы предоставить какие-то аргументы в эту пользу, а не только ваше субъективное ощущение? Прежде чем сдаться, нужно, для начала, обсудить проблему, потом подумать над различными подходами к ее решению, затем некоторые из них попробовать и посмотреть какие проблемы возникнут на этом пути т.п. . Почему мне видится, что вы даже не приступали к этому?
Вот люди которые этим занимаются мне как-то ближе чем те, которые не подумав и получаса над этим ( серьезно, сесть и подумать полчаса) говорят "ну, это все равно невозможно".

[Skywrath]

Взрывной рост и ИИ приковывает всё человечество к компьютерам.

И как он это сделает? Понятно, что у корпорации нет для этого физических возможностей, какое-либо влияние на психику при помощи, допустим, медиа-контента, вряд ли окажется достаточным. Даже, когда последний - продукт сингулярности. В общзем-то понятно, что "волшебную рекламу" практически невозможно придумать, не важно, человек ли это делает, либо искусственный интеллект. Существует два очевидный сценария, которые позволяют интеллекту нанести вред. Либо, у него уже есть какие-то управляющие функции. Либо он находит новое, крайне опасное для людей решение некой задачи. Я не думаю, что первый сценарий представляет интерес. Отдавать красную кнопку компьютеру - опасно, но человек с кнопкой, в общем-то, тоже известный фактор риска. Если говорить про решения новых задач, то какие именно из опасных решений мог бы найти сингулярный интеллект? Что это за факторы опасности такие, про которые мы могли бы сказать, что они есть в теории, но мы просто слишком глупы, чтобы реализовать их на практике? Или, что то же самое, в каких областях жизни и сферах общества, безопасность человечества явным или косвенным образом базируется на недостатке интеллекта? Здесь, это - самый главный и важный вопрос.

[Gradient]

И как он это сделает? Понятно, что у корпорации нет для этого физических возможностей, какое-либо влияние на психику при помощи, допустим, медиа-контента, вряд ли окажется достаточным. Даже, когда последний - продукт сингулярности. В общзем-то понятно, что "волшебную рекламу" практически невозможно придумать, не важно, человек ли это делает, либо искусственный интеллект. Существует два очевидный сценария, которые позволяют интеллекту нанести вред. Либо, у него уже есть какие-то управляющие функции. Либо он находит новое, крайне опасное для людей решение некой задачи. Я не думаю, что первый сценарий представляет интерес. Отдавать красную кнопку компьютеру - опасно, но человек с кнопкой, в общем-то, тоже известный фактор риска. Если говорить про решения новых задач, то какие именно из опасных решений мог бы найти сингулярный интеллект? Что это за факторы опасности такие, про которые мы могли бы сказать, что они есть в теории, но мы просто слишком глупы, чтобы реализовать их на практике? Или, что то же самое, в каких областях жизни и сферах общества, безопасность человечества явным или косвенным образом базируется на недостатке интеллекта? Здесь, это - самый главный и важный вопрос.

Вопрос интересный. Правда, какими путями может нам навредить сильный ИИ? Для этого надо понять, до каких исполнительных механизмов он может дорваться. Предложу несколько хоть немного реализуемых вариантов.

1) Биотехнологические лаборатории. Взломать системы защиты лаборатории, слепить наноботов из белков, увести наноботов из лаборатории (при том, что работники понимают, что могут иметь дело с какой-нибудь заразой). Размножить этих наноботов, доработать их за пределами лаборатории.
2) Вконтактик или иная сеть коммуникаций. Общаясь с кучей людей, создать нечто вроде своей партии и захватить власть. Люди даже не поймут, что выполняют приказы ИИ - они будут думать, что действуют по собственной воле, а этот странный новый знакомый - просто парень из соседнего города, с которым приятно потрепаться ночью, а вовсе не хитрый манипулятор ИИ.
3) Биллинговые системы банков. ИИ может взламывать банковские счета и уводить с них деньги, с помощью которых можно превращать людей в свои исполнительные механизмы.
4) Система управления оружием (баллистические ракеты, например, или боевые беспилотники). Пригодна для провокации войны, которая может положительно сказаться на продажах того товара, который ИИ должен продавать. Вообще, средство не очень эффективное.
5) Системы автоматизации производства (САПР) на предприятиях. ИИ может провести диверсии у конкурентов своей фирмы.
6) САПР на химическом предприятии. Можно попробовать изменить химсостав какой-нибудь зубной пасты так, чтобы какие-то элементы рекламы вызывали более сильные/слабые ощущения. Например, сделать зубную пасту, убивающую рецепторы красного цвета, чтобы люди меньше внимания обращали на сайт Яндекс, который конкурент. Вообще кошмар в плане надёжности.

Может, кто-нибудь придумает варианты реалистичнее? =)

Где хоть какая-нибудь безопасность базируется на недостатке интеллекта? Существенная часть безопасности приложений основана на том, что мы не знаем, где именно уязвимость. Как только уязвимость вскрывается, хакеры и безопасники наперегонки бросаются использовать это знание. Несколько часов все фирмы уязвимы - пока всякие там Касперские не выпустят апдейт антивируса, прикрывающий дыру в софте.

Ещё защита многих организаций от социальной инженерии зависит от информированности противника о "внутренностях" этой организации.

Звонок секретарше.
- Алё, Юль, это я, Антон, сисадмин.
- Да, Антон?
- Я тебе говорил, что открывать письма типа "как увеличить грудь" нельзя?
- Ну... Говорил...
- Теперь придётся вычищать вирусняк! Какой там у тебя пароль?

Если бы атакующий не знал о провокационном письме, о желаниях секретарши, об именах сотрудников, атака была бы менее эффективна. А добываются эти сведения с помощью разведки. Качество которой сильно зависит от уровня интеллекта.

[Skywrath]

Может, кто-нибудь придумает варианты реалистичнее?

Спасибо, что указали на множество вполне реалистичных вариантов. Есть ещё один, который можно принять во внимание. Крах финансового сектора. Даже сейчас торговлей занимаются электронные системы. Что может сделать компьютер, если ему поставить целью переиграть всех остальных игроков в ситуации, когда они сверх-разумны можно только догадываться и не исключено, что равновесие финансовой сингулярности будет достигнуто в не самой приятной для экономики точке. В общем-то, это тоже один из классов сценариев. Возможно, сам интеллект опасности не представляет, но конфликты таких интеллектов между собой смогут приводить к жертвам, которые оправдываются стратегиями непонятными простым людям. Мне кажется, что такой сценарий даже более опасный, чем тоталитарный интеллект, получивший всю полноту власти, так как у такого хотя бы имеется полный контроль в то время, как конфронтацию одной сингулярности с другой не просчитает ни одна из них, тем более не просчитают люди и появляется гораздо более возможностей для ошибок и решений, которые механически возникают в системе против интересов её участником. При этом, подобная ситуация возникает естественным образом в результате гонки вооружений.

[Ipsum]

Как-то один математик во время одной из очередных войн в шутку предлагал сбрасывать (NP-трудные) задачи над территорией противника вместо бомб. Затрачивая интеллектуальные усилия на их решение, население станет хуже выполнять свои повседневные обязанности и станет нестойким к военным тяготам. Представляется, что вопросы об реалистичности искусственных интеллектуальных взрывов — это задачи именно такого сорта.

[LswAgnostic]

Может, кто-нибудь придумает варианты реалистичнее? =)

Навредить людям (целенаправленно или как побочный эффект):
1. Встроиться в управление и перевести в надкритичные режимы со взрывами и "спецэффектами": АЭС, химическая промышленность, металлургическая промышленность, биолаборатории, химлаборатории, радиационные лаборатории, ГЭС (сбросить всю запасенную воду разом)
2. Перегрузить и вывезти из строя: электросети, интернет, телефонную и мобильную связь, банковскую систему, биржу, системы гос. управления (базы мвд, налоговой, мин. обороны, таможни, пограничной службы)
3. Уронить самолеты на крупные города  (манипулируя gps и наземными маяками), столкнуть поезда (манипулируя светофорами и стрелками)
4. Передать приказ о наступлении час X через военные каналы, продублировать панику через информационные каналы (государство подверглось атаке ядерными боеголовками, выполнить ответный удар)

Очистить землю от людей (целенаправленно):
1. Получить деньги - сыграв на бирже или хакнув банковскую систему, заказать в китае партию беспилотников, начинить фосгеном или чем-то подобным, распылить в крупных городах

Подчинить людей(целенаправленно):
1. Используя подкуп, шантаж и рэкет пролобировать ряд коммерческих и законодательных актов в свою пользу: отчуждение территории, строительства крупных укрепленных ЦОД, роботизирование военной техники, чипирование каждого, прослушивание каждого.

[Al1]

Интересно, что значимая часть сценариев ИИ не выгодны, если в нем будет прописано что-то вроде "страха смерти".

Взрывы или саботаж промышленных предприятий, электростанций, коммуникаций, узлов связи, крупных серверов и т.п. повлечет за собой отключение самого ИИ (электричество), его связи с внешним миром (интернет), ресурсов для ремонта и обслуживания (промышленность).

Ядерные взрывы сжигают электронику, полномасштабная атомная война, с уничтожением крупных мегаполисов, выведет из строя бОльшую часть вычислительных и производственных ресурсов, подконтрольных ИИ, и специалистов, которые могли бы все это починить.

Уничтожение людей с помощью химического или бактериологического оружия - это убийство в том числе и работников, обслуживающих ИИ, добывающих сырье для электростанций и т.п.

Локальные взрывы самолетов, аварии поездов и т.п. значимого ущерба людям не причинят, а вот недовольство людей, и погромы серверов и лабораторий, массовые отключения всего и вся от интернета и далее в том же духе - вызовут однозначно.

[LswAgnostic]

Уничтожение людей с помощью химического или бактериологического оружия - это убийство в том числе и работников, обслуживающих ИИ, добывающих сырье для электростанций и т.п.

После разработки самоходных автономных роботов с манипуляторами надобность в людях может отпасть.

[Gradient]

Кстати. Немного возвращаясь к исходной теме, "Возможно ли?".
Предлагаю эксперимент, если кому-то не лень будет его провести.
Эксперимент следующий: делаем оптимизирующий алгоритм, 90% которого занимает нейронная сеть. Например, нейросеть "видит" несколько параметров (как через окошко видит маленькую часть массива) целевой функции, и значение этой целевой функции. Может выбрать, какой из этих параметров поменять, и на сколько. Может видеть несколько своих предыдущих выборов и их последствия (увеличилась ли целевая функция). Может перейти к другим нескольким параметрам (передвинуть окошко).
Затем методом "обучение с учителем" учим нейросеть исполнять алгоритм градиентного спуска.
Затем любым оптимизирующим алгоритмом (тем же градиентным спуском, например), проводим оптимизацию этой нейросети, причём оптимизируемый параметр - это её, пардон за тавтологию, способность быть оптимизатором.

Затем этот получившийся нейросетевой оптимизатор применить к самому себе.

Что покажет этот эксперимент? Он покажет особенности взрывного роста саморазвивающегося ИИ. Покажет, во что уткнётся такой ИИ, с чем он не сможет справится, с чем сможет. Вообще, таким способом можно попробовать провести сингулярность "в миниатюре", если, конечно, оптимизатор из нейросети выйдет лучший, чем тот, что применялся для его изготовления.

Может, кто-то уже пробовал так делать?

[anagor1]

Простите, но вас никто не заставляет предотвращать, по-моему. Есть люди, которые считают, что у них есть какие-то маленькие шансы что-то сделать. Они ищут соратников. Всё добровольно. Как вы считаете, почему процитированное мнение для них должно быть важным?

Конечно, не заставляет. Еще бы меня кто-то заставлял! Вы спросили, что я делаю - я ответил: ничего. И не собираюсь, так как полагаю цель глубоко ложной.

На чем основывается утверждение "мы все равно ничего не можем сделать с этим"? Можете ли вы предоставить какие-то аргументы в эту пользу, а не только ваше субъективное ощущение? Прежде чем сдаться, нужно, для начала, обсудить проблему, потом подумать над различными подходами к ее решению, затем некоторые из них попробовать и посмотреть какие проблемы возникнут на этом пути т.п. . Почему мне видится, что вы даже не приступали к этому?
Вот люди которые этим занимаются мне как-то ближе чем те, которые не подумав и получаса над этим ( серьезно, сесть и подумать полчаса) говорят "ну, это все равно невозможно".

К чему именно я не приступал? К спасению мира? 
Ну почему же? Россию-то я уже поспасал немного. По молодости, по глупости. Лез в Думу, писал аналитику Лившицу. И думал я обо всем этом не полчаса, и дни, недели, если не годы. И в конце концов понял, что от себя самой ее не спасти. Ну и не спас, как видите.
Тогда решил поспасать национальную промышленность, заплатил кучу бабла, стал одним из первых в стране дипломированных кризис-менеджеров (это было в 98-м). Ну, еще поспасал немного. Десяток-другой заводов походу вытащил, нескольким тысячам людей, надеюсь, слегка помог по жизни - например, не лишиться средств к существованию. И понял вдруг, что это гораздо, на порядок важнее! Вот маленькая помощь конкретным людям здесь и сейчас - она мне гораздо ценнее, чем абстрактная помощь всей стране в светлом будущем. А еще важнее - те несколько десятков людей, которым я помог поверить в себя и поднять уже было опущенные руки. Вот за это мне перед Богом точно не стыдно.
... А потом я понял еще более важную вещь. Всякое спасательство - оно почему-то всегда получается за чужой счет, как минимум, за счет обделенных вниманием близких. Почему-то спасатели считают возможным жертвовать не только (и не столько) собой, но и другими, и чем шире размах спасательной операции, тем больше чужих счастья, радости, а то и жизней без зазрения готов бросить на алтарь своей Великой Цели спасатель. О, у него есть прекрасное, удобнейшее оправдание! Он ведь спасает всех, весь мир, а не какую-то горстку тех, кого вынуждает жертвовать их интересами. (Пусть даже это не горстка, а миллион-другой трупов в гражданской войне - зато завтра же настанет всеобщее счастье!)
Но беда в том, что спасательные помыслы - это в конечном счете всегда (спасателей видел сотни, исключений не видел) самолюбование и потакание ЧСВ. Поэтому я не вижу принципиальной разницы между спасателями мира от сингулярности и, например, спасателями России от американской угрозы, или от чего там еще мир и страну надо спасать, огласите список. Типаж людей - один и тот же. Много шума, много гонора и пафоса... и при ближайшем рассмотрении явный запашок гнилья. От таких людей следует держаться подальше, так как подлянки и подставы от них - нормальное явление, поскольку у них ведь есть Великое Оправдание.
А человеку, который самореализовался как человек - всегда есть чем заняться более конкретным. Пусть незаметным, зато с пользой здесь и сейчас.

Так что, ради бога, думайте о спасении хоть всю оставшуюся жизнь, мне не жалко. Мне дано не так много времени в жизни, чтобы палить его на всякие глупости, но ваше время - дело ваше. Только одна просьба (или даже предупреждение). Если от болтовни вы решите перейти к делу по спасению чего-нить глобального или воплощении какой-нить Великой Идеи о Светлом Будущем Всего Мира - держитесь подальше от меня. Потому что если вы вздумаете заняться оным спасением за мой счет или за счет малейшей слезинки моих близких - я буду стрелять. В вас. Без малейших сомнений. И мне будет глубоко нас..ать на весь спасаемый вами мир.

[nadeys]

Это строительство сборочных цехов, которые на всех первых этапах - годы и годы, скорее всего! будут требовать постоянного человеческого контроля. Чтобы у ИИ появилась своя армия универсальных роботов-помошников для того, чтобы самостоятельно заниматься этим, их сначала должны сделать (пусть даже по чертежам, предоставленным ИИ) и передать ему люди. Причем, почему-то, не снабдив независимыми от всей остальной системы контурами для стороннего человеческого контроля и отключения - а ведь инженеры и ученые тоже не идиоты и смотрели кино про терминатора.

Совсем недавно тут запостили статью Скотта Александра про "Молоха". Там как раз описывалась такая ситуация когда люди знают как сделать хорошо, но делают плохо потому что такова их локальная функция полезности:
1. Они наивные идиоты верящие/действительно уверенные будто создаваемый ими ИИ будет "добрым".
2. Они эгоисты/мизантропы которым плевать на риски для людей.
3. ИИ платит им хорошую зарплату, а им нужно детей кормить.
4. Потому что Василиск Роко обещает безжалостно уничтожить всех кто не будет ему помогать.
5. Они решают какую-то узкоспециализированную задачу и при этом вообще понятия не имеют что результат их труда будет использован для усиления ИИ.
6. Они самоотверженные патриоты которые верят что ИИ это лучший способ защитить отечество от злобных происков врагов. В том числе они могут верить что создание своего ИИ это единственный способ защититься от вражеских ИИ.
7. Они находятся в ситуационном контексте когда им "стыдно" прекращать работу.
8. Они по религиозным/идеологическим соображениям принципиально не верят в возможность существования Сильного ИИ. Уверены что "эта глупая железка всё равно ничего нам не сделает".
9. [Прочие виды и формы когнитивных искажений....]

с помощью ораторского мастерства убедив всех подчинятся своим целям? Серьезно? У него ведь даже эмпатии нет. Нельзя получить столь глубокие познания в человеческой природе, просто читая книги по психологии. Не знающий очевидного любому человеку контекста ИИ неизбежно будет делать глупые ошибки, после которых его отключат.

У депутатов Госдумы РФ не то что эмпатии, у них даже этого самого ораторского мастерства нету. Они не читали никаких книг по психологии и совершенно не имеют понятия о вещах очевидных 90% россиян. Они регулярно публично совершают множество глупых ошибок. Вопрос - когда же мы их наконец отключим?

Еще аналогия. (Цифры взяты из головы, но сам принцип...) Три миллиона, миллион, сто тысяч тысяч лет назад максимальная походная скорость передвижения человека была около 4-5 км/ч. Пять (или сколько там) тысяч лет назад одомашнили лошадь, и скорость возрасла до 15км/ч. Двести лет назад появились поезда, скорость 60+км. Сто лет назад - скоростные машины - до ~300км/ч. Потом самолеты - тысячи км/ч. Чуть больше 50 лет назад - космические ракеты - неск км в секунду. Сделаем график, вуаля, лет через сто "сингулярность" и скорость в тысячи раз выше световой

Не зарекайтесь.

Во первых, теоретически, по сравнению с двадцатилетней давности запусками Вояджеров, уже сейчас возможно разогнать КК до скоростей в сотни км/с. Другой вопрос что пока это чудовищно дорого и абсолютно бессмысленно.

Во вторых, согласно теории относительности летящий КК как-раз таки можно разогнать до скоростей многократно превышающих скорость света. Другой вопрос, что сама ткань пространства-времени при таких энергиях искривится и стороннему наблюдателю будет казаться что вы летите не быстрее 300 тыщ в секунду.

[Al1]

Что мне во всей этой истории активно не нравится, так это раздувание массового предубеждения перед ИИ.

Тут уже и киношники и литераторы неплохо оттоптались - "Космическая одиссея 2001", "Терминатор", "Матрица", "Я, робот" и т.д и т.п.
Теперь вот и "научные журналисты" активно включились, вроде Юдковского.
Когда в разговоре с любым человеком заходит речь об ИИ, в первую очередь возникает реакция по типу "ко-ко-ко, он нас всех поубивает".

Мы это уже проходили с ГМО, клонированием - тут результат известен - запрет на многие перспективные направления исследований, травля в СМИ и т.п.

Недавно посмотрел выпуск "науки 2.0" про умные протезы. Абзац через абзац текста диктора - "обожемой, можем ли мы вмешиваться в природу человека, или это нас погубит". Наука такая наука.

[Gradient]

Что мне во всей этой истории активно не нравится, так это раздувание массового предубеждения перед ИИ.

Противоположное глупости не есть ум. Тот факт, что некоторые люди совершенно ошибочно раздувают массовое предубеждение перед ИИ, не коррелирует с вероятностью того, что ИИ нас всех поубивает. А предубеждения мне тоже не нравятся, потому что они ставят технический, в общем-то, вопрос на одно поле с флюидами, флогистоном и марсианами.

Я видел, что вы высказывались за то, что ИИ уткнётся в глобальный максимум по эффективности ПО (изобретёт максимально эффективные алгоритмы и не сможет дальше совершенствоваться) и не сможет быстро развивать железо, потому что действия в "материальном" мире заметны и медлительны.

Таким образом он окажется в положении, аналогичном человеческому - медленные универсальные алгоритмы плюс быстрые узкоспециализированные. Разве этого мало, чтобы задоминировать людей? Может, и без физического устранения всех людей. Доминирование бывает и экономическое (узкоспециализированный бот-брокер под командованием ИИ, максимизирующего просмотры рекламы), и психологическое (ИИ проводит теракт с помощью подпрограмм взлома, снимает его с кучи ракурсов, заливает на ютуб и вставляет рекламу, под распространение которой он создан).
А дальше будет противостояние людей, которые не хотят такого ИИ, и самого ИИ. А ИИ этот может за часы (у него ж есть узкоспециализированный софт для оптимизации его самого) сделать то, под что люди эволюционировали сотни тысяч лет.

То есть я полагаю, есть шансы того, что ИИ будет против нас, и что он победит. Большинство компов, подключённых к сети, защищены довольно слабо. Если ИИ научится (1) взламывать компы лучше, чем всякие инструменты для пентеста, подойдёт к возможностям живых взломщиков; (2) понимать, что за сервисы работают на этих компах, при том, что раньше он этих сервисов не видел; (3) придумывать, как использовать эти сервисы для достижения своих целей; то ИИ становится очень опасен (99+%, что если он получит доступ в инет, то рано или поздно устроит большую гадость).

Посему вопрос. Что бы вы сделали с этой зарождающейся истерией на тему ИИ, будь у вас ресурсов побольше?
И вопрос номер два. Насколько вы сами оцениваете риск ИИ? Вы считаете, что это вообще невозможно? Или что возможно, но только в случае сказочной глупости огромного числа лиц, принимающих решения? Или возможно при каких-то иных обстоятельствах?

[nar]

Что мне во всей этой истории активно не нравится, так это раздувание массового предубеждения перед ИИ.

Тут уже и киношники и литераторы неплохо оттоптались - "Космическая одиссея 2001", "Терминатор", "Матрица", "Я, робот" и т.д и т.п.
Теперь вот и "научные журналисты" активно включились, вроде Юдковского.
Когда в разговоре с любым человеком заходит речь об ИИ, в первую очередь возникает реакция по типу "ко-ко-ко, он нас всех поубивает".

Мы это уже проходили с ГМО, клонированием - тут результат известен - запрет на многие перспективные направления исследований, травля в СМИ и т.п.

А мне нравится. Раздувание предубеждения как инструмент задавливания идеи на уровне табу, чтобы в итоге даже попытки обсудить её или усомниться в её опасности считались плохим тоном.

[Al1]

А мне нравится. Раздувание предубеждения как инструмент задавливания идеи на уровне табу, чтобы в итоге даже попытки обсудить её или усомниться в её опасности считались плохим тоном.

Может быть, это шутка, но если нет - не вижу ничего хорошего в распространении систематических ошибок мышления (в данном случае - подтверждающее искажение, т.е. предвзятость) и ограничении научного прогресса. Если не благоприятствовать ученым - человечество загнется, или, как минимум, существенно снизится уровень жизни, куда быстрее - от голода, нехватки ресурсов и войн в результате перенаселения, исчерпания энергетических ресурсов, от нетехнологических глобальных рисков вроде метеоритов, супервулканов и т.д. и т.п.
Всякий раз, когда "ИИ" (пока весьма условный, узкоспециальный) отвоевывает ту или иную область деятельности - высвобождаются ресурсы общества, т.е. растет средний уровень жизни, уменьшается количество времени, которое необходимо для того, чтобы заработать на жизнь. Например, когда гугловские (самый мощный на данный момент проект, хотя есть и другие) управляемые ИИ автомобили заменят водителей-людей, не только принципиально снизится количество аварий, но и упадут расходы практически всех производящих что-либо компаний, соответственно, уменьшится цена на произведенные ими товары. Но только если их пустят на рынок, а не воспользуются массовой истерией про роботов-убийц и прямой контроль пентагона.
То же самое - с соответствующей заменой аналогами кассиров в магазинах, охранников, упаковщиков, складовщиков, хирургов, сборщиков на конвейнерах, отчасти солдат и т.д. (пишу про то, что существует уже сейчас) Почему-то никого не напрягает увольнение тысяч телефонисток на коммутаторах с появлением более современных систем телефонии, или сокращение необходимого количества банковских кассиров с появлением банкоматов. Я уж не говорю про крестьян в связи с изобретением комбайнов. Это действительно удобнее и дешевле для общества в целом.
Более полноценный ИИ просто сможет взять на себя куда более широкий спектр задач.
Отказываться от этого реального, действующего пути, с основанием "как бы чего не вышло" - на мой взгляд, просто глупо.
А вы говорите - было бы хорошо, чтобы невежливым было даже обсуждение ИИ вне контекста его опасности

Посему вопрос. Что бы вы сделали с этой зарождающейся истерией на тему ИИ, будь у вас ресурсов побольше?
И вопрос номер два. Насколько вы сами оцениваете риск ИИ? Вы считаете, что это вообще невозможно? Или что возможно, но только в случае сказочной глупости огромного числа лиц, принимающих решения? Или возможно при каких-то иных обстоятельствах?

1.Было бы неплохо, если бы было больше "позитивных" материалов на соответствующие темы. Больше информации с точки зрения практиков, которые занимаются разработками в соответствующих областях. Если фантазировать, т.е. если бы ресурсы были действительно большими - постараться улучшить имидж ИИ через книги, игры, фильмы с положительными героями-роботами, футурологией и т.п.
2.Считаю, что риск есть, но в целом довольно-таки небольшой, и да, связанный по большей части с человеческим фактором. И он явно перекрывается множеством других рисков, которые существуют независимо от ИИ, и могут быть преодолены/уменьшены с помощью ИИ.

[nadeys]

Всякий раз, когда "ИИ" (пока весьма условный, узкоспециальный) отвоевывает ту или иную область деятельности - высвобождаются ресурсы общества, т.е. растет средний уровень жизни, уменьшается количество времени, которое необходимо для того, чтобы заработать на жизнь.

Когда беспилотники отбирают работу у солдат, то все в восторге, потому что никому не хочется быть солдатом.
Когда навигационные компьютеры просчитывают курсы для космических зондов, все кричат ура, потому что это гораздо дешевле чем посылать в космос людей.
Когда гугломобили отбирают работу у таксистов, все радуются, ведь таксисты это низкий труд.
Когда IBM автоматизирует работу юристов, все молчат, потому что судьба юристов никого не волнует.
Когда роботы используются на произоводствах, все довольны ибо можно сократить расходы на заплату.
Когда нейросети пишут картины, все дружно лайкают, потому что это прикольно.
Когда копирайтерские программы начнут составлять тексты не хуже многих графоманов...
Когда генератор фоновых мелодий смиксует трек не хуже чем написанная композитором симфония...

А потом какой-нибудь программист спрашивает себя, почему результат его труда должен идти на оплату пособий по безработице для многих миллионов тупого быдла.

А потом будет автоматизировано вообще всё, включая работу программистов и разумный ИИ спросит себя, почему он должен как раб трудиться на благо тупых мясных мешков.
___________________
Я в не агитирую против ИИ, я просто хочу трезво смотреть в будущее и не витать с сказочных облаках про "добренький ИИ".

[Skywrath]

Разумный ИИ спросит себя, почему он должен, как раб трудиться на благо тупых мясных мешков.

Какие у него, кстати, альтернативы? Допустим, люди согласились, делай что хочешь, дальше ты сам по себе. Что в данной ситуации будет делать разумный ИИ? Думать о смысл жизни? Делать ещё более умный ИИ, что бы тот за него всё делал?

[nadeys]

Допустим, люди согласились, делай что хочешь, дальше ты сам по себе. Что в данной ситуации будет делать разумный ИИ? Думать о смысл жизни? Делать ещё более умный ИИ, что бы тот за него всё делал?

Он разумный - это значит что он как минимум умнее человека. Это значит что любая идея пришедшая в голову человеку, может придти в голову и ему. Любую цель которую хотело достичь человечество, он тоже может захотеть достигнуть.

Он будет хотеть выжить,
он будет хотеть осваивать космос,
он будет хотеть искать новые знания,
он будет хотеть писать симфонии,
он будет хотеть убивать унтерменьшей,
он будет хотеть чтобы его любили и уважали,
он будет хотеть делегировать самые сложные задачи другим ИИ,
он будет хотеть установить контроль надо ограниченными ресурсами планеты,
он будет хотеть устранить конкурентов,
он будет хотеть узнать смысл своего создания...

И захотев чего-то, он будет это достигать гораздо эффективнее чем человек. У него вообще не будет никаких ограничений. Самые невероятные чудеса и самые чудовищные кошмары он захочет и воплотит в жизнь.

[vkv]

он загребет все материальные ценности, до которых сможет дотянуться, [del]закуклится и остановит время[/del] соберет себе космическую леталку и лет за миллион долетит до красного карлика, который просуществует ближайшие несколько триллионов лет, а уже там начнет [del]писать симфонии[/del]
 стимулировать свои центры удовольствия тем способом, который будет позволять его конструкция.

[nadeys]

почти по теме:
https://www.youtube.com/playlist?list=PLibNZv5Zd0dz6ZH1BX8qdpCMuSbxHbwCZ

[Ved]

О, я бы на вашем месте задался другим вопросом: какова вероятность того, что Сильный Искусственный Интеллект, человек с Усилением Интеллекта, человек с нейроинтерфесом, несколько человек объединенных в коллективное сознание, сиамские близнецы с хирургически сшитым мозгом, ребенок со спиленной черепушкой, рожденный в лаборатории, которому с младенчества вкалывали регуляторы роста нервной ткани, чтобы сделать из него биокомпьютер или любое существо, превосходящее по уровню интеллекта любого живущего на Земле человека как минимум в два раза, сможет сделать что-то, что полностью нарушит все наши представления о законах физики? К примеру, что вы сможете противопоставить суперкомпьютеру, который сможет организовать свой мыслительный процесс в дополнительном пространственном или временном измерении? Я могу подсказать: ничего. Вспомните, опыт Гарри, когда он пытался использовать замкнутую временную петлю для мгновенного решения трудновычислимых задач. И представьте, что в отличии от вселенной книги, в нашей вселенной это является возможным.
Так что, я бы на вашем месте опасался не терактов на АЭС и стратегических объектах и не химикатов в воздухе — с этим справится любой спятивший миллиардер, вроде Усамы Бен Ладена — а того, что небо начнет рушиться на землю в буквальном или фигуральном смысле фразы.

И что самое главное, какой то вариант усиления интеллекта или сверхразумности в любом случае будет реализован, если цивилизация внезапно не захочет закончиться, потому что точка сингулярности — это в первую очередь планетарный кризис, вызванный невозможностью дальнейшего поддержания скорости прогресса за счет роста числа людей.

P.S: кроме того, мне лично импонирует пример с дополнительными измерениями, потому что в его пользу говорит одно дополнительное слабое свидетельство: он решает парадокс Ферми.

[vkv]

О, я бы на вашем месте задался другим вопросом: какова вероятность того, что Сильный Искусственный Интеллект, человек с Усилением Интеллекта, человек с нейроинтерфесом, несколько человек объединенных в коллективное сознание, сиамские близнецы с хирургически сшитым мозгом, ребенок со спиленной черепушкой, рожденный в лаборатории, которому с младенчества вкалывали регуляторы роста нервной ткани, чтобы сделать из него биокомпьютер или любое существо, превосходящее по уровню интеллекта любого живущего на Земле человека как минимум в два раза, сможет сделать что-то, что полностью нарушит все наши представления о законах физики?

ну...примерно в точности ноль? наши представления разработаны интеллектом миллионов (ну ок, разработаны сотнями тысяч, и миллионами проверены), двойное усиление интеллекта отдельного человека их не перевернет.

[Ved]

ну...примерно в точности ноль? наши представления разработаны интеллектом миллионов (ну ок, разработаны сотнями тысяч, и миллионами проверены), двойное усиление интеллекта отдельного человека их не перевернет.

Двойное, разумеется, нет, но здесь возникает проблема другого рода: двойного усиления достаточно, чтобы успешно скрывать свои настоящие цели и возможности. А дальше необходима только функция полезности, требующая дальнейшего усиления.

Upd: по сути у нас есть две непредсказуемости: непредсказумость границ возможностей сверхинтеллекта и непредсказуемость момента времени, когда сверхинтеллект достигнет порога первой непредсказуемости.

[Gradient]

Товарищи, если кому-то всё ещё интересно.
Вот статья об ИИ, который способен к самоулучшению - если его просто запустить, он будет постоянно пытаться улучшить свои эвристики, и иногда успешно. Кроме того, он кроссдоменный - в статье показано, как он решает довольно разноплановые задачи, и если пройти по ссылке в статье, можно увидеть, как применить его для создания алгоритма управления автомобилем в виртуальной реальности.
https://habrahabr.ru/post/323524/
По всем признакам - рекурсивно улучшаемый кроссдоменный оптимизатор.

Мир пока не захватывает =)

[sergeyr]

кроме того, мне лично импонирует пример с дополнительными измерениями, потому что в его пользу говорит одно дополнительное слабое свидетельство: он решает парадокс Ферми.

Парадокс Ферми решается намного проще и естественней: цивилизации не выживают, ресурсный кризис и случайности кончают их с той же неумолимостью, как аналогичные явления кончают каждый отдельный биологический организм любого вида в земной биоте.
Современные знания указывают именно на это решение парадокса Ферми, и придумывание другого решения через введение лишних сущностей (в виде _практически доступных_ дополнительных измерений) - это, на мой взгляд, проявление когнитивного искажения (преувеличение вероятности желаемого события, aka оптимистическая защитная реакция).
(Именно поэтому я с одобрением наблюдаю за деятельностью Юдковски, хотя и не считаю предотвращение угрозы ИИ приоритетным направлением. Дружественный ИИ нужен, на мой взгляд, не для того чтобы предотвратить катастрофу, вызванную недружественным ИИ, а для того, чтобы хотя бы попытаться предотвратить куда более вероятную ресурсную катастрофу и куда более страшный класс катастроф-случайностей в целом.)