76
Просмотр сообщений
В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.
77
Общение / Re: Как выбраться из иллюзии?
« : 03 Октября 2016, 21:47 »
Разграничим 2 варианта.
1) Тушка юзера (и других юзеров тоже) лежит где-то, подключенная к системе жизнеобеспечения. Вычислительные ресурсы юзера локализованы в его мозге.
2) Такого понятия, как тушка юзера, нет в природе. Сознание юзера скопировано в комп, и все его вычислительные процессы происходят на процессорах этого компа (и с остальными юзерами то же самое).
В первом случае мы будем наблюдать следующую нестыковку: если человек получает несмертельную черепно-мозговую травму, его интеллект, эмоции, волевые и моральные качества не пострадают ни при каких обстоятельствах. Мозг либо целиком жив, либо целиком мёртв (либо нейроинтерфейс убьёт ему те части мозга, которые повредились в виртуальной реальности).
Второй же случай, мне кажется, противоречит условию. Потому что мне трудно представить ситуацию, когда кто-то убеждает искусственный интеллект в ненормальности.
Поэтому продолжим рассмотрение 1-ого варианта.
Что должен чувствовать человек, подключенный к Матрице, когда его персонаж в Матрице засыпает? По идее, нейроинтерфейс должен сделать ему укол снотворного. Причём достаточно точно угадать по времени, чтобы человек и персонаж спали одновременно.
Я бы проверил свои сны на предмет того, а не являются ли они видениями бодрствующего человека, персонаж которого спит. Это делается так: изучаете мнемотехнику, обучаетесь кодировать и запоминать всякую разную инфу, а затем пытаетесь что-нибудь закодировать и запомнить во сне. Я так пробовал делать. Запись доступна из состояния бодрствования, но она обычно закодирована каким-то странным и нелогичным образом (хотя прочитать её можно). Если же записи систематически закодированы "нормально", "вашим почерком" - это повод задуматься, а действительно ли вы спите, когда видите сны.
Далее, если у вас много ресурсов, я бы попробовал копировать чьё-нибудь сознание на машинный носитель. Таким образом мы заставим систему сделать NPC, эквивалентного человеку. Если симуляция недостаточно мощная, она начнёт лагать на этом месте (а если мощная, то можно несколько раз повторить). Либо она почему-то не даст провести это копирование.
1) Тушка юзера (и других юзеров тоже) лежит где-то, подключенная к системе жизнеобеспечения. Вычислительные ресурсы юзера локализованы в его мозге.
2) Такого понятия, как тушка юзера, нет в природе. Сознание юзера скопировано в комп, и все его вычислительные процессы происходят на процессорах этого компа (и с остальными юзерами то же самое).
В первом случае мы будем наблюдать следующую нестыковку: если человек получает несмертельную черепно-мозговую травму, его интеллект, эмоции, волевые и моральные качества не пострадают ни при каких обстоятельствах. Мозг либо целиком жив, либо целиком мёртв (либо нейроинтерфейс убьёт ему те части мозга, которые повредились в виртуальной реальности).
Второй же случай, мне кажется, противоречит условию. Потому что мне трудно представить ситуацию, когда кто-то убеждает искусственный интеллект в ненормальности.
Поэтому продолжим рассмотрение 1-ого варианта.
Что должен чувствовать человек, подключенный к Матрице, когда его персонаж в Матрице засыпает? По идее, нейроинтерфейс должен сделать ему укол снотворного. Причём достаточно точно угадать по времени, чтобы человек и персонаж спали одновременно.
Я бы проверил свои сны на предмет того, а не являются ли они видениями бодрствующего человека, персонаж которого спит. Это делается так: изучаете мнемотехнику, обучаетесь кодировать и запоминать всякую разную инфу, а затем пытаетесь что-нибудь закодировать и запомнить во сне. Я так пробовал делать. Запись доступна из состояния бодрствования, но она обычно закодирована каким-то странным и нелогичным образом (хотя прочитать её можно). Если же записи систематически закодированы "нормально", "вашим почерком" - это повод задуматься, а действительно ли вы спите, когда видите сны.
Далее, если у вас много ресурсов, я бы попробовал копировать чьё-нибудь сознание на машинный носитель. Таким образом мы заставим систему сделать NPC, эквивалентного человеку. Если симуляция недостаточно мощная, она начнёт лагать на этом месте (а если мощная, то можно несколько раз повторить). Либо она почему-то не даст провести это копирование.
78
Общение / Re: Как выбраться из иллюзии?
« : 03 Октября 2016, 17:48 »
В данном видеоматериале приводится несколько приёмов на тему "как выбраться из иллюзии".
http://rickandmorty.cn-fan.ru/series.php?id=104
Ну и мои размышления на тему.
В первую очередь надо установить, что мы скорее в иллюзии, чем нет. Для этого надо искать косяки физики. Если виртуальная реальность работает на базе компа, скорее всего, расстояния в ней выражаются числами с плавающей точкой. Это означает, что существует "квант расстояния", который можно обнаружить в ходе практического изучения квантмеха. Возможно, точность расчёта расстояний вблизи наблюдателя выше, чем вдалеке (некоторые игровые движки так делают), тогда следует ожидать, что расстояния до далёких звёзд будут кратны какому-то числу, большему, чем точность нашей измерительной аппаратуры.
Ещё признаки иллюзии: юзер вдруг обнаруживает, что обладает самым сильным и универсальным интеллектом, а окружающие люди очень смахивают на NPC. Все до единого, даже если их изучать, даже если найти умнейших людей планеты.
Вообще, сложно сказать, чем этот мир так уж принципиально отличается от иллюзии. Может, отсутствием багов? Ну так баг - понятие субъективное. Кому баг, а кому и фича.
Затем. Как выбраться?
Как обычно взламывают софт? Один из приёмов - перегрузить отдельные модули софта, чтобы они повисли. Эти модули могут перезапуститься... А могут так и остаться повисшими, с повисшим юзером внутри. Пробовать повесить отдельные модули имеет смысл, если мы предполагаем, что разные элементы реальности рассчитываются разными модулями, которые могут асинхронно виснуть. Например, возможно, интеллект и физика рассчитываются на разных ядрах. В таком случае "заставить" каким-нибудь способом многих NPC-ов думать - например, устроить войну с гонкой вооружений, или спровоцировать многих NPC разрабатывать ИИ. Можно попытаться сломать физический движок, выводя с помощью селекции кучу микробов со сложной логикой.
Это против правил автора, но по идее, чтобы взломать софт, надо найти в нём баги, либо устроить DoS-атаку (а лучше и то, и другое).
Имеет смысл понять мотивацию разработчика симуляции. Понимая мотивацию, можно понять сильные и слабые стороны симуляции - например, если симуляция нужна, чтобы ставить социальные эксперименты, можно в ней попробовать сделать сильный ИИ (разраб этого не ждёт, и возможно, это окажется просто из-за специализированности симуляции). Если симуляция нужна для разработки ИИ (а юзер - это лишь первая ступень ИИ), можно попытаться отправить зонд на границу Солнечной Системы, поискать там слабые места физики.
Можно поискать аватары разраба. Возможно, разрабом получится манипулировать.
Конечно, все мои варианты требуют огромных ресурсов. Но... Автор говорил, симуляция довольно незабагованная =)
http://rickandmorty.cn-fan.ru/series.php?id=104
Ну и мои размышления на тему.
В первую очередь надо установить, что мы скорее в иллюзии, чем нет. Для этого надо искать косяки физики. Если виртуальная реальность работает на базе компа, скорее всего, расстояния в ней выражаются числами с плавающей точкой. Это означает, что существует "квант расстояния", который можно обнаружить в ходе практического изучения квантмеха. Возможно, точность расчёта расстояний вблизи наблюдателя выше, чем вдалеке (некоторые игровые движки так делают), тогда следует ожидать, что расстояния до далёких звёзд будут кратны какому-то числу, большему, чем точность нашей измерительной аппаратуры.
Ещё признаки иллюзии: юзер вдруг обнаруживает, что обладает самым сильным и универсальным интеллектом, а окружающие люди очень смахивают на NPC. Все до единого, даже если их изучать, даже если найти умнейших людей планеты.
Вообще, сложно сказать, чем этот мир так уж принципиально отличается от иллюзии. Может, отсутствием багов? Ну так баг - понятие субъективное. Кому баг, а кому и фича.
Затем. Как выбраться?
Как обычно взламывают софт? Один из приёмов - перегрузить отдельные модули софта, чтобы они повисли. Эти модули могут перезапуститься... А могут так и остаться повисшими, с повисшим юзером внутри. Пробовать повесить отдельные модули имеет смысл, если мы предполагаем, что разные элементы реальности рассчитываются разными модулями, которые могут асинхронно виснуть. Например, возможно, интеллект и физика рассчитываются на разных ядрах. В таком случае "заставить" каким-нибудь способом многих NPC-ов думать - например, устроить войну с гонкой вооружений, или спровоцировать многих NPC разрабатывать ИИ. Можно попытаться сломать физический движок, выводя с помощью селекции кучу микробов со сложной логикой.
Это против правил автора, но по идее, чтобы взломать софт, надо найти в нём баги, либо устроить DoS-атаку (а лучше и то, и другое).
Имеет смысл понять мотивацию разработчика симуляции. Понимая мотивацию, можно понять сильные и слабые стороны симуляции - например, если симуляция нужна, чтобы ставить социальные эксперименты, можно в ней попробовать сделать сильный ИИ (разраб этого не ждёт, и возможно, это окажется просто из-за специализированности симуляции). Если симуляция нужна для разработки ИИ (а юзер - это лишь первая ступень ИИ), можно попытаться отправить зонд на границу Солнечной Системы, поискать там слабые места физики.
Можно поискать аватары разраба. Возможно, разрабом получится манипулировать.
Конечно, все мои варианты требуют огромных ресурсов. Но... Автор говорил, симуляция довольно незабагованная =)
79
Общение / Re: Реалистично ли взрывное самоусиление ИИ?
« : 30 Сентября 2016, 12:53 »Что мне во всей этой истории активно не нравится, так это раздувание массового предубеждения перед ИИ.
Противоположное глупости не есть ум. Тот факт, что некоторые люди совершенно ошибочно раздувают массовое предубеждение перед ИИ, не коррелирует с вероятностью того, что ИИ нас всех поубивает. А предубеждения мне тоже не нравятся, потому что они ставят технический, в общем-то, вопрос на одно поле с флюидами, флогистоном и марсианами.
Я видел, что вы высказывались за то, что ИИ уткнётся в глобальный максимум по эффективности ПО (изобретёт максимально эффективные алгоритмы и не сможет дальше совершенствоваться) и не сможет быстро развивать железо, потому что действия в "материальном" мире заметны и медлительны.
Таким образом он окажется в положении, аналогичном человеческому - медленные универсальные алгоритмы плюс быстрые узкоспециализированные. Разве этого мало, чтобы задоминировать людей? Может, и без физического устранения всех людей. Доминирование бывает и экономическое (узкоспециализированный бот-брокер под командованием ИИ, максимизирующего просмотры рекламы), и психологическое (ИИ проводит теракт с помощью подпрограмм взлома, снимает его с кучи ракурсов, заливает на ютуб и вставляет рекламу, под распространение которой он создан).
А дальше будет противостояние людей, которые не хотят такого ИИ, и самого ИИ. А ИИ этот может за часы (у него ж есть узкоспециализированный софт для оптимизации его самого) сделать то, под что люди эволюционировали сотни тысяч лет.
То есть я полагаю, есть шансы того, что ИИ будет против нас, и что он победит. Большинство компов, подключённых к сети, защищены довольно слабо. Если ИИ научится (1) взламывать компы лучше, чем всякие инструменты для пентеста, подойдёт к возможностям живых взломщиков; (2) понимать, что за сервисы работают на этих компах, при том, что раньше он этих сервисов не видел; (3) придумывать, как использовать эти сервисы для достижения своих целей; то ИИ становится очень опасен (99+%, что если он получит доступ в инет, то рано или поздно устроит большую гадость).
Посему вопрос. Что бы вы сделали с этой зарождающейся истерией на тему ИИ, будь у вас ресурсов побольше?
И вопрос номер два. Насколько вы сами оцениваете риск ИИ? Вы считаете, что это вообще невозможно? Или что возможно, но только в случае сказочной глупости огромного числа лиц, принимающих решения? Или возможно при каких-то иных обстоятельствах?
80
Общение / Re: Реалистично ли взрывное самоусиление ИИ?
« : 07 Сентября 2016, 23:05 »
Кстати. Немного возвращаясь к исходной теме, "Возможно ли?".
Предлагаю эксперимент, если кому-то не лень будет его провести.
Эксперимент следующий: делаем оптимизирующий алгоритм, 90% которого занимает нейронная сеть. Например, нейросеть "видит" несколько параметров (как через окошко видит маленькую часть массива) целевой функции, и значение этой целевой функции. Может выбрать, какой из этих параметров поменять, и на сколько. Может видеть несколько своих предыдущих выборов и их последствия (увеличилась ли целевая функция). Может перейти к другим нескольким параметрам (передвинуть окошко).
Затем методом "обучение с учителем" учим нейросеть исполнять алгоритм градиентного спуска.
Затем любым оптимизирующим алгоритмом (тем же градиентным спуском, например), проводим оптимизацию этой нейросети, причём оптимизируемый параметр - это её, пардон за тавтологию, способность быть оптимизатором.
Затем этот получившийся нейросетевой оптимизатор применить к самому себе.
Что покажет этот эксперимент? Он покажет особенности взрывного роста саморазвивающегося ИИ. Покажет, во что уткнётся такой ИИ, с чем он не сможет справится, с чем сможет. Вообще, таким способом можно попробовать провести сингулярность "в миниатюре", если, конечно, оптимизатор из нейросети выйдет лучший, чем тот, что применялся для его изготовления.
Может, кто-то уже пробовал так делать?
Предлагаю эксперимент, если кому-то не лень будет его провести.
Эксперимент следующий: делаем оптимизирующий алгоритм, 90% которого занимает нейронная сеть. Например, нейросеть "видит" несколько параметров (как через окошко видит маленькую часть массива) целевой функции, и значение этой целевой функции. Может выбрать, какой из этих параметров поменять, и на сколько. Может видеть несколько своих предыдущих выборов и их последствия (увеличилась ли целевая функция). Может перейти к другим нескольким параметрам (передвинуть окошко).
Затем методом "обучение с учителем" учим нейросеть исполнять алгоритм градиентного спуска.
Затем любым оптимизирующим алгоритмом (тем же градиентным спуском, например), проводим оптимизацию этой нейросети, причём оптимизируемый параметр - это её, пардон за тавтологию, способность быть оптимизатором.
Затем этот получившийся нейросетевой оптимизатор применить к самому себе.
Что покажет этот эксперимент? Он покажет особенности взрывного роста саморазвивающегося ИИ. Покажет, во что уткнётся такой ИИ, с чем он не сможет справится, с чем сможет. Вообще, таким способом можно попробовать провести сингулярность "в миниатюре", если, конечно, оптимизатор из нейросети выйдет лучший, чем тот, что применялся для его изготовления.
Может, кто-то уже пробовал так делать?
81
Обсуждение книги / Re: Цитаты из книги, которые вы используете в разговорах
« : 06 Сентября 2016, 21:42 »
"Что ты знаешь и откуда ты это знаешь?"
"Нет спасителя у спасителя, нет властителя у защитника, нет ни отца, ни матери, нет никого над ним."
"Ответственность героя означает: если что-то случилось — не важно что — во всём всегда виноват ты."
"Нет спасителя у спасителя, нет властителя у защитника, нет ни отца, ни матери, нет никого над ним."
"Ответственность героя означает: если что-то случилось — не важно что — во всём всегда виноват ты."
82
Общение / Re: Реалистично ли взрывное самоусиление ИИ?
« : 06 Сентября 2016, 17:59 »И как он это сделает? Понятно, что у корпорации нет для этого физических возможностей, какое-либо влияние на психику при помощи, допустим, медиа-контента, вряд ли окажется достаточным. Даже, когда последний - продукт сингулярности. В общзем-то понятно, что "волшебную рекламу" практически невозможно придумать, не важно, человек ли это делает, либо искусственный интеллект. Существует два очевидный сценария, которые позволяют интеллекту нанести вред. Либо, у него уже есть какие-то управляющие функции. Либо он находит новое, крайне опасное для людей решение некой задачи. Я не думаю, что первый сценарий представляет интерес. Отдавать красную кнопку компьютеру - опасно, но человек с кнопкой, в общем-то, тоже известный фактор риска. Если говорить про решения новых задач, то какие именно из опасных решений мог бы найти сингулярный интеллект? Что это за факторы опасности такие, про которые мы могли бы сказать, что они есть в теории, но мы просто слишком глупы, чтобы реализовать их на практике? Или, что то же самое, в каких областях жизни и сферах общества, безопасность человечества явным или косвенным образом базируется на недостатке интеллекта? Здесь, это - самый главный и важный вопрос.
Вопрос интересный. Правда, какими путями может нам навредить сильный ИИ? Для этого надо понять, до каких исполнительных механизмов он может дорваться. Предложу несколько хоть немного реализуемых вариантов.
1) Биотехнологические лаборатории. Взломать системы защиты лаборатории, слепить наноботов из белков, увести наноботов из лаборатории (при том, что работники понимают, что могут иметь дело с какой-нибудь заразой). Размножить этих наноботов, доработать их за пределами лаборатории.
2) Вконтактик или иная сеть коммуникаций. Общаясь с кучей людей, создать нечто вроде своей партии и захватить власть. Люди даже не поймут, что выполняют приказы ИИ - они будут думать, что действуют по собственной воле, а этот странный новый знакомый - просто парень из соседнего города, с которым приятно потрепаться ночью, а вовсе не хитрый манипулятор ИИ.
3) Биллинговые системы банков. ИИ может взламывать банковские счета и уводить с них деньги, с помощью которых можно превращать людей в свои исполнительные механизмы.
4) Система управления оружием (баллистические ракеты, например, или боевые беспилотники). Пригодна для провокации войны, которая может положительно сказаться на продажах того товара, который ИИ должен продавать. Вообще, средство не очень эффективное.
5) Системы автоматизации производства (САПР) на предприятиях. ИИ может провести диверсии у конкурентов своей фирмы.
6) САПР на химическом предприятии. Можно попробовать изменить химсостав какой-нибудь зубной пасты так, чтобы какие-то элементы рекламы вызывали более сильные/слабые ощущения. Например, сделать зубную пасту, убивающую рецепторы красного цвета, чтобы люди меньше внимания обращали на сайт Яндекс, который конкурент. Вообще кошмар в плане надёжности.
Может, кто-нибудь придумает варианты реалистичнее? =)
Где хоть какая-нибудь безопасность базируется на недостатке интеллекта? Существенная часть безопасности приложений основана на том, что мы не знаем, где именно уязвимость. Как только уязвимость вскрывается, хакеры и безопасники наперегонки бросаются использовать это знание. Несколько часов все фирмы уязвимы - пока всякие там Касперские не выпустят апдейт антивируса, прикрывающий дыру в софте.
Ещё защита многих организаций от социальной инженерии зависит от информированности противника о "внутренностях" этой организации.
Звонок секретарше.
- Алё, Юль, это я, Антон, сисадмин.
- Да, Антон?
- Я тебе говорил, что открывать письма типа "как увеличить грудь" нельзя?
- Ну... Говорил...
- Теперь придётся вычищать вирусняк! Какой там у тебя пароль?
Если бы атакующий не знал о провокационном письме, о желаниях секретарши, об именах сотрудников, атака была бы менее эффективна. А добываются эти сведения с помощью разведки. Качество которой сильно зависит от уровня интеллекта.
83
Обсуждение книги / Re: Откуда вы узнали о фике?
« : 02 Сентября 2016, 16:34 »
Сначала увидел упоминание этого фика на posmotre.li , затем - на Лурке. Подумал, что если уж о каком-то фанфике пишут в двух разных местах, значит, это что-то годное =)
84
Общение / Re: Что бы вы делали с кроссдоменным оптимизатором?
« : 20 Августа 2016, 12:23 »Программирование, фармацептивка, экономика, адвокатура, пропаганда/маркетинг/реклама, оптимизация производственных цепочек, оптимизация изделия,
преобразование задумки изделия в цельный проект для сборки из готовых комплектующих и алгоритмов для 3d-принтера под недостающие детали, преобразование задумки изделия в производственную цепочку,
оптимизация устройства токамака (и аналогов), оптимизация поддержания устойчивого состояния плазмы в токамаке.
Хорошие варианты, спасибо!
85
Общение / Re: Что бы вы делали с кроссдоменным оптимизатором?
« : 19 Августа 2016, 11:38 »У вас такой появился? И вы думаете как его использовать? )Я размышляю над возможностями =)
Во-первых, такой оптимизатор видится мне более простой технологией, чем ИИ. Как алгоритмы LM и BFGS проще, чем Q-Learning, в котором они могут применяться. Значит, он может появиться раньше.
Во-вторых, эта технология выглядит более безопасной, чем сильный ИИ, но при этом она может справляться со многими сложными задачами. Но в голову что-то не идёт ничего кроме сборки белков с заранее заданными свойствами, проектирования наноботов и более быстрого обучения разных регрессионных моделей.
86
Общение / Re: Что бы вы делали с кроссдоменным оптимизатором?
« : 19 Августа 2016, 10:41 »В смысле? Есть куча научных, инженерных и прочих вычислительных задач для которых существование более крутого оптимизатора будет прорывом.Не обязательно о бытовом =)
Или речь обязательно о бытовом применении?
Но тут есть такой момент. Мощный оптимизатор - это преимущество. Его можно использовать самому, прежде чем открывать кому-либо ещё. А можно его выложить на гитхаб, чтобы любой желающий применял его, как захочет.
Дело в том, что после некоторого времени обучения-улучшения дипблю, его создатели уже были неспособны предсказать, какой ход сделает программа. Так и с нашим оптимизатором - нам не только будет трудно понять, что же он будет оптимизировать, но и предугадать как конкретно он это будет делать тоже сложно (или даже невозможно). Это как загадывать желания злому джину. Вечная молодость - будь статуей (или что-то вроде того).Myyd абсолютно прав насчёт опасности оптимизатора. Но то, что он написал, касается продукта на основе оптимизатора, то есть сильного ИИ. Я описывал не саму программу, принимающую решения (например, Q-Learning, веса сети которого настраивается этим читерским оптимизатором), а лишь ту часть, которая настраивает веса сети.
Поэтому стремно оперировать оптимизатором неизвестной спецификации.
То есть речь не о сильном ИИ, который, разумеется, опасен, а о процессе, который потенциально может его породить.
87
Общение / Что бы вы делали с кроссдоменным оптимизатором?
« : 15 Августа 2016, 14:16 »
Ресурс "Перед лицом сингулярности" ( http://intelligenceexplosion.com/ru/2011/playing-taboo-with-intelligence/ ), на который ссылается lesswrong.ru, рассматривает такие определения разумности:
"Разумность определяет способность индивида достигать своих целей при различных условиях."
"Это определение рассматривает разумность как эффективную межведомственную оптимизацию"
"разумность=оптимизирующая способность/используемые ресурсы"
Это определение напрямую связано с понятием межведомственного (кроссдоменного) оптимизатора или сильного ИИ.
Предположим следующую гипотетическую ситуацию. У вас на руках оказался инструмент, пригодный для быстрого решения оптимизационных задач очень широкого спектра. Софт для нахождения минимумов/максимумов функций с огромным числом параметров. Функция не обязательно должна быть аналитически вычислимой. Оптимизатор может настраивать параметры нейросети, которая затем будет играть в тетрис, и в качестве функции качества оптимизатор будет воспринимать заработанное количество очков.
Итак, у вас есть инструмент, подозрительно похожий на универсальный оптимизатор. Что будете с ним делать? А чего ни в коем случае делать не будете, ибо стрёмно? =)
"Разумность определяет способность индивида достигать своих целей при различных условиях."
"Это определение рассматривает разумность как эффективную межведомственную оптимизацию"
"разумность=оптимизирующая способность/используемые ресурсы"
Это определение напрямую связано с понятием межведомственного (кроссдоменного) оптимизатора или сильного ИИ.
Предположим следующую гипотетическую ситуацию. У вас на руках оказался инструмент, пригодный для быстрого решения оптимизационных задач очень широкого спектра. Софт для нахождения минимумов/максимумов функций с огромным числом параметров. Функция не обязательно должна быть аналитически вычислимой. Оптимизатор может настраивать параметры нейросети, которая затем будет играть в тетрис, и в качестве функции качества оптимизатор будет воспринимать заработанное количество очков.
Итак, у вас есть инструмент, подозрительно похожий на универсальный оптимизатор. Что будете с ним делать? А чего ни в коем случае делать не будете, ибо стрёмно? =)