Форум LessWrong.ru
Главное => Общение => Тема начата: Gradient от 15 Августа 2016, 14:16
-
Ресурс "Перед лицом сингулярности" ( http://intelligenceexplosion.com/ru/2011/playing-taboo-with-intelligence/ ), на который ссылается lesswrong.ru, рассматривает такие определения разумности:
"Разумность определяет способность индивида достигать своих целей при различных условиях."
"Это определение рассматривает разумность как эффективную межведомственную оптимизацию"
"разумность=оптимизирующая способность/используемые ресурсы"
Это определение напрямую связано с понятием межведомственного (кроссдоменного) оптимизатора или сильного ИИ.
Предположим следующую гипотетическую ситуацию. У вас на руках оказался инструмент, пригодный для быстрого решения оптимизационных задач очень широкого спектра. Софт для нахождения минимумов/максимумов функций с огромным числом параметров. Функция не обязательно должна быть аналитически вычислимой. Оптимизатор может настраивать параметры нейросети, которая затем будет играть в тетрис, и в качестве функции качества оптимизатор будет воспринимать заработанное количество очков.
Итак, у вас есть инструмент, подозрительно похожий на универсальный оптимизатор. Что будете с ним делать? А чего ни в коем случае делать не будете, ибо стрёмно? =)
-
Я и сам оптимизатор хоть куда! Кроссдоменный. :) (http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/)
Я бы его от сети отключил и разобрал бы железо на винтики.
-
В смысле? Есть куча научных, инженерных и прочих вычислительных задач для которых существование более крутого оптимизатора будет прорывом.
Или речь обязательно о бытовом применении?
-
Дело в том, что после некоторого времени обучения-улучшения дипблю, его создатели уже были неспособны предсказать, какой ход сделает программа. Так и с нашим оптимизатором - нам не только будет трудно понять, что же он будет оптимизировать, но и предугадать как конкретно он это будет делать тоже сложно (или даже невозможно). Это как загадывать желания злому джину. Вечная молодость - будь статуей (или что-то вроде того).
Поэтому стремно оперировать оптимизатором неизвестной спецификации.
-
Дело в том, что после некоторого времени обучения-улучшения дипблю, его создатели уже были неспособны предсказать, какой ход сделает программа. Так и с нашим оптимизатором - нам не только будет трудно понять, что же он будет оптимизировать, но и предугадать как конкретно он это будет делать тоже сложно (или даже невозможно). Это как загадывать желания злому джину. Вечная молодость - будь статуей (или что-то вроде того).
Поэтому стремно оперировать оптимизатором неизвестной спецификации.
Ну, скажем, устройство компьютера или даже машины никто из нас во всей полноте деталей не знает. Но это никому не мешает ими пользоваться. Очевидно, при наличии достаточной пользы от устройства, им пользуются даже не понимая его.
-
В смысле? Есть куча научных, инженерных и прочих вычислительных задач для которых существование более крутого оптимизатора будет прорывом.
Или речь обязательно о бытовом применении?
Не обязательно о бытовом =)
Но тут есть такой момент. Мощный оптимизатор - это преимущество. Его можно использовать самому, прежде чем открывать кому-либо ещё. А можно его выложить на гитхаб, чтобы любой желающий применял его, как захочет.
Дело в том, что после некоторого времени обучения-улучшения дипблю, его создатели уже были неспособны предсказать, какой ход сделает программа. Так и с нашим оптимизатором - нам не только будет трудно понять, что же он будет оптимизировать, но и предугадать как конкретно он это будет делать тоже сложно (или даже невозможно). Это как загадывать желания злому джину. Вечная молодость - будь статуей (или что-то вроде того).
Поэтому стремно оперировать оптимизатором неизвестной спецификации.
Myyd абсолютно прав насчёт опасности оптимизатора. Но то, что он написал, касается продукта на основе оптимизатора, то есть сильного ИИ. Я описывал не саму программу, принимающую решения (например, Q-Learning, веса сети которого настраивается этим читерским оптимизатором), а лишь ту часть, которая настраивает веса сети.
То есть речь не о сильном ИИ, который, разумеется, опасен, а о процессе, который потенциально может его породить.
-
У вас такой появился? И вы думаете как его использовать? )
-
У вас такой появился? И вы думаете как его использовать? )
Я размышляю над возможностями =)
Во-первых, такой оптимизатор видится мне более простой технологией, чем ИИ. Как алгоритмы LM и BFGS проще, чем Q-Learning, в котором они могут применяться. Значит, он может появиться раньше.
Во-вторых, эта технология выглядит более безопасной, чем сильный ИИ, но при этом она может справляться со многими сложными задачами. Но в голову что-то не идёт ничего кроме сборки белков с заранее заданными свойствами, проектирования наноботов и более быстрого обучения разных регрессионных моделей.
-
Но в голову что-то не идёт ничего кроме сборки белков с заранее заданными свойствами, проектирования наноботов и более быстрого обучения разных регрессионных моделей.
Программирование, фармацептивка, экономика, адвокатура, пропаганда/маркетинг/реклама, оптимизация производственных цепочек, оптимизация изделия,
преобразование задумки изделия в цельный проект для сборки из готовых комплектующих и алгоритмов для 3d-принтера под недостающие детали, преобразование задумки изделия в производственную цепочку,
оптимизация устройства токамака (и аналогов), оптимизация поддержания устойчивого состояния плазмы в токамаке.
-
Программирование, фармацептивка, экономика, адвокатура, пропаганда/маркетинг/реклама, оптимизация производственных цепочек, оптимизация изделия,
преобразование задумки изделия в цельный проект для сборки из готовых комплектующих и алгоритмов для 3d-принтера под недостающие детали, преобразование задумки изделия в производственную цепочку,
оптимизация устройства токамака (и аналогов), оптимизация поддержания устойчивого состояния плазмы в токамаке.
Хорошие варианты, спасибо!