когда знания стали опасны

Автор Тема: когда знания стали опасны  (Прочитано 14732 раз)

valergrad

  • Ветеран
  • ****
  • Сообщений: 487
  • +143/-21
    • Просмотр профиля
Re: когда знания стали опасны
« Ответ #15 : 24 Июня 2019, 14:47 »
  • (+)0
  • (−)0
  • AlphaZero.

    Ну я не знаю есть ли где-то статья которая собрала бы все в кучу. Скажем если ты пойдешь в вики https://en.wikipedia.org/wiki/AlphaZero
    то там есть ряд замечаний по этому поводу. Но я просто интересуюсь этой темой, постоянный обитатель каналов, форумов и дискордов о шахматном программировании поэтому в курсе.
    Если вкратце в эпохальном матче AlphaZero против Stockfish.

    1. У Stockfish почему-то была взята сильно устаревшая версия.
    2. Стокфиш почему-то был лишен дебютной книги ( у программы на нейронных сетях некое подобие дебютной книги зашито в мегабайтах их весов, так что это несимметричное ограничение).
    3. Стокфиш почему-то был лишен эндшпильных баз ( как позже выяснилось это тоже несимметричное ограничение ).
    4. Стокфиш играл на более слабом компьютере
    5. Даже на этом слабом компьютере ему были установлены очень странные настройки ( например всего 1 гигабайт на хэш - напрямую влияет на его силу).
    Это все поставило под сомнения превосходство Альфы над Стокфишем.
    Самое главное: на просьбу дать бинарник программы чтобы поучаствовать в каком-либо из официальных чемпионатов уже на нормальных настройках - было отвечено категорическим отказом. Так что мы точно уже никогда не узнаем в какую на самом деле силу играл АльфаЗеро.

    Некое представление может дать следующий тест. Авторы опубликовали архитектуру нейронной сети и алгоритм. Программа была воссоздана ( русским программистом кстати ) под названием LeelaChessZero. Шахматное сообщество помогло ее натренировать - это заняло много месяцев, а не несколько часов т.к. у шахматного сообщества гораздо меньше компьютерных мощностей чем у гугла. После полугода тренировки LeelaChessZero сыграла матч в тех же условиях с той же старой версией стокфиша - и добилась лучшего результата чем AlphaZero т.е. предположительно она играет сильней. Но в матче на нормальных настройках против последней версии стокфиша - эта же версия проиграла.
    ( Через несколько месяцев она сумела превзойти и последнюю версию стокфиша).


    Starcraft.
    Статьи выходили под заголовками "Нейросеть обыгрывает лучших игроков в старкрафт". О чем почему-то забывали часто упомянуть в этих статьях.

    1. "про-игрок" был действительно "про", но играл не за свою расу ( почему нельзя было пригласить игрока своей расы - непонятно).
    2. предвосхищая обвинения в "программа просто выиграла за счет реакции" они опубликовали табличку с графиками APM живого игрока и программы. Табличка была из серии "классический пример как ввести в заблуждение и попытаться внушить ложный вывод таблицей".
    3. таким образом программа действительно просто использовала стократное превосходство в реакции и точности над живым человеком ( в том числе и потому что ей не нужно было осуществлять какие-то движения мышкой и клавиатурой, она напрямую вызывала функции ядра игры).
    4. В дополнение ко всему было использование "всевидение" т.е. видение все карты в целом, что человеку в принципе недоступно - он видит информацию через монитор на котором в один момент времени отображается только один кусочек карты. Характерно, что когда в последней игре "всевидение" отключили - эту игру человек легко выиграл, причем метод которым он воспользовался может применить любой квалифицированный игрок.

    В целом если сложилось впечатление что я критикую их достижения - вовсе нет. Это выдающиеся результаты в любом случае. Просто нужно отличать насколько они выдающиеся на самом деле от того, как их рекламируют маркетологи. Разница между "обыграть сильнейшего игрока в старкрафт" от "обыграть сильного игрока в старкрафт который играл без подготовки и за чужую расу, используя всевидение и 100-кратное преимущество в скорости реакции" довольно велика.

    Особенно нужно быть подозрительным если как в случае с GPT просто говорится "у нас есть что-то выдающееся, но мы вам это не покажем".

    kuuff

    • Старожил
    • *****
    • Сообщений: 2 133
    • +220/-52
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #16 : 27 Июня 2019, 18:20 »
  • (+)0
  • (−)0
  • А, ну то, что СМИ перевирают, это вполне нормально и естественно. Особенно это нормально и естественно, если мы говорим про США, где вообще помпезно презентовать результаты своей деятельности -- это национальная особенность.

    Но в любом случае, нам рано или поздно придётся столкнутся с текстами написанными ботами. И я думаю, что скорее рано, чем поздно. Может через десять лет, может через двадцать, но постепенно мы выйдем на то, что приходя на новостной сайт, я буду смотреть персонализованный аналог телевизионных новостей, с интерактивным ведущим, который будет реагировать на мои замечания и либо пропускать какие-то детали, либо наоборот подсыпать ещё деталей.

    valergrad

    • Ветеран
    • ****
    • Сообщений: 487
    • +143/-21
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #17 : 12 Ноября 2019, 23:53 »
  • (+)0
  • (−)0
  • Вспомнил что я расписывал про слабость AI для Старкрафта, у которого маркетологи сильно преувеличили реальную силу в новостях год назад.
    На днях вышло доказательство моих слов: новая версия программы от DeepMind после того как в ней убрали "читерство" сделала большой шаг назад. После года "доработки" сейчас ее уровень игры в районе 6000 MMR, это даже не уровень грандмастер лиги ( у топовых человеческих игроков 6700-7000).

    https://www.youtube.com/watch?v=mpAUufSzaUo

    Моя фраза:

    Цитировать
    Разница между "обыграть сильнейшего игрока в старкрафт" от "обыграть сильного игрока в старкрафт который играл без подготовки и за чужую расу, используя всевидение и 100-кратное преимущество в скорости реакции" довольно велика.

    Оказалась верна. И за год эту разницу не покрыли даже на 5%.

    Alaric

    • Старожил
    • *****
    • Сообщений: 1 744
    • +175/-17
      • Просмотр профиля
      • Мой ЖЖ
    Re: когда знания стали опасны
    « Ответ #18 : 14 Ноября 2019, 01:10 »
  • (+)1
  • (−)0
  • valergrad
    Я тут подумал, что с другой стороны, в реальных задачах то же "всевидение" и "скорость реакции" у ИИ - "это не баг, это фича". В смысле, если мы вдруг фантазируем, скажем, ИИ, который играет на бирже или вообще вмешивается в политику, то никто же его не будет ограничивать одним экраном монитора и никто не будет ему тормозить реакцию до человеческой.

    Это я к тому, что тут вопрос, какое явление мы хотим проиллюстрировать. Если мы, допустим, обсуждаем опасность ИИ, цели которого не соответствуют целям человечества, то скорость реакции - это вполне "законное преимущество".

    valergrad

    • Ветеран
    • ****
    • Сообщений: 487
    • +143/-21
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #19 : 16 Ноября 2019, 03:33 »
  • (+)2
  • (−)0
  • "В смысле, если мы вдруг фантазируем, скажем, ИИ, который играет на бирже или вообще вмешивается в политику, то никто же его не будет ограничивать одним экраном монитора и никто не будет ему тормозить реакцию до человеческой."

    Это верно. Но речь о том, что как только реакцию понизили до околочеловеческого уровня ( на самом деле она все еще намного выше чем даже у самых топовых игроков, но уже не 100 раз, а скажем, в 5) стала очевидна скажем так "тупость" этого ИИ которого первый же неожиданный маневр человека выводит из колеи. Например, эта нейронная сеть за миллион или сколько там игр не освоила концепцию "невидимых" юнитов. Я наблюдал, кстати, поведение людей в похожих ситуациях. Умный человек понимает, что нужен способ их детектить буквально после первой же проигранной таким образом игры, сразу же гуглит, спрашивает или исследует этот вопрос сам. Тем не менее я видел людей которые не задаются этим вопросом пока не потерпят, скажем, с десяток поражений от "невидимок". Меня всегда подобное поражало, но это действительно так ( и это имхо один из способов измерять интеллект ). Но миллион игр? Это уже за гранью. При этом за счет многократного превосходства в скорости реакции она все равно побеждала 99% игроков.

    Теперь представим себе нейронную сеть которая показала блестящие биржевые результаты, скажем, анализируя новостные ленты. Лучше чем 99.9% людей. За счет своей скорости реакции и способности работать 24 часа в сутки. Мы ее внедряем повсеместно.... а потом оказывается что она не понимает концепцию "1-го апреля". И 1-го апреля следующего года мы получаем  мировой финансовый крах.

    Поэтому, нужно быть очень аккуратно относится к тому, если превосходство было получено скажем так, методом грубой силы. Чем грубее сила используется - тем более скептически нужно относиться к этому.  Грубая сила хороша для проверки различных способов обучения, но финальная, лучшая версия, должна побеждать не с помощью ее.

    В копилку кстати "пессимистических" новостей об AI. Помните AlphaZero который "разгромил" Stockfish? У меня еще были претензии к условиям матча. Тем не менее 15-й чемпионат шахматных программ в прошлом году все же выиграла улучшенная версия AlphaZero - в начале этого года и там все было честно и не подкопаешься. Но в только что завершимшемся 16-м чемпионате чемпионство завоевала улучшенная версия Stockfish - проанализировав поражения, ее авторы программ улучшили ее и она смогла взять реванш. Таким образом, "алгоритмическая" версия смогла обойти "нейронную", после того как "нейронная" показала ей ее слабости ( люди этого уже сделать на таком уровне, понятно, не могли). Как бы не оказалось, что после прогресса и бума 2013-2019 мы опять не застрянем с машинным обучением как это уже было не раз. Только на более высокой ступеньке, конечно, с большим количеством задач которые мы умеем решать.


    Al1

    • Постоялец
    • ***
    • Сообщений: 213
    • +74/-11
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #20 : 16 Ноября 2019, 09:55 »
  • (+)1
  • (−)0
  • Если говорить об старкрафтовском боте, нужно учитывать, что он, во-первых, "слабее" мозга на много порядков (по количеству нейронов и синапсов), так что грубая сила тут на стороне человека, во-вторых, несмотря на "миллион игр" человеческие игроки гораздо опытнее - у нас есть "генетическое" понимание некоторых базовых вещей вроде пространства и времени, объектов, действия, нас с детства учат, что такое объекты, каких типов они бывает, разным стратегиям в определенных ситуациях, о существовании тех же "невидимок" мы узнаем из сказок, книг и фильмов, мы заранее знаем что такое война, маневры, препятствия типа гор или стен, здания, таймер, перечислять можно бесконечно, наконец про-игроки анализируют партии с другими про-игроками, разные стратегии и билды, у них есть опыт игры в других стратегиях и т.п., из-за чего общее количество игр не лично пройденных, но отрефлексированных сообществом вместе с другими игроками, кардинально превосходит личный опыт бота. У ИИ есть хороший микроконтроль, ещё некоторые подобные преимущества, но в целом он играет вслепую.

    kuuff

    • Старожил
    • *****
    • Сообщений: 2 133
    • +220/-52
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #21 : 18 Ноября 2019, 15:55 »
  • (+)1
  • (−)0
  • Я не понимаю, чего вы так зациклились на этом старкрафтовском боте. Старкрафтовский бот не пишет текстов.

    Возвращаясь же к теме ботом сгенерированных текстов, мне сейчас не найти ссылку, но была статья, где мужик разбирал примеры текстов, и находил в них ошибки вида: в одном месте текст говорит о происходившем вчера, в другом месте ссылаясь на те же события, он говорит о них будто они происходили в понедельник, который был три дня назад.

    То есть на данный момент, это не такая проблема,  достаточно, читая текст, уделять внимание деталям и выискивать такие мелкие несоответствия. Это не так просто, как может показаться: мне допустим было сложно вылавливать эти вещи, потому что в контексте приведённых текстов мой мозг отбрасывал эти детали как несущественные, то есть я не замечал сами детали, и уж тем более не мог их соотнести друг с другом и заметить противоречия. Но это дело привычки, можно научить себя обращать внимание на мелочи.

    Но это временно. Если посмотреть на текущие достижения AI с точки зрения психологии, то можно увидеть два плюс-минус независимых процесса развития AI. Во-первых, это развитие восприятия -- в первую очередь в зрительной и слуховой модальности. Нейросетки всё лучше и лучше обрабатывают кучу пикселей, делая на основании них выводы о наличии каких-то объектов и о том, что объекты обладают какими-то свойствами. Второй процесс -- это всё более и более продвинутые потомки Eliza, которые жонглируют словами получая грамматически выверенный бред. Этот их бред со временем становится всё лучше и лучше, его всё сложнее идентифицировать как бред.

    Но фишка в том, что эти два процесса сойдутся рано или поздно. Когда искуственное восприятие начнёт идентифицировать в пикселях не только объекты, но и действия, оно будет видеть в пикселях не только существительные, но и глаголы. И вот тут, внезапно, у AI появятся две модели ситуации: словесная и визуальная. Был такой дядька -- Веккер, -- нам на психфаке все мозги им проели на первом курсе, потому что профессор читавшая общую психологию была его ученицей, а мужик, прежде чем свалить в Германию в 90-х, в общем нехило так мозгами подумал о том, как работают мозги. Ну так вот, он утверждал, что для того, чтобы мышление работало, необходимо наличие как минимум двух моделей реальности. Я не совсем уверен, что это так уж необходимо-необходимо, но я вижу как это реально может помочь.

    Когда у меня есть две модели для одного явления, я могу в рамках одной модели генерировать предсказания, а потом эти предсказания отображать в другую модель, и в этой другой модели они могут либо превратиться в полнейшую нелепицу, либо подтвердиться. Нелепица -- это гораздо более интересно, потому что это открывает просторы для подстраивания моделей и отображения между ними. Например, "яблоко упало с Ньютона на яблоню" -- в грамматической модели это вполне себе законная фраза. Но если мы возьмём визуальную модель реальности и попытаемся представить себе это, то... что? У Ньютона на голове лежало яблоко, рядом с Ньютоном лежала срубленная яблоня, и яблоко скатилось с головы Ньютона на яблоню? Как-то очень маловероятно, и более того, если мы этот плод воображения, порождённый фразой, попробуем обратно преобразовать в слова (построить прообраз, то есть множество фраз, которые описывают ситуацию), то в этом прообразе результат "яблоко упало с Ньютона на яблоню" -- крайне маловероятный, скорее мы получим что-то типа "яблоко скатилось с головы Ньютона и упало на бревно". Или может быть Ньютон в бессознательном состоянии лежал на крыше, у него на груди лежало яблоко, очередной толчок землетрясения скинул яблоко, оно скатилось с Ньютона на крышу, прокатилось по крыше и упало на яблоню? Но в этой ситуации вероятнее было бы услышать что-нибудь в стиле, "яблоко скатилось с Ньютона, прогрохотало по крыше и упало на яблоню". Как-то так выходит, что наша фантазия не может сочинить ситуацию, описание которой не будет с большой вероятностью содержать глагола "скатилось". Тут у меня уже вылезло новое предсказание о звуке яблока, катящегося по крыше, и мне кажется странным, что этот звук не упомянут в исходной фразе. Может Ньютон лежит на самом краю крыши, и вот-вот свалитс сам? Да и вообще эта исходная фраза подразумевает какую-то пассивность Ньютона, то есть его неспособность повлиять на события: то ли он балансировал яблоко на голове и не справился, то ли он в бессознательном состоянии был, то ли ещё что-то происходило, что он потерял контроль и поэтому яблоко обрело субъектность и свободу воли. Но это мы начинаем видеть, когда начинаем попытки визуализировать фразу -- мы строим одну воображаемую визуализацию за другой, потом сравниваем их и ищем в них общее. Чуете, да? Мы выходим на новый уровень абстракции, мы переселяемся в пространство, в котором мы оперируем не яблоками и Ньютонами, а различными интерпретациями фразы, и эти интерпретации имеют свойства типа "визуальное представление ситуации", "текстуальное представление ситуации", "вероятность данного текстуального представления для данной ситуации" и тп. И это становится возможным только тогда, когда у нас есть хотя бы два способа описать ситуацию -- в данном случае это 1) психический образ в зрительной и слуховой модальностях; 2) текстовое описание.

    Всё это приводит к тому, что мы, услышав фразу "яблоко упало с Ньютона на яблоню" начинаем подозревать подвох -- это может быть шутка юмора, или упущенные нами детали контекста (архивное видео падения яблока на Ньютона было проиграно задом-наперёд?), мы начинаем оглядываться, задавать вопросы, и пытаться устранить несоответствия между моделями либо фикся представление конкретной ситуации в рамках моделей, либо фикся сами модели, либо фикся правила отображения из модели в модель. Мы получаем возможность сравнивать модели. Не только конкретные ситуации, но теории их описывающие. Мы можем сравнить ньютоновскую гравитацию с гравитацией Эйнштейна и увидеть сходства и различия. Или их обе мы можем сравнить со своей интуицией.

    И как-то так получается, что какой бы конкретный процесс мышления/познания реальности мы не разбирали, всегда в нём фигурируют две модели реальности, вступающие таким образом в противоречие. Может быть вступающие в противоречие в смысле вероятностной логики.

    Я это к тому, что когда искусственное восприятие с искусственным речевым центром сойдутся, когда компьютер научится описывать видео словами и генерировать видео по текстовому рассказу, случится следующий взрыв AI. Получится ли в результате general intelligence или нет -- сложно сказать, может быть мы вновь увидим, что психика человека сложнее, чем мы думали и не хватает чего-то ещё. Но в любом случае, мы получим тексты, которые будут содержать в себе гораздо меньше логических неувязок.

    valergrad

    • Ветеран
    • ****
    • Сообщений: 487
    • +143/-21
      • Просмотр профиля
    Re: когда знания стали опасны
    « Ответ #22 : 08 Декабря 2019, 01:59 »
  • (+)0
  • (−)0
  • Я не понимаю, чего вы так зациклились на этом старкрафтовском боте. Старкрафтовский бот не пишет текстов.

    Ну, речь была о том, что достижения AI в новостях в очередной раз преувеличили в маркетинговых целях. Это я про другие ИИ. Из чего я делаю предположение что и "у нас есть бот который генерит осмысленные тексты но мы вам его не покажем" - это тоже маркетинговое преувеличение и никаких осмысленных текстов этот тайный бот не генерит.
    Он, вероятно, генерит чуть более прилизанные тексты чем те боты, которые есть в открытом доступе, и проблемы которых сейчас очевидны.  Т.е. пока что можно расслабиться, хотя кто знает что будет через 5-10 лет.