когда знания стали опасны

[kuuff]

Первым учёным-маглам недоставало ваших традиций. Вначале они не имели представления об опасности знания и считали, что можно свободно говорить обо всём, что им удаётся узнать. Но когда знания стали опасны, они сказали своим политикам, что всё нужно держать в секрете

https://blog.openai.com/better-language-models/

Вкратце. Проект OpenAI натаскал нейросетку на генерацию текстов. Очень правдоподобных текстов, то есть очень похожих на написанное людьми. На моём уровне знания английского эти тексты неотличимы, от написанных людьми. Нейросетка может прочитать текст и ответить на вопросы о нём. Там по ссылке есть примеры.

Статья предполагает, что у подобный AI может быть использован для очень разных целей, и в частности злоумышленниками:

• для генерации фейковых новостей
• чтобы выдавать себя за другого
• для автоматизации производства оскорбительного или фейкового контента в соцсетях
• для автоматизации спама/фишинга

И поэтому исследователи выложили результаты лишь отчасти. Они не выложили готовую модель, не выложили данные, на которых тренировали нейросетку, не выложили программу, которая тренировала нейросетку. Как я понимаю, они выложили лишь топологию сетки, типа как там нейроны соединяются.

Это не спасёт нас от того, что мем "there are no girls on the Internet" устареет и его заменит "there are no humans on the Internet". Идея ясна, повторить разработку не так сложно. Нужен лишь один посредственный специалист и вычислительный кластер для тренировки сети. Навскидку, я полагаю это порядка десятков тысяч долларов и нескольких месяцев.

Но мы предупреждены и может быть у нас есть ещё полгода "старого" интернета, в котором даже фейковый контент пишется людьми. Что будет после мне лично сложно спрогнозировать. Островки здравого смысла в океане белого шума, где невозможно отличить ложь от истины?


Добавлено 16 Февраля 2019, 14:26:
Я вот думаю, что можно перейти на какой-нибудь редкий язык, и общаться на нём. Редкость языка не позволит легко натренировать сетку на него. Человек пока лучше нейросеток умеет учиться на небольших объёмах данных. На этом редком языке сгенерированные автоматически тексты будут светиться неграмотностью и непоследовательностью. Но это будет работать лишь для небольших сообществ, как только сообщество станет достаточно большим, чтобы стать целью для информационной атаки (реклама, фишинг, пропаганда, уничтожение сообщества, ...), оно станет целью и ничего не сможет противопоставить кроме "анального огорожения", с последующим угасанием в своём уютном загончике.

[Al1]

Фейковые новости/аккаунты/спам написанные людьми на зарплате или роботом - велика ли разница? Надо читать доверенные источники, проверять важные вещи, а не тыкать на контекстную рекламу со скандальными заголовками. Сейчас только совсем уж дикие бабушки могут поверить в нигерийские письма или количество минусов под оппозиционными видео.

Думаю, просто снова возрастет рейтинг профессиональных команд (официальных сайтов и каналов) с редакторами, которые отсеивают фейки.

Будут какие-нибудь новые антибот-ИИ, вычисляющие фейки и ботов. Плюс ВК по паспорту и все такое.

[kuuff]

Фейковые новости/аккаунты/спам написанные людьми на зарплате или роботом - велика ли разница?

Да. Роботы могут насоздавать на много порядков больше.

Надо читать доверенные источники, проверять важные вещи, а не тыкать на контекстную рекламу со скандальными заголовками.

Эмм... Я не уверен, что это так работает. Самый доверенный источник, который я знаю -- это научные статьи, но даже научной статье я не поверю, пока не загляну внутрь. По-крайней мере, если это не статья о физике/химии. Биология, тем более медицина, тем более психология, и совершенно определённо социология -- это области, где глупо принимать чьи-то выводы без анализа того, как он пришёл к этим выводам, на какие парадигмы он опирается, какие данные использует, каким образом он получал эти данные, как он их обрабатывал, и тп.

Но представьте теперь, что есть постоянный поток фейковых научных статей, где все данные были сгенерированы генератором случайных чисел, и подтасованы под выводы. Доверять рецензентам? Сомнительная идея:
Как я обманул миллионы, заставив их думать, что шоколад помогает сбрасывать вес, разложение науки. Я не знаю о кампаниях, нацеленных на то, чтобы завести науку во тьму, ссылки выше -- это лишь попытки показать, что подобные кампании возможны. Но представьте теперь, что AI генерирует по десятку статей в месяц? А если мы ещё научим его общаться с рецензентами, то есть учится на своих ошибках, проделывая всё то, что ребята по второй ссылке проделывали? А если таких AI несколько десятков, созданных разными игроками с разными целями? Кто-то доказывает, что глобальное потепление -- фейк; кто-то, что капитализм сгнил, наконец; кто-то, что Мадуро белый и пушистый; кто-то, что ожирение -- это здоровый образ жизни.

Думаю, просто снова возрастет рейтинг профессиональных команд (официальных сайтов и каналов) с редакторами, которые отсеивают фейки.

Если они смогут справиться с потоком фейков. Если не смогут, то они вместо чёрного списка и контекстной фильтрации включат фильтрацию по белому списку, и тогда мы будем получать лишь информацию, которая была получена в поле профессиональными журналистами/исследователями.

Будут какие-нибудь новые антибот-ИИ, вычисляющие фейки и ботов.

Гонка вооружений. Совершенно бесперспективно. То есть оно может позволит поддерживать градус неадеквата на определённом уровне, но в долгосрочной перспективе будет лишь усугублять ситуацию, и доводить её до уровня, когда вообще ни в чём разобраться невозможно. Единственный способ иметь какое-либо мнение -- это положиться на мнение доверенного ИИ. Любопытный, кстати, сценарий для захвата мира искусственным интеллектом. Я такого ещё не слышал.

Плюс ВК по паспорту и все такое.

Вот интернет по паспорту выглядит более правдоподобным. По-крайней мере в том смысле, что это может сработать.

Но, на самом деле, всё это можно обобщить и привести к общему знаменателю: это указывает на то, что вырастет значимость авторитета, и ценность информации будет определяться авторитетом в большей мере, чем фактами. Вопрос лишь в том, как будут выбираться эти авторитеты.

[Kroid]

Думаю, нужно будет делать что-то вроде сети доверия. Допустим, я доверяю человеку под ником kuuff. kuuff доверяет человеку под ником Al1. Значит, я могу доверять Al1.

Ну и всякие доп ограничения добавить, вроде потери какой-то части доверия на каждом следующем звене цепи доверия.

Реализовать эту сеть на каком-нибудь блокчейне. По факту будет что-то вроде распределенной графовой базы данных, где вершины - аккаунты пользователей, а ребра - доверие между ними. Поверх этой бд разные люди и компании смогут запускать свои сервисы и приложения.

Мда. Перечитал свой коммент и понял, что вот она - очередная идея модного молодёжного стартапа. Хоть сейчас ИСО запускай

[Gradient]

Я всё ещё не вижу, что плохого в куче фейковых новостей... Для человека, желающего от этого защититься. Есть же более и менее авторитетные источники, они кому-то принадлежат. ИИ вряд ли станет писать статьи в научные журналы - во всяком случае, он вряд ли сможет корректно привести свои таблицы со статистикой и корректно же сделать выводы.
Плохо будет, если ИИ дорвётся до авторитетных источников. Например, станет писать в википедию, и это будет неочевидно - тогда все, кто считают википедию более-менее правдивой, окажутся в уязвимом положении.
Я скорее думаю о том, каким классным продавцом станет этот бот =) Вот возьмёт и станет с каждым пользователем сети лично вести беседу о пылесосах Kirbi. А reinforcement learning позволит улучшать стратегию продаж

[a_konst]

Что-то я тоже не ощущаю проблемы.
Поток новостей уровня "почти правда" и так зашкаливает. Мы доверяем конкретному СМИ (в той степени, в которой доверяем) не потому, что там человек, а потому, что там конкретный человек, и у нас есть основания считать, что его не подменили.

С другой стороны, посмотрим, что может быть, если не будет никаких способов за разумное время отличить фейковую новость в СМИ от настоящей.
1) если большая часть людей это понимают - то это вовсе не проблема, люди веками так жили вовсе без всяких СМИ.
2) если большая часть людей это не понимают, и ведутся на манипуляции, грубо говоря - это конечно хуже, тут вопрос в том, какие цели у манипулирующего. Но в целом это не хуже нынешней ситуации - когда и так 99% потока новостей формируются (ну или как минимум фильтруется) теми, кто пытается манипулировать общественным мнением. Почему у нынешних условных "Ротшильдов" стратегические цели должны быть лучше, чем у сильного ИИ? И, еще вопрос - почему мы можем быть уверены, что условные "Ротшильды" не допустят разных косяков и просчетов в плане достижения своих целей, и ситуация не выйдет у них из-под контроля? В плане риска как лично для себя, так и для конкретно того уютного мне общества, где я живу, не вижу большой разницы.

Ситуация станет хуже, если у меня не будет возможности отличить (в реал-тайм, прямо по ходу дела) реальную коммуникацию через интернет с реальным же знакомым от фейковой.
Скажем, ситуация, когда мне поступает звонок на телефон с номера жены, и там голосом жены мне что-то говорят, с ее интонациями и типичными для нее фразами, а вечером оказыавется, что она этого не говорила, и это фейк. Вот это ппц. Но и тут, вобщем-то, после первых же таких звоночков (в прямом и переносном смыслах) ситуация просто откатывается на уровень "мгновенной личной связи просто нет", как еще жили лет 50 назад. Да, в первый момент за счет эффекта неожиданности могут быть серьезные потери. Но этот риск мне пока что видится крайне маловероятным.

[Al1]

Кстати, уже сейчас есть вполне неплохие образчики технологии отрисовывания какого нибудь персонажа, с его характерной мимикой. Вроде нейросетки, которая позволяет прочитать любой текст видеообразом Обамы. Вероятно, вскоре мы увидим, как подложные политики и другие известные люди будут призывать сжигать евреев или там каких нибудь велосипедистов на площадях во имя Дарвина на видеохостингах вроде ютуба. То есть, видео окончательно перестанет быть однозначным подтверждением идентификации или вообще наличия личности. Какие-то музыкальные группы вместе с музыкой, песнями и клипами, видеоблогеры любой тематики и т.п. могут оказаться от начала и до конца сгенерированными.
Возможно, ещё при нашей жизни настанет время, когда "интеллектуальные" профессии типа менеджера, врача, программиста, юриста, дизайнера, журналиста, преподавателя или писателя - в большинстве своем - станут невостребованными, в то время как "простые" профессии типа грузчика, дворника или уборщика, сварщика и других, требующих множество тонких и разнообразных физических манипуляций в сложноструктурированной "реальной", а не сводящейся к символам и  цифрам, среде, останутся основными для людей.
Тем не менее, я по прежнему не считаю, что это проблема. В среднем все станут жить лучше, в среднем работать придется меньше для того же уровня жизни. Роль капитала несколько понизится.

[kuuff]

Может мне показалось, но я вижу в ваших словах чёрно-белую презумпцию: либо это хорошо, либо это плохо. Но так не бывает, всё имеет и чёрные стороны, и белые. Понятно, что для этих технологий можно придумать множество мирных применений. Ну, хотя бы, в психологии приходится заниматься анализом слов людей, и такая штука может позволить сделать это, во-первых, проще, во-вторых, объективнее. Но в то же время, есть и потенциальные плохие использования.

Все эти технологии меняют наше общество, сильно меняют. Я наблюдаю это уже лет тридцать. И конкретно эта технология, наверное, даже не является чем-то особо революционным. Что меня привлекло -- это именно ассоциация с тупыми маглами учёными из ГПиМРМ, которые раскрыли политикам ядерную бомбу. Мы видим здесь исследователей, которые сделали полшага в сторону Байесианского заговора, в сторону технологий, которые доступны только тем, кто может их воспроизвести.

То есть, даже "полшага" -- это может быть преувеличение. Они продолжают исходить из идеи "если мы не раскроем, то другие раскроют", не видно сотрудничества в этой дилемме заключённого. Но пускай не полшага, пускай они лишь движение обозначили, но это произошло.

[a_konst]

У меня нет презумпции, что обсуждаемый прогноз - это хорошо.
Напротив, по-моему это плохо, это даже хуже, чем сейчас. Просто не кардинально хуже, а так, слегка. Но при этом значительно хуже, чем уютный и замечательный интернет лет 20 назад.

[Pony]

А по-моему это будет здорово! Вот смотрите. У нас есть нежелательный контент А. Его генерят люди в скромных, но все-таки раздражающих масштабах. И вот у нас появились нейросети, которые генерят контент А в промышленных масштабах. Контент А заполняет интернет, и... И что? И люди перестают его генерить. А потом перестают его читать и вообще обращать внимание. Потому что реакция однозначная: "а-а-а, это бот, ну его в пень!" И на каждую новую порцию грязи или статью о кудябликах первая реакция будет: да бот это, не стоит внимания.
И дальше что? Контент перестанет работать. И его перестанут производить. Ибо нафиг, если не работает? И в интернете временно наступит благорастворение воздусей и прочая благодать. )))

[Kroid]

Кстати говоря. Вот вы всё про тексты говорите. Но есть не только они. Сейчас уже очень правдоподобно генерятся фотографии людей нейросетью:

https://thispersondoesnotexist.com

И авторы совершенно не скрывают от "маглов" алгоритм - исходники на гитхабе лежат.

[belchOnokZ]

я читала, создали какой-то сайт, где создается фото из множества других фотографий людей

[valergrad]

Просто коммент: совершенно не уверен что тексты сгенеренные нейросетками так хороши, что их невозможно отличить.  По моему опыту в нейросетях сейчас маркетинг идет на три головы вперед реальных достижений. Так достижения нейронных сеток в шахматах, доте и старкрафте ( AlphaZero, OpenAI, OpenMind ) были серьезно сфальсифицированы т.е. преувеличены, эксперты в каждой области были весьма недовольны, хотя публика "схавала". Не исключено что и чудесная сеть генерирующая связный текст "которую мы вам не дадим" это просто миф и уровень текста там лишь немногим лучше выпущенной в публичный доступ. Выпущенную в публичный доступ каждый может потестить самостоятельно - до связного текста ей как до луны, а тайная отличается лишь в несколько раз большим числом параметров.

Конечно рано или поздно и этот барьер будет преодолен... но не уверен что в тот момент нас будет волновать именно жалкая человеческая политика.

[kuuff]

достижения нейронных сеток в шахматах, доте и старкрафте ( AlphaZero, OpenAI, OpenMind ) были серьезно сфальсифицированы т.е. преувеличены, эксперты в каждой области были весьма недовольны

Где можно об этом почитать подробнее?

[valergrad]

AlphaZero.

Ну я не знаю есть ли где-то статья которая собрала бы все в кучу. Скажем если ты пойдешь в вики https://en.wikipedia.org/wiki/AlphaZero
то там есть ряд замечаний по этому поводу. Но я просто интересуюсь этой темой, постоянный обитатель каналов, форумов и дискордов о шахматном программировании поэтому в курсе.
Если вкратце в эпохальном матче AlphaZero против Stockfish.

1. У Stockfish почему-то была взята сильно устаревшая версия.
2. Стокфиш почему-то был лишен дебютной книги ( у программы на нейронных сетях некое подобие дебютной книги зашито в мегабайтах их весов, так что это несимметричное ограничение).
3. Стокфиш почему-то был лишен эндшпильных баз ( как позже выяснилось это тоже несимметричное ограничение ).
4. Стокфиш играл на более слабом компьютере
5. Даже на этом слабом компьютере ему были установлены очень странные настройки ( например всего 1 гигабайт на хэш - напрямую влияет на его силу).
Это все поставило под сомнения превосходство Альфы над Стокфишем.
Самое главное: на просьбу дать бинарник программы чтобы поучаствовать в каком-либо из официальных чемпионатов уже на нормальных настройках - было отвечено категорическим отказом. Так что мы точно уже никогда не узнаем в какую на самом деле силу играл АльфаЗеро.

Некое представление может дать следующий тест. Авторы опубликовали архитектуру нейронной сети и алгоритм. Программа была воссоздана ( русским программистом кстати ) под названием LeelaChessZero. Шахматное сообщество помогло ее натренировать - это заняло много месяцев, а не несколько часов т.к. у шахматного сообщества гораздо меньше компьютерных мощностей чем у гугла. После полугода тренировки LeelaChessZero сыграла матч в тех же условиях с той же старой версией стокфиша - и добилась лучшего результата чем AlphaZero т.е. предположительно она играет сильней. Но в матче на нормальных настройках против последней версии стокфиша - эта же версия проиграла.
( Через несколько месяцев она сумела превзойти и последнюю версию стокфиша).


Starcraft.
Статьи выходили под заголовками "Нейросеть обыгрывает лучших игроков в старкрафт". О чем почему-то забывали часто упомянуть в этих статьях.

1. "про-игрок" был действительно "про", но играл не за свою расу ( почему нельзя было пригласить игрока своей расы - непонятно).
2. предвосхищая обвинения в "программа просто выиграла за счет реакции" они опубликовали табличку с графиками APM живого игрока и программы. Табличка была из серии "классический пример как ввести в заблуждение и попытаться внушить ложный вывод таблицей".
3. таким образом программа действительно просто использовала стократное превосходство в реакции и точности над живым человеком ( в том числе и потому что ей не нужно было осуществлять какие-то движения мышкой и клавиатурой, она напрямую вызывала функции ядра игры).
4. В дополнение ко всему было использование "всевидение" т.е. видение все карты в целом, что человеку в принципе недоступно - он видит информацию через монитор на котором в один момент времени отображается только один кусочек карты. Характерно, что когда в последней игре "всевидение" отключили - эту игру человек легко выиграл, причем метод которым он воспользовался может применить любой квалифицированный игрок.

В целом если сложилось впечатление что я критикую их достижения - вовсе нет. Это выдающиеся результаты в любом случае. Просто нужно отличать насколько они выдающиеся на самом деле от того, как их рекламируют маркетологи. Разница между "обыграть сильнейшего игрока в старкрафт" от "обыграть сильного игрока в старкрафт который играл без подготовки и за чужую расу, используя всевидение и 100-кратное преимущество в скорости реакции" довольно велика.

Особенно нужно быть подозрительным если как в случае с GPT просто говорится "у нас есть что-то выдающееся, но мы вам это не покажем".