Главное > Общение
когда знания стали опасны
kuuff:
--- Цитировать ---Первым учёным-маглам недоставало ваших традиций. Вначале они не имели представления об опасности знания и считали, что можно свободно говорить обо всём, что им удаётся узнать. Но когда знания стали опасны, они сказали своим политикам, что всё нужно держать в секрете
--- Конец цитаты ---
https://blog.openai.com/better-language-models/
Вкратце. Проект OpenAI натаскал нейросетку на генерацию текстов. Очень правдоподобных текстов, то есть очень похожих на написанное людьми. На моём уровне знания английского эти тексты неотличимы, от написанных людьми. Нейросетка может прочитать текст и ответить на вопросы о нём. Там по ссылке есть примеры.
Статья предполагает, что у подобный AI может быть использован для очень разных целей, и в частности злоумышленниками:
* для генерации фейковых новостей
* чтобы выдавать себя за другого
* для автоматизации производства оскорбительного или фейкового контента в соцсетях
* для автоматизации спама/фишинга
И поэтому исследователи выложили результаты лишь отчасти. Они не выложили готовую модель, не выложили данные, на которых тренировали нейросетку, не выложили программу, которая тренировала нейросетку. Как я понимаю, они выложили лишь топологию сетки, типа как там нейроны соединяются.
Это не спасёт нас от того, что мем "there are no girls on the Internet" устареет и его заменит "there are no humans on the Internet". Идея ясна, повторить разработку не так сложно. Нужен лишь один посредственный специалист и вычислительный кластер для тренировки сети. Навскидку, я полагаю это порядка десятков тысяч долларов и нескольких месяцев.
Но мы предупреждены и может быть у нас есть ещё полгода "старого" интернета, в котором даже фейковый контент пишется людьми. Что будет после мне лично сложно спрогнозировать. Островки здравого смысла в океане белого шума, где невозможно отличить ложь от истины?
Добавлено 16 Февраля 2019, 14:26:
Я вот думаю, что можно перейти на какой-нибудь редкий язык, и общаться на нём. Редкость языка не позволит легко натренировать сетку на него. Человек пока лучше нейросеток умеет учиться на небольших объёмах данных. На этом редком языке сгенерированные автоматически тексты будут светиться неграмотностью и непоследовательностью. Но это будет работать лишь для небольших сообществ, как только сообщество станет достаточно большим, чтобы стать целью для информационной атаки (реклама, фишинг, пропаганда, уничтожение сообщества, ...), оно станет целью и ничего не сможет противопоставить кроме "анального огорожения", с последующим угасанием в своём уютном загончике.
Al1:
Фейковые новости/аккаунты/спам написанные людьми на зарплате или роботом - велика ли разница? Надо читать доверенные источники, проверять важные вещи, а не тыкать на контекстную рекламу со скандальными заголовками. Сейчас только совсем уж дикие бабушки могут поверить в нигерийские письма или количество минусов под оппозиционными видео.
Думаю, просто снова возрастет рейтинг профессиональных команд (официальных сайтов и каналов) с редакторами, которые отсеивают фейки.
Будут какие-нибудь новые антибот-ИИ, вычисляющие фейки и ботов. Плюс ВК по паспорту и все такое.
kuuff:
--- Цитата: Al1 от 16 Февраля 2019, 17:16 ---Фейковые новости/аккаунты/спам написанные людьми на зарплате или роботом - велика ли разница?
--- Конец цитаты ---
Да. Роботы могут насоздавать на много порядков больше.
--- Цитата: Al1 от 16 Февраля 2019, 17:16 ---Надо читать доверенные источники, проверять важные вещи, а не тыкать на контекстную рекламу со скандальными заголовками.
--- Конец цитаты ---
Эмм... Я не уверен, что это так работает. Самый доверенный источник, который я знаю -- это научные статьи, но даже научной статье я не поверю, пока не загляну внутрь. По-крайней мере, если это не статья о физике/химии. Биология, тем более медицина, тем более психология, и совершенно определённо социология -- это области, где глупо принимать чьи-то выводы без анализа того, как он пришёл к этим выводам, на какие парадигмы он опирается, какие данные использует, каким образом он получал эти данные, как он их обрабатывал, и тп.
Но представьте теперь, что есть постоянный поток фейковых научных статей, где все данные были сгенерированы генератором случайных чисел, и подтасованы под выводы. Доверять рецензентам? Сомнительная идея:
Как я обманул миллионы, заставив их думать, что шоколад помогает сбрасывать вес, разложение науки. Я не знаю о кампаниях, нацеленных на то, чтобы завести науку во тьму, ссылки выше -- это лишь попытки показать, что подобные кампании возможны. Но представьте теперь, что AI генерирует по десятку статей в месяц? А если мы ещё научим его общаться с рецензентами, то есть учится на своих ошибках, проделывая всё то, что ребята по второй ссылке проделывали? А если таких AI несколько десятков, созданных разными игроками с разными целями? Кто-то доказывает, что глобальное потепление -- фейк; кто-то, что капитализм сгнил, наконец; кто-то, что Мадуро белый и пушистый; кто-то, что ожирение -- это здоровый образ жизни.
--- Цитата: Al1 от 16 Февраля 2019, 17:16 ---Думаю, просто снова возрастет рейтинг профессиональных команд (официальных сайтов и каналов) с редакторами, которые отсеивают фейки.
--- Конец цитаты ---
Если они смогут справиться с потоком фейков. Если не смогут, то они вместо чёрного списка и контекстной фильтрации включат фильтрацию по белому списку, и тогда мы будем получать лишь информацию, которая была получена в поле профессиональными журналистами/исследователями.
--- Цитата: Al1 от 16 Февраля 2019, 17:16 ---Будут какие-нибудь новые антибот-ИИ, вычисляющие фейки и ботов.
--- Конец цитаты ---
Гонка вооружений. Совершенно бесперспективно. То есть оно может позволит поддерживать градус неадеквата на определённом уровне, но в долгосрочной перспективе будет лишь усугублять ситуацию, и доводить её до уровня, когда вообще ни в чём разобраться невозможно. Единственный способ иметь какое-либо мнение -- это положиться на мнение доверенного ИИ. Любопытный, кстати, сценарий для захвата мира искусственным интеллектом. Я такого ещё не слышал.
--- Цитата: Al1 от 16 Февраля 2019, 17:16 ---Плюс ВК по паспорту и все такое.
--- Конец цитаты ---
Вот интернет по паспорту выглядит более правдоподобным. По-крайней мере в том смысле, что это может сработать.
Но, на самом деле, всё это можно обобщить и привести к общему знаменателю: это указывает на то, что вырастет значимость авторитета, и ценность информации будет определяться авторитетом в большей мере, чем фактами. Вопрос лишь в том, как будут выбираться эти авторитеты.
Kroid:
Думаю, нужно будет делать что-то вроде сети доверия. Допустим, я доверяю человеку под ником kuuff. kuuff доверяет человеку под ником Al1. Значит, я могу доверять Al1.
Ну и всякие доп ограничения добавить, вроде потери какой-то части доверия на каждом следующем звене цепи доверия.
Реализовать эту сеть на каком-нибудь блокчейне. По факту будет что-то вроде распределенной графовой базы данных, где вершины - аккаунты пользователей, а ребра - доверие между ними. Поверх этой бд разные люди и компании смогут запускать свои сервисы и приложения.
Мда. Перечитал свой коммент и понял, что вот она - очередная идея модного молодёжного стартапа. Хоть сейчас ИСО запускай :)
Gradient:
Я всё ещё не вижу, что плохого в куче фейковых новостей... Для человека, желающего от этого защититься. Есть же более и менее авторитетные источники, они кому-то принадлежат. ИИ вряд ли станет писать статьи в научные журналы - во всяком случае, он вряд ли сможет корректно привести свои таблицы со статистикой и корректно же сделать выводы.
Плохо будет, если ИИ дорвётся до авторитетных источников. Например, станет писать в википедию, и это будет неочевидно - тогда все, кто считают википедию более-менее правдивой, окажутся в уязвимом положении.
Я скорее думаю о том, каким классным продавцом станет этот бот =) Вот возьмёт и станет с каждым пользователем сети лично вести беседу о пылесосах Kirbi. А reinforcement learning позволит улучшать стратегию продаж
Навигация
Перейти к полной версии