Последние сообщения

51

Обсуждение книги / Re: Критика произведения

« Последний ответ от Alaric 12 Декабря 2019, 14:09 »

На медиуме можно читать без регистрации. У того окна, который закрывает весь текст и приглашает войти, есть крестик в углу. (Сейчас просто довольно много блогов на медиуме, я статьи оттуда всегда нормально читал без регистрации.)

Что касается "рецензии на рецензию"... Мне представляется, что любой автор, пишущий книгу, хочет в ней донести свои взгляды, и Юдковский не исключение. Я предположу, что Юдковский строил вселенную так, как ему казалось "логичным", и, собственно, кажется, именно за это большинству здесь присутствующих эта книга и нравится

Ещё Юдковский совершенно не скрывает (см. Руководство по созданию интеллектуальных персонажей), что для демонстрации интеллекта персонажей он создавал для них специальные условия.

То есть Юдковский выстроил вселенную таким образом, чтобы его ценностные установки обосновывались бы рационально.

В этой фразе мне, наверное, не очень понятны слова "обосновывались" и "рационально".
Для самого Юдковского его собственные ценностные установки "обосновываются" не выдуманной им же вселенной, а его представлениями о нашей (и, как мне представляется, это верно для практически любого человека). Строил ли Юдковский вселенную так, чтобы было удобнее пропагандировать собственные ценности? Неосознанно, конечно, да. В смысле, Юдковский строил вселенную так, как она должна быть с его точки зрения, исходя из того, что он думает о вселенной ГП и о нашей. Осознанно ("если я напишу другую вселенную, то читатель не поверит, что правильно поступать так-то и так-то")? Вряд ли, и здесь я очень скептично отношусь к автору, потому что, с моей точки зрения, он вообще не слишком представляет ценности Юдковского, поэтому откуда он может знать, что нужно для их осознанной пропаганды?

Исходя из прочитанного мной корпуса текстов Юдковского, я считаю, что основная идея, которую хотел пропагандировать автор, это: "Мне нужно повысить уровень моей игры". Возможно, ещё идея про победу над смертью (ну и да, конечно, в случае с природой дементоров многие критики отмечали, что, конечно, не было особой причины делать дементоров именно Смертью, поэтому тут да, яркий пример произвола автора ради собственной идеи).

52

Обсуждение книги / Re: Критика произведения

« Последний ответ от kuuff 11 Декабря 2019, 20:42 »

Но даже такие рецензии на рецензию не заставят меня зарегистрироваться на сайте, на котором чтение материалов без регистрации невозможно.

Там скорее всего скрипты фуллскрин окошки открывают. Их можно порезать и читать без регистрации и смс. Я это аддонами делаю, но можно и так:

https://us3.free-proxy.com/browse.php?u=oNO9JYMLl2nPhevRk2frpz0YC7wNRSMVHlzj3Mt94%2BUNdA78YYGsfuPTibVMyll8IDdJ6IndFAtx7kCMVYs36bz9oj5wBPXyf%2FMciyDzn72OaB1vOnYtOT0mNsg5NCjlLDPVzAoWEzY359juYDV%2FG3MeJRcPymtV5c4TvOmTaxwqMI%2FRnp04oVBHmiCAY%2Bo%2BgLYsPfT4pl4AUajUClmEZG9octb2x%2Fi6WH%2FiR5wdbnSTLG3yMehp6jieiETBdvwALdXHUzMDVXzJa8UULd466QNIsZC6Z9GUxVzHAY55c1Ca%2FoW4pQYeU7rP4pxTTpu35o7u%2BTQY7zk8qnW6aszHq8dA7LtG80nMJ6s9LGJ8Hbj0n5aRz2oP0iS4JgEp%2FafsveFyXwigwMgYp3j5bnwOy0QYbH%2BbqQH0iQ%3D%3D&b=1&f=norefer

53

Обсуждение книги / Re: Критика произведения

« Последний ответ от a_konst 11 Декабря 2019, 17:40 »

Мысль про выстраивание вселенной ГПиМРМ интересная.

Но даже такие рецензии на рецензию не заставят меня зарегистрироваться на сайте, на котором чтение материалов без регистрации невозможно.

54

Обсуждение книги / Re: Критика произведения

« Последний ответ от kuuff 10 Декабря 2019, 22:42 »

Рецензия интересная, на мой взгляд. А особенно интересно было почитать другие статьи этого автора.
Ну и по критике стандартные претензии: Гарри не вполне рационален (да лаааадно? Это подсвечивается пол-книги), книга под видом рациональности пропагандирует гуманизм (Гарри сам явно подсвечивает, что неэтичный рационалист добьётся большего, чем гуманист).
Впрочем, по моим ощущениям, у Юдковского не совсем соблюдается принцип Юма (из того, что некто рационалист, не следует ничего о его этике) - и это в цепочках. Так что может, автор рецензии в чём-то и прав.

После этой рецензии на рецензию, я её прочитал до конца.

В первый раз, я увидел фразочки типа "книга эта — однозначно вредительская", "[остальные главы] заняты [...] политической пропагандой", "другие люди [не разделяющие моих взглядов] мои тексты на постоянной основе читать бы вряд ли смогли бы". Собственно последняя процитированная фраза была последней прочитанной мною фразой, после которой я решил что читать дальше бесполезно.

Но теперь я дочитал до конца. Любопытно то, что я увидел именно то, что ожидал увидеть. Но потом я почитал другие статьи. И понял, что не понял рецензию на ГПиМРМ. Там на деле вся рецензия написана вначале, и её критичная часть сводится к тому, что ГПиМРМ -- это пропаганда, а оставшийся разбор случаев -- это доказательство тому, что это пропаганда: каждый раз когда у Юдковского был выбор, между различными альтернативными вселенными для ГПиМРМ, Юдковский выбирал такую, которая лучше подходила для проталкивания ценностных установок Юдковского. То есть Юдковский выстроил вселенную таким образом, чтобы его ценностные установки обосновывались бы рационально. И с аргументацией его сложно не согласиться.

Чувствую себя идиотом, если честно. Я не думал, что мне настолько сложно одолевать свою предвзятость.

55

Обсуждение книги / Re: Критика произведения

« Последний ответ от Gradient 09 Декабря 2019, 15:21 »

Рецензия интересная, на мой взгляд. А особенно интересно было почитать другие статьи этого автора.
Ну и по критике стандартные претензии: Гарри не вполне рационален (да лаааадно? Это подсвечивается пол-книги), книга под видом рациональности пропагандирует гуманизм (Гарри сам явно подсвечивает, что неэтичный рационалист добьётся большего, чем гуманист).
Впрочем, по моим ощущениям, у Юдковского не совсем соблюдается принцип Юма (из того, что некто рационалист, не следует ничего о его этике) - и это в цепочках. Так что может, автор рецензии в чём-то и прав.
Остальные идеи понравились - и про "Тёмную сторону", и про то, что исследование генов было слабеньким, и про то, что Гарри недостаточно влетал в этические конфликты

56

Общение / Re: когда знания стали опасны

« Последний ответ от valergrad 08 Декабря 2019, 01:59 »

Я не понимаю, чего вы так зациклились на этом старкрафтовском боте. Старкрафтовский бот не пишет текстов.

Ну, речь была о том, что достижения AI в новостях в очередной раз преувеличили в маркетинговых целях. Это я про другие ИИ. Из чего я делаю предположение что и "у нас есть бот который генерит осмысленные тексты но мы вам его не покажем" - это тоже маркетинговое преувеличение и никаких осмысленных текстов этот тайный бот не генерит.
Он, вероятно, генерит чуть более прилизанные тексты чем те боты, которые есть в открытом доступе, и проблемы которых сейчас очевидны.  Т.е. пока что можно расслабиться, хотя кто знает что будет через 5-10 лет.

57

Обсуждение книги / Re: Критика произведения

« Последний ответ от Alaric 04 Декабря 2019, 17:56 »

Ещё в копилку: https://medium.com/@yuri.okulovsky/%D0%B3%D0%B0%D1%80%D1%80%D0%B8-%D0%BF%D0%BE%D1%82%D1%82%D0%B5%D1%80-%D0%B8-%D0%B4%D0%B5%D0%BA%D0%BE%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F-%D0%B0%D0%B2%D1%82%D0%BE%D1%80%D1%81%D0%BA%D0%BE%D0%B3%D0%BE-%D0%BD%D0%B0%D1%80%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%B0-31b6ab41eedf

Негативная рецензия с большим количеством претензий по политическим мотивам.

58

Общение / Re: когда знания стали опасны

« Последний ответ от kuuff 18 Ноября 2019, 15:55 »

Я не понимаю, чего вы так зациклились на этом старкрафтовском боте. Старкрафтовский бот не пишет текстов.

Возвращаясь же к теме ботом сгенерированных текстов, мне сейчас не найти ссылку, но была статья, где мужик разбирал примеры текстов, и находил в них ошибки вида: в одном месте текст говорит о происходившем вчера, в другом месте ссылаясь на те же события, он говорит о них будто они происходили в понедельник, который был три дня назад.

То есть на данный момент, это не такая проблема,  достаточно, читая текст, уделять внимание деталям и выискивать такие мелкие несоответствия. Это не так просто, как может показаться: мне допустим было сложно вылавливать эти вещи, потому что в контексте приведённых текстов мой мозг отбрасывал эти детали как несущественные, то есть я не замечал сами детали, и уж тем более не мог их соотнести друг с другом и заметить противоречия. Но это дело привычки, можно научить себя обращать внимание на мелочи.

Но это временно. Если посмотреть на текущие достижения AI с точки зрения психологии, то можно увидеть два плюс-минус независимых процесса развития AI. Во-первых, это развитие восприятия -- в первую очередь в зрительной и слуховой модальности. Нейросетки всё лучше и лучше обрабатывают кучу пикселей, делая на основании них выводы о наличии каких-то объектов и о том, что объекты обладают какими-то свойствами. Второй процесс -- это всё более и более продвинутые потомки Eliza, которые жонглируют словами получая грамматически выверенный бред. Этот их бред со временем становится всё лучше и лучше, его всё сложнее идентифицировать как бред.

Но фишка в том, что эти два процесса сойдутся рано или поздно. Когда искуственное восприятие начнёт идентифицировать в пикселях не только объекты, но и действия, оно будет видеть в пикселях не только существительные, но и глаголы. И вот тут, внезапно, у AI появятся две модели ситуации: словесная и визуальная. Был такой дядька -- Веккер, -- нам на психфаке все мозги им проели на первом курсе, потому что профессор читавшая общую психологию была его ученицей, а мужик, прежде чем свалить в Германию в 90-х, в общем нехило так мозгами подумал о том, как работают мозги. Ну так вот, он утверждал, что для того, чтобы мышление работало, необходимо наличие как минимум двух моделей реальности. Я не совсем уверен, что это так уж необходимо-необходимо, но я вижу как это реально может помочь.

Когда у меня есть две модели для одного явления, я могу в рамках одной модели генерировать предсказания, а потом эти предсказания отображать в другую модель, и в этой другой модели они могут либо превратиться в полнейшую нелепицу, либо подтвердиться. Нелепица -- это гораздо более интересно, потому что это открывает просторы для подстраивания моделей и отображения между ними. Например, "яблоко упало с Ньютона на яблоню" -- в грамматической модели это вполне себе законная фраза. Но если мы возьмём визуальную модель реальности и попытаемся представить себе это, то... что? У Ньютона на голове лежало яблоко, рядом с Ньютоном лежала срубленная яблоня, и яблоко скатилось с головы Ньютона на яблоню? Как-то очень маловероятно, и более того, если мы этот плод воображения, порождённый фразой, попробуем обратно преобразовать в слова (построить прообраз, то есть множество фраз, которые описывают ситуацию), то в этом прообразе результат "яблоко упало с Ньютона на яблоню" -- крайне маловероятный, скорее мы получим что-то типа "яблоко скатилось с головы Ньютона и упало на бревно". Или может быть Ньютон в бессознательном состоянии лежал на крыше, у него на груди лежало яблоко, очередной толчок землетрясения скинул яблоко, оно скатилось с Ньютона на крышу, прокатилось по крыше и упало на яблоню? Но в этой ситуации вероятнее было бы услышать что-нибудь в стиле, "яблоко скатилось с Ньютона, прогрохотало по крыше и упало на яблоню". Как-то так выходит, что наша фантазия не может сочинить ситуацию, описание которой не будет с большой вероятностью содержать глагола "скатилось". Тут у меня уже вылезло новое предсказание о звуке яблока, катящегося по крыше, и мне кажется странным, что этот звук не упомянут в исходной фразе. Может Ньютон лежит на самом краю крыши, и вот-вот свалитс сам? Да и вообще эта исходная фраза подразумевает какую-то пассивность Ньютона, то есть его неспособность повлиять на события: то ли он балансировал яблоко на голове и не справился, то ли он в бессознательном состоянии был, то ли ещё что-то происходило, что он потерял контроль и поэтому яблоко обрело субъектность и свободу воли. Но это мы начинаем видеть, когда начинаем попытки визуализировать фразу -- мы строим одну воображаемую визуализацию за другой, потом сравниваем их и ищем в них общее. Чуете, да? Мы выходим на новый уровень абстракции, мы переселяемся в пространство, в котором мы оперируем не яблоками и Ньютонами, а различными интерпретациями фразы, и эти интерпретации имеют свойства типа "визуальное представление ситуации", "текстуальное представление ситуации", "вероятность данного текстуального представления для данной ситуации" и тп. И это становится возможным только тогда, когда у нас есть хотя бы два способа описать ситуацию -- в данном случае это 1) психический образ в зрительной и слуховой модальностях; 2) текстовое описание.

Всё это приводит к тому, что мы, услышав фразу "яблоко упало с Ньютона на яблоню" начинаем подозревать подвох -- это может быть шутка юмора, или упущенные нами детали контекста (архивное видео падения яблока на Ньютона было проиграно задом-наперёд?), мы начинаем оглядываться, задавать вопросы, и пытаться устранить несоответствия между моделями либо фикся представление конкретной ситуации в рамках моделей, либо фикся сами модели, либо фикся правила отображения из модели в модель. Мы получаем возможность сравнивать модели. Не только конкретные ситуации, но теории их описывающие. Мы можем сравнить ньютоновскую гравитацию с гравитацией Эйнштейна и увидеть сходства и различия. Или их обе мы можем сравнить со своей интуицией.

И как-то так получается, что какой бы конкретный процесс мышления/познания реальности мы не разбирали, всегда в нём фигурируют две модели реальности, вступающие таким образом в противоречие. Может быть вступающие в противоречие в смысле вероятностной логики.

Я это к тому, что когда искусственное восприятие с искусственным речевым центром сойдутся, когда компьютер научится описывать видео словами и генерировать видео по текстовому рассказу, случится следующий взрыв AI. Получится ли в результате general intelligence или нет -- сложно сказать, может быть мы вновь увидим, что психика человека сложнее, чем мы думали и не хватает чего-то ещё. Но в любом случае, мы получим тексты, которые будут содержать в себе гораздо меньше логических неувязок.

59

Общение / Re: когда знания стали опасны

« Последний ответ от Al1 16 Ноября 2019, 09:55 »

Если говорить об старкрафтовском боте, нужно учитывать, что он, во-первых, "слабее" мозга на много порядков (по количеству нейронов и синапсов), так что грубая сила тут на стороне человека, во-вторых, несмотря на "миллион игр" человеческие игроки гораздо опытнее - у нас есть "генетическое" понимание некоторых базовых вещей вроде пространства и времени, объектов, действия, нас с детства учат, что такое объекты, каких типов они бывает, разным стратегиям в определенных ситуациях, о существовании тех же "невидимок" мы узнаем из сказок, книг и фильмов, мы заранее знаем что такое война, маневры, препятствия типа гор или стен, здания, таймер, перечислять можно бесконечно, наконец про-игроки анализируют партии с другими про-игроками, разные стратегии и билды, у них есть опыт игры в других стратегиях и т.п., из-за чего общее количество игр не лично пройденных, но отрефлексированных сообществом вместе с другими игроками, кардинально превосходит личный опыт бота. У ИИ есть хороший микроконтроль, ещё некоторые подобные преимущества, но в целом он играет вслепую.

60

Общение / Re: когда знания стали опасны

« Последний ответ от valergrad 16 Ноября 2019, 03:33 »

"В смысле, если мы вдруг фантазируем, скажем, ИИ, который играет на бирже или вообще вмешивается в политику, то никто же его не будет ограничивать одним экраном монитора и никто не будет ему тормозить реакцию до человеческой."

Это верно. Но речь о том, что как только реакцию понизили до околочеловеческого уровня ( на самом деле она все еще намного выше чем даже у самых топовых игроков, но уже не 100 раз, а скажем, в 5) стала очевидна скажем так "тупость" этого ИИ которого первый же неожиданный маневр человека выводит из колеи. Например, эта нейронная сеть за миллион или сколько там игр не освоила концепцию "невидимых" юнитов. Я наблюдал, кстати, поведение людей в похожих ситуациях. Умный человек понимает, что нужен способ их детектить буквально после первой же проигранной таким образом игры, сразу же гуглит, спрашивает или исследует этот вопрос сам. Тем не менее я видел людей которые не задаются этим вопросом пока не потерпят, скажем, с десяток поражений от "невидимок". Меня всегда подобное поражало, но это действительно так ( и это имхо один из способов измерять интеллект ). Но миллион игр? Это уже за гранью. При этом за счет многократного превосходства в скорости реакции она все равно побеждала 99% игроков.

Теперь представим себе нейронную сеть которая показала блестящие биржевые результаты, скажем, анализируя новостные ленты. Лучше чем 99.9% людей. За счет своей скорости реакции и способности работать 24 часа в сутки. Мы ее внедряем повсеместно.... а потом оказывается что она не понимает концепцию "1-го апреля". И 1-го апреля следующего года мы получаем  мировой финансовый крах.

Поэтому, нужно быть очень аккуратно относится к тому, если превосходство было получено скажем так, методом грубой силы. Чем грубее сила используется - тем более скептически нужно относиться к этому.  Грубая сила хороша для проверки различных способов обучения, но финальная, лучшая версия, должна побеждать не с помощью ее.

В копилку кстати "пессимистических" новостей об AI. Помните AlphaZero который "разгромил" Stockfish? У меня еще были претензии к условиям матча. Тем не менее 15-й чемпионат шахматных программ в прошлом году все же выиграла улучшенная версия AlphaZero - в начале этого года и там все было честно и не подкопаешься. Но в только что завершимшемся 16-м чемпионате чемпионство завоевала улучшенная версия Stockfish - проанализировав поражения, ее авторы программ улучшили ее и она смогла взять реванш. Таким образом, "алгоритмическая" версия смогла обойти "нейронную", после того как "нейронная" показала ей ее слабости ( люди этого уже сделать на таком уровне, понятно, не могли). Как бы не оказалось, что после прогресса и бума 2013-2019 мы опять не застрянем с машинным обучением как это уже было не раз. Только на более высокой ступеньке, конечно, с большим количеством задач которые мы умеем решать.