Последние сообщения

Последние сообщения

Страницы: [1] 2 3 ... 10
1
Обсуждение книги / Re: Замечания о переводе
« Последний ответ от Zwibula 18 Сентября 2023, 07:55 »
Здравствуйте. Отмечу ещё несколько моментов.

Глава 39. Притворная мудрость. Часть 1
"Дамблдор продолжал смотреть на Гарри с каким-то странным выражением в старческих глазах" - однако, сами глаза не могут что-то выражать, это делают мимические мышцы вокруг них. Поэтому предложу "выражением глаз".

Глава 17
"— Но, думаю, мы с тобой фигуры одного цвета. Мальчик, который победил Волдеморта, и старик, который сдерживал его до твоего прихода" - тут возникает лёгкое двоение смысла: фразу можно понять и так, что старик сдерживал мальчика, а не Волдеморта.
Кроме того, о Гарри почти одновременно говорится во втором и третьем лице: "мальчик" и затем "твоего". (это даже более важная правка).
Предложу, например, такой вариант: "Старик, который сдерживал Волдеморта, и мальчик, который победил". Оборотом "до твоего прихода" в этом случае придётся пожертвовать ради цельности смысла.

Глава 26.
"Гарри поинтересовался, нельзя ли ему просто объяснить Крюкохвату" - "ему" и "Крюкохвату" стоят в одном падеже, и при прослушивании это резануло ухо. Предложу "не может ли он объяснить Крюкохвату".

И ещё раз хочу обратить ваше внимание на фразу из 84 главы: "Глава 84.
"Если же опекун мистера Лонгботтома будет столь беспечна" - очень неуклюже звучит, при том, что слово "опекунша" целиком словарное и даже не разговорное. Пожалуйста, исправьте. Если, конечно, сейчас у вас есть время и возможность для этого.
2
Общение / Постановка целей для искусственного интеллекта
« Последний ответ от Gradient 06 Декабря 2021, 18:39 »
Достаточно давно работаю над различными ИИ класса "обучение с подкреплением". То есть над "достигателями целей", "машинами результатов".
В теории всё вроде понятно, на практике модели обучаются туго, но вопрос не в этом. Как вообще можно сформулировать задачу для ИИ? Задачу, касающуюся реального мира, вроде "сделай, чтобы у меня на столе был кг золота" или "сделай, чтобы вот этот больной человек стал здоровым".
Ведь ИИ - не человек, с которым можно поговорить. Это система автоматического управления в незнакомой среде.

Вообще, какие есть известные варианты задания цели?
1) Через подкрепление. Мы можем сделать, чтобы ИИ получал сигнал подкрепления и старался делать то, что этот сигнал будет максимизировать. Таким образом можно обучить его достижению любой цели, но он потратит огромную кучу времени, даже чтобы просто выяснить, чего мы от него хотим. И даже если мы будет очень хорошо понимать, за что давать подкрепления, а за что - нет, то всё равно передать ему эту функцию цели - задолбаешься. То есть допустим мы хотим, чтобы ИИ, будучи помещённым в Doom, открыл на карте жёлтую дверь. Каким бы умным он ни был, и как бы ни понимал игру, ему всё равно придётся искать ту комбинацию действий, что приведёт к награде, а потом ещё разбираться, а что конкретно дало награду, потому что в кадре в этот момент много всего было.
2) Явно показать цель. Делаем ИИ, который будет явно просчитывать траекторию, и делаем функцию, которая оценивает предсказанные им кадры. Плюс к том, что мы можем сделать кучу кадров жёлтой двери, открытой и закрытой, и на этих кадрах разметить датасет для предсказания наград. Либо мы даже можем подать ему в качестве цели скриншот с полуоткрытой жёлтой дверью. Тогда ИИ в крайнем случае сможет перебрать траектории "в уме" и найти ту, которая приведёт к открытию этой двери. Без того, чтобы ставить кучу опытов на территории.
3) Сделать некий язык описания целей. ИИ всё так же явно предсказывает свои траектории, но на этот раз оценщик траекторий устроен иначе. Это некая нейросеть, которая по описанию цели и кадру выдаёт сигнал награды. Например, оценщик понимает такие слова, как дверь, жёлтая, открыть. И ещё пару десятков слов. И у него в датасете есть пары: [дверь, синяя, открыть] (и кадр синей открываемой двери) - и сигнал награды 1. [дверь, красная, открыть] (и кадр жёлтой открываемой двери) - и сигнал награды 0. И много тому подобных пар. В общем, оценщик обучен на них, и может, имея описание цели, понять, достигнута ли она.

Но в реальности у нас ситуация будет ещё сложнее, чем в игре. В реальности, если у нас будет сильный (то есть работающий в +- любом энвайронменте, а не человекоподобный) ИИ, то какие задачи мы ему захотим ставить? Те, которые сами не тянем. Излечить человека, построить ракету до Альфы Центавра, сделать передо мной килограмм золота. Как такую цель сформулировать, имея довольно небогатый арсенал средств общения с ИИ?

Я пытался запустить такое обсуждение на хабре, но результат меня не вдохновил.
https://habr.com/ru/post/538522/

Отдельно есть ещё вопрос. Вот есть у нас, допустим, самоулучшающийся ИИ. Как ставить задачи ему?
Когда я задаюсь вопросом, как вообще такой ИИ сделать, получается, что одна и та же архитектура должна решать и задачи динамической оптимизации (ну то есть задачи управления), и задачи статической оптимизации (что-то вроде задачи эволюции или градиентного спуска). Это ощутимо разные задачи, в динамической задаче у нас есть ось времени, и мы не можем попасть в прошлое. В статической же задаче у нас огромное число наблюдаемых и управляемых переменных - миллион для небольшой нейросети. Для того, чтобы ИИ улучшил себя, он должен решать статическую задачу, а чтобы он чем-то управлял, он должен решать задачу динамическую. И единственная величина, которая мне видится общей для обеих задач - это сигнал подкрепления. То есть как сделать явную постановку цели - неочевидно.
3
Общение / confounder
« Последний ответ от kuuff 01 Августа 2021, 23:28 »
Привет. Тут есть кто ещё живой?

В процессе перевода у меня тут возникла проблема. Есть в статистике термин confounder, и упоминаний его в русскоязычной литературе мне не найти. Что он означает в статистике я не буду излагать, там всё мутно очень, но в книжке, которую я перевожу, даётся чёткое определение, и я опишу его в терминах книги, чтобы было понятно о чём речь. Если у нас есть три переменные, состояния которых мы можем наблюдать (например, A, B и C), то они могут быть связаны причинно-следственными связями, и иногда эта связь выглядит так: A←B→C, и в этом случае B -- это confounder. То есть если мы совершим интервенцию в реальность и изменим значение B, то следом изменятся значения A и C. Если интервенцией мы будем менять A или C, то меняться будет только та переменная, которую мы меняем, а значения других не изменятся.

Ну так вот, это присказка была. Проблема в том, что а) confounding -- одна из ключевых тем книги; б) автор активно использует однокоренные слова, типа "to confound", "confounding" (причём и как существительное, и как прилагательное), "deconfounding", "deconfounder", и даже "to deconfound". То есть, если бы автор органичился словом "confounder", то я бы перевёл как "общая причина" и не парился бы.  Если бы "конфаундер" допускал бы словообразование согласно правилам русского языка, то я бы на этом и успокоился. Но это не очень работает, ниже примеры. Я сопроводил их условным переводом, исходя из идеи, что "confounding" -- сопричинность, а "to confound" -- сопричинивать.

- "confounding and deconfounding" -- заголовок главы, "сопричинность и рассопричинивание"
- "confounding bias occurs when ..." -- тут возникает производный термин "confounding bias" -- "сопричинный bias возникает тогда, когда..." (bias самостоятельная проблема, но поменьше масштабом).
- "sometimes confounders are known" -- "иногда сопричинные переменные известны"
- confounding variable -- то же самое что confounder, но как? "сопричинная переменная"? "сопричиняющая переменная"? "сопричинятор"?
- set of deconfounders -- "множество рассопричинивающих переменных", "множество рассопричиняторов"?
- this methods totally deconfounded the confounding problem -- это на грани каламбура, а может и за гранью, можно при желании положить болт, и написать обычным языком "методы полностью распутали запутанную проблему сопричинности", но если сохранять, то выходит "методы полностью рассопричинили проблему сопричинности".

И я уже вообще без идей чё делать. Я пробовал более буквальный перевод "confound" -- "соосновать", но как-то не фонтан выходит. Я уже скатился на идеи вида "confound"  -- "совокуплять": "совокупление и десовокупление", "набор десовокупляторов", "рассовокупить", "совокупляющая переменная": если бы не ассоциации с сексом было бы превосходно, но -- увы -- куда ж от них деться. Да и "рассовокупить" навскидку непонятно как читать: "рас совок купить"? "рассово купить"? Но это мне кажется не очень важно.

У меня конечно есть отходной путь -- "оставить как есть", то есть писать в русском тексте confounder, confound'ить, снимая с себя любую ответственность. Или перевести confounder как "общая причина", а потом городить огород деепричастных оборотов и зависимых предложений, заменяя термины их определениями. Но брр... очень не хочется.

Any ideas? Можно даже дурацкие идеи или откровенно клоунские "на поржать": если они и окажутся не очень, то может натолкнут меня на что-то.
4
Рациональность / The Book of Why
« Последний ответ от kuuff 25 Марта 2021, 22:27 »
Читали такую книжку? Если нет, то я очень рекомендую.

Байесианство -- это прошлый век. Judea Pearl с тех пор придумал кой-что покруче: causal inference. (не знаю как лучше перевести: "причинный вывод" мне слишком напоминает про причинное место, поэтому пускай будет "каузальный вывод"). И его наработки вырывают мозг, когда после неё думаешь о причинах и следствиях в реальности, ощущение будто наконец-то картинка попала в фокус, и вместо туманных очертаний мыслей видишь чёткие и резкие границы их.

Я, почитав Юдковского, копал тему глубже, в частности и курс экспериментальной психологии одолел, который весь посвящён тому, как измерить причинно-следственную связь, тому как теория связана с реальностью, и тому подобным вещам. И там немало говорилось о том, как матстатистика может помочь в этом. Но в курсе экспериментальной психологии преподы прямо и чётко говорили: единственный способ измерить причинно-следственную связь -- это эксперимент, то есть исследование, в котором экспериментатор управляет тем фактором, который считает причиной, и смотрит на другой фактор, который он считает следствием. Он набирает данных, считает статистикой, и делает вывод. Помимо эксперимента есть и другие способы исследования, но они в лучшем случае меряют корреляцию. И хоть некоторые и близки к каузальности, но всё равно корреляционная хрень и зашквар.

Так говорила экспериментальная психология, но я почитал Judea Pearl... Его подход: данные это не всё. Если у нас есть теоретическая модель изучаемого явления, то из неё мы можем предположить как там причинно-следственные связи выстроены и нарисовать диаграммку, по-типу байесианской сети, но не совсем. А потом, глядя на эту диаграммку, мы можем прикинуть какие данные мы можем собрать, и какие нам нужны для того, чтобы измерить вес каждой из предположенной причинно-следственной связи, то есть вклад этой причинно-следственной связи в результат.

Этим дело, естественно не ограничивается -- counterfactuals, например, позволяют решать задачки типа: "Дано: ДТП с нетрезвым водителем, он уворачивался от пешехода и вошёл в столб. Какова вероятность, что его нетрезвость была причиной ДТП, и какова вероятность, что причиной было опасное поведение пешехода?" В смысле ответы на counterfactual вопросы типа "если бы водитель был трезв, ДТП бы всё равно произошло или нет?" Или mediation -- если мы видим, что средняя зарплата женщин в компании ниже чем средняя зарплата у мужчин, то почему так? Потому что женщин дискриминируют в компании, или потому что у женщин в более низкая квалификация? Все эти курсы экспериментальной психологии и матстатистики и даже байесианство не подготовили меня к такому вопросу, я искренне считал, что ответить на него невозможно. Ну вы сами прикиньте: пол явно влияет на зарплату, вопрос в том, влияет ли он через дискриминацию или через квалификацию. Как это можно распутать? Но Перл объясняет как.

Когда я читал про байесианство, возможность ответить на вопрос "сколько локомотивов в компании X, если мы видели один её локомотив и у него номер 7" казалась мне мозговыносящей. Сейчас я прочитал The Book of Why, и у меня то же самое чувство: я могу осмысленно рассуждать о вещах, и при наличии данных делать осмысленные выводы в тех ситуациях, в которых раньше я даже помыслить не мог о возможности осмысленно рассуждать.

Короче, я очень рекомендую взять и почитать. Книга написана для самой широкой аудитории. Она, тем не менее, местами требует морщить мозг, но, во-первых, местами, во-вторых, не запредельно, а в-третьих, результат выносит мозг, почище любой травы.
5
Обсуждение книги / Re: Дамблдор
« Последний ответ от Nikolai 06 Марта 2021, 16:44 »
И он прав - по крайней мере по канону, Поттеров всегда тянуло к рыжим ведьмам.

Тогда нужно рассматривать каштановый цвет волос, как очень тёмно-рыжий. Тем более, что на уровне генов это имеет смысл.  ;)
6
Общение / ссылка на форум с главной страницы.
« Последний ответ от a_konst 04 Января 2021, 10:57 »
На главной странце lesswrong.ru не вижу ссылки на форум.
Конечно, форум уже давно скорее мертв, чем жив - но тут есть старые интересные обсуждения.
7
Цитировать
Значит оптимизационных параметров больше двух.
- я бы сказал, их очень много...
Цитировать
Где проходит грань между интеллектом и рациональным агентом?
- хороший вопрос, заставляет привести свои мысли в порядок =) Я бы провёл границу так. Интеллект - это такой планировщик, достигатель целей в реальном мире. А РА - это частный случай интеллекта, наиболее эффективный (скорее всего, соответствует байесовому теорверу, теории принятия решений и использует формализацию бритвы Оккама для априорной оценки гипотез). То есть у не-РА мы будем замечать какие-либо систематические ошибки, которые он не зарешает, даже если у него будет куча времени, статистики и мотивации. Либо будет зарешивать какими-то ужасающе затратными способами (например, учить таблицу умножения наизусть вместо того, чтобы запрограммировать алгоритмы, её порождающие, в своей вычислительной системе, или подбирать линейную зависимость решающим деревом). Кроме того, он, возможно, будет систематически промахиваться с точки зрения теории полезности - делать ставки на что-то проигрышное, даже если может правильно посчитать матожидание выигрыша.
Откуда у меня вообще идея, что человек отличается от РА (ну кроме того, что человек не может запрограммировать себе в мозг калькулятор и имеет когнитивные искажения)? Оттуда, что я не могу сформулировать для него глобальную функцию полезности. Получается настолько сложная функция, что я понимаю, что с таким подходом можно записать функцию полезности для вообще чего угодно, в том числе неразумного. Поэтому я делаю такое упрощение: человека иногда можно рассматривать как РА - обычно в такие моменты, когда он сознательно чего-то хочет. Есть и некоторые другие случаи, но этот основной. Ну, то есть критерий - есть относительно простая, измеримая цель, и поведение человека достаточно хорошо описывается стремлением к этой цели, хитрым и изобретательным стремлением. Вот в такие моменты он как-то приближается к РА. В остальное время... Не скажу, что человек не рационален, но отмечу это как спорное утверждение.

Полагаю, я видел нечто, более близкое к РА, чем люди. Это системы ИИ вида "обучение с подкреплением", которые работают на относительно малых задачах. Когда у человека нет знаний, релевантных задаче, и задачу не удаётся свалить на зрительную кору, человек и машина оказываются примерно в равных условиях. На задачах небольшой размерности (5-50 входов) машина, по моим наблюдениям, обычно играет лучше. На более крупных задачах теста не было, да я и с трудом представляю себе, кто согласится побыть в роли ИИ, когда на входе 500 датчиков неизвестно чего, а на выходе какой-то сигнал подкрепления, и надо принять хотя бы 100-200 решений подряд. Я пробовал использовать и напрямую байесовскую систему принятия решений - она обучается лучше и быстрее всех, но сколько-нибудь большое число датчиков уводит её в комбинаторный взрыв.

Цитировать
Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории... [] Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.
- теория мне и самому нравится, она хорошо описывает нашу способность описать, что происходит в мышлении, но неспособность это запрограммировать =) И без практики даже неспособность понять, что что-то не так.
Поэтому я и не претендую на понимание того, что происходит в умах у людей, а отталкиваюсь от модели РА. Модель простая и... Очень похоже, что она описывает наболее выигрышные стратегии. Условно, если я знаю, что РА стал бы идеалистом в такой-то ситуации почти независимо от системы целей - значит, и мне стоит.

Цитировать
С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так
- да, я согласен. Грубовато выразился.
Чуть детализирую. Мозг - система управления, у него есть сенсоры, актуаторы (входы и выходы) и передаточная функция. У нейронов тоже есть входы, выходы и передаточная функция. Входы - это не только синапсы, это ещё и... Например, датчики гормонов. Это упрощение, но его можно неограниченно приближать к эмпирическим данным, либо проигнорировать какие-то виды воздействий.
Если бы меня спросили, из чего искусственная нейросеть (вот данная конкретная) собирает аппроксимацию, я бы ответил что-то вроде такого: нейронка аппроксимирует суперпозицией из функций ReLu, которые являются комбинацией линейной функции и константы. Так же нейронка умеет брать взвешенные суммы от этих функций. Есть ещё кое-какие ограничения, но список доступных операций вот. Умножения двух переменных, например, там нет, как и пороговой функции.
Если задать такой вопрос применительно к человеческому мозгу, то... Я знаю про нейроны, которые умеют искать взвешенные суммы, а он них брать сигмоиду. Наверняка это не исчерпывающий список, и мозг поддерживает на низком уровне какие-то ещё операции. Я не знаю точно, как строит модели человеческий мозг, но если моделями являют обученные нейросети, то "базовые блоки" для них - это взвешенная сумма, сигмоида и какие-то ещё функции, о которых я пока не знаю.
Может быть, над нейронами есть ещё какие-то уровни абстракции - то есть может, у человека есть какие-то стандартные микросхемы из нейронов, которые выполняют какие-то типичные операции и применяются плюс-минус по всему мозгу. И модели состоят именно из этих стандартных решателей, а обучать модель из одних только сигмоид и взвешенных сумм мозг не умеет. Если окажется так, то моя идея "для человека базовый блок - это нейрон, в математическом смысле" будет неверна.
Цитировать
интеллект это уже психология,  а нейроны -- физиология
- разумеется. Только мне неизвестен хороший способ свести психологию к физиологии. Теоретически они сводимы, но модели у нас пока нет. А вот матмодель нейрона уже построена... Много моделей построено, с разным уровнем детализации. Если смотреть только на поведение человека, то по идее, оно будет сводимо к поведению системы "математических" нейронов. По идее, это никто напрямую не проверял, вполне возможно, что современные матмодели делают акцент на чём-то не том, и потому из современных "абстрактных нейронов" соберётся неработающий мозг.

Цитировать
А на кого они переносятся?
- на ИИ (в данном случае малоценно) и ограниченно - на человека, стремящегося к цели, именно в процессе этого стремления. То есть если я знаю, как поступил бы РА, мне, вероятно, стоит поступить так же.

Цитировать
Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.
- да, в такой формулировке выглядит менее дико, чем "оно станет идеалистом, а оно явно лучше меня знает, что делать". Редукционизм)))
8
- тут я вижу много проблем.
Во-первых, начальные условия ещё попробуй найди.
[...]
Ну и в-четвёртых, КМ не является полной моделью мира, как ни прискорбно. Она плохо работает с гравитацией.
Значит оптимизационных параметров больше двух.
- тут не совсем так. Не, я понимаю, вы указываете на то, что я довольно предвзят к каким-то видам моделей, и это что-то похожее на ту самую опорную машину.
Да, все предвзяты, все ограничены теми методами выстраивания моделей, которые доступны человеческому интеллекту.
Но я не особенно пытаюсь моделировать человеческий интеллект.
Я отталкиваюсь вот от чего: есть концепция рационального агента.
Где проходит грань между интеллектом и рациональным агентом? В чём, собственно, разница? Если мы вернёмся к истокам, то рациональность как таковая зародилась в экономике. Макс Вебер, по-моему, первым начал говорить об обществе рациональных агентов. Он был социологом, но экономисты с радостью ухватились за эту модель, и начали поверх неё строить экономические модели. В процессе понятие "рационального агента" уточнялось, и в конечном итоге выяснилось, что "рациональный агент" -- это идеальная конструкция, которая в реальности не встречается. Но я к тому, что всё это происходило применительно к экономике, для моделирования экономических отношений, спрос/предложение, расчёт маргинальной стоимости, стоимость акций и тд, и тп.

А рациональность по Юдковскому -- это что-то типа интеллекта. Его байесианский суперинтеллект в первую очередь интеллект, во вторую построенный на байесианстве.

Поэтому я полагаю, что выводы, применимые к AIXI, хорошо переносятся на других рациональных агентов. Не на любые другие интеллекты, а на других РА
РА не может существовать вне интеллекта. Так же как душа не может существовать без тела, РА не может без интеллекта.
- я задумывался об этом. Я наблюдаю, что все эти задачи так или иначе завязаны на навигацию тела в пространстве и восприятию через глаза и уши (в меньшей степени через другие органы чувств). Все остальные задачи накручены поверх как многоуровневые абстракции. То есть в принципе можно было бы вывести единую предсказательную модель именно потому, что мы всегда смотрим через одни и те же сенсоры, в каком-то смысле. На практике эта модель была бы слишком огромная и не влезала бы в сознательную память, и работала бы как что-то типа машинлёрнинга, то есть чистый блэкбокс. Возможно, у нас даже есть такая модель, и именно она подсказывает, что мы увидим в следующую секунду.
Ы. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.01924/full

Там излагается теория сознания, и как раз об этом и говорится. Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории: сознание не имеет доступа к реальному процессу мышления, оно имеет дело с результатом, и оно выстраивает какие-то рационализации, объясняющие этот результат.

Тут немного контекста: "рационализация" -- это термин придуманный Фрейдом, это одна из его "психологических защит", которые использует человек, для минимизации негативных переживаний. Юдковский использует это слово в ином смысле -- это когда вывод известен заранее, а человек затем подгоняет рассуждение под вывод и не важно с какой целью он это делает. Здесь я использую "рационализацию" в смысле ближе к Юдковскому, и говорю, что любое рассуждение -- это результат рационализации. Рациональные рассуждения и нерациональные -- это результаты одного и того же процесса, разница лишь в используемых "логиках", то есть наборах правил, которые позволяют отличить верное рассуждение от неверного.

Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.

В таком случае её базовыми блоками являются, видимо, нейроны, а не что-то более абстрактное.
С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так. Если ты говоришь о свободе воли, и обосновываешь её существование/несуществование квантовой механикой: свобода воли существует где-то на уровне психологии или выше, в квантовой механике её нет. Если ты говоришь о жизни, и пытаешься найти её среди атомов, то ты гарантированно не найдёшь её так. Если ты говоришь об интеллекте, и говоришь о базовых блоках-нейронах, то что-то тут не то: интеллект это уже психология,  а нейроны -- физиология.

Ты, я подозреваю, хотел сказать, что психика -- слишком сложная вещь, настолько сложная, что любая её модель будет слишком сложной для человека. Но я бы не был столь категоричен, совместные усилия психологов и разработчиков AI могут как-нибудь разрулить ситуацию со временем.

Тогда... Окей, мои рассуждения о рациональных агентах не вполне переносятся на людей, которые РА не являются и не очень пытаются. Опорная машина не равна онтологии, это лишь базовый набор эвристик
А на кого они переносятся? У нас нет примера другого интеллекта, который мог бы быть носителем рациональности. Человек неидеальный носитель, но лучше ничего нет. А... хм... не, можно рассмотреть hive mind, или вообще интеллект группы. Скажем, институт науки -- это тоже своего рода интеллект. Но этот интеллект хоть и мощнее, и, быть может, рациональнее чем интеллект любого индивидуального человека, но он тоже не РА.

Но если попытаться вернуться к исходному сообщению. Его основной посыл, если я правильно понял, что любой интеллект (General Intelligence, заточенный под решение спектра задач сравнимого с тем, что доступно человеку), функционирующий в человеческом обществе, неизбежно придёт к понятию "души"? Я думаю, да. Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.

Категория "человек" возникает, мне кажется, неизбежно. А если мы начинаем учитывать разницу между разными людьми, то у нас возникает категория "личностные свойства", и комплекс личностных свойств человека -- это и есть, по-сути, душа.
9
Цитировать
Такая модель реальности -- это реальность. Для этого достаточно написать дифуры КМ, а всё остальное будет не кодом, а данными, начальными условиями для дифур.
- тут я вижу много проблем.
Во-первых, начальные условия ещё попробуй найди. Я не уверен, что это проще, чем построить нейросеть, например, которая даёт прогноз +- 0.01%.
Во-вторых... Допустим, мой ИИ смотрит на мир через датчики биржевого бота. Или через камеры беспилотника. Или через сенсоры ядерного реактора. Тут ещё построить бы модель, которая за данными этих датчиков улавливает квантмех.
В-третьих, это слишком тяжеловесная модель. Если мне нужен горизонт планирования на хотя бы час вперёд (и так раз в секунду), эта модель вряд ли годится.
Ну и в-четвёртых, КМ не является полной моделью мира, как ни прискорбно. Она плохо работает с гравитацией.
Я согласен, что модель выбирается под задачу. В случае с ИИ - скорее строится под задачу.
Я бы согласился, что такая модель реальности - это и есть реальность, если бы имел машину времени. А так - для принятия решений, у которых гарантировано хоть какое-то подобие оптимальности, нужно предвидеть будущее. Есть и другой подход, но об этом чуть позже.

Цитировать
И это неплохой пример тому, о чём я говорю. У тебя есть модель программирования, и ты пытаешься её натянуть на концепцию интеллекта. То есть у тебя заранее есть модель, и ты обтачиваешь напильником категорию "интеллект", чтобы она влезла в модель программирования. Что ты получишь в результате? Насколько твоя модель интеллекта, которую ты создашь, будет соответствовать реальному интеллекту?
- тут не совсем так. Не, я понимаю, вы указываете на то, что я довольно предвзят к каким-то видам моделей, и это что-то похожее на ту самую опорную машину.
Но я не особенно пытаюсь моделировать человеческий интеллект.
Я отталкиваюсь вот от чего: есть концепция рационального агента. Это идеальный игрок, который максимизирует полезность настолько хорошо, насколько это вообще возможно. Человек не является РА. Но человек может для достижения целей постараться действовать как РА. Не столь важно, будет ли РА реализован через человека или через ИИ - по идее, они будут выдавать схожие результаты. Узнав поведение одного, мы можем примерно знать поведение другого в сходных ситуациях.
Есть тот вид рационального агента, которого описывает Юдковский, пользуясь связкой терминов "инструментальная рациональность" и "эпистемологическая рациональность". Это... Если перевести его рассуждения на язык математики, получается AIXI, то есть примерно тот ИИ, который я описал. В идеале. На практике есть разные ограничения.
По идее, из концепции "максимизируй полезность" необязательно следует "для этого строй модели мира, тестируй их на практике, меняй их вероятности по теореме Байеса, а априорную вероятность выводи через Колмогоровскую сложность". Но... Я не видел чего-то лучше. Всё, что видел, является либо урезанными вариантами AIXI, и в связи с этим можно предсказать, где имено система навернётся. Либо различными порождениями эволюции и подобных процессов, где происходит выбор не в пространстве действий, а в пространстве стратегий, но такой подход намного менее эффективен по данным.
Поэтому я полагаю, что выводы, применимые к AIXI, хорошо переносятся на других рациональных агентов. Не на любые другие интеллекты, а на других РА

Цитировать
Было бы хорошо, если бы было так, но реально всё хуже. Человек учится решать простые задачи, эти задачи часто несвязаны друг с другом. Потом уровни абстракции повышаются, разные категоризации реальности (возникшие при решении разных классов задач) начинают перемешиваться, а потом человек приходит в школу, и начинает повышая уровни абстракции мышления копать вниз к микроустройству Вселенной. В результате получается такой бардак, что сам чёрт ногу сломит
- я задумывался об этом. Я наблюдаю, что все эти задачи так или иначе завязаны на навигацию тела в пространстве и восприятию через глаза и уши (в меньшей степени через другие органы чувств). Все остальные задачи накручены поверх как многоуровневые абстракции. То есть в принципе можно было бы вывести единую предсказательную модель именно потому, что мы всегда смотрим через одни и те же сенсоры, в каком-то смысле. На практике эта модель была бы слишком огромная и не влезала бы в сознательную память, и работала бы как что-то типа машинлёрнинга, то есть чистый блэкбокс. Возможно, у нас даже есть такая модель, и именно она подсказывает, что мы увидим в следующую секунду. В таком случае её базовыми блоками являются, видимо, нейроны, а не что-то более абстрактное.

Цитировать
И если мы берём и начинаем приписывать интеллект чему-то, что явно интеллекта не имеет, то мы начинаем использовать развитые нейронные сети (созданные для анализа и предсказания поведения других людей) для анализа этого чего-то. Последнее время я сознательно думаю о программах, как об одушевлённых сущностях.
- да, это полезная эвристика.
Тогда... Окей, мои рассуждения о рациональных агентах не вполне переносятся на людей, которые РА не являются и не очень пытаются. Опорная машина не равна онтологии, это лишь базовый набор эвристик

Цитировать
Зрительная кора хорошо развита? Почему бы не использовать её, думая о конечных группах?
- если воспринимать зрительную кору как набор эвристик (и аппаратное обеспечение, их поддерживающее), то да, выглядит разумно
10
- попробую тогда действовать несколько менее широко, чем эта теорема. Некий оптимизатор решает задачу "построить модель реальности так, чтобы эта модель уложилась в минимум кода и имела минимум погрешности".
Такая модель реальности -- это реальность. Для этого достаточно написать дифуры КМ, а всё остальное будет не кодом, а данными, начальными условиями для дифур.

И, я отмечу, это я не просто придираюсь к словам, это фундаментальная вещь: любая модель реальности -- это инструмент, заточенный под решение какого-то класса задач. Нет универсальной модели реальности. Универсальная модель реальности будет неотличима от реальности. Например, что такое "минимум погрешностей" определяется тем классом задач, которые ты собираешься решать, и тем какие требования задачи предъявляют к точности решения.

Модель реальности строится из базовых блоков, взятых из некоторого языка программирования. При построении модели у нас получится, что какие-то из блоков мы переиспользуем, и потому если оптимизатор достаточно быстро ведёт перебор, то он вынесет эти повторяющиеся блоки кода в функции. Это выглядит довольно разумным, потому что так бы действовал челвоек, так действует deep learning (более ранние слои порождают абстракции, которые используют более поздние слои).
Было бы хорошо, если бы было так, но реально всё хуже. Человек учится решать простые задачи, эти задачи часто несвязаны друг с другом. Потом уровни абстракции повышаются, разные категоризации реальности (возникшие при решении разных классов задач) начинают перемешиваться, а потом человек приходит в школу, и начинает повышая уровни абстракции мышления копать вниз к микроустройству Вселенной. В результате получается такой бардак, что сам чёрт ногу сломит. Психология 150 лет не может разобраться. Философы тысячелетиями голову ломают.

Цитировать
Детали, которые используются часто, окажутся сжаты в функции, вызовы функций относительно компактны в коде, так что по умолчанию AIXI будет плохо замечать сложность, скрытую за функциями.

И это неплохой пример тому, о чём я говорю. У тебя есть модель программирования, и ты пытаешься её натянуть на концепцию интеллекта. То есть у тебя заранее есть модель, и ты обтачиваешь напильником категорию "интеллект", чтобы она влезла в модель программирования. Что ты получишь в результате? Насколько твоя модель интеллекта, которую ты создашь, будет соответствовать реальному интеллекту?

Все доказательства теорем, которые ты будешь строить  в рамках этой модели -- будут доказывать теоремы об этой модели интеллекта, а не об интеллекте. Может быть эти теоремы можно распространить на интеллект, может быть нет. Откуда мы можем знать?

Цитировать
Такая расстановка априорных вероятностей выглядит для меня довольно плохой практикой. Кажется, довольно неправильно в любой непонятной ситуации искать проявления разума, причём часто ещё и нечеловеческого.

Это, возможно, наилучшая практика. Если гипотеза о том, что интеллект человека возник в результате социальных игр, то он заточен на то, чтобы моделировать работу других психик. И если мы берём и начинаем приписывать интеллект чему-то, что явно интеллекта не имеет, то мы начинаем использовать развитые нейронные сети (созданные для анализа и предсказания поведения других людей) для анализа этого чего-то. Последнее время я сознательно думаю о программах, как об одушевлённых сущностях. Когда я задаю вопрос программе "да, что ж тебе не хватает в этой жизни, сучара бацильная, зачем ты творишь эту пургу" -- это не просто способ спустить эмоции, это реальный вопрос, которым я озадачен, я так думаю.

Это то же самое, что ты пытаешься сделать с интеллектом, заталкивая его в модель программирования: ты очень хорошо научился мыслить в модели программирования, и для тебя естественно пытаться использовать её для всего, хоть самым отдалённым образом похожего на программирования. Это часто работает. Но надо знать ограничения метода, иначе можно сделать неверные или излишне категоричные выводы.

Добавлено 25 Августа 2020, 16:23:
Кстати:

Everything seems like a nail, when you are holding a hammer.
Всё выглядит гвоздём, когда ты держишь в руке молоток.

https://en.wikipedia.org/wiki/Law_of_the_instrument
https://ru.wikipedia.org/wiki/%D0%97%D0%BE%D0%BB%D0%BE%D1%82%D0%BE%D0%B9_%D0%BC%D0%BE%D0%BB%D0%BE%D1%82%D0%BE%D0%BA

Туда же до кучи, можно вспомнить анекдот, про поиски ключей там, где светло, а не там, где потерял.

Человеческие мозги так устроены. Математику осваивают через геометрию -- о рядах, группах, теории полей Галуа можно думать в геометрических терминах. Как это происходит сложно описать, но я проходил через это, и совершенно точно говорю: я визуализировал группы, когда думал о них. Я визуализировал гомоморфизмы. Я визуализировал ряды. Вся математика, которую мне вколачивали в голову на матмехе, каким-то образом у меня в голове рисовалась. У меня плохо с осознанием этих образов -- я научился их осознанно замечать недавно, когда учился на психфаке, до этого они иногда мелькали картинками, и я не обращал на них внимания и часто неосознавал вообще. Но всё мышление о математических проблемах идёт у меня через геометрические образы. Все слова типа "для любого эпсилона, существует дельта..." это лишь способ описания тех образов: я представляю себе картинку, и начинаю её описывать. И всегда так делал.

Зрительная кора хорошо развита? Почему бы не использовать её, думая о конечных группах?
Страницы: [1] 2 3 ... 10