Главное > Рациональность
О рациональном агенте, опорной машине и идеализме
kuuff:
--- Цитата: Gradient от 25 Августа 2020, 18:16 --- - тут я вижу много проблем.
Во-первых, начальные условия ещё попробуй найди.
[...]
Ну и в-четвёртых, КМ не является полной моделью мира, как ни прискорбно. Она плохо работает с гравитацией.
--- Конец цитаты ---
Значит оптимизационных параметров больше двух.
--- Цитата: Gradient от 25 Августа 2020, 18:16 --- - тут не совсем так. Не, я понимаю, вы указываете на то, что я довольно предвзят к каким-то видам моделей, и это что-то похожее на ту самую опорную машину.
--- Конец цитаты ---
Да, все предвзяты, все ограничены теми методами выстраивания моделей, которые доступны человеческому интеллекту.
--- Цитата: Gradient от 25 Августа 2020, 18:16 ---Но я не особенно пытаюсь моделировать человеческий интеллект.
Я отталкиваюсь вот от чего: есть концепция рационального агента.
--- Конец цитаты ---
Где проходит грань между интеллектом и рациональным агентом? В чём, собственно, разница? Если мы вернёмся к истокам, то рациональность как таковая зародилась в экономике. Макс Вебер, по-моему, первым начал говорить об обществе рациональных агентов. Он был социологом, но экономисты с радостью ухватились за эту модель, и начали поверх неё строить экономические модели. В процессе понятие "рационального агента" уточнялось, и в конечном итоге выяснилось, что "рациональный агент" -- это идеальная конструкция, которая в реальности не встречается. Но я к тому, что всё это происходило применительно к экономике, для моделирования экономических отношений, спрос/предложение, расчёт маргинальной стоимости, стоимость акций и тд, и тп.
А рациональность по Юдковскому -- это что-то типа интеллекта. Его байесианский суперинтеллект в первую очередь интеллект, во вторую построенный на байесианстве.
--- Цитата: Gradient от 25 Августа 2020, 18:16 ---Поэтому я полагаю, что выводы, применимые к AIXI, хорошо переносятся на других рациональных агентов. Не на любые другие интеллекты, а на других РА
--- Конец цитаты ---
РА не может существовать вне интеллекта. Так же как душа не может существовать без тела, РА не может без интеллекта.
--- Цитата: Gradient от 25 Августа 2020, 18:16 --- - я задумывался об этом. Я наблюдаю, что все эти задачи так или иначе завязаны на навигацию тела в пространстве и восприятию через глаза и уши (в меньшей степени через другие органы чувств). Все остальные задачи накручены поверх как многоуровневые абстракции. То есть в принципе можно было бы вывести единую предсказательную модель именно потому, что мы всегда смотрим через одни и те же сенсоры, в каком-то смысле. На практике эта модель была бы слишком огромная и не влезала бы в сознательную память, и работала бы как что-то типа машинлёрнинга, то есть чистый блэкбокс. Возможно, у нас даже есть такая модель, и именно она подсказывает, что мы увидим в следующую секунду.
--- Конец цитаты ---
Ы. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.01924/full
Там излагается теория сознания, и как раз об этом и говорится. Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории: сознание не имеет доступа к реальному процессу мышления, оно имеет дело с результатом, и оно выстраивает какие-то рационализации, объясняющие этот результат.
Тут немного контекста: "рационализация" -- это термин придуманный Фрейдом, это одна из его "психологических защит", которые использует человек, для минимизации негативных переживаний. Юдковский использует это слово в ином смысле -- это когда вывод известен заранее, а человек затем подгоняет рассуждение под вывод и не важно с какой целью он это делает. Здесь я использую "рационализацию" в смысле ближе к Юдковскому, и говорю, что любое рассуждение -- это результат рационализации. Рациональные рассуждения и нерациональные -- это результаты одного и того же процесса, разница лишь в используемых "логиках", то есть наборах правил, которые позволяют отличить верное рассуждение от неверного.
Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.
--- Цитата: Gradient от 25 Августа 2020, 18:16 ---В таком случае её базовыми блоками являются, видимо, нейроны, а не что-то более абстрактное.
--- Конец цитаты ---
С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так. Если ты говоришь о свободе воли, и обосновываешь её существование/несуществование квантовой механикой: свобода воли существует где-то на уровне психологии или выше, в квантовой механике её нет. Если ты говоришь о жизни, и пытаешься найти её среди атомов, то ты гарантированно не найдёшь её так. Если ты говоришь об интеллекте, и говоришь о базовых блоках-нейронах, то что-то тут не то: интеллект это уже психология, а нейроны -- физиология.
Ты, я подозреваю, хотел сказать, что психика -- слишком сложная вещь, настолько сложная, что любая её модель будет слишком сложной для человека. Но я бы не был столь категоричен, совместные усилия психологов и разработчиков AI могут как-нибудь разрулить ситуацию со временем.
--- Цитата: Gradient от 25 Августа 2020, 18:16 ---Тогда... Окей, мои рассуждения о рациональных агентах не вполне переносятся на людей, которые РА не являются и не очень пытаются. Опорная машина не равна онтологии, это лишь базовый набор эвристик
--- Конец цитаты ---
А на кого они переносятся? У нас нет примера другого интеллекта, который мог бы быть носителем рациональности. Человек неидеальный носитель, но лучше ничего нет. А... хм... не, можно рассмотреть hive mind, или вообще интеллект группы. Скажем, институт науки -- это тоже своего рода интеллект. Но этот интеллект хоть и мощнее, и, быть может, рациональнее чем интеллект любого индивидуального человека, но он тоже не РА.
Но если попытаться вернуться к исходному сообщению. Его основной посыл, если я правильно понял, что любой интеллект (General Intelligence, заточенный под решение спектра задач сравнимого с тем, что доступно человеку), функционирующий в человеческом обществе, неизбежно придёт к понятию "души"? Я думаю, да. Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.
Категория "человек" возникает, мне кажется, неизбежно. А если мы начинаем учитывать разницу между разными людьми, то у нас возникает категория "личностные свойства", и комплекс личностных свойств человека -- это и есть, по-сути, душа.
Gradient:
--- Цитировать ---Значит оптимизационных параметров больше двух.
--- Конец цитаты ---
- я бы сказал, их очень много...
--- Цитировать ---Где проходит грань между интеллектом и рациональным агентом?
--- Конец цитаты ---
- хороший вопрос, заставляет привести свои мысли в порядок =) Я бы провёл границу так. Интеллект - это такой планировщик, достигатель целей в реальном мире. А РА - это частный случай интеллекта, наиболее эффективный (скорее всего, соответствует байесовому теорверу, теории принятия решений и использует формализацию бритвы Оккама для априорной оценки гипотез). То есть у не-РА мы будем замечать какие-либо систематические ошибки, которые он не зарешает, даже если у него будет куча времени, статистики и мотивации. Либо будет зарешивать какими-то ужасающе затратными способами (например, учить таблицу умножения наизусть вместо того, чтобы запрограммировать алгоритмы, её порождающие, в своей вычислительной системе, или подбирать линейную зависимость решающим деревом). Кроме того, он, возможно, будет систематически промахиваться с точки зрения теории полезности - делать ставки на что-то проигрышное, даже если может правильно посчитать матожидание выигрыша.
Откуда у меня вообще идея, что человек отличается от РА (ну кроме того, что человек не может запрограммировать себе в мозг калькулятор и имеет когнитивные искажения)? Оттуда, что я не могу сформулировать для него глобальную функцию полезности. Получается настолько сложная функция, что я понимаю, что с таким подходом можно записать функцию полезности для вообще чего угодно, в том числе неразумного. Поэтому я делаю такое упрощение: человека иногда можно рассматривать как РА - обычно в такие моменты, когда он сознательно чего-то хочет. Есть и некоторые другие случаи, но этот основной. Ну, то есть критерий - есть относительно простая, измеримая цель, и поведение человека достаточно хорошо описывается стремлением к этой цели, хитрым и изобретательным стремлением. Вот в такие моменты он как-то приближается к РА. В остальное время... Не скажу, что человек не рационален, но отмечу это как спорное утверждение.
Полагаю, я видел нечто, более близкое к РА, чем люди. Это системы ИИ вида "обучение с подкреплением", которые работают на относительно малых задачах. Когда у человека нет знаний, релевантных задаче, и задачу не удаётся свалить на зрительную кору, человек и машина оказываются примерно в равных условиях. На задачах небольшой размерности (5-50 входов) машина, по моим наблюдениям, обычно играет лучше. На более крупных задачах теста не было, да я и с трудом представляю себе, кто согласится побыть в роли ИИ, когда на входе 500 датчиков неизвестно чего, а на выходе какой-то сигнал подкрепления, и надо принять хотя бы 100-200 решений подряд. Я пробовал использовать и напрямую байесовскую систему принятия решений - она обучается лучше и быстрее всех, но сколько-нибудь большое число датчиков уводит её в комбинаторный взрыв.
--- Цитировать ---Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории... [] Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.
--- Конец цитаты ---
- теория мне и самому нравится, она хорошо описывает нашу способность описать, что происходит в мышлении, но неспособность это запрограммировать =) И без практики даже неспособность понять, что что-то не так.
Поэтому я и не претендую на понимание того, что происходит в умах у людей, а отталкиваюсь от модели РА. Модель простая и... Очень похоже, что она описывает наболее выигрышные стратегии. Условно, если я знаю, что РА стал бы идеалистом в такой-то ситуации почти независимо от системы целей - значит, и мне стоит.
--- Цитировать ---С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так
--- Конец цитаты ---
- да, я согласен. Грубовато выразился.
Чуть детализирую. Мозг - система управления, у него есть сенсоры, актуаторы (входы и выходы) и передаточная функция. У нейронов тоже есть входы, выходы и передаточная функция. Входы - это не только синапсы, это ещё и... Например, датчики гормонов. Это упрощение, но его можно неограниченно приближать к эмпирическим данным, либо проигнорировать какие-то виды воздействий.
Если бы меня спросили, из чего искусственная нейросеть (вот данная конкретная) собирает аппроксимацию, я бы ответил что-то вроде такого: нейронка аппроксимирует суперпозицией из функций ReLu, которые являются комбинацией линейной функции и константы. Так же нейронка умеет брать взвешенные суммы от этих функций. Есть ещё кое-какие ограничения, но список доступных операций вот. Умножения двух переменных, например, там нет, как и пороговой функции.
Если задать такой вопрос применительно к человеческому мозгу, то... Я знаю про нейроны, которые умеют искать взвешенные суммы, а он них брать сигмоиду. Наверняка это не исчерпывающий список, и мозг поддерживает на низком уровне какие-то ещё операции. Я не знаю точно, как строит модели человеческий мозг, но если моделями являют обученные нейросети, то "базовые блоки" для них - это взвешенная сумма, сигмоида и какие-то ещё функции, о которых я пока не знаю.
Может быть, над нейронами есть ещё какие-то уровни абстракции - то есть может, у человека есть какие-то стандартные микросхемы из нейронов, которые выполняют какие-то типичные операции и применяются плюс-минус по всему мозгу. И модели состоят именно из этих стандартных решателей, а обучать модель из одних только сигмоид и взвешенных сумм мозг не умеет. Если окажется так, то моя идея "для человека базовый блок - это нейрон, в математическом смысле" будет неверна.
--- Цитировать ---интеллект это уже психология, а нейроны -- физиология
--- Конец цитаты ---
- разумеется. Только мне неизвестен хороший способ свести психологию к физиологии. Теоретически они сводимы, но модели у нас пока нет. А вот матмодель нейрона уже построена... Много моделей построено, с разным уровнем детализации. Если смотреть только на поведение человека, то по идее, оно будет сводимо к поведению системы "математических" нейронов. По идее, это никто напрямую не проверял, вполне возможно, что современные матмодели делают акцент на чём-то не том, и потому из современных "абстрактных нейронов" соберётся неработающий мозг.
--- Цитировать ---А на кого они переносятся?
--- Конец цитаты ---
- на ИИ (в данном случае малоценно) и ограниченно - на человека, стремящегося к цели, именно в процессе этого стремления. То есть если я знаю, как поступил бы РА, мне, вероятно, стоит поступить так же.
--- Цитировать ---Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.
--- Конец цитаты ---
- да, в такой формулировке выглядит менее дико, чем "оно станет идеалистом, а оно явно лучше меня знает, что делать". Редукционизм)))
Навигация
Перейти к полной версии