Последние сообщения

Последние сообщения

Страницы: [1] 2 3 ... 10
1
Здравствуйте.

Простите за очень долгий ответ: форум полумёртный, вот случайно забрёл посмотреть, а что вообще тут происходит.

У вас очень интересная тема, если вдруг тут найдутся люди её обсудить, будет очень здорово.

Я сейчас попробую вспомнить, как работает местная админка, чтобы перенести тему в нужный раздел :)
2
Здравствуйте, друзья!

Я написал правила для НРИ по миру ГП-и-МРМ (пока краткую версию).
Мне нужна помощь с вычиткой, факт-чеккингом и редактурой,
если тут есть разбирающиеся или увлекающиеся НРИ было бы вообще чудесно!
Я могу оплатить труды (в разумных пределах из личных средств).
Буду рад любой помощи и сотрудничеству.

Добавлено 14 Января 2024, 11:45:
!простите, кажется я создал тему не в том разделе, её можно перенести?
3
Обсуждение книги / Re: Замечания о переводе
« Последний ответ от Zwibula 18 Сентября 2023, 07:55 »
Здравствуйте. Отмечу ещё несколько моментов.

Глава 39. Притворная мудрость. Часть 1
"Дамблдор продолжал смотреть на Гарри с каким-то странным выражением в старческих глазах" - однако, сами глаза не могут что-то выражать, это делают мимические мышцы вокруг них. Поэтому предложу "выражением глаз".

Глава 17
"— Но, думаю, мы с тобой фигуры одного цвета. Мальчик, который победил Волдеморта, и старик, который сдерживал его до твоего прихода" - тут возникает лёгкое двоение смысла: фразу можно понять и так, что старик сдерживал мальчика, а не Волдеморта.
Кроме того, о Гарри почти одновременно говорится во втором и третьем лице: "мальчик" и затем "твоего". (это даже более важная правка).
Предложу, например, такой вариант: "Старик, который сдерживал Волдеморта, и мальчик, который победил". Оборотом "до твоего прихода" в этом случае придётся пожертвовать ради цельности смысла.

Глава 26.
"Гарри поинтересовался, нельзя ли ему просто объяснить Крюкохвату" - "ему" и "Крюкохвату" стоят в одном падеже, и при прослушивании это резануло ухо. Предложу "не может ли он объяснить Крюкохвату".

И ещё раз хочу обратить ваше внимание на фразу из 84 главы: "Глава 84.
"Если же опекун мистера Лонгботтома будет столь беспечна" - очень неуклюже звучит, при том, что слово "опекунша" целиком словарное и даже не разговорное. Пожалуйста, исправьте. Если, конечно, сейчас у вас есть время и возможность для этого.
4
Общение / Постановка целей для искусственного интеллекта
« Последний ответ от Gradient 06 Декабря 2021, 18:39 »
Достаточно давно работаю над различными ИИ класса "обучение с подкреплением". То есть над "достигателями целей", "машинами результатов".
В теории всё вроде понятно, на практике модели обучаются туго, но вопрос не в этом. Как вообще можно сформулировать задачу для ИИ? Задачу, касающуюся реального мира, вроде "сделай, чтобы у меня на столе был кг золота" или "сделай, чтобы вот этот больной человек стал здоровым".
Ведь ИИ - не человек, с которым можно поговорить. Это система автоматического управления в незнакомой среде.

Вообще, какие есть известные варианты задания цели?
1) Через подкрепление. Мы можем сделать, чтобы ИИ получал сигнал подкрепления и старался делать то, что этот сигнал будет максимизировать. Таким образом можно обучить его достижению любой цели, но он потратит огромную кучу времени, даже чтобы просто выяснить, чего мы от него хотим. И даже если мы будет очень хорошо понимать, за что давать подкрепления, а за что - нет, то всё равно передать ему эту функцию цели - задолбаешься. То есть допустим мы хотим, чтобы ИИ, будучи помещённым в Doom, открыл на карте жёлтую дверь. Каким бы умным он ни был, и как бы ни понимал игру, ему всё равно придётся искать ту комбинацию действий, что приведёт к награде, а потом ещё разбираться, а что конкретно дало награду, потому что в кадре в этот момент много всего было.
2) Явно показать цель. Делаем ИИ, который будет явно просчитывать траекторию, и делаем функцию, которая оценивает предсказанные им кадры. Плюс к том, что мы можем сделать кучу кадров жёлтой двери, открытой и закрытой, и на этих кадрах разметить датасет для предсказания наград. Либо мы даже можем подать ему в качестве цели скриншот с полуоткрытой жёлтой дверью. Тогда ИИ в крайнем случае сможет перебрать траектории "в уме" и найти ту, которая приведёт к открытию этой двери. Без того, чтобы ставить кучу опытов на территории.
3) Сделать некий язык описания целей. ИИ всё так же явно предсказывает свои траектории, но на этот раз оценщик траекторий устроен иначе. Это некая нейросеть, которая по описанию цели и кадру выдаёт сигнал награды. Например, оценщик понимает такие слова, как дверь, жёлтая, открыть. И ещё пару десятков слов. И у него в датасете есть пары: [дверь, синяя, открыть] (и кадр синей открываемой двери) - и сигнал награды 1. [дверь, красная, открыть] (и кадр жёлтой открываемой двери) - и сигнал награды 0. И много тому подобных пар. В общем, оценщик обучен на них, и может, имея описание цели, понять, достигнута ли она.

Но в реальности у нас ситуация будет ещё сложнее, чем в игре. В реальности, если у нас будет сильный (то есть работающий в +- любом энвайронменте, а не человекоподобный) ИИ, то какие задачи мы ему захотим ставить? Те, которые сами не тянем. Излечить человека, построить ракету до Альфы Центавра, сделать передо мной килограмм золота. Как такую цель сформулировать, имея довольно небогатый арсенал средств общения с ИИ?

Я пытался запустить такое обсуждение на хабре, но результат меня не вдохновил.
https://habr.com/ru/post/538522/

Отдельно есть ещё вопрос. Вот есть у нас, допустим, самоулучшающийся ИИ. Как ставить задачи ему?
Когда я задаюсь вопросом, как вообще такой ИИ сделать, получается, что одна и та же архитектура должна решать и задачи динамической оптимизации (ну то есть задачи управления), и задачи статической оптимизации (что-то вроде задачи эволюции или градиентного спуска). Это ощутимо разные задачи, в динамической задаче у нас есть ось времени, и мы не можем попасть в прошлое. В статической же задаче у нас огромное число наблюдаемых и управляемых переменных - миллион для небольшой нейросети. Для того, чтобы ИИ улучшил себя, он должен решать статическую задачу, а чтобы он чем-то управлял, он должен решать задачу динамическую. И единственная величина, которая мне видится общей для обеих задач - это сигнал подкрепления. То есть как сделать явную постановку цели - неочевидно.
5
Общение / confounder
« Последний ответ от kuuff 01 Августа 2021, 23:28 »
Привет. Тут есть кто ещё живой?

В процессе перевода у меня тут возникла проблема. Есть в статистике термин confounder, и упоминаний его в русскоязычной литературе мне не найти. Что он означает в статистике я не буду излагать, там всё мутно очень, но в книжке, которую я перевожу, даётся чёткое определение, и я опишу его в терминах книги, чтобы было понятно о чём речь. Если у нас есть три переменные, состояния которых мы можем наблюдать (например, A, B и C), то они могут быть связаны причинно-следственными связями, и иногда эта связь выглядит так: A←B→C, и в этом случае B -- это confounder. То есть если мы совершим интервенцию в реальность и изменим значение B, то следом изменятся значения A и C. Если интервенцией мы будем менять A или C, то меняться будет только та переменная, которую мы меняем, а значения других не изменятся.

Ну так вот, это присказка была. Проблема в том, что а) confounding -- одна из ключевых тем книги; б) автор активно использует однокоренные слова, типа "to confound", "confounding" (причём и как существительное, и как прилагательное), "deconfounding", "deconfounder", и даже "to deconfound". То есть, если бы автор органичился словом "confounder", то я бы перевёл как "общая причина" и не парился бы.  Если бы "конфаундер" допускал бы словообразование согласно правилам русского языка, то я бы на этом и успокоился. Но это не очень работает, ниже примеры. Я сопроводил их условным переводом, исходя из идеи, что "confounding" -- сопричинность, а "to confound" -- сопричинивать.

- "confounding and deconfounding" -- заголовок главы, "сопричинность и рассопричинивание"
- "confounding bias occurs when ..." -- тут возникает производный термин "confounding bias" -- "сопричинный bias возникает тогда, когда..." (bias самостоятельная проблема, но поменьше масштабом).
- "sometimes confounders are known" -- "иногда сопричинные переменные известны"
- confounding variable -- то же самое что confounder, но как? "сопричинная переменная"? "сопричиняющая переменная"? "сопричинятор"?
- set of deconfounders -- "множество рассопричинивающих переменных", "множество рассопричиняторов"?
- this methods totally deconfounded the confounding problem -- это на грани каламбура, а может и за гранью, можно при желании положить болт, и написать обычным языком "методы полностью распутали запутанную проблему сопричинности", но если сохранять, то выходит "методы полностью рассопричинили проблему сопричинности".

И я уже вообще без идей чё делать. Я пробовал более буквальный перевод "confound" -- "соосновать", но как-то не фонтан выходит. Я уже скатился на идеи вида "confound"  -- "совокуплять": "совокупление и десовокупление", "набор десовокупляторов", "рассовокупить", "совокупляющая переменная": если бы не ассоциации с сексом было бы превосходно, но -- увы -- куда ж от них деться. Да и "рассовокупить" навскидку непонятно как читать: "рас совок купить"? "рассово купить"? Но это мне кажется не очень важно.

У меня конечно есть отходной путь -- "оставить как есть", то есть писать в русском тексте confounder, confound'ить, снимая с себя любую ответственность. Или перевести confounder как "общая причина", а потом городить огород деепричастных оборотов и зависимых предложений, заменяя термины их определениями. Но брр... очень не хочется.

Any ideas? Можно даже дурацкие идеи или откровенно клоунские "на поржать": если они и окажутся не очень, то может натолкнут меня на что-то.
6
Рациональность / The Book of Why
« Последний ответ от kuuff 25 Марта 2021, 22:27 »
Читали такую книжку? Если нет, то я очень рекомендую.

Байесианство -- это прошлый век. Judea Pearl с тех пор придумал кой-что покруче: causal inference. (не знаю как лучше перевести: "причинный вывод" мне слишком напоминает про причинное место, поэтому пускай будет "каузальный вывод"). И его наработки вырывают мозг, когда после неё думаешь о причинах и следствиях в реальности, ощущение будто наконец-то картинка попала в фокус, и вместо туманных очертаний мыслей видишь чёткие и резкие границы их.

Я, почитав Юдковского, копал тему глубже, в частности и курс экспериментальной психологии одолел, который весь посвящён тому, как измерить причинно-следственную связь, тому как теория связана с реальностью, и тому подобным вещам. И там немало говорилось о том, как матстатистика может помочь в этом. Но в курсе экспериментальной психологии преподы прямо и чётко говорили: единственный способ измерить причинно-следственную связь -- это эксперимент, то есть исследование, в котором экспериментатор управляет тем фактором, который считает причиной, и смотрит на другой фактор, который он считает следствием. Он набирает данных, считает статистикой, и делает вывод. Помимо эксперимента есть и другие способы исследования, но они в лучшем случае меряют корреляцию. И хоть некоторые и близки к каузальности, но всё равно корреляционная хрень и зашквар.

Так говорила экспериментальная психология, но я почитал Judea Pearl... Его подход: данные это не всё. Если у нас есть теоретическая модель изучаемого явления, то из неё мы можем предположить как там причинно-следственные связи выстроены и нарисовать диаграммку, по-типу байесианской сети, но не совсем. А потом, глядя на эту диаграммку, мы можем прикинуть какие данные мы можем собрать, и какие нам нужны для того, чтобы измерить вес каждой из предположенной причинно-следственной связи, то есть вклад этой причинно-следственной связи в результат.

Этим дело, естественно не ограничивается -- counterfactuals, например, позволяют решать задачки типа: "Дано: ДТП с нетрезвым водителем, он уворачивался от пешехода и вошёл в столб. Какова вероятность, что его нетрезвость была причиной ДТП, и какова вероятность, что причиной было опасное поведение пешехода?" В смысле ответы на counterfactual вопросы типа "если бы водитель был трезв, ДТП бы всё равно произошло или нет?" Или mediation -- если мы видим, что средняя зарплата женщин в компании ниже чем средняя зарплата у мужчин, то почему так? Потому что женщин дискриминируют в компании, или потому что у женщин в более низкая квалификация? Все эти курсы экспериментальной психологии и матстатистики и даже байесианство не подготовили меня к такому вопросу, я искренне считал, что ответить на него невозможно. Ну вы сами прикиньте: пол явно влияет на зарплату, вопрос в том, влияет ли он через дискриминацию или через квалификацию. Как это можно распутать? Но Перл объясняет как.

Когда я читал про байесианство, возможность ответить на вопрос "сколько локомотивов в компании X, если мы видели один её локомотив и у него номер 7" казалась мне мозговыносящей. Сейчас я прочитал The Book of Why, и у меня то же самое чувство: я могу осмысленно рассуждать о вещах, и при наличии данных делать осмысленные выводы в тех ситуациях, в которых раньше я даже помыслить не мог о возможности осмысленно рассуждать.

Короче, я очень рекомендую взять и почитать. Книга написана для самой широкой аудитории. Она, тем не менее, местами требует морщить мозг, но, во-первых, местами, во-вторых, не запредельно, а в-третьих, результат выносит мозг, почище любой травы.
7
Обсуждение книги / Re: Дамблдор
« Последний ответ от Nikolai 06 Марта 2021, 16:44 »
И он прав - по крайней мере по канону, Поттеров всегда тянуло к рыжим ведьмам.

Тогда нужно рассматривать каштановый цвет волос, как очень тёмно-рыжий. Тем более, что на уровне генов это имеет смысл.  ;)
8
Общение / ссылка на форум с главной страницы.
« Последний ответ от a_konst 04 Января 2021, 10:57 »
На главной странце lesswrong.ru не вижу ссылки на форум.
Конечно, форум уже давно скорее мертв, чем жив - но тут есть старые интересные обсуждения.
9
Цитировать
Значит оптимизационных параметров больше двух.
- я бы сказал, их очень много...
Цитировать
Где проходит грань между интеллектом и рациональным агентом?
- хороший вопрос, заставляет привести свои мысли в порядок =) Я бы провёл границу так. Интеллект - это такой планировщик, достигатель целей в реальном мире. А РА - это частный случай интеллекта, наиболее эффективный (скорее всего, соответствует байесовому теорверу, теории принятия решений и использует формализацию бритвы Оккама для априорной оценки гипотез). То есть у не-РА мы будем замечать какие-либо систематические ошибки, которые он не зарешает, даже если у него будет куча времени, статистики и мотивации. Либо будет зарешивать какими-то ужасающе затратными способами (например, учить таблицу умножения наизусть вместо того, чтобы запрограммировать алгоритмы, её порождающие, в своей вычислительной системе, или подбирать линейную зависимость решающим деревом). Кроме того, он, возможно, будет систематически промахиваться с точки зрения теории полезности - делать ставки на что-то проигрышное, даже если может правильно посчитать матожидание выигрыша.
Откуда у меня вообще идея, что человек отличается от РА (ну кроме того, что человек не может запрограммировать себе в мозг калькулятор и имеет когнитивные искажения)? Оттуда, что я не могу сформулировать для него глобальную функцию полезности. Получается настолько сложная функция, что я понимаю, что с таким подходом можно записать функцию полезности для вообще чего угодно, в том числе неразумного. Поэтому я делаю такое упрощение: человека иногда можно рассматривать как РА - обычно в такие моменты, когда он сознательно чего-то хочет. Есть и некоторые другие случаи, но этот основной. Ну, то есть критерий - есть относительно простая, измеримая цель, и поведение человека достаточно хорошо описывается стремлением к этой цели, хитрым и изобретательным стремлением. Вот в такие моменты он как-то приближается к РА. В остальное время... Не скажу, что человек не рационален, но отмечу это как спорное утверждение.

Полагаю, я видел нечто, более близкое к РА, чем люди. Это системы ИИ вида "обучение с подкреплением", которые работают на относительно малых задачах. Когда у человека нет знаний, релевантных задаче, и задачу не удаётся свалить на зрительную кору, человек и машина оказываются примерно в равных условиях. На задачах небольшой размерности (5-50 входов) машина, по моим наблюдениям, обычно играет лучше. На более крупных задачах теста не было, да я и с трудом представляю себе, кто согласится побыть в роли ИИ, когда на входе 500 датчиков неизвестно чего, а на выходе какой-то сигнал подкрепления, и надо принять хотя бы 100-200 решений подряд. Я пробовал использовать и напрямую байесовскую систему принятия решений - она обучается лучше и быстрее всех, но сколько-нибудь большое число датчиков уводит её в комбинаторный взрыв.

Цитировать
Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории... [] Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.
- теория мне и самому нравится, она хорошо описывает нашу способность описать, что происходит в мышлении, но неспособность это запрограммировать =) И без практики даже неспособность понять, что что-то не так.
Поэтому я и не претендую на понимание того, что происходит в умах у людей, а отталкиваюсь от модели РА. Модель простая и... Очень похоже, что она описывает наболее выигрышные стратегии. Условно, если я знаю, что РА стал бы идеалистом в такой-то ситуации почти независимо от системы целей - значит, и мне стоит.

Цитировать
С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так
- да, я согласен. Грубовато выразился.
Чуть детализирую. Мозг - система управления, у него есть сенсоры, актуаторы (входы и выходы) и передаточная функция. У нейронов тоже есть входы, выходы и передаточная функция. Входы - это не только синапсы, это ещё и... Например, датчики гормонов. Это упрощение, но его можно неограниченно приближать к эмпирическим данным, либо проигнорировать какие-то виды воздействий.
Если бы меня спросили, из чего искусственная нейросеть (вот данная конкретная) собирает аппроксимацию, я бы ответил что-то вроде такого: нейронка аппроксимирует суперпозицией из функций ReLu, которые являются комбинацией линейной функции и константы. Так же нейронка умеет брать взвешенные суммы от этих функций. Есть ещё кое-какие ограничения, но список доступных операций вот. Умножения двух переменных, например, там нет, как и пороговой функции.
Если задать такой вопрос применительно к человеческому мозгу, то... Я знаю про нейроны, которые умеют искать взвешенные суммы, а он них брать сигмоиду. Наверняка это не исчерпывающий список, и мозг поддерживает на низком уровне какие-то ещё операции. Я не знаю точно, как строит модели человеческий мозг, но если моделями являют обученные нейросети, то "базовые блоки" для них - это взвешенная сумма, сигмоида и какие-то ещё функции, о которых я пока не знаю.
Может быть, над нейронами есть ещё какие-то уровни абстракции - то есть может, у человека есть какие-то стандартные микросхемы из нейронов, которые выполняют какие-то типичные операции и применяются плюс-минус по всему мозгу. И модели состоят именно из этих стандартных решателей, а обучать модель из одних только сигмоид и взвешенных сумм мозг не умеет. Если окажется так, то моя идея "для человека базовый блок - это нейрон, в математическом смысле" будет неверна.
Цитировать
интеллект это уже психология,  а нейроны -- физиология
- разумеется. Только мне неизвестен хороший способ свести психологию к физиологии. Теоретически они сводимы, но модели у нас пока нет. А вот матмодель нейрона уже построена... Много моделей построено, с разным уровнем детализации. Если смотреть только на поведение человека, то по идее, оно будет сводимо к поведению системы "математических" нейронов. По идее, это никто напрямую не проверял, вполне возможно, что современные матмодели делают акцент на чём-то не том, и потому из современных "абстрактных нейронов" соберётся неработающий мозг.

Цитировать
А на кого они переносятся?
- на ИИ (в данном случае малоценно) и ограниченно - на человека, стремящегося к цели, именно в процессе этого стремления. То есть если я знаю, как поступил бы РА, мне, вероятно, стоит поступить так же.

Цитировать
Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.
- да, в такой формулировке выглядит менее дико, чем "оно станет идеалистом, а оно явно лучше меня знает, что делать". Редукционизм)))
10
- тут я вижу много проблем.
Во-первых, начальные условия ещё попробуй найди.
[...]
Ну и в-четвёртых, КМ не является полной моделью мира, как ни прискорбно. Она плохо работает с гравитацией.
Значит оптимизационных параметров больше двух.
- тут не совсем так. Не, я понимаю, вы указываете на то, что я довольно предвзят к каким-то видам моделей, и это что-то похожее на ту самую опорную машину.
Да, все предвзяты, все ограничены теми методами выстраивания моделей, которые доступны человеческому интеллекту.
Но я не особенно пытаюсь моделировать человеческий интеллект.
Я отталкиваюсь вот от чего: есть концепция рационального агента.
Где проходит грань между интеллектом и рациональным агентом? В чём, собственно, разница? Если мы вернёмся к истокам, то рациональность как таковая зародилась в экономике. Макс Вебер, по-моему, первым начал говорить об обществе рациональных агентов. Он был социологом, но экономисты с радостью ухватились за эту модель, и начали поверх неё строить экономические модели. В процессе понятие "рационального агента" уточнялось, и в конечном итоге выяснилось, что "рациональный агент" -- это идеальная конструкция, которая в реальности не встречается. Но я к тому, что всё это происходило применительно к экономике, для моделирования экономических отношений, спрос/предложение, расчёт маргинальной стоимости, стоимость акций и тд, и тп.

А рациональность по Юдковскому -- это что-то типа интеллекта. Его байесианский суперинтеллект в первую очередь интеллект, во вторую построенный на байесианстве.

Поэтому я полагаю, что выводы, применимые к AIXI, хорошо переносятся на других рациональных агентов. Не на любые другие интеллекты, а на других РА
РА не может существовать вне интеллекта. Так же как душа не может существовать без тела, РА не может без интеллекта.
- я задумывался об этом. Я наблюдаю, что все эти задачи так или иначе завязаны на навигацию тела в пространстве и восприятию через глаза и уши (в меньшей степени через другие органы чувств). Все остальные задачи накручены поверх как многоуровневые абстракции. То есть в принципе можно было бы вывести единую предсказательную модель именно потому, что мы всегда смотрим через одни и те же сенсоры, в каком-то смысле. На практике эта модель была бы слишком огромная и не влезала бы в сознательную память, и работала бы как что-то типа машинлёрнинга, то есть чистый блэкбокс. Возможно, у нас даже есть такая модель, и именно она подсказывает, что мы увидим в следующую секунду.
Ы. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.01924/full

Там излагается теория сознания, и как раз об этом и говорится. Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории: сознание не имеет доступа к реальному процессу мышления, оно имеет дело с результатом, и оно выстраивает какие-то рационализации, объясняющие этот результат.

Тут немного контекста: "рационализация" -- это термин придуманный Фрейдом, это одна из его "психологических защит", которые использует человек, для минимизации негативных переживаний. Юдковский использует это слово в ином смысле -- это когда вывод известен заранее, а человек затем подгоняет рассуждение под вывод и не важно с какой целью он это делает. Здесь я использую "рационализацию" в смысле ближе к Юдковскому, и говорю, что любое рассуждение -- это результат рационализации. Рациональные рассуждения и нерациональные -- это результаты одного и того же процесса, разница лишь в используемых "логиках", то есть наборах правил, которые позволяют отличить верное рассуждение от неверного.

Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.

В таком случае её базовыми блоками являются, видимо, нейроны, а не что-то более абстрактное.
С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так. Если ты говоришь о свободе воли, и обосновываешь её существование/несуществование квантовой механикой: свобода воли существует где-то на уровне психологии или выше, в квантовой механике её нет. Если ты говоришь о жизни, и пытаешься найти её среди атомов, то ты гарантированно не найдёшь её так. Если ты говоришь об интеллекте, и говоришь о базовых блоках-нейронах, то что-то тут не то: интеллект это уже психология,  а нейроны -- физиология.

Ты, я подозреваю, хотел сказать, что психика -- слишком сложная вещь, настолько сложная, что любая её модель будет слишком сложной для человека. Но я бы не был столь категоричен, совместные усилия психологов и разработчиков AI могут как-нибудь разрулить ситуацию со временем.

Тогда... Окей, мои рассуждения о рациональных агентах не вполне переносятся на людей, которые РА не являются и не очень пытаются. Опорная машина не равна онтологии, это лишь базовый набор эвристик
А на кого они переносятся? У нас нет примера другого интеллекта, который мог бы быть носителем рациональности. Человек неидеальный носитель, но лучше ничего нет. А... хм... не, можно рассмотреть hive mind, или вообще интеллект группы. Скажем, институт науки -- это тоже своего рода интеллект. Но этот интеллект хоть и мощнее, и, быть может, рациональнее чем интеллект любого индивидуального человека, но он тоже не РА.

Но если попытаться вернуться к исходному сообщению. Его основной посыл, если я правильно понял, что любой интеллект (General Intelligence, заточенный под решение спектра задач сравнимого с тем, что доступно человеку), функционирующий в человеческом обществе, неизбежно придёт к понятию "души"? Я думаю, да. Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.

Категория "человек" возникает, мне кажется, неизбежно. А если мы начинаем учитывать разницу между разными людьми, то у нас возникает категория "личностные свойства", и комплекс личностных свойств человека -- это и есть, по-сути, душа.
Страницы: [1] 2 3 ... 10