Я еще подумал над тем, что я называю "оценкой". И пришел к выводу, что ничего другого, кроме "принимающего решения агента" у меня нет (за исключением подсознательных "человеческих" оценок).
В ядре рациональности лежит теория принятия решений и агенты, принимающие решения. Которая не делает разницы между прошлым и будущем. Да, прошлое - сложная штука, и мы не знаем наверняка, что произошло бы, но, как и всегда, когда мы не знаем наверняка (в условиях неполноты информации) у нас есть разные варианты и нам стоит следить за тем, чтобы процесс оценки этих вариантов не нарушал логики тервера. А будущее - еще более сложная штука, его трудно предсказать, иногда даже невозможно. Но и тут мы должны пользоваться тем же способом.
Рассматривая любого агента, мы будем предполагать разные функции полезности, или же иерархии предпочтений. Разумеется, они у разных людей должны быть похожи, так что у нас будет отправная точка. И мы получим множество вариантов с разными вероятностями этих вариантов. Основные затруднения этого этапа
1. Иерархия предпочтений (или ФП) у людей редко непротиворечива или даже редко выглядит как должна выглядеть ФП у VNM агентов - как иерархия возможных состояний реальности. Часто люди не взвешивают несколько вариантов (захватить город к дате Х, У, Z), а думают о том, чтобы "поступить правильно" или о том "а как бы поступил хороший коммунист".
2. Трудно понять, что агент знает о ситуации. Мы можем знать с высокой уверенностью, что агент смотрел телевизор и думать, что он знает то, что там сообщили. Но так же нельзя не рассматривать вариант, где он думал о чем-то своем в это время и не уделял внимания происходящему на экране.
Идея использовать встроенные "механизмы для понимания других агентов" выглядит соблазнительно не только кажущейся простотой, но и затратами на использование. Но, полагаясь на множество таких интуитивных механизмов, мы будем сильно уязвимы для множества "первосистемных" КИ: эффекту ложного консенсуса, фундаментальной ошибке атрибуции и прочим.
Сравнивая ФП рассматриваемого агента с нашей, или же с лучшей версией нас, мы можем поместить его на шкалу добрых и злых агентов, в зависимости от того, как расходятся наши предпочтения.
Так же, после того, как мы получим какое-то представление о ФП, мы можем рассмотреть "инструментальную рациональность" агента, т.е. какие варианты действий он рассматривал какие из них он относил к тем, что помогут ему достигнуть желаемого, а какие помогут меньше. Основное затруднение тут - эпистемическое (второе из описания ФП). Не только нам нужно (если мы рассматриваем прошлое) освободить себя от послезнания, но и надо разобраться с тем, какие варианты действий всплывали в голове у оцениваемого агента.
Сравнивая варианты, которые рассматривал агент и распределение вероятностей этих вариантах, мы можем поместить его на шкалу умных и глупых агентов.
Разумеется, это все очень трудно сделать. Особенно трудно, с учетом того, что знание о КИ, о разных способах делать статистику и рассматривать вероятности, о работе мозга и работе разума, только развивается и не является обязательными дисциплинами вроде той же логики в вузах и школах. При этом, еще и все описанное сделать в рамках человеческой жизни тоже будет трудновато, даже если мы все время потратим на оценку одного Сталина. Но, возможно, в будущем, будут люди не только тренированы в логике (чтобы интуитивно видеть, например, противоречия в тексте), но и тренированные в рациональности (чтобы где-то на заднем плане сознания работали механизмы замечающие КИ, нарушения правил вывода в ситуациях с неполной информацией и прочее).
Но учебники, которые я читал в свое время, не сильно отличаются от худ. литературы в этом плане.Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:
«Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.
Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»
Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.
Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.
С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.
«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательные усилий для избежания искажения абсурдности и широких интервалов подтверждения, обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестных неизвестных. Преждевременный переход к «Матрица: да или нет?» пропускает все это.
Просмотр сообщений
