Автор, мне нравится, как вы пишете. Очень интересно. Ну и критика рациональности-как-у-Юдковского - это круто - мало ли, получится сделать что-то лучше?
Другими словами, пользуясь любимой терминологией рационалистов, можно сказать, что у меня нет никакой территории, а есть только карта, которой я в той или иной степени доверяю, измеряя это доверие вероятностью. Я ей пользуюсь, она позволяет мне предсказывать результаты каких-то моих шагов, испытаний, экспериментов. Иногда она врет в предсказаниях — тогда я беру карандаш и вношу в нее поправки. На практике этого достаточно. А зачем тогда нужна территория? Есть подозрение, что только для одного — для ощущения собственной правоты.
Здесь я не вполне согласен. Автор явно указал, что когда карта ошибается в предсказаниях, он вносит в неё изменения. Но территория - это и есть та самая штука, которая сообщает, что карта ошиблась. Ну, то есть я согласен, что на некотором уровне территория начинает вести себя так, что обычная бытовая интуиция становится бесполезна, но территорией всё ещё можно называть ту штуку, которая генерирует данные экспериментов.
Ещё я увидел критику рациональности в том ключе, что рациональность-по-Юдковскому - это штука, в которой нет места самообману, даже если он делает человека счастливее. Тут я бы напомнил, что как только человек берётся за самообман, он ухудшает свою способность оценивать риски. И он не может оценить, чем он рискует ради счастья сейчас - может быть, здоровьем и жизнью своих близких. Ведь не получится оценить объём самообмана, не отказавшись от самообмана.
Кроме того, я видел критику рациональности как критику чрезмерного прагматизма - в ущерб счастью и восприятию искусства. Я общался со знакомым психологом - он говорит, что высокая целеустремлённость свойственна не всем людям.
Есть категория людей, для которых время, прошедшее даром - это просто бесполезный шаг в сторону смерти. Отказ от возможности заработать немного денег - это отказ от дополнительной финансовой подушки, которая понадобится, когда заболеет кто-то из близких. Любой поступок влияет на то, сколько проживут другие люди. Условно если мой родственник заболеет раком и на лечение надо 2 миллиона долларов, и он умрёт, потому что удалось собрать лишь один миллион - это буду виноват я, если я мог в течение жизни заработать ещё миллион, но вместо этого занимался чем-то другим. Здесь не обязательно приоритет на спасении людей, он может быть на чём угодно.
А есть другие люди - для них выглядит, что эти "достигаторы" не живут. Они постоянно стремятся к цели, но не получают по пути удовольствия, и потому проживают жизнь зря.
То есть эффективное достижение целей привлекает людей определённого склада ума.
Ну и ещё момент - лично мне в жизни очень важно уметь достигать целей эффективно, даже если это ведёт в какой-то мере к потере человеческого облика. Всякий раз, когда я крупно проваливаюсь как рационалист, за это расплачиваются своим здоровьем и уровнем жизни важные для меня люди. Отказ от истины (в смысле недостаточная критичность к своим моделям мира) быстро ведёт к грустному голосу в динамиках: "Unit lost". Полагаю, есть люди, для которых ставки не столь высоки, и потому для них рациональность-в-экономическом-смысле не выглядит чем-то сильно нужным.
Насчёт интерпретации вероятностей. Люди и правда могут интерпретировать вероятности по-разному. Но если мы решаем задачу оптимального управления, то есть инструментальной рациональности, то какой подход даст наилучший результат? Насколько мне известно, самые успешные попытки построить ИИ связаны с субъективным подходом к вероятностям - то есть с подходами "У Бога логика бинарна" и "Природа кроется в приорах.". А ИИ - это как раз площадка для тестирования различных подходов к рациональности. Если какой-то подход плохо работает на модельных задачах у ИИ, то вряд ли он хорошо сработает на похожих задачах у человека.
Не то, чтобы я сильно доверял математическим рассуждениям Юдковского о вероятностных подходах - но я поднял испытательный стенд и реализовал на нём принятие решений по Байесу (я эмулировал задачу обнаружения самолёта зенитным радаром, стрельба штрафуется чуть-чуть, разбомленный тыл штрафуется сильно). Получилось так, что остальные алгоритмы, что я пытался применить, оказались в среднем хуже. Это не значит, что подход Юдковского к вероятностям наилучший - это значит, что у нас есть способ протестировать подходы, посмотреть, насколько они хороши для принятия решений.
Может, я неправ? И есть методология, которая везде даёт качество решений не хуже, а иногда лучше, чем Байесовкая? Без учёта вычислительной сложности.
Насчёт математики и того, почему она работает:
Но такой отказ от интерпретации — это на самом деле тоже интерпретация. Потому что в нем имплицитно присутствует убеждение в «истинности» самой математики. Ну вот почему мы так уверены, что цепочки наших абстрактных суждений всегда обязаны подтверждаться эмпирически? Почему дважды два всегда четыре? Потому что математика тоже родилась из опыта? Потому что наше сознание так устроено — адекватно реальности? Или потому что реальность формируется сознанием? Или почему?
На мой взгляд, мы просто изготавливаем модели из математики. У нас есть в мозгу что-то наподобие ПЛИС и мы её грубо говоря, прошиваем. Прошивка называется словом "математическая модель". "ПЛИС" получает сигналы на входе и выдаёт сигналы на выходе. Подавляющее большинство моделей не применимы к произвольно взятой задаче, но есть некоторые модели, которые дают удовлетворительное качество прогноза. Мы эти модели называем истинными (или точными, или практически ценными), а те блоки, которые мы используем при их построении, мы воспринимаем как математические абстракции. Типа такого, что есть очень много вариантов математик, которые неизвестны почти или вообще никому, потому что они не доказали практическую ценность. Но широко известны лишь те, которые доказали полезность, и потому для нас выглядит, будто бы математика хорошо отражает реальность. По-моему, такой подход отвечает на вопрос "почему математика эффективна" и снимает вопрос "почему математика истинна".
Понимаете, если у вас уже есть правила вывода — то думать не о чем, нужно просто тупо им следовать: «Нажми на кнопку - получишь результат»
Это очень хорошие слова! Может быть, они немного вырваны из контекста, потому что автор затрагивал тему несколько раз и по-разному. Я полагаю, что автор полагает, что если у нас есть правила вывода, то нет ничего сложного в том, чтобы мыслить правильно, что бы под этим "правильно" не подразумевалось. Эти слова заставляют задуматься о том, что у рационального агента свободы воли не просто нет, а нет даже никакой иллюзии свободы, даже самого ощущения.
Что я наблюдаю по этому вопросу. Допустим, передо мной стоит задача - добиться от человека А поведения Б (или максимально к нему приблизиться). Воображение вывело ответ "я не знаю". Задачу решить надо, иначе "Unit lost!". Что делать? Примерно следующее: взять все данные по этому человеку и по другим, похожим людям. Собрать на их базе модель, которая будет прогнозировать поведение заданного человека. Собрать - в смысле подобрать, найти её в пространстве всех возможных моделей (пространство имеет огромное число степеней свободы), и убедиться, что она наиболее точна. Затем перебрать все возможные стратегии своего поведения и, пользуясь прогнозной моделью, выявить, при какой стратегии с наибольшей вероятностью будет достигнуто желаемое поведение и не будет достигнуто нежелательное. Что задача построения модели, что задача подбора стратегий - очень вычислительно затратные. Они ведут к комбинаторному взрыву, если решать их в лоб. Попытки решить эти задачи вызывают ощущение усилия. Пытаясь решить задачу не в лоб, а как-то хитрее, мы будем задействовать эвристики, например, мозговой штурм (его можно результативно проводить в одиночку, так что пусть это будет эвристика). Так что... Правила вывода у нас есть, но они не очень-то выполнимы, так что приходится пользоваться всякими эвристическими штуками, которые сильно зависят от опыта. Поэтому у рационалиста вовсе необязательно будет ощущение, что он следует правилам вывода, и у окружающих тоже необязательно будет ощущение, что рационалист действует идеально логично, в соответствии с неким известным шаблоном. Вот был бы у меня маховик времени с возможностью решать NP-полные задачи во временных петлях - тогда моя рациональность выглядела бы как хладнокровное применение правил =) Во всяком случае, для меня ситуация выглядит примерно так
Мне жаль, что я по-человечески привязан к своим любимым теориям. Но мне кажется, я способен от них отказаться, если увижу что-то, что лучше ведёт к цели.