Сложность гипотез. Бритва Оккама и индукция Соломонова

[Muyyd]

На самом деле это не говорит ничего о существовании Бога, это говорит только о том, что идею о его существовании невозможно (бесполезно) использовать для описания окружающей реальности. Также как вводить релятивистские поправки на падение кирпича с пятиэтажки бесполезно: неравномерность толчка будет вносить большую погрешность и релятивистские поправки не уменьшат размер ошибки.

Я забыл упомянуть, что байесовская интерпретация индукции Соломонова является формализацией бритвы Оккама. Так что она говорит нам, что гипотеза с участием Бога является более сложной и нет ничего, что оправдывало бы такую сложность. Некоторые называют в шутку индукцию Соломонова - световым мечом Соломонова (Solomonoff's lightsaber).

[Skywrath]

Конечно же нет.

Речь идёт о варианте, когда вас интересует только один камень из существующих. Разумеется, когда вам интересны все камни более эффективной становится общая программа. Но подобный аргумент работает и для Вселенной. Ведь когда вас интересует всё, что можно представить, окажется проще перечислить все возможные программы, чем и без того огромные программы хранить в явном виде. Просто по ряду причин, нас не интересуют проблемы настолько общего плана. Почему не интересуют? На этот вопрос отвечают более сильные аргументы, чем реализации Бритвы Оккама. В ней не определяется, что именно вы объясняете.

Идею о существовании Бога бесполезно использовать для описания окружающей реальности.

Любую идею о существовании бесполезно использовать для описания окружающей реальности. Ничего, из того, что вы можете рассчитать не рассчитывается точнее, когда вы говорите, что данный объект существует. Это ненужная, с инструментальных позиций, гипотеза. %Вселенная существует% окажется точно таким же комментарием в программе, как и %Брахман увидел сон%. Цифры не изменятся от того, что вы скажите, что всё здесь иллюзия или нечто в подобном роде. Заставляет задуматься, зачем вообще говорить об окружающей реальности, если по индукции Соломонова проще сразу отказаться давать какие бы то ни было экзистенциальные комментарии или смысловые интерпретации. Можно легко обойтись без них, не потеряв совершенно ничего.

[Scondo]

Речь идёт о варианте, когда вас интересует только один камень из существующих. Разумеется, когда вам интересны все камни более эффективной становится общая программа.

Форма reductio ad absurdum не совсем применима в данном случае. Программа (модель) полезна не для одного и не для всех камней, но только для некоторого числа камней. Как ни странно, именно это та ситуация, с которой мы сталкиваемся в нашем мире.

Мы записываем фильм, и на плёнке (а затем в памяти компьютера) отображаются последовательные положения чего-либо. мы можем разработать алгоритм, который проанализирует закономерность N кадров, выделит в них "объекты" и "движения" и, используя их, предскажет кадр N+1(такая техника действительно используется в H.264). Никто не пытается выделить "объекты" во всех фильмах и увязать их между всеми фильмами "движением" - это было бы по меньшей мере непрактично. На самом деле такой анализ используется внутри небольшого(от десятка секунд до нескольких минут) фрагмента.
То же самое делаем и мы, когда рассуждаем о, к примеру, запасе яиц в холодильнике: если в понедельник было полтора десятка, а к среде стало восемь штук, то на выходных надо бы закупиться. Я могу предположить что двух десятков мне хватит на неделю или около того, но прогноз закупки яиц на год составлять вряд ли буду (ко мне могут приезжать гости, я могу уезжать в отпуск и т.д.).

Ничего, из того, что вы можете рассчитать не рассчитывается точнее, когда вы говорите, что данный объект существует.

Не совсем. Вопрос в том, что мы понимаем под "существованием". Вот в примере с видео возникает модель состоящая из "объектов" и "движения". Они определённо существуют как параметры модели, но вот насколько они "существуют" в реальности? Даже для видео с прогулкой красивой девушки "объекты" кодировщика имеют не слишком много общего с изящной девичьей фигуркой. А если записать видео нагрева печи в ИК диапазоне? Существует ли фронт нагрева? У кодировщика определённо есть набор соответствующих ему "объектов" и их "движения". А для наблюдателя в оптическом диапазоне это неподвижная стенка кирпичей.

Разумно говорить, что все вещи существуют как часть некоторых моделей. Машина у меня под окном "существует" потому, что я полагаю увидеть её, если выгляну в окно. Но не слишком поздно, потому что машина также "способна двигаться" и может уехать. Дом напротив "существует" потому, что я вижу его и полагаю видеть изо дня в день и полагаю врезаться если попытаюсь пройти сквозь него. Skywrath "существует" потому, что я ожидаю от него сообщений на форуме; перестанет отвечать - перестанет существовать, но перейдёт в категорию "существовал", потому что я ожидал(и дожидался) сообщений на форуме.

Я утверждаю, что на сегодня Бог не существует как часть физических моделей. Что, впрочем, не мешает ему существовать в составе психологических, например.

[fil0sof]

Оффтоп не касающийся сложностей гипотез перенёс в Общение (с айпада очень неудобно контекстную ссылку давать, до компа нескоро доберусь, найдёте). Пожалуйста, давайте следить за потоком мыслей хотя бы в этом разделе форума

[gnomo_sapiens]

Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия. Пример искаженного восприятия:
http://anlazz.livejournal.com/104009.html
Однако только подобным вариантами искажения реальности не исчерпываются. Постсоветское пространство предлагает нам еще более экзотические варианты артефактов восприятия, которые способны «проникнуть» в любое, самое, что не на есть доброкачественное научное исследование.

[Scondo]

Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия. Пример искаженного восприятия:
http://anlazz.livejournal.com/104009.html

Однако я не увидел в статье по ссылке исключения каких-либо факторов Бритвой Оккама. Как максимум - там показано влияние контекста на модель. Да, разумеется, если мы не учитываем контекст и не расширяем выборку, чтобы устранить его влияние - наша модель будет пригодна только внутри того контекста, в котором она построена (кстати, этим же объясняется большинство когнитивных искажений: модели, построенные на повседневных наблюдениях за последний век, "клинит" при столкновении с современным социумом/наукой)

[Muyyd]

Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения.  Фактор может исключаться не намеренно, а в результате дефекта восприятия.

Да, нет ничего удивительного, что фильтрация свидетельств и другие ошибки применения ни к чему хорошему не приводит. Неужели есть метод, правильность применения которого и выдаваемые результаты не зависят друг от друга? Т.е. как криво бы его не применяли, он всегда бы "оказывался не ложным, а истинным"?
И, разумеется, у людей полно встроенных алгоритмов мешающих эффективно использовать эмпирические данные .
Но, когда бритва Оккама из первоначального утверждения

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.
“The law of parsimony: Entities should not be multiplied beyond necessity.”
Принцип бережливости: не множь сущности сверх необходимого

формализуется в штуки, подобные байесовской интерпретации индукции Соломонова

Solomonoff induction assigns a prior probability to each possible computer program, with the entire distribution, over every possible computer program, summing to no more than 1. This can be accomplished using a binary code where no valid computer program is a prefix of any other valid computer program (“prefix-free code”), e.g. because it contains a stop code. Then the prior probability of any program P is simply 2^{−L(P )} where L(P ) is the length of P in bits.
The program P itself can be a program that takes in a (possibly zero-length) string of bits and outputs the conditional probability that the next bit will be 1; this makes P a probability distribution over all binary sequences. This version of Solomonoff induction, for any string, gives us a mixture of posterior probabilities dominated by the shortest programs that most precisely predict the string. Summing over this mixture gives us a prediction for the next bit.
The upshot is that it takes more Bayesian evidence—more successful predictions, or more precise predictions—to justify more complex hypotheses. But it can be done; the burden of prior improbability is not infinite.
Индукция Соломонова назначает априорные вероятности  для каждой возможной программы, так что распределение вероятностей по всем программам не больше единицы. Это можно получить, используя бинарный код, при условии, что никакая валидная программа не является префиксом для другой валидной программы, например, потому что содержит остановку кода. Тогда каждая априорная вероятность вычисляется по формуле 2^{−L(P )}, где L(P ) - длинна программы Р в битах.
Программой Р может быть программа (возможно даже с нулевой длинной), которая, в ответ на ввод последовательности битов, выдает условную вероятность того, что следующий бит будет равен единице; что делает Р распределением вероятностей относительно всех бинарных цепочек. Эта версия индукции Соломонова дает, для каждой цепочки, совокупность апостериорных вероятностей, где доминирует наиболее короткие программы, которые наиболее точно предсказывают следующий биты в цепочке. Просуммировав совокупность, мы получаем предсказание следующего бита.
Плюс этого в том, что потребуется больше байесовских свидетельств - предсказания должны быть успешней или\и точней, чтобы оправдывать более сложные гипотезы. Но это возможно. Бремя априорных вероятностей не бесконечно.

Так вот, когда мы имеем дело с такими формализациями, туманные предостережения вроде "Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия." теряются из-за своей туманности на фоне точности формулировок современных формализаций бритвы Оккама.
Не буду утверждать, будто понимаю что там написано, но тем не менее, факт остается фактом. Бритва Оккама тоже не осталась прежней с того момента, как была сформулирована. Она тоже развивалась, перестала быть вербальной и туманной. И предостережения тоже не должны быть размытыми, иначе будут, скорее всего, проигнорированы.

[LswAgnostic]

Достаточно просто написать программу, перечисляющую все программы и она предоставит все возможные и невозможные взаимодействия со всем, что можно формализовать, если не представить.

С помощью какого алгоритма среди сгенерированных найти ту программу, которая делает ожидаемое действие? Например, эффективно управляет ядерным реактором.
Каким алгоритмом ее отличить от похожих, но с ошибками?

[Skywrath]

С помощью какого алгоритма среди сгенерированных найти ту программу, которая делает ожидаемое действие?

Я могу неформально гарантировать, что подобного алгоритма нет и быть не может. Но это не имеет какого-нибудь особого значения. Если вы помните, то это всего лишь означает, что конкретное ожидаемое действие оказывается крайне сложным в формализации. Другое дело, что формализация для универсального множества всех возможных действий, который допускает формальная система - заведомо тривиальна, так как она падает на описание этой системы, которое вы всё равно будете выбирать прежде, чем описывать на неё алгоритмы. Грубо говоря, Бог - очень простой объект и здесь вы можете чуть ли не в три слова сказать, что он может всё. Каждое конкретное действие, напротив будет невероятно сложным в своём описании и интерпритации. Всё-таки, практически ни одну задачу невозможно решить в три слова.

[LswAgnostic]

Допустим, что бог описывается предложенным ранее алгоритмом.

Такой бог не может всё, потому что не смотря на то, что у него есть все алгоритмы, у него нет алгоритма по выбору из них правильного.

"перечислить все алгоритмы" != "мочь решать все задачи".
мочь решать все задачи = для каждой задачи X из множества всех задач из множества всевозможных алгоритмов мочь выбрать один алгоритм, решающий задачу X.

[Skywrath]

Такой бог не может всё.

Как там было? Карта не территория? Речь идёт об алгоритме, описывающем Бога, не о реализующем его функции. Если вы помните примеры с кварками и так далее, то алгоритмы описывающие законы физики ещё не позволят вам реализовать эти законы на практике. Вы не сдвините Землю с орбиты просто рассчитав необходимые для того физические воздействия. Здесь имеется аналогичная ситуация - даже описав Бога, вы им не становитесь. Естественно, эта ситуация немного хуже в том плане, что вы и по описанию его предсказать не можете, но это довольно очевидное следствие из его всемогущества. Существует определённая разница между описанием объекта и его конструктивной реализацией. Здесь она просто стала достаточно очевидной.

[LswAgnostic]

Существует определённая разница между описанием объекта и его конструктивной реализацией.

Конструктивная реализация - это наиболее точное описание объекта.
Зачем необходимо неточное описание? В чем его польза по сравнению с точным описанием объекта? Какие задачи неточное описание решает?

Если достаточно неточного описания, то почему не ограничится описанием "Бог может зажечь звезду"? Зачем описание делается с помощью сложного алгоритма? Где достаточная грань неточности описания?

Важна ли в описании полнота описания? Как обеспечивается полнота описания?

[Skywrath]

В чем его польза по сравнению с точным описанием объекта?

Здесь задаётся другой вопрос. В чём польза неточного описания по сравнению с полным отсуствием описаний. Например, в случае некоторых объектов мы можем не иметь информации о том как именно их построить, но обладать информацией по поводу того, как они влияют на происходящее, существуют ли или нет, и так далее. То есть, это косвенный способ извлечь хоть какую-нибудь пользу из уже имеющейся, но вполне возможно - достаточно сложной в прямой реализации концепции.

Почему не ограничится описанием "Бог может зажечь звезду"?

Потому, что это будет описанием другого объекта. Например, некоторого "языческого" бога, который отвечает только за звёзды. Возможно, даже за какую-то конкретную звезду. Конечно, такое возможно, но это - создание новых сущностей.

Важна ли в описании полнота описания? Как обеспечивается полнота описания?

Насколько я помню, полнота описания достигается тогда, когда описание не способно описывать объекты, которые могут быть не желательны при описании и наоборот, когда она не забывает про какие-то пограничные случаи. То есть, чёткий критерий полноты - это адекватность описания поставленным целям. Например, выше звезду может зажечь какой-нибудь физический процесс и даже человек, имеющий нужную технологию, что конечно же будет уже отличается от идеи бога.

[LswAgnostic]

Будет ли полным описание шахматиста в виде перечисления набора действий, которые он может сделать на основе шахматных правил?

ps
Имхо, описание бога через список возможных действий без описания внутреннего состояния и алгоритма принятия решений настолько же неполно, как описание всемогущего бога через описание "это тот, кто может зажигать звезды".

[Skywrath]

Будет ли полным описание шахматиста в виде перечисления набора действий, которые он может сделать на основе шахматных правил?

Думаю, да. Любой, кто может сделать все разрешённые правилами действия может называться шахматистом. Конечно, это не описывает конкретного шахматиста и всякие странные случаи типа недо-шахматистов, которые могут играть, но имеют проблемы с совершением некоторых ходов, например, не знают о связии на проходе. Но это будет адекватным описанием, если не вдаваться в подобные детали. Скажем так. Это будет хорошим описанием множества из "настоящих шахматистов".

Без описания внутреннего состояния и алгоритма принятия решений.

Хе-хе-хе-хе-хе. Это невозможно! Программа описания перебирает все возможные формализации. Хотя, я и говорил, что Бог может всё, но под этим понимается и то, что Бог может иметь любое внутреннее состояние и что Богом может быть принято любое решение. Грубо говоря, это самое полное описание из всех возможных в формализации. Вы не можете сделать больше, чем всё. Поэтому, здесь нет и недостающих описаний. Сказано всё, что могло быть сказано! Грубо говоря, здесь совершенно нечего добавить и любые комментарии окажутся избыточными - они уже есть в описании. Ну или с другой стороны. Всемогущество - тривиально противоречивое свойство. Логики говорят, что из противоречия вам оказывается доступен любой возможный вывод. Но ведь это как раз и есть состояние всемогущества! И пытаясь добавлять какие-то новые описания в эту систему, вы просто вводите в неё новые противоречия, которые не изменят суть дела. Если одного противоречия уже достаточно, то второе оказывается явно избыточным. Тем не менее, данное описание является, хотя и нереализуемым в силу противоречивости, но очень важным, так как оно эквивалентно заданию формального языка указанием на все утверждения, которые в нём могут быть выражены. Из этого следует один интересный вывод в который, несмотря на все желания не могли поверить математики прошлого. Хотим ли мы этого или нет - мы всегда говорим правду на языке обмана. Математическая истина недостижима в синтаксисе формальной системы.