Главное > Рациональность
Сложность гипотез. Бритва Оккама и индукция Соломонова
Scondo:
--- Цитата: gnomo_sapiens от 01 Января 2016, 05:33 ---Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия. Пример искаженного восприятия:
http://anlazz.livejournal.com/104009.html
--- Конец цитаты ---
Однако я не увидел в статье по ссылке исключения каких-либо факторов Бритвой Оккама. Как максимум - там показано влияние контекста на модель. Да, разумеется, если мы не учитываем контекст и не расширяем выборку, чтобы устранить его влияние - наша модель будет пригодна только внутри того контекста, в котором она построена (кстати, этим же объясняется большинство когнитивных искажений: модели, построенные на повседневных наблюдениях за последний век, "клинит" при столкновении с современным социумом/наукой)
Muyyd:
--- Цитата: gnomo_sapiens от 01 Января 2016, 05:33 ---Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия.
--- Конец цитаты ---
Да, нет ничего удивительного, что фильтрация свидетельств и другие ошибки применения ни к чему хорошему не приводит. Неужели есть метод, правильность применения которого и выдаваемые результаты не зависят друг от друга? Т.е. как криво бы его не применяли, он всегда бы "оказывался не ложным, а истинным"?
И, разумеется, у людей полно встроенных алгоритмов мешающих эффективно использовать эмпирические данные .
Но, когда бритва Оккама из первоначального утверждения
--- Цитировать ---Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.
“The law of parsimony: Entities should not be multiplied beyond necessity.”
Принцип бережливости: не множь сущности сверх необходимого
--- Конец цитаты ---
формализуется в штуки, подобные байесовской интерпретации индукции Соломонова
--- Цитировать ---Solomonoff induction assigns a prior probability to each possible computer program, with the entire distribution, over every possible computer program, summing to no more than 1. This can be accomplished using a binary code where no valid computer program is a prefix of any other valid computer program (“prefix-free code”), e.g. because it contains a stop code. Then the prior probability of any program P is simply 2−L(P ) where L(P ) is the length of P in bits.
The program P itself can be a program that takes in a (possibly zero-length) string of bits and outputs the conditional probability that the next bit will be 1; this makes P a probability distribution over all binary sequences. This version of Solomonoff induction, for any string, gives us a mixture of posterior probabilities dominated by the shortest programs that most precisely predict the string. Summing over this mixture gives us a prediction for the next bit.
The upshot is that it takes more Bayesian evidence—more successful predictions, or more precise predictions—to justify more complex hypotheses. But it can be done; the burden of prior improbability is not infinite.
Индукция Соломонова назначает априорные вероятности для каждой возможной программы, так что распределение вероятностей по всем программам не больше единицы. Это можно получить, используя бинарный код, при условии, что никакая валидная программа не является префиксом для другой валидной программы, например, потому что содержит остановку кода. Тогда каждая априорная вероятность вычисляется по формуле 2−L(P ), где L(P ) - длинна программы Р в битах.
Программой Р может быть программа (возможно даже с нулевой длинной), которая, в ответ на ввод последовательности битов, выдает условную вероятность того, что следующий бит будет равен единице; что делает Р распределением вероятностей относительно всех бинарных цепочек. Эта версия индукции Соломонова дает, для каждой цепочки, совокупность апостериорных вероятностей, где доминирует наиболее короткие программы, которые наиболее точно предсказывают следующий биты в цепочке. Просуммировав совокупность, мы получаем предсказание следующего бита.
Плюс этого в том, что потребуется больше байесовских свидетельств - предсказания должны быть успешней или\и точней, чтобы оправдывать более сложные гипотезы. Но это возможно. Бремя априорных вероятностей не бесконечно.
--- Конец цитаты ---
Так вот, когда мы имеем дело с такими формализациями, туманные предостережения вроде "Бритва Оккама оказывается ложной когда исключает из рассуждения факторы, которые определяют результат рассуждения. Фактор может исключаться не намеренно, а в результате дефекта восприятия." теряются из-за своей туманности на фоне точности формулировок современных формализаций бритвы Оккама.
Не буду утверждать, будто понимаю что там написано, но тем не менее, факт остается фактом. Бритва Оккама тоже не осталась прежней с того момента, как была сформулирована. Она тоже развивалась, перестала быть вербальной и туманной. И предостережения тоже не должны быть размытыми, иначе будут, скорее всего, проигнорированы.
LswAgnostic:
--- Цитата: Skywrath от 07 Декабря 2015, 06:36 ---Достаточно просто написать программу, перечисляющую все программы и она предоставит все возможные и невозможные взаимодействия со всем, что можно формализовать, если не представить.
--- Конец цитаты ---
С помощью какого алгоритма среди сгенерированных найти ту программу, которая делает ожидаемое действие? Например, эффективно управляет ядерным реактором.
Каким алгоритмом ее отличить от похожих, но с ошибками?
Skywrath:
--- Цитата: LswAgnostic ---С помощью какого алгоритма среди сгенерированных найти ту программу, которая делает ожидаемое действие?
--- Конец цитаты ---
Я могу неформально гарантировать, что подобного алгоритма нет и быть не может. :D Но это не имеет какого-нибудь особого значения. Если вы помните, то это всего лишь означает, что конкретное ожидаемое действие оказывается крайне сложным в формализации. Другое дело, что формализация для универсального множества всех возможных действий, который допускает формальная система - заведомо тривиальна, так как она падает на описание этой системы, которое вы всё равно будете выбирать прежде, чем описывать на неё алгоритмы. Грубо говоря, Бог - очень простой объект и здесь вы можете чуть ли не в три слова сказать, что он может всё. Каждое конкретное действие, напротив будет невероятно сложным в своём описании и интерпритации. Всё-таки, практически ни одну задачу невозможно решить в три слова.
LswAgnostic:
Допустим, что бог описывается предложенным ранее алгоритмом.
Такой бог не может всё, потому что не смотря на то, что у него есть все алгоритмы, у него нет алгоритма по выбору из них правильного.
"перечислить все алгоритмы" != "мочь решать все задачи".
мочь решать все задачи = для каждой задачи X из множества всех задач из множества всевозможных алгоритмов мочь выбрать один алгоритм, решающий задачу X.
Навигация
Перейти к полной версии