Бритва Оккама

Материал из Вики LessWrong.ru
Перейти к: навигация, поиск

Бритва Оккама — эмпирическое правило, гласящее «не следует привлекать лишние сущности без необходимости». В контексте байесианства обычно имеет смысл «если существует несколько гипотез, одинаково хорошо объясняющих наблюдаемые факты, то следует предпочитать ту гипотезу, которая имеет наименьшую внутреннюю сложность».

Байесианское обоснование принципа[править]

Зададим некоторую произвольную трактовку понятия «простоты гипотезы» в таком смысле, что каждой из альтернативных (несовместных) гипотез мы присваиваем численное значение простоты, причем с ограничением, что для любого фиксированного значения простоты может быть только конечное число «не более сложных» гипотез. Упорядочим все гипотезы по убыванию простоты (по возрастанию сложности); для гипотез с одинаковым значением выберем произвольный относительный порядок. Получим последовательность . На основе этой последовательности построим последовательность , где  — вероятность истинности гипотезы . Поскольку гипотезы несовместны, то сумма положительно определенного ряда ограничена единицей, и, следовательно, . Таким образом, хотя в принципе вероятность более сложной гипотезы может быть больше вероятности более простой, однако при неограниченном росте сложности гипотезы ее вероятность неограниченно убывает; это верно для любого определения «простоты гипотезы».

См. также[править]

Статьи по теме[править]

Ссылки[править]

  • Occam’z Razor — тег и список статей на lesswrong.com