Правило Байеса: шансы

Материал из Вики LessWrong.ru
Перейти к: навигация, поиск

В одной из формулировок байесовское правило выглядит так: априорные шансы х соотношение условных шансов = апостериорные шансы.

Если мы рассмотрим водопадную визуализацию проблемы с Болезнитом, то будет наглядно видно, как относительные шансы помогают думать про два потока на вершине водопада.

Пропорциональное соотношение воды из красного потока к воде из синего будет тем же, независимо от того идет ли речь 200 и 800 литрах в секунду или о 20 000 и 80 000 литрах в секунду илл о 1 и 4 л/с. Пока и остальная часть водопада способствует сохранению пропорции, мы будем получать такую же пропорцию красной и синей воды внизу. Таким образом мы вполне оправданно можем игнорировать количество воды и рассматривать лишь пропорции.

Точно так же, важно пропорциональное соотношение между количеством попадающей в фиолетовый водоем воды из красного потока к количеству из синего, и соотношение между количеством молекул из каждого литра. Вниз падает 45% и 15% красной и синей воды и точно такое же соотношение между красной и синей водой внизу - 90% и 30%.

И это оправдывает игнорирование специфической информации о том что 90% красной воды падает вниз и 30% синей падает вниз, ведь это можно легко заменить соотношением (3 : 1).

Это можно применить и для других проблем: предположим, что у нас есть медицинский тест, выявляющий болезнь с истинноположительной точностью в 90% (10% ложноотрицательных) и 30% ложноположительных (70% ложноотрицательных). Положительный результат такого теста будет свидетельством такой же силы, как и для теста с 60% истинноположительными и 20% ложноположительными. А отрицательный результат такого теста будет свидетельством такой же силы, как и для теста с 9% ложноотрицательных и 63% истинноотрицательных.

В целом, сила свидетельства является соотношением того, насколько более/менее вероятными разные возможные состояния мира делают наблюдению специфических феноменов. Но об этом позже.

Уравнение[править]

Чтобы действительно выразить ТБ в формулах и доказать ее, нам потребуется ввести несколько новых обозначений.

Условная вероятность[править]

Во-первых, если это утверждение, то это вероятность

Другими словами: это что-то истинное или ложное в действительности, но у нас есть какая-то неопределенность по этому поводу, и - это способ выразить уровень нашей убежденности в том, что истинно. Пациент, на самом деле, либо болен либо здоров, но если вы не уверены, свидетельство может способствовать сдвигу субъективной вероятности к 43% в пользу того, что он болен.

означает " ложно", так что означает "вероятность, что ложно".

Задача про Болезнит включала больше утверждений посложней, например:

  • Вероятность в 90%, что у пациента почернеет депрессор, при условии что он заражен.
  • Вероятность в 30%, что у пациента почернеет депрессор, при условии что он здоров.
  • Вероятность в 3/7, что пациент заражен, при условии, что его депрессор почернел.

В этих случаях мы идем от факта про который мы "знаем" или "предполагаем", что он истинен (справа), к утверждению (слева), вероятность которого мы оцениваем, принимая во внимание "известный" факт.

Такие вероятностные утверждения называются "условными вероятностями". Если выразить приведенные выше утверждения с помощью стандартных формул, то они будут выглядеть так:

(прим. blackened - почерневший депрессор; sick - зараженный)

<sarcasm>Стандартная запись означающая "вероятность , при условии что истинно", содержит "полезную" вертикальную линию, которая, в свою очередь, не дает никаких визуальных подсказок о том, что справа находится предполагаемый факт, а слева - выводимый. </sarcasm>

Вот как определяется условная вероятность, при использовании обозначений для обозначения "X и Y" или же "оба и истинны":

Т.е. с точки зрения задачи с Болезнитом, вычисляется путем деления 18% больных студентов с почерневшим депрессором () на 42% всех с почерневшим депрессором ().

Или рассмотрим - вероятность того, что депрессор почернеет, при условии что пациент здоров. Что эквивалентно делению 24 здоровых студентов с почерневшим депрессором на 80 здоровых. 24 / 80 = 3/10, что соответствует 30% ложноположительных результатов из начальных условий.

Закон условных вероятностей можно выразить так: "Сосредоточим все внимание на возможных мирах, где истинно, или истинны Y-подобные штуки. Рассматривая лишь случаи где истинно, сколько мы найдем случаев внутри этого множества, где еще и истинно? Т.е. где истинно и ?

Для получения дополнительной информации обратитесь к статье про условные вероятности.

Правило Байеса[править]

Правило Байеса гласит: априорные шансы х соотношение условных шансов = апостериорные шансы.

Что для задачи про Болезнит будет выглядеть так:

(прим. blackened - почерневший депрессор; sick - зараженный; healthy - здоровый)

Априорные шансы означают соотношение больных пациентов к здоровым . Превращение этих шансов в вероятности даст нам .

Соотношение условных вероятностей означает соотношение того, насколько вероятней у больного пациента почернеет депрессор к положительному результату у здорового, что с использованием обозначения для условных вероятностей будет выглядеть как т.е. соотношение условных шансов будет

Апостериорные шансы означают соотношение больных пациентов к здоровым среди всех с положительным результатом, что выражается как , т.е. шансы .

Для извлечения вероятности из шансов нам следует держать в уме, что полная вероятность взаимоисключающих событий в сумме всегда составляет т.е. есть 100% вероятность для чего-то. Раз уж все либо болеют либо здоровы, мы можем нормализовать соотношение шансов путем деления их на сумму:

...что в итоге дает нам вероятности , пропорциональные шансам , с суммой в . Будет странно иметь вероятность в (300%) для какого-то события.

Если визуализировать это с помощью водопадной диаграммы:

Мы можем обобщить это для любых конкурирующих гипотез и и свидетельства , что теорема Байеса может быть записана как:

что говорит нам: "соотношение апостериорных шансов для конкурирующих гипотез и (при условии наблюдения свидетельства ), равно произведению априорных шансов с соотношением того, как предсказывает свидетельство в сравнении с "

Если и взаимоисключающие и исчерпывающие, мы можем конвертировать апостериорные шансы в апостериорную вероятность для путем нормализации шансов: делением соотношения шансов на их сумму, чтобы элементы нового соотношения суммировались к .

Доказательство теоремы Байеса[править]

Перестроим определение условных вероятностей Т.е. чтобы найти "часть всех пациентов которые больны и с положительным результатом" мы перемножаем "часть пациентов, которые больны" и "вероятность того, что у зараженного пациента почернеет депрессор".

Тогда доказательство теоремы Байеса, где - новое свидетельство, будет выглядеть так:


ч.т.д.

Для задачи про Болезнит, шаги этого доказательства соответствуют операциям:

Используя красный цвет для обозначения больных, синий - для здоровых, серый для смеси больных и здоровых, и знак "+" для положительного результата, можно визуализировать вычисления:


Этот процесс, где мы наблюдаем свидетельства и используем соотношение условных вероятностей (отношения правдоподобия) для трансформации априорных убеждений в апостериорные называется "байесианским апдейтом" или же "пересмотром убеждений".

Статьи по теме[править]