Что такое байесианство

Эта статья является попыткой сжато изложить базовый материал, и таким образом, возможно, не несет ничего нового для продвинутого читателя. Будет интересно узнать, не пропустил ли я чего-то важного здесь.

Вы, должно быть, часто встречали слово «Байесианство» на этом сайте, но, вероятно, не до конца уверены в том, что мы имеем в виду под этим понятием. Вы могли прочитать интуитивное объяснение, но там похоже, только объясняются некоторые математические формулы. На эту тему есть статья в википедии, но и она не сильно помогает. Можно было подумать, что люди на LW вкладывают в «байесианство» смысл навроде «вы же знаете, есть частотная школа статистики, и есть байесовская школа статистики; так вот, мы говорим про байесовскую» — но нет, это не совсем то. Насколько я могу сказать, не существует статьи, точно говорящей, что означает «байесианство».

Центральные идеи просматриваются на протяжении большого набора постов, «байесианство» имеет свой тэг, но нет отдельного поста, который точно увязывал все связи и говорил «вот это и есть байесианство». Так что позвольте мне попробовать предложить моё определение, которое сводит байесианство к трём ключевым принципам.

Мы начнем с короткого примера, иллюстрирующего теорему Байеса. Предположим, что вы врач и к вам пришел пациент, который жалуется на головную боль. Далее предположим, что есть две причины, по которым может болеть голова: опухоль мозга и простуда. Опухоль мозга всегда вызывает головную боль, однако она является крайне редким заболеванием. И наоборот, головная боль редко возникает при простуде, однако множество людей простужается каждый год. Если нет другой информации, что вероятнее — что человек простудился или у него опухоль мозга?

Если вы решили, что вероятнее всего простуда, то это был ответ, которого я ждал. Даже если опухоль вызывает боль каждый раз, а простуда только в одном проценте случаев, случаев простуды настолько больше, что случаев головной боли, вызванной простудой, куда больше, чем болей, вызванных опухолью мозга. Теорема Байеса, в основном, говорит что если причина А может быть источником симптома Х, то тогда мы должны учесть обе вероятности, что А вызывает Х (находится, грубо, умножением частоты А на шанс, что А вызовет Х) и вероятность что что-то еще вызовет Х (для досконального математичесого объяснения теоремы Байеса обратитесь к интуитивному объяснению от Элиезера).

Нет ничего удивительного в этом, конечно же. Предположим, что вы идёте по улице и видите бегущих людей. Они могут быть на пробежке, куда-то торопиться или же они таким образом хотят согреться. Чтобы понять, какое из предположений верно, вы пытаетесь определить какое из объяснений истинно чаще всего и лучше всего подходит в вашей ситуации.

Ключевой принцип 1: У любого полученного наблюдения есть множество различных возможных причин.

Признание этого, однако, ведет к кое-чему менее интуитивно представляемому. Любое наблюдение всегда следует интерпретировать, учитывая уже имеющуюся информацию. Простое наблюдение того что человек бежит, не будет достаточным, чтобы сказать что он торопится или что он просто на утренней пробежке. Или предположим что вы должны выбрать между двумя соперничающими теориями о движении планет: есть теория о законах физики, предложенная сэром Исааком Ньютоном или теория, гласящая что Летающий Макаронный Монстр просто подталкивает планеты Своей Макароннейшей Десницей. Если эти две теории делают одинаковые предсказания, то вы должны основываться на своих исходных знаниях (на своём приоре, коротко говоря), чтобы решить, какая из них более вероятна. И даже в случае, когда их предсказания отличаются, вам всё равно требуются какие-то знания, на основании которых можно определить, которое из предсказаний лучше; не говоря о том, что из-за каких-то соображений нас интересуют именно предсказания, а не степень элегантности теории.

Или возьмём обсуждение теорий заговора. Некоторые люди считают, что необъяснённые или подозрительные вещи в официальных отчётах означают, что существует государственный заговор. Другие считают, что априорная вероятность гипотезы «правительство готово проводить массовые рискованные операции с тысячами невинных жертв для того, чтобы ввести публику в заблуждение» очень мала и думают, что куда вероятней есть что-то ещё, вызывающее данные подозрительные вещи.

Опять же, это может казаться очевидным. Но есть ряд хорошо знакомых примеров, в которых люди забывают применить данную информацию. Возьмем феномен сверхъестественного: да, если существовали духи или боги, влияющие на наш мир, некоторые из вещей, входящих в человеческий опыт, могли бы подпадать под категорию вещей, которые могли бы вызываться данными силами. Но также есть бесчисленное количество обыденных объяснений, от совпадений до психических расстройств при богатом воображении, что могли привести к восприятию данных вещей. Большую часть времени постулирование сверхъестественного объяснения не должно даже возникать у вас в сознании, поскольку у обыденных причин есть уже множество свидетельств в их пользу, а у сверхъестественного — ни одного.

Ключевой принцип 2: Наша интерпретация любого события, а также любая новая информация, которую мы получаем, зависит от информации, которая у нас уже есть.

Подпринцип 1: если вы наблюдаете явление, которое может быть, по вашему мнению, вызвано только причиной А, спросите себя: «что если данной причины не существовало бы — мог бы я ожидать независимо наблюдать то же явление с той же вероятностью?» Если ответ «да», то, возможно, причиной является вовсе не А.

Данное понимание ведет нас к…

Ключевой принцип 3: Мы можем использовать концепцию вероятности для измерения наших субъективных убеждений в чём-то. Более того, мы можем применять математические законы, имеющие отношение к вероятности, для выбора между различными убеждениями. Если мы хотим, чтобы наши убеждения были верными, мы обязаны так делать.

Факт, что любое явление может иметь бесконечный ряд причин объясняет то, почему байесианцы так строги при подтверждении теорий. Недостаточно, чтобы теория объясняла феномен; если она может объяснить слишком много, она не является хорошей теорией. Помните: явление, которое имело бы место даже в случае, когда предполагаемая вами причина отсутствует, — слабое подтверждение вашей гипотезы. Подобным образом, если теория может объяснить любое наблюдаемое явление, то есть если теория разрешает любое возможное событие, тогда ничего из того, что вы наблюдаете, не будет свидетельством для данной теории.

По своей сути, байесианство не представляет собой ничего более сложного чем это: мышление при помощи набора из трех ключевых принципов, полностью принимаемых во внимание. Добавим капельку идеализма: совершенным байесианцем является тот, кто обрабатывает всю информацию в совершенстве, и всегда приходит к лучшим заключениям, которые только можно сделать из имеющихся данных. Когда мы говорим о байесианстве, это идеал, к которому мы стремимся.

Полностью усвоенное, это мышление имеет тенденцию окрашивать ваши мысли в свой, особенный цвет. Как только вы осознаете, что все ваши убеждения, которые у вас есть, основаны — в механическом, законном смысле — на убеждениях, которые вы имели вчера, которые основаны на убеждениях что были у вас последний год, которые основаны на убеждениях которые были у вас, когда вы были еще ребенком, которые основаны на тех предположениях о мире, что были встроены в ваш мозг, когда вы росли в утробе матери… То это заставит вас задуматься о ваших убеждениях в большей степени. Забеспокоиться о том, все ли из этих предыдущих убеждений в действительности максимально соответствовали действительности.

И вот, по существу, зачем нужен этот сайт: чтобы помочь нам стать хорошими байесианцами.