Какой смысл вкладывают во фразу «вероятность выпадения решки 50%»?

Исторически сложилось так, что у этого вопроса есть два популярных варианта ответа: «частотный» и «субъективный» (он же «байесианский»), которые, в свою очередь, означают два разных подхода к статистике. Есть еще и третий вариант — «склонность», но он в значительной степени дискредитирован. Если кратко описать эти три варианта то получится вот что:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Интерпретация «склонности» наиболее естественная для человеческой интуиции, ведь многим людям кажется, что случайность — это врожденное свойство монеты. Тем не менее этот вариант трудновато сочетать в фактом того, что монета, будучи пойманной, уже показывает либо орел либо решку. Если обсуждаемое событие детерминировано, интерпретация «склонности» может быть рассмотрена, как случай «ошибки проецирования ума»: когда мы в голове оцениваем подбрасывание монеты, то легко верим, что мы находимся в мире, где монета фундаментально пятидесятипроцентнорешковая. Но это убеждение — факт о нас, а не о монете; и монета не имеет физического свойства выпадать решкой в половине случаев. Она просто монета.

Две другие интерпретации внутренне непротиворечивы и образуют разные подходы к статистике, о сравнительной полезности которых идет немало споров. Субъективная интерпретация применима в большем количестве ситуаций, так как позволяет назначать вероятности (выраженные как ставки) даже единичным событиям.

Частотность против субъективизма.

В качестве примера, на котором можно показать разницу между частотностью и субъективизмом, рассмотрим вопрос: «Какова вероятность выигрыша Хиллари Клинтон на президентских выборах 2016 года?». Воспользуемся данными, доступными на момент лета 2016.

Стереотипный (соломенный) частотник скажет: «Президентские выборы 2016 года — уникальное событие, случающееся лишь один раз. Мы не можем наблюдать частоту с которой Клинтон выигрывает президентские выборы. Так что мы не можем тут выполнить статистическое исследование или назначить вероятности».

Стереотипный субъективист ответит: «Итак, рынки предсказания довольно хорошо откалиброваны для таких событий, в том смысле, что если рынок назначает вероятность в 20%, то такое событие происходит где-то 1 раз из 5. А рынки предсказаний ставят на победу Клинтон сейчас с шансами 3 к 1. Так что я вполне уверенно могу сказать, что она победит с вероятностью в 75%. Если бы кто-то предложил мне ставку с шансами 20:1 против нее (т.е. этот человек получает 1 доллар в случае проигрыша, а я 20$, если она выигрывает выборы), то я бы принял эту ставку. Разумеется, можно отказаться от такой ставки, мотивируя это тем, что Вы Просто Неспособны Говорить О Вероятностях Единичных Событий, но это будет означать лишь, что вы упускаете случай сыграть очень хорошую ставку».

Стереотипный (не-соломенный) частотник ответит: «Разумеется, я бы тоже принял эту ставку. Но это решение не было бы принято на основе строгой эпистемологии, и уж тем более мы не можем позволять такие виды рассуждений в эмпирической науке и других важных областях применения вероятностей. Вы можете использовать субъективные рассуждения при оценке ставок, но мы не должны допускать такие рассуждения в научные журналы — для этого и существует частотная статистика. Заключение вашего исследования не должно содержать вещей вроде: «и вот, пронаблюдав такие—то данные об уровне углекислого газа, я бы поставил 9:1 на то, что антропогенное глобальное потепление реально происходит», ведь мы не можем выстроит научный консенсус на основе личных мнений».

…и вот тут начинаются сложности. Субъективист ответит: «Во-первых, я согласен с тем, что не следует размещать в работах апостериорные шансы, во-вторых, ваш метод тоже не особо объективный: выбор класса «подобных событий» произволен, им легко злоупотребить и, как результат, мы имеем хаки p-value и кризис репликации». На что частотник скажет: «ну а ваш выбор априорных еще более субъективен, и посмотрел бы я как вы себе поведете, когда давление со стороны сообщества толкает на злоупотребление статистикой и преувеличение результатов» — и вот мы отправляемся в путешествие вниз по кроличьей норе.

Субъективная интерпретация вероятностей распространена среди исследователей ИИ (которые часто разрабатывают системы, манипулирующие субъективными распределениями вероятностей), биржевых трейдеров (которым приходится делать ставки даже в относительно уникальных ситуациях) и в обычной жизни (ведь людям надо оценивать вещи вроде вероятности выпадения осадков завтра в 30%, несмотря на то, что завтра случиться лишь однажды). Тем не менее, частотную интерпретацию обычно преподают на лекциях по введению в статистику и она составляет золотой стандарт научных журналов.

С точки зрения среднего частотника, хороший статистик должен иметь разные статистические инструменты в своем распоряжении. Есть место и для субъективистских, но никакого особенного отношения они не заслуживают (и уж точно их не стоит принимать во внимание, когда приходит время оценивать работы для публикации в серьезном журнале).

С точки зрения агрессивного субъективиста, частотники наизобретали немало хороших инструментов, среди которых есть и действительно полезные, но их отказ оценивать субъективные вероятности токсичен. Частотная статистика была разработана как (провалившаяся) попытка исключить субъективность из науки во времена, предшествующие постижению законов теории вероятности человечеством. Сейчас же у нас есть теоремы о корректном использовании субъективных вероятностей, и как факторизировать личные убеждения на основе объективных свидетельств из данных, и если эти теоремы игнорировать, то легко попасть в беду. Частотная интерпретация сломана и поэтому в науке распространен p-hacking и кризис воспроизводимости, в то время как трейдеры и исследователи ИИ используют байесовскую интерпретацию. Идея «давайте найдем компромисс и согласимся, что все точки зрения валидны» хорошо звучит, но сколько провалов требуется прежде чем наступит пора сказать «ой» и признать субъективную интерпретацию во всех областях науки?

Однако, большинство ученых и исследователей скорее агностики, в том смысле что: «используй любые удобные инструменты, а когда придет пора отдавать работу на публикацию, заверни процесс в частотные, ведь так люди делали на протяжении десятилетий и именно этого все и ожидают от тебя».

Какая из интерпретаций наиболее полезна?

Вероятно, это субъективная интерпретация, ведь она вбирает в себя «склонность» и частотные методы, как частные случаи, при этом являясь более гибкой.

Когда частотный класс «подобных событий» ясно обозначен, субъективист может учесть эти частоты (часто именуемые априорными вероятностями в таких случаях). Однако, в отличии от частотника, она может совместить эти априорные вместе с другими наблюдаемыми свидетельствами из данных и назначать вероятности единичным событиям. Делать деньги на рынках предсказаний и/или на рынках ценных бумаг (если у нее есть информация, которой нет у рынка).

В тех случаях, когда законы физики все же «содержат неопределенность», когда они, например, утверждают, что вы получите множество разных наблюдений вместе с разными условными вероятностями (как в случае с уравнением Шредингера), субъективист может объединить свою неопределенность «склонности» и личную для генерации агрегированных субъективных вероятностей. Но в отличии от теоретика «склонности», ничто не принуждает ее думать, будто вся неопределенность содержится в физических законах. Она может думать как теоретик «склонности» о предоставленной уравнением Шредингера неопределенности, при этом все еще веря в то, что ее неопределенность относительно уже упавшей монеты содержится в ее разуме, а не в монете.

Вывод же такой: частотные методы хороши для ответа на частотные вопросы. Из того, что вы можете назначать вероятности для единичных событий (т.е. оценивать насколько хороша какая-то ставка на рынке предсказаний или ценных бумаг) не следует, что обозначенные как «байесианские» инструменты обязательно лучше тех, что обозначены как «частотные». Какую бы интерпретацию «вероятностей» вы бы ни использовали, мы надеемся, что вы задействуйте наиболее вам удобные, независимо из какого «лагеря» этот инструмент. Не позволяйте факту того, что вы можете назначать вероятности единичным событиям, стоять на вашем пути, если вы решите использовать частотные инструменты!

Давайте вспомним три распространенных интерпретации того, что значит для монеты выпадать с вероятностью в 50% решкой:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Один из способов визуализировать разницу между интерпретациями, это посмотреть какие модели в рамках этих интерпретаций считаются хорошими моделями. Если чья-то модель сформулирована и может быть выражена словами, то для проверки ее качества нам достаточно сравнить ее с известными фактами. Например, если эта модель утверждает что «вон то дерево три метра в высоту», то эта модель корректна только в том случае, если дерево действительно три метра в высоту.

Однозначные утверждения модели называются «правдой», когда они соответствуют реальности, и «ложью», когда не соответствуют. Если вы собираетесь воспользоваться картой для навигации вдоль побережья, лучше бы вам убедиться в том, что линии на карте соответствуют территории.

Но как определить соответствие между картой и территорией, когда карта вероятностна? Если ваша модель утверждает что перекошенная монета имеет вероятность выпадения решки в 70%, в чем состоит соответствие вашей модели и реальности? Если монета действительно выпала решкой, можно ли назвать утверждение модели «правдой»? Правдой на 70%? И что это будет значить?

Сторонник теории «склонности» утверждает, что это голый факт о мире, что реальность содержит онтологически фундаментальную неопределенность. Модель, утверждающая, что монета выпадает решкой с вероятностью в 70%, является верной только в том случае, если реальная физическая склонность монеты составляет 0,7 в пользу решки.

Эта интерпретация полезна, когда законы физики действительно утверждают, что вы можете пронаблюдать несколько разных результатов с разными условными вероятностям, как в случае с квантовой физикой. Однако, если событие детерминировано — т.е. если монета была подброшена, упала и уже показывает чт0-то, тогда эта интерпретация выглядит глупо, и является примером для «ошибки проецирования ума». Монета — это лишь монета, и не имеет структуры (или особого физического статуса), фундаментально содержащей в себе крохотные 0,7 где-то внутри. Она уже выпала либо решкой либо орлом, и несмотря на возможное чувство, что монета имеет фундаментальную неопределенность, это чувство является событием внутри вашего мозга, а не монеты.

Так как же мы может определить соответствие между вероятностной картой и детерминированной территорией (где монета уже выпала либо орлом либо решкой)?

Частотник определяет соответствие между единичным вероятностным высказыванием модели и множеством событий в реальности. Если карта утверждает «эта монета с вероятностью в 70% покажет решку», и территория содержит 10 случаев, когда 10 карт утверждают то же самое, и в 7 из 10 этих случаев монета выпадает решкой, тогда частотник скажет, что утверждение истинно.

Тем самым частотник следует принципу черно-белого соответствия: модель либо верна либо нет; утверждение о 70% либо правда либо ложь. Когда карта утверждает «эта монета с вероятностью в 30% выпадет орлом», это (согласно мнению частотника) означает «взгляните на все случаи, подобные этому, где моя карта утверждала, что монета с вероятностью в 30% выпадет орлом; среди всех этих случаев в реальности, три десятых содержит выпавшую орлом монету». И такое заявление модели является окончательным, с учетом данного набора «подобных событий».

Субъективист, напротив, использует идею «корректности» и оттенки серого. Он может сказать: «Моя неопределенность относительно состояния монеты - факт обо мне, а не о монете. Мне не нужны другие «подобные случаи» для выражения неопределенности относительно этого случая. Я знаю, что реальность в которой я нахожусь либо реальность-где-уже-орел, либо реальность-где-уже-решка, и у меня есть распределение вероятностей в котором решке отведено 70%». И он определяет соответствие между распределением вероятностей и реальностью таким образом, что чем большую вероятность модель назначает корректному ответу, тем модель лучше.

Если реальность является реальностью-решки, и вероятностная карта назначает 70% решке, тогда субъективист скажет, что карта точна на 70%. Если относительно 10 подобных случаев, где карта назначает решке 70% и в 7 из 10 случаев выпадает решка, байесианец называет такую карту «хорошо откалиброванной». Далее он может начать искать способы повысить точность и калибровку карты. Ему не нужно интерпретировать заявления вероятностных карт как окончательные; он вполне будет рад интерпретировать заявления как прогнозы, которые можно расположить на шкале точности.

Дебаты вокруг интерпретаций.

Короче говоря, частотная интерпретация пытается отыскать способ определения истинности или ложности модели (путем определения набора подобных событий), в то время как субъективная интерпретация развивает идею «корректности» и оттенки серого.

Случается так, что частотники выдвигают возражения против субъективной интерпретации, утверждая что частотное соответствие — единственная интерпретация, для которой есть хоть какая-то надежда на объективность. Ведь возможно ли с точки зрения байесианского соответствия определить, должна ли карта назначать 70% или 75%, с учетом того, что вероятностные утверждения не являются объективно истинным или объективно ложными? Частотники утверждают, что такие субъективные оценки «частичной точности» могут быть интуитивно привлекательными, но им не место в науке. Научные исследования должны быть ограничены частотными утверждениями, которые определенно либо истинны либо ложны. И делать это надо ради увеличения объективности в науке.

Субъективисты отвечают на это, указывая на сомнительную объективность частотного подхода, который целиком и полностью зависит от выбора «подобных случаев». На практике получается так, что люди могут (и делают!) злоупотреблять частотной статистикой, выбирая такой класс подобных случаев, с которым их результаты будут выглядеть максимально впечатляющими (этот способ называется «p-hacking»). Кроме того, манипуляция субъективными вероятностями полностью подчиняется железным законам теории вероятностей (которая является единственным способом управлять своей неопределенностью о мире, избегая противоречий и патологий), так что субъективные вероятности далеки от взятых «с потолка». И потом, предметом научного исследования являются в том числе и события, для которых нет большого класса подобных случаев, и тем не менее, есть свидетельства которые надо учесть.

Для более углубленного изучения этих дебатов смотрите: Правдоподобия, P-значения и кризис воспроизводимости .