Калибровка

Калибровка — намеренная прокачка способности оценивать величины, доверительные интервалы и вероятности путём сравнения собственных оценок с заведомо более точными.

Иногда и не в строгом смысле — изменение собственной оценки величины ближе к реальности (adjustment (буквально «подстройка») в английском LessWrong, см. Якорение и калибровка).

Откалиброваться — провести калибровку себя.

Зачем нужна калибровка

Известно, что люди очень плохо могут оценивать вероятности и другие численные величины. Наиболее яркий пример подобных когнитивных искажений - это ошибка планирования: люди дают излишне оптимистичные предсказания относительно сроков выполнения задач или прибытия в какое-то место, а также вероятности успеха в различных делах. В разных ситуациях люди могут быть как излишне оптимистичны, так и излишне пессимистичны; как излишне недооценивать значения численных величин, так и излишне переоценивать. Поскольку планы людей часто строятся на их предсказаниях о будущем и на оценке величин реального мира, то более точные оценки помогли бы им строить более реалистичные и успешные планы. Типичные примеры поправок, которые стоило бы внести после калибровки на соответствующие темы:

• Студенту, который думает, что успеет подготовиться к экзамену за три дня, стоило бы начать готовиться за пять;
• Человеку, стремящемуся успеть на встречу, следовало бы выходить из дома на полчаса раньше;
• Человеку, планирующему лечь спать вовремя, не следовало бы садиться смотреть очередную серию сериала вечером.

Гипотеза о калибровке

Сама возможность калибровки предполагает, что человек способен делать довольно точные интуитивные оценки вероятностей и других численных величин, но при этом плохо способен переводить соответствующие смутные интуитивные ощущения в числа. К примеру, можно представить, что его внутренний симулятор в ответ на задачу "оцени вероятность события X" генерирует смутные ощущения со спектром (для определенности) { A, B, C, D, E }. При оцифровке этих ощущений человек систематически переводит эти значения, условно, в величины 10%, 30%, 50%, 70% и 90% соответственно. Но если бы он откалибровались на величины (для примера) 2%, 8%, 20%, 30% и 60%, то его результат Брайера (один из вариантов оценки качества серии предсказаний) оказался бы гораздо лучше.

Как проводить калибровку

Общая схема алгоритма калибровки относительно какой-то темы (по разным темам каждый человек изначально в разной степени хорошо откалиброван) выглядит следующим образом:

• Делать достаточно большое количество предсказаний на эту тему - например, "с вероятностью 50% значение X окажется в интервале (x1, y1); с вероятностью 90% оно окажется в интервале (x2, y2)";
• Записывать эти предсказания, и как только становится известно истинное значение предсказанных величин - записывать и этот результат;
• После накопления достаточно большого числа предсказаний - посчитать, с какой вероятностью оказались верны предсказания типа "50%", а с какой - типа "90%";
• Если, например, первые были верны в 20% случаев, а вторые - в 60%, то в дальнейшем следует давать оценки по этой теме следующим образом: "если я хочу сказать, что вероятность этого равна 50%, то мне следует объявить вслух вероятность 20% и действовать в соответствии именно с этим значением" (и аналогично заменять 90% на 60%).

Калибратор

Пример вопроса в Калибраторе

По адресу https://lesswrong.ru/calibrator/ работает приложение для тренировки навыков калибровки.

Автор — Илья Агафонов, участник LW Екб.

Исходный код: http://github.com/lesswrong-ru/calibrator

Другие приложения для калибровки

Под Android существует приложение LW Predictions. Это приложение строит калибровочную кривую, исходя из тех предсказаний, которые пользователь делает на протяжении длительного времени. В приложении есть возможность разбивать предсказания на различные папки (то есть, можно учесть, что в разных областях откалиброванность может быть разной). Есть возможность включить напоминания о том, что пришёл срок ввести результат предсказываемого события, а также напоминания о том, что вы давно не делали предсказания. Это приложение уже исчезло из Google Play, вместо него доступны приложения Predict и Personal Prediction Log с похожим функционалом, но не имеющие возможности делать предсказания раздельно по разным категориям (и, соответственно, раздельно калибровать их).

Статьи по теме

• lwru:16 видов полезных предсказаний - список тем для предсказаний, которые полезно делать в реальной жизни; многие из которых можно откалибровать

Ссылки

• Записи с тегом calibration на LessWrong.com
• Калибровка уверенности - большая статья о теоретических и практических аспектах калибровки предсказаний
• Про калибровку на umneem.org
• Про калибровку на практике на umneem.org
• Efforts to Improve the Accuracy of Our Judgments and Forecasts — длинный обзор техник для улучшения качества предсказаний от Люка Мюльхаузера
• Видео со встреч