Открыть главное меню

Вики LessWrong.ru β

Изменения

Калибровка

6196 байт добавлено, 18:48, 21 декабря 2022
Нет описания правки
Калибровка — '''Калибровка''' — намеренная прокачка способности оценивать величины, доверительные интервалы и вероятности путём сравнения собственных оценок с заведомо более точными.
Иногда и не в строгом смысле — изменение собственной оценки величины ближе к реальности (adjustment (буквально «подстройка») в английском LessWrong, см. [http://lesswrong.ru/w/Якорение_и_калибровка Якорение и калибровка]).
Откалиброваться — провести калибровку себя.
 
== Зачем нужна калибровка ==
 
Известно, что люди очень плохо могут оценивать вероятности и другие численные величины. Наиболее яркий пример подобных когнитивных искажений - это [[Ошибка планирования|ошибка планирования]]: люди дают излишне оптимистичные предсказания относительно сроков выполнения задач или прибытия в какое-то место, а также вероятности успеха в различных делах. В разных ситуациях люди могут быть как излишне оптимистичны, так и излишне пессимистичны; как излишне недооценивать значения численных величин, так и излишне переоценивать. Поскольку планы людей часто строятся на их предсказаниях о будущем и на оценке величин реального мира, то более точные оценки помогли бы им строить более реалистичные и успешные планы. Типичные примеры поправок, которые стоило бы внести после калибровки на соответствующие темы:
* Студенту, который думает, что успеет подготовиться к экзамену за три дня, стоило бы начать готовиться за пять;
* Человеку, стремящемуся успеть на встречу, следовало бы выходить из дома на полчаса раньше;
* Человеку, планирующему лечь спать вовремя, не следовало бы садиться смотреть очередную серию сериала вечером.
 
== Гипотеза о калибровке ==
 
Сама возможность калибровки предполагает, что человек способен делать довольно точные интуитивные оценки вероятностей и других численных величин, но при этом плохо способен переводить соответствующие смутные интуитивные ощущения в числа. К примеру, можно представить, что его [[Внутренний симулятор|внутренний симулятор]] в ответ на задачу "оцени вероятность события X" генерирует смутные ощущения со спектром (для определенности) { A, B, C, D, E }. При оцифровке этих ощущений человек систематически переводит эти значения, условно, в величины 10%, 30%, 50%, 70% и 90% соответственно. Но если бы он откалибровались на величины (для примера) 2%, 8%, 20%, 30% и 60%, то его результат Брайера (один из вариантов оценки качества серии предсказаний) оказался бы гораздо лучше.
 
== Как проводить калибровку ==
 
Общая схема алгоритма калибровки относительно какой-то темы (по разным темам каждый человек изначально в разной степени хорошо откалиброван) выглядит следующим образом:
* Делать достаточно большое количество предсказаний на эту тему - например, "с вероятностью 50% значение X окажется в интервале (x1, y1); с вероятностью 90% оно окажется в интервале (x2, y2)";
* Записывать эти предсказания, и как только становится известно истинное значение предсказанных величин - записывать и этот результат;
* После накопления достаточно большого числа предсказаний - посчитать, с какой вероятностью оказались верны предсказания типа "50%", а с какой - типа "90%";
* Если, например, первые были верны в 20% случаев, а вторые - в 60%, то в дальнейшем следует давать оценки по этой теме следующим образом: "если я хочу сказать, что вероятность этого равна 50%, то мне следует объявить вслух вероятность 20% и действовать в соответствии именно с этим значением" (и аналогично заменять 90% на 60%).
== Калибратор ==
<s>Под Android существует приложение [https://play.google.com/store/apps/details?id=squirrelinhell.lwpredictions&hl=en LW Predictions]. Это приложение строит калибровочную кривую, исходя из тех предсказаний, которые пользователь делает на протяжении длительного времени. В приложении есть возможность разбивать предсказания на различные папки (то есть, можно учесть, что в разных областях откалиброванность может быть разной). Есть возможность включить напоминания о том, что пришёл срок ввести результат предсказываемого события, а также напоминания о том, что вы давно не делали предсказания.</s>
Это приложение уже исчезло из Google Play, но там есть вместо него доступны приложения [https://play.google.com/store/apps/details?id=com.gusbicalho.predict другое аналогичное Predict] и [https://play.google.com/store/apps/details?id=spxtr.predictionapp Personal Prediction Log] с похожим функционалом, но не имеющие возможности делать предсказания раздельно по функциональности]разным категориям (и, соответственно, раздельно калибровать их).
{{clear}}== Статьи по теме ==* [[lwru:16 видов полезных предсказаний]] - список тем для предсказаний, которые полезно делать в реальной жизни; многие из которых можно откалибровать
== Ссылки ==
* [http://lesswrong.com/tag/calibration/ Записи с тегом calibration на LessWrong.com]
* [https://telegra.ph/Kalibrovka-uverennosti-11-24 Калибровка уверенности] - большая статья о теоретических и практических аспектах калибровки предсказаний
* [http://umneem.org/калибровка Про калибровку на umneem.org]
* [http://umneem.org/калибровка-на-практике Про калибровку на практике на umneem.org]