264
правки
Изменения
м
Калибровка — намеренная прокачка способности оценивать величины, доверительные интервалы и вероятности путём сравнения собственных оценок с заведомо более точными.{{Golden}}
Золотая страница
'''Калибровка''' — намеренная прокачка способности оценивать величины, доверительные интервалы и вероятности путём сравнения собственных оценок с заведомо более точными. Иногда и не в строгом смысле — смысле — изменение собственной оценки величины ближе к реальности (adjustment (буквально «подстройка») в английском LessWrong, см. [http://lesswrong.ru/w/Якорение_и_калибровка Якорение и калибровка]).
Откалиброваться — провести калибровку себя.
==СсылкиЗачем нужна калибровка == Известно, что люди очень плохо могут оценивать вероятности и другие численные величины. Наиболее яркий пример подобных когнитивных искажений - это [[Ошибка планирования|ошибка планирования]]: люди дают излишне оптимистичные предсказания относительно сроков выполнения задач или прибытия в какое-то место, а также вероятности успеха в различных делах. В разных ситуациях люди могут быть как излишне оптимистичны, так и излишне пессимистичны; как излишне недооценивать значения численных величин, так и излишне переоценивать. Поскольку планы людей часто строятся на их предсказаниях о будущем и на оценке величин реального мира, то более точные оценки помогли бы им строить более реалистичные и успешные планы. Типичные примеры поправок, которые стоило бы внести после калибровки на соответствующие темы:* Студенту, который думает, что успеет подготовиться к экзамену за три дня, стоило бы начать готовиться за пять;* Человеку, стремящемуся успеть на встречу, следовало бы выходить из дома на полчаса раньше;* Человеку, планирующему лечь спать вовремя, не следовало бы садиться смотреть очередную серию сериала вечером. == Гипотеза о калибровке == Сама возможность калибровки предполагает, что человек способен делать довольно точные интуитивные оценки вероятностей и других численных величин, но при этом плохо способен переводить соответствующие смутные интуитивные ощущения в числа. К примеру, можно представить, что его [[Внутренний симулятор|внутренний симулятор]] в ответ на задачу "оцени вероятность события X" генерирует смутные ощущения со спектром (для определенности) { A, B, C, D, E }. При оцифровке этих ощущений человек систематически переводит эти значения, условно, в величины 10%, 30%, 50%, 70% и 90% соответственно. Но если бы он откалибровались на величины (для примера) 2%, 8%, 20%, 30% и 60%, то его результат Брайера (один из вариантов оценки качества серии предсказаний) оказался бы гораздо лучше. == Как проводить калибровку == Общая схема алгоритма калибровки относительно какой-то темы (по разным темам каждый человек изначально в разной степени хорошо откалиброван) выглядит следующим образом:* Делать достаточно большое количество предсказаний на эту тему - например, "с вероятностью 50% значение X окажется в интервале (x1, y1); с вероятностью 90% оно окажется в интервале (x2, y2)";* Записывать эти предсказания, и как только становится известно истинное значение предсказанных величин - записывать и этот результат;* После накопления достаточно большого числа предсказаний - посчитать, с какой вероятностью оказались верны предсказания типа "50%", а с какой - типа "90%";* Если, например, первые были верны в 20% случаев, а вторые - в 60%, то в дальнейшем следует давать оценки по этой теме следующим образом: "если я хочу сказать, что вероятность этого равна 50%, то мне следует объявить вслух вероятность 20% и действовать в соответствии именно с этим значением" (и аналогично заменять 90% на 60%). == Калибратор ==[[File:Calibrator.png|thumb|Пример вопроса в Калибраторе]]По адресу https://lesswrong.ru/calibrator/ работает приложение для тренировки навыков калибровки. Автор — [https://vk.com/agafonovilya Илья Агафонов], участник [[Встречи в Екатеринбурге|LW Екб]]. Исходный код: http://github.com/lesswrong-ru/calibrator == Другие приложения для калибровки == <s>Под Android существует приложение [https://play.google.com/store/apps/details?id=squirrelinhell.lwpredictions&hl=en LW Predictions]. Это приложение строит калибровочную кривую, исходя из тех предсказаний, которые пользователь делает на протяжении длительного времени. В приложении есть возможность разбивать предсказания на различные папки (то есть, можно учесть, что в разных областях откалиброванность может быть разной). Есть возможность включить напоминания о том, что пришёл срок ввести результат предсказываемого события, а также напоминания о том, что вы давно не делали предсказания.</s>Это приложение уже исчезло из Google Play, вместо него доступны приложения [https://play.google.com/store/apps/details?id=com.gusbicalho.predict Predict] и [https://play.google.com/store/apps/details?id=spxtr.predictionapp Personal Prediction Log] с похожим функционалом, но не имеющие возможности делать предсказания раздельно по разным категориям (и, соответственно, раздельно калибровать их). == Статьи по теме ==* [[lwru:16 видов полезных предсказаний]] - список тем для предсказаний, которые полезно делать в реальной жизни; многие из которых можно откалибровать
== Ссылки ==
* [http://lesswrong.com/tag/calibration/ Записи с тегом calibration на LessWrong.com]
* [https://telegra.ph/Kalibrovka-uverennosti-11-24 Калибровка уверенности] - большая статья о теоретических и практических аспектах калибровки предсказаний
* [http://umneem.org/калибровка Про калибровку на umneem.org]
* [http://umneem.org/калибровка-на-практике Про калибровку на практике на umneem.org]
* [https://www.openphilanthropy.org/blog/efforts-improve-accuracy-our-judgments-and-forecasts Efforts to Improve the Accuracy of Our Judgments and Forecasts] — длинный обзор техник для улучшения качества предсказаний от [[Люк Мюльхаузер|Люка Мюльхаузера]]
* [https://www.youtube.com/playlist?list=PLl-Tj9sXiROa3r5npho-45k9kIGSwkXTX Видео со встреч]
[[Категория:ПонятиеПонятия]][[Категория:Методики]]