Суперпрогнозисты, как делать эффективные прогнозы

[Realitydeviant]

http://ko.com.ua/iz_prochitannogo_superforecasting_114700
Нашел интересную статью в которой описывается эксперимент с прогнозированием который сделала разведка США. Думаю это довольно ценная информация и полезная для развития рационального мышления.
Вот начало статьи:
В 2010 г. исследовательское крыло разведки США IARPA решило проверить тезис о “мудрости масс“, объявив конкурс на исследовательские гранты. В 2011  г. онлайн-проект The Good Judgement Project, запущенный профессором университета Пенсильвании (и бизнес-школы Уартона) Филипом Тетлоком, получает грант IARPA и по сегодняшний день продолжает привлекать энтузиастов, считающих что они способны предсказать будущее лучше остальных. В процессе работы над проектом Тетлок подметил, что ряд участников проекта демонстрирует показатели весьма и весьма выше среднего. Он окрестил их супер-предсказателями, и эта книга обобщает методы работы, используемые супер-прогнозистами.

[vkv]

Одна компания в 50-х годах прошлого века реализовала эпохальную разводку. Она отобрала 64 ведущих брокера, которые занимались торговлей акциями и имели в портфеле - популярную АКЦИЮ одной из ведущих американских корпораций и предложила им подписаться на «прогноз» курсовой стоимости акций. Конечно, никто ничего не купил.

Тогда они поделили базу потенциальных клиентов на 2 части случайным образом. 32-м отослали прогноз, что завтра АКЦИЯ вырастет, а другим 32-м — что упадет.
На следующий день, базу тех, для кого был сделан правильный прогноз, снова раздробили на две части. Первым 16-и отправили прогноз, что АКЦИЯ вырастет, а вторым 16-и, что упадет. Тем же 32, для кого прогноз предыдущего дня был неверен — ничего отсылать не стали. )
Как вы, наверное, уже догадались, на третий день базу тех, кому уже два раза отослали правильный прогноз — снова разбили на две части. Тех восьмерых, которым уже 2 раза прислали правильный прогноз, снова разделили…

Не буду вас утомлять повторениями, однако легко можно посчитать, что в конце концов из базы 64 клиентов — остался только один брокер, которому 6 (ШЕСТЬ) раз подряд (ПОДРЯД) присылали правильный прогноз !!!
Этому «счастливчику» предложили купить прогнозы поведения акций на год вперед и он произвел оплату на сумму 2 млн американских долларов.
На следующий день эта прекрасная компания растворилась в небытии.

если бы мы набрали 64 группы по 10 человек и раздали бы каждой из групп различный вариант прогноза, то на 6 день получили бы группу из 10 супер-прогнозистов. (и всего лишь 10 человек абсолютных неудачников, которые не угадали ни разу)

[Alaric]

если бы мы набрали 64 группы по 10 человек и раздали бы каждой из групп различный вариант прогноза, то на 6 день получили бы группу из 10 супер-прогнозистов. (и всего лишь 10 человек абсолютных неудачников, которые не угадали ни разу)

Вообще-то, лично я уверен, что конкретно Тетлок про этот эффект гарантировано знает (он давно занимается соответствующей темой), поэтому, на мой взгляд, здесь это замечание малоосмысленно.

[vkv]

каюсь, пробежал статейку по ссылке в полглаза.
а это разве не принципиально неустранимый эффект?
ну, разве что мы заставим группу делать сотни прогнозов, как настаивал valergrad в соседней ветке

[Alaric]

а это разве не принципиально неустранимый эффект?

А в чём проблема его устранить? Берём группу суперпрогнозистов и просим их делать прогнозы в какой-то проверяемой форме. Потом берём группу людей с улицы (контрольную группу) и просим их делать прогнозы в такой же форме. Если точность прогнозов у суперпрогнозистов превышает точность прогнозов у контрольной группы с учётом статистической погрешности, то суперпрогнозисты действительно суперпрогнозисты.
Ну, т.е. да, нужно действительно набрать большую выборку прогнозов.

[vkv]

А в чём проблема его устранить? Берём группу суперпрогнозистов и просим их делать прогнозы в какой-то проверяемой форме. Потом берём группу людей с улицы (контрольную группу) и просим их делать прогнозы в такой же форме

так мы именно этим путем группу суперпрогнозистов и получили. Если их мнения будут достаточно полярными, а группа достаточно большая, то мы опять получим новую группу сверхсуперпрогнозистов, которые прогнозируют даже лучше, чем начальная группа суперпрогнозистов, но не на каплю не приблизимся к пониманию того, можно ли прогнозам доверять
Разве это не у вас в жеже было про примерно такой же отбор способных к телепатии/ясновидению?

К сожалению в статье по ссылке нет ни размера групп, ни количества прогнозов

[Alaric]

так мы именно этим путем группу суперпрогнозистов и получили. Если их мнения будут достаточно полярными, а группа достаточно большая, то мы опять получим новую группу сверхсуперпрогнозистов, которые прогнозируют даже лучше, чем начальная группа суперпрогнозистов, но не на каплю не приблизимся к пониманию того, можно ли прогнозам доверять

Нет. Я не о том. После получения группы, надо проверить их способность к предсказыванию без сужения группы.
Если верна ваша гипотеза, то никаких отличий с контрольной группой не будет. Но я полагаю, что это всё-таки уже проверили и отличия есть.

[vkv]

давайте попробуем аргумент стороны зла.
Если бы в этой статье вместо слова "прогноз" и производных было написано "ясновидение", вас убедила бы эта статья, и если да - то почему?

[Alaric]

давайте попробуем аргумент стороны зла.
Если бы в этой статье вместо слова "прогноз" и производных было написано "ясновидение", вас убедила бы эта статья, и если да - то почему?

Наверное, да.
Причина, скорее сводится к апелляции к авторитету - я в курсе, что Филипп Тетлок долго занимается этой темой, на его работу в этой области (причём скептическую) ссылался Канеман в своей книге, поэтому я полагаю, что он умеет корректно ставить эксперименты в этой области.
Для получения больших подробностей, видимо, нужно читать книгу, но пока у меня на это нет времени, хотя, полагаю, что в ближайшие несколько лет я её прочту

[vkv]

К вопросу о том, как отбирать ясновидящих, снимая провалившихся с эксперимента (я не утверждаю, что Тетлок обязательно сделал такую же ошибку )
https://insider.pro/ru/article/63967/
(сайт требует регистрации, но если помухлевать с хтмлем, то можно и так почитать)

Представим себе пьяницу, который вышел из бара и собирается куда-то идти. Но он настолько не ориентируется в пространстве, что каждый шаг делает в слу­чайном направлении. Он не помнит, в какую сторону только что двигался. Правда, бар находятся в тупике узкой улицы, которая обнесена заборами. Движе­ние возможно лишь в двух направлениях: от бара и обратно. Первый шаг пьяница делает всегда вперед (из бара), а затем его движение случайно, но в рамках одной координаты: шаг вперед, шаг вперед, шаг назад, шаг вперед, шаг вперед, шаг назад, шаг вперед, шаг вперед и т. д. В математике такой процесс называет­ся одномерным случайным блужданием.
Зададим три вопроса:
На каком расстоянии от бара, в среднем, окажется пьяница через N шагов?

Каким будет медианное время возврата пьяниц (время, через которое половина пьяниц вернется в бар)?

Каким будет среднее время возврата пьяниц (суммарное время блуждания всех пьяниц деленное на их число)?

...

Вероятность вернуться в бар ровно на четвертом шаге равна 1/8, а вероятность все еще остаться на улице — 1/2−1/8=3/8. При больших N вероятность вернуть­ся в бар обратно пропорциональна N в степени 3/2, а вероятность все еще быть на улице — корню из N.Это означает, что часть пьяниц будет блуждать очень долго. Например, при N=100 на улице все еще останется каждый десятый из участников «забега», при N=1000 — каждый тридцатый, при N=10 000 — каж­дый сотый. В математике такие долгие возвраты со степенной статистикой называются полетами Леви. Парадоксальная особенность полетов Леви состоит в том, что с увеличением числа экспериментов их среднее время растет.
Если у нас 10 человек, то самый «авантюрный» пройдет примерно 100 шагов, а боль­шинство остальных — 2−4 шага. Его длина прогулки может запросто превысить суммарную длину прогулок остальных участников. Их вклад в сумме даст 20−40 шагов, а его — 100 шагов. Среднее время возврата составит 12−14 шагов.

[Alaric]

Кстати. Месяц назад на московскую встречу LessWrong приходил парень, который в этом самом проекте "суперпрогнозистов" участвовал. Можно посмотреть видео его выступления: https://www.youtube.com/watch?v=bxFS4c5QYwI