Предсказания 2017

В январе 2017 года в русскоязычном сообществе был объявлен «конкурс» предсказаний. Слово «конкурс» взято в кавычки, потому что никаких правил подведения результатов опубликовано не было. Эта страница посвящается итогам этого «конкурса».

Как всё происходило

Вячеслав Матюхин на своём сайте создал страницу для предсказаний. Любой участник мог добавить своё предсказание, при этом от него требовалось указать, какова по его мнению вероятность того, что это предсказание сбудется. Также можно было ставить вероятности к предсказаниям других участников. Участники не видели предсказания других (с поправкой на то, что от исходного автора каждого предсказания требовалась формулировка, к которой он может поставить вероятность от 50 % и выше).

Предсказания должны были быть такими, что в конце 2017 года для каждого можно было бы ответить на вопрос: сбылось оно или нет.

Для участия требовалась регистрация в Slack-чат'е.

Подведение итогов несколько затянулось, и эта страница появилась только во второй половине февраля 2018 года.

Предсказания

Все предсказания, сделанные участниками, собраны в следующую таблицу. Два предсказания признаны некорректными (по ним практически невозможно определить их истинность). В дальнейших подсчётах они не использовались.

N	Предсказание	Сбылось	Кол-во	Min	Max	Среднее	Медиана
1	Путин останется президентом	Да	19	50	99	90,6	95,0
2	Трамп останется президентом	Да	19	55	99	83,6	90,0
3	Кочерга не закроется	Да	16	1	99	69,8	70,0
4	На lesswrong.ru появится отдельный раздел с материалами русскоязычного сообщества	Нет	4	30	90	66,3	72,5
5	На lesswrong.ru появится отдельный раздел с анонсами встреч	Нет	1	90	90	90,0	90,0
6	Slack-чат lesswrong’а останется главным чатом сообщества	Да	13	60	99	83,0	80,0
7	Перепись сообщества в декабре 2017-го года заполнят более 400 человек	Нет	9	60	90	76,7	80,0
8	Кочерга (или команда Кочерги) проведёт как минимум 4 воркшопа по прикладной рациональности	Да	4	70	94	83,5	85,0
9	SpaceX успешно запустит Falcon Heavy	Нет	7	10	85	56,4	70,0
10	Регулярные встречи LessWrong.ru к концу года будут как минимум в 5 городах России, Украины и Белоруссии	Нет	4	30	70	57,5	65,0
11	Биткоин будет стоить более $1000 в конце года	Да	9	50	90	68,3	70,0
12	Вы останетесь в lesswrong’е	Некорректное предсказание
13	Здесь будет четное число предсказаний	Нет	14	50	80	52,6	50,0
14	В России произойдёт революция.	Нет	22	1	90	10,3	5,0
15	Здесь будет нечётное число предсказаний	Да	16	20	51	47,9	50,0
16	SpaceX успешно переиспользует первую ступень хотябы один раз	Да	7	30	90	65,0	70,0
17	Первая Tesla Model 3 будет доставлена покупателю до конца года	Да	5	50	75	62,4	67,0
18	Сборная России не выйдет из группы на Кубке Конфедераций по футболу	Да	4	25	90	56,3	55,0
19	Сборная России не выиграет Кубок Конфедераций по футболу	Да	4	90	99	94,8	95,0
20	Движение автомобиля без человека внутри НЕ легализовано ни в одной стране или штате	Да	12	20	99	57,0	48,0
21	AGI не появится.	Да	9	90	99	95,3	95,0
22	fpaint напишет в свой блог еще минимум 3 поста (после «О вреде банхаммера») про русскоязычное сообщество LW	Да	9	40	90	73,3	80,0
23	На Трампа совершат покушение	Нет	15	1	90	19,1	8,0
24	В отношении России будут действовать экономические санкции.	Да	13	50	99	79,4	80,0
25	Юдковский за этот год опубликует хотя бы одну художественную книгу.	Нет	5	1	75	41,2	50,0
26	Курс доллара на конец года (на ММВБ) останется в диапазоне 50-70 рублей.	Да	11	20	90	61,1	65,0
27	Падение реальных доходов Россиян(по данным росстата) будет не мение 6 % и не привысит 12 %	Нет	1	80	80	80,0	80,0
28	Будет начато строительство стены на границе США-Мексика.	Да	8	20	90	53,1	50,0
29	В Москве не произойдёт митингов или иных массовых народных выступлений, организованных не представленными в парламенте силами, с численностью участников, превышающей 10 тысяч человек.	Да	7	15	92	53,9	50,0
30	В России не будет законодательно запрещён Tor	Да	10	48	90	75,3	77,5
31	В мире не произойдёт терактов с количеством погибших, превышающим 500 человек.	Нет	9	10	97	66,9	90,0
32	Участники этой тусовочки не поумнеют.	Некорректное предсказание
33	Сбор предсказаний будет завершён позже, чем обещано.	Да	1	99	99	99,0	99,0

Полная таблица выставленных вероятностей

В следующей таблице приведён полный список участников, со всеми выставленными ими вероятностями. Участники названы по никам в Slack-чате сообщества. По техническим причинам один из участников не идентифицирован — в силу некоторой ошибки на сайт предсказаний можно было зайти, пользуясь регистрацией в любом slack-чате, и, видимо, кто-то ставил вероятности, зайдя из своего рабочего слака, или, быть может, слака, созданного участником fpaint.

В таблицу добавлены также три «синтетических участника». «Средний участник» и «Медианный участник» — это попытки представить результаты «коллективного разума» сообщества, который ставит вероятности соответственно как среднее арифметическое или медиана от оценок участников. «Участник 'Я не знаю'» просто ставит 50 % на все предсказания.

Жирным шрифтом выделены предсказания, в которых участник «угадал исход» — был ближе к 1, если предсказание сбылось, или к нулю, если нет.

Участник	1	2	3	4	5	6	7	8	9	10	11	13	14	15	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31	33
fish													1
dr_zoidberg			80										5
Неидентифицированный участник	99	90									70		5		70					90		1	90		60				70
deadworoz	99	99				99						50	1	50			90	99	25			1	60		90
gitdes	90	90	70			80	60	90			70	50	5	50						95		10			70		80		75
fil0sof	99	70	99	30		80						50	10	50					90		80	90	80	1			90		70	20
icobra	50	99	99	60		90							15						99			3	85					30	90	70
abbath	95	70				90			70										50	99	70	20	70	50	80
random	95	80	60			80	60	70	40		60	55	10	45	70	50			80	95		10	90	20	60		70	60	80	90
mihaild		90	80				80					51	3	51						99
whaf	90	80	70			80	70			30	70	50	10	50							40	60	80		60
darklord4	70		60			80					50	50	10	50					46		90		50		70				48
gemist	92	96	69										12	50	30	67	25	90	29	91
drakon_black	99	95				90			10		90	50	5	50	85	75			80		80	5	99		20	80	25		70	90
self-perfection	92	60	90								70		7		80							7			65				90	97
kirill	85	60	50			75	80				60	50	10	50					40			50	98					40		40	99
alaric	95	95					90					50	1	50			60	95	95		80		90	60	70		40	90	80	90
quilfe	93	85	78	85		95	90	94		70		50	1	50						99	60	2
Средний участник	91	84	70	66	90	83	77	84	56	58	68	53	10	48	65	62	56	95	57	95	73	19	79	41	61	80	53	54	75	67	99
motia_motia	90	85				60	85		70				5	50	30	70			30		70	15					50	50		10
Медианный участник	95	90	70	73	90	80	80	85	70	65	70	50	5	50	70	67	55	95	48	95	80	8	80	50	65	80	50	50	78	90	99
Участник «Я не знаю»	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50	50
okroshka	95	95	80						85			80	2	20								5	75	75			20	92	80
kurokikaze	95	55							70			50	13	50					20	95		8	65		27		50	15
berekuk	99	95	70	90	90	80	75	80	50	60	75	50	5	50	90	50	50	95		95										95
dimka			60							70
oswaldo													90								90
spaider			1

Оценка результатов

Как уже было сказано, никаких правил подведения результатов подведения не было. Поэтому решено было посчитать результаты хоть по каким-то известным для таких целей метрикам. (Logarithmic score меняется от минус бесконечности до нуля и чем больше, тем лучше. Brier score меняется от нуля до единицы и чем меньше, тем лучше.)

Участник	Кол-во предсказаний	Logarithmic score	Mean logarithmic score	Brier score
fish	1	-0,010	-0,010	0,000
dr_zoidberg	2	-0,274	-0,137	0,021
Неидентифицированный участник	10	-1,968	-0,197	0,046
deadworoz	12	-3,554	-0,296	0,104
gitdes	15	-4,631	-0,309	0,088
fil0sof	16	-5,998	-0,375	0,111
icobra	12	-4,614	-0,384	0,138
abbath	11	-4,273	-0,388	0,123
random	23	-10,668	-0,464	0,145
mihaild	7	-3,365	-0,481	0,170
whaf	14	-6,884	-0,492	0,163
darklord4	12	-5,941	-0,495	0,164
gemist	11	-5,745	-0,522	0,187
drakon_black	19	-10,037	-0,528	0,181
self-perfection	10	-5,467	-0,547	0,139
kirill	15	-8,333	-0,556	0,196
alaric	17	-9,564	-0,563	0,188
quilfe	14	-7,938	-0,567	0,198
Средний участник	31	-17,709	-0,571	0,195
motia_motia	15	-9,400	-0,627	0,223
Медианный участник	31	-19,570	-0,631	0,219
Участник «Я не знаю»	31	-21,488	-0,693	0,250
okroshka	13	-9,103	-0,700	0,259
kurokikaze	13	-9,453	-0,727	0,268
berekuk	20	-14,780	-0,739	0,247
dimka	2	-1,715	-0,857	0,325
oswaldo	2	-2,408	-1,204	0,410
spaider	1	-4,605	-4,605	0,980

На таблице выше видно, что участники сделали разное число предсказаний. Поскольку и логарифмическая оценка, и показатель Бриера штрафуют участника, который ставит вероятность 50 %, по сравнению с участником, который вовсе не даёт никакой оценки, решено было составить вторую таблицу результатов, в которой считается, что на все вопросы, на который участник не ответил, он дал ответ «50 %» («не знаю»). (Ответы «среднего» и «медианного» участника при этом не пересчитывались.)

Участник	Кол-во предсказаний	Logarithmic score	Mean logarithmic score	Brier score
gitdes	31	-15,721	-0,507	0,172
random	31	-16,213	-0,523	0,172
fil0sof	31	-16,395	-0,529	0,178
Неидентифицированный участник	31	-16,524	-0,533	0,184
deadworoz	31	-16,724	-0,539	0,193
Средний участник	31	-17,709	-0,571	0,195
icobra	31	-17,784	-0,574	0,207
abbath	31	-18,136	-0,585	0,205
drakon_black	31	-18,355	-0,592	0,208
whaf	31	-18,667	-0,602	0,211
darklord4	31	-19,111	-0,616	0,217
alaric	31	-19,268	-0,622	0,216
kirill	31	-19,423	-0,627	0,224
Медианный участник	31	-19,570	-0,631	0,219
gemist	31	-19,607	-0,632	0,227
quilfe	31	-19,721	-0,636	0,226
mihaild	31	-20,001	-0,645	0,232
self-perfection	31	-20,023	-0,646	0,214
dr_zoidberg	31	-20,376	-0,657	0,235
motia_motia	31	-20,490	-0,661	0,237
fish	31	-20,804	-0,671	0,242
Участник «Я не знаю»	31	-21,488	-0,693	0,250
okroshka	31	-21,580	-0,696	0,254
dimka	31	-21,816	-0,704	0,255
kurokikaze	31	-21,930	-0,707	0,258
berekuk	31	-22,405	-0,723	0,248
oswaldo	31	-22,509	-0,726	0,260
spaider	31	-25,400	-0,819	0,274