Цифры врут. Как не дать статистике обмануть себя

Эту врезку читать необязательно, но, если если вы хотите поподробнее узнать, как оценивать качество прогнозирования, не пропускайте ее.

Качество прогнозирования можно определять с помощью так называемого показателя Брайера – он отражает точность предсказаний. Если ваша догадка, имеющая 70 %-ную вероятность, оказывается верной в 70 % случаев, вы «хорошо откалиброваны». Если же такой прогноз сбывается в 55 % случаев – вы слишком уверены, а если в 95 % – то недостаточно.

Но важно знать не только степень калибровки, но и то, насколько человек конкретен. Утверждение, что событие случится с 95 %-ной вероятностью или с 5 %-ной вероятностью, гораздо полезнее для принятия решения, чем утверждение о 55 %-ной вероятности. Если вы решаете, стоит ли делать ставку, поддерживать политическую программу или планировать барбекю, то для вас будет полезнее тот, чьи прогнозы хорошо откалиброваны и точны, чем тот, чьи прогнозы хорошо откалиброваны и расплывчаты.

Показатель Брайера выше ценит тех, кто точен и прав, чем тех, кто точен и неправ. Он рассчитывается с помощью квадратичной ошибки.

Предположим, вы сделали прогноз, что завтра с вероятностью 75 % будет дождь. Для получения оценки Брайера разделите 75 на 100, чтобы получить число от 0 до 1, – в данном случае 0,75. Потом смотрите, сбылся ли этот прогноз. Если да, пометьте его единицей, если нет – нулем.

Ошибка – это разница между результатом и названной вами вероятностью. Предположим, дождь пошел. Ваш прогноз был 0,75, вычитаем его из единицы, потом возводим в квадрат (это важно, так как уверенные и верные оценки улучшают оценку, а уверенные, но неверные ухудшают). При этом вы получает оценку от 0 до 1, где 0 – идеальный прогноз, а 1 – максимально неверный, то есть чем ниже оценка, тем лучше, как в гольфе. В данном случае оценка такая: (1–0,75)² = 0,0625.

Если же вы ошиблись с прогнозом, то имеете дело с той частью своего прогноза, вероятность которого 0,25, так что ваша оценка выглядит так: (1–0,25)² = 0,5625.

Все может немного усложниться: при составлении прогноза часто приходится выбирать между несколькими вариантами, а не двумя. В этом случае оценка вычисляется чуть более сложным способом, и ответ получается между 0 и 2. Ситуация еще усложняется в таких случаях, как прогноз температуры, где целый спектр возможных исходов, а не просто «пойдет дождь» или «не пойдет дождь». Но по сути система подсчета та же.

Показатель Брайера был разработан для прогнозов погоды, но применим к любым четким проверяемым предсказаниям будущего. Если вы скажете, что через год в Северной Корее с вероятностью 66 % уже будет новый лидер или что «Питтсбург Стилерз» с вероятностью 33 % выиграет Суперкубок-2023, то для этих прогнозов можно вычислить показатель Брайера точно так же, как и для прогноза погоды.