Шум. Несовершенство человеческих суждений

Подход к измерению погрешности, на основе которого сделан этот вывод, имеет давнюю историю и является общепринятым в науке и статистике. В этой главе мы дадим обзор истории этого подхода и вкратце опишем его основные тезисы.

Нужно ли компании GoodSell сокращать уровень шума?

Представьте себе крупную компанию розничной торговли под названием GoodSell, в которой работает множество специалистов, прогнозирующих объемы сбыта. Они занимаются расчетом будущей доли рынка компании в различных регионах. Возможно, прочитав некую книгу о шумовых помехах, глава отдела прогнозирования Эми Симкин провела ревизию шума: все прогнозисты GoodSell подготовили независимую оценку доли компании на рынке в одном и том же регионе.

На рисунке 3 изображен (неправдоподобно плавный) график с результатами этой ревизии. Эми видит, что прогнозы расположились на кривой, имеющей знакомые очертания колокола, также известной как нормальное распределение, или распределение Гаусса.

Рис. 3. Распределение прогнозов рыночной доли компании GoodSell в одном регионе

Чаще всего эксперты компании давали оценку в 44 %, что отражено в самой верхней точке кривой. Эми убеждается, что в системе прогнозирования компании довольно много шума, ведь будь прогнозы точны, они были бы идентичными, однако на деле они варьируются в широком диапазоне.

Уровень шума в прогнозах компании GoodSell можно оценить количественно. Мы можем рассчитать стандартное отклонение в заключениях экспертов – так же как мы это сделали, отмеряя временные интервалы при помощи секундомера. Как следует из названия, стандартное отклонение отражает типичное расстояние от среднего значения. В нашем примере это 10 процентных пунктов. Как и в любом нормальном распределении, примерно две трети прогнозов расположились в пределах одного стандартного отклонения по обе стороны от среднего значения – между 34 % и 54 % рыночной доли. Теперь у Эми появилась количественная оценка системного шума в прогнозах о доле рынка. (Для более достоверных результатов в ревизию шумовых помех следовало бы включить сразу несколько задач по прогнозированию, однако для наших целей будет достаточно и одной.)

Как и руководство реально существующей страховой компании из главы 2, Эми потрясена результатами и хочет принять меры. Непозволительно высокий уровень шума указывает на то, что прогнозисты недостаточно строго следуют необходимым процедурам. Чтобы сделать действия специалистов более единообразными и упорядоченными, Эми просит разрешения нанять консультанта по шуму, но, к сожалению, эта идея не находит поддержки. Ответ ее начальника кажется вполне разумным: «Как можно сократить погрешность, если мы не знаем, насколько верны наши прогнозы? Конечно, если погрешность в них действительно велика (то есть имеется большое смещение), мы должны приложить максимум усилий для их устранения. Прежде чем принимать меры по улучшению качества прогнозов, нужно подождать и посмотреть, насколько точными они окажутся».

Спустя год после ревизии шума стали известны результаты, которые пытались предугадать прогнозисты. Доля рынка компании в целевом регионе составила 34 %. Теперь мы можем оценить погрешность каждого прогноза: нужно просто подсчитать разницу между прогнозом и результатом. Если эксперты прогнозировали 34 %, то погрешность оказалась нулевой, для среднего прогноза в 44 % погрешность составила 10 %, а для заниженного прогноза в 24 % она оказалась – 10 %.

На рисунке 4 показано распределение ошибок. Выглядит так же, как и распределение прогнозов на рисунке 3, но из числового значения каждого прогноза было вычтено истинное значение (34 %). Кривая распределения не изменилась, и стандартное отклонение (выбранная нами единица измерения шума) все еще составляет 10 %.

Рис. 4. Распределение ошибок в прогнозах GoodSell о рыночной доле в одном регионе

Разница между кривыми на рисунках 3 и 4 аналогична разнице между разбросом попаданий, видимых на передней и задней поверхностях мишени с рисунков 1 и 2 (см. введение). Чтобы заметить шум в результатах стрельбы, необязательно знать точное расположение «яблочка» мишени; подобным же образом данные об истинной доле рынка ничего не меняют в том, что мы уже знаем об уровне шума в прогнозах.