Шум. Несовершенство человеческих суждений

Теперь Эми Симкин и ее руководителю стала известна информация, которой они раньше не располагали, а именно величина смещения в прогнозах. Смещение – это средняя погрешность, которая в нашем случае также составила 10 %. В этом наборе данных смещение и шум оказались одинаковыми в числовом выражении. (Уточним, что такое совпадение ни в коем случае не является нормой, однако роль смещения и шума становится понятнее на примере, где их числовые выражения равны.) Мы видим, что ошибки большинства прогнозистов получились оптимистичными, то есть эксперты переоценили будущую долю рынка: многие прогнозы оказались по правую сторону от вертикальной черты нулевой погрешности. (На самом деле благодаря свойствам нормального распределения мы знаем, что в этой части кривой расположилось 84 % прогнозов.)

С едва скрываемым удовлетворением шеф Эми отмечает, что был прав: в прогнозах выявлено огромное смещение! И в самом деле, теперь стало очевидно, что уменьшить его масштабы было бы весьма полезно. И все же Эми продолжает задаваться вопросом о том, стоило ли год назад – и стоит ли сейчас – пытаться также сократить и уровень шума. Насколько сильно выиграла бы компания от этого шага в сравнении с коррекцией смещения?

Среднеквадратические значения

Для ответа на вопрос Эми нам необходимо воспользоваться «правилом подсчета ошибок» – способом взвесить и свести индивидуальные ошибки в единый показатель общей погрешности. К счастью, такой способ уже существует. Это метод наименьших квадратов, предложенный в 1795 году⁴²⁴³ гением математики Карлом Фридрихом Гауссом, родившимся в 1777 году и вставшим на путь великих открытий в уже очень юном возрасте.

Гаусс предложил правило для оценки вклада индивидуальных ошибок в общую погрешность. Его мера общей погрешности, называемая среднеквадратической ошибкой (MSE[5]), – это среднее значение квадратов индивидуальных погрешностей измерения.

Подробные доводы Гаусса в пользу своего метода измерения общей погрешности выходят далеко за рамки этой книги, а предложенное им решение на первый взгляд неочевидно. Зачем нужны квадраты ошибок? Идея кажется взятой с потолка, даже эксцентричной. И все же, как вы сможете убедиться, она базируется на предположении, с которым вы почти наверняка согласитесь.

Чтобы понять, почему это так, давайте обратимся к проблеме, которая кажется совсем не относящейся к делу, хотя в действительности имеет к нашему вопросу самое прямое отношение. Представьте, что вам вручили линейку и попросили измерить длину прямой с точностью до миллиметра. Проводить замеры разрешено пять раз. Результаты этих замеров представлены на рисунке 5 в виде направленных вниз треугольников, расположенных на прямой.

Рис. 5. Пять замеров одной и той же прямой

Как видите, диапазон результатов пяти замеров составил от 971 до 980 миллиметров. Какой будет ваша самая точная оценка длины этой прямой? У нас есть два очевидных претендента на лучший ответ. Во-первых, это медианное значение: результат, находящийся между двумя наименьшими и двумя наибольшими измерениями. Оно составляет 973 миллиметра. Во-вторых, это среднее арифметическое, или, проще говоря, среднее значение, составляющее в этом примере 975 миллиметров и показанное на рисунке в виде стрелки, направленной вверх. Интуитивно вы, скорее всего, выберете среднее арифметическое и будете правы. Средний показатель более информативен, он зависит от величины значений, тогда как медиана – только от их последовательности.

Между вышеописанной задачей приблизительного подсчета, о пути решения которой у вас имеется четкое интуитивное представление, и задачей измерения общей погрешности, которая нас сейчас интересует, существует тесная связь. На самом деле это две стороны одной медали, потому что самая точная оценка – та, которая минимизирует общую погрешность в имеющихся результатах измерений. Соответственно, если вы правы, интуитивно полагая, что среднее арифметическое – это самая точная оценка, тогда формула для измерения общей погрешности должна подсчитывать среднее арифметическое как значение, для которого погрешность минимизируется.

Среднеквадратическая ошибка такое свойство как раз имеет – и это единственный подобный способ измерения общей погрешности. На рисунке 6 мы показали подсчет MSE в наборе из пяти измерений для десяти возможных целых значений истинной длины прямой. Например, если бы истинное значение равнялось 971, погрешности в пяти измерениях составили бы 0, 1, 2, 8 и 9. Сумма квадратов этих погрешностей равняется 150, а среднее арифметическое – 30. Такое большое число говорит о том, что какие-то измерения довольно далеки от истины. Вы видите, что MSE уменьшается по мере приближения к 975, или среднему арифметическому значению, и снова увеличивается по мере удаления в бóльшую сторону. Нашей лучшей оценкой является среднее арифметическое значение, потому что оно минимизирует общую погрешность.