Шум. Несовершенство человеческих суждений

Сегодня, спустя много лет после прорыва Доуза, так удивлявший его современников статистический феномен хорошо изучен. Как мы уже объяснили ранее в этой книге, множественная регрессия вычисляет «оптимальные» весовые коэффициенты, которые минимизируют квадратичные ошибки. Однако при этом ошибки минимизируются в исходных выборочных данных. Таким образом формула корректирует сама себя, чтобы предугадать всякую случайную флуктуацию в данных. Например, если какие-то из менеджеров в выборке обладают хорошо развитыми техническими навыками, то в случае высоких показателей по другим, не связанным с ними показателям модель преувеличит вес технических навыков.

Проблема в том, что, когда формула применяется вне выборки – то есть для других наборов данных, – присвоенные таким образом веса уже не будут оптимальны. Флуктуации, имевшие место в первоначальной выборке, больше не присутствуют – на то они и случайности; не все менеджеры с хорошо развитыми техническими навыками являются суперзвездами. А в новой выборке уже другие флуктуации, которые формула не может учесть. Истинная мера точности модели – ее приспособляемость к новой выборке, иначе говоря, способность к корреляции с перекрестной проверкой. Действительно, регрессивная модель слишком успешно работает в оригинальной выборке, в то время как при наличии перекрестной проверки корреляция почти всегда ниже, чем она была в исходных данных. Доуз и Корриган сравнивали равновесные модели с моделями на основе множественной регрессии (с перекрестной проверкой) в различных ситуациях. Рассматривался типичный случай: прогнозирование среднего балла в первый год обучения для 90 студентов факультета психологии в Иллинойском университете; использовались десять переменных, имеющих отношение к успеваемости: результаты тестов на выявление способностей, отметки в колледже, различные субъективные оценки ровесников (например, степень экстраверсии), а также самооценка (например, добросовестности). Стандартная модель на основе множественной регрессии показала корреляцию 0,69, а наличие перекрестной проверки ухудшило результат до 0,57 (ПС=69 %). Корреляция равновесной модели со средним баллом осталась примерно такой же: 0,60 (ПС=70 %). Похожие результаты¹¹⁶ были получены и во многих других исследованиях.

Модели с перекрестной проверкой показывают наихудший результат, когда оригинальная выборка слишком мала, поскольку флуктуации в маленьких выборках принимают угрожающие размеры. Доуз обнаружил проблему: используемые в социологических исследованиях выборки обычно настолько малы, что теряется все преимущество так называемого оптимального взвешивания. Недаром статистик Говард Уэйнер снабдил научную статью, посвященную расчету правильных весов, подзаголовком «Нам без разницы»^116а. Или, как говорил Доуз, «нам не нужны¹¹⁷ модели настолько точные, что мы эту точность не можем измерить». Равновесные модели работают хорошо, потому что они нечувствительны к специфике конкретной выборки.

Непосредственные выводы из работ Доуза получили заслуженное признание: вы можете давать эффективные статистические прогнозы, ничего не зная наперед об аналогичных предшествующих результатах. Все, что вам нужно, – это набор прогностических факторов, относительно которых вы можете быть уверены, что они коррелируют с конечным результатом.

Предположим, вам нужно спрогнозировать эффективность работы менеджеров, которым присвоены рейтинги по некоторому количеству параметров, как в примере из главы 9. Вы уверены, что набранные баллы оценивают определенные компетенции кандидатов, однако не имеете данных о том, насколько хорошо они прогнозируют будущий успех. Вы также не можете позволить себе роскошь ждать несколько лет, чтобы отследить успехи большой выборки менеджеров. Однако вы можете взять баллы по семи параметрам, проделать необходимую статистическую работу, чтобы присвоить им равные веса, и использовать результат в качестве прогноза. Насколько хороша эта равновесная модель? Ее корреляция с конечным результатом¹¹⁸ составляет 0,25 (ПС=58 %), что намного превосходит клинические оценки (r=0,15, ПС=55 %) и уверенно приближается к регрессивной модели с перекрестной проверкой. При этом вам не требуется никаких дополнительных данных, которых у вас нет, и никаких сложных вычислений.

Действительно, в равных весах есть «грубая красота»¹¹⁹ – недаром высказывание Доуза стало мемом среди студентов. Заключительная фраза знаменитой статьи, которая ввела в обиход идею, содержала очередное лаконичное резюме: «Вся хитрость в том¹²⁰, чтобы выбрать нужные переменные и правильно их сложить».

Еще больше простоты: простые правила

Еще один способ упрощения – использование экономных моделей, или простых правил. Экономные модели в реальности выглядят как упрощенные до смешного расчеты на клочке бумаги. Однако в некоторых случаях они могут выдавать поразительно точные результаты.