Цифры врут. Как не дать статистике обмануть себя

История о бомбардировщиках Douglas SBD Dauntless, падавших в Тихий океан, особенно драматична, но есть немало других, более обыденных примеров ошибки выжившего. Самое очевидное – книги успешных предпринимателей из серии «секреты моего успеха». Вам наверняка такие знакомы: «12 привычек очень богатых людей: как я заработал миллионы, вставая очень рано, потребляя только смузи из авокадо и увольняя случайным образом 10 % персонала каждые две недели», автор Хвастиус Богач.

Всем хочется знать, как заработать миллионы, поэтому подобные книги раскупают нарасхват. Но чаще всего они – просто списки ошибок выжившего.

В работе «Стандартные отклонения» («Standard Deviations») экономист Гэри Смит рассмотрел две книги, в которых исследовались общие характеристики 54 успешных компаний: корпоративная культура, дресс-код и тому подобное. Смит отметил: хотя до выхода этих книг акции всех этих компаний продавались выше рынка, с течением времени почти половина из них потерпела неудачу на фондовом рынке – то есть в среднем они функционировали хуже. А в книгах, расхваливавших превосходную корпоративную культуру, оценивались повреждения на приземлившихся самолетах, но не брались в расчет так и не вернувшиеся.

Или другой пример. Американский математик Джордан Элленберг рассказывает притчу о балтиморском брокере. Однажды утром вы получаете письмо от инвестиционного фонда: «Приглашаем вас инвестировать с нашей помощью, потому что мы всегда выбираем правильные акции. А чтобы вы в это поверили, вот вам бесплатный совет: купите акции „Кое-кто Инкорпорейтед“». На следующий день акции «Кое-кто Инкорпорейтед» дорожают.

А вам приходит новое письмо: «Сегодня продайте акции „Как-то там Холдингс“». На следующий день акции «Как-то там Холдингс» дешевеют.

И так они делают десять дней подряд, каждый раз угадывая. На одиннадцатый они пишут: «Теперь вы нам верите? Хотите сделать инвестицию?» Они угадали десять раз подряд, так что вы думаете: да! Беспроигрышное дело! И вбухиваете в акции все средства, отложенные на оплату обучения ваших детей в университете.

На самом деле они разослали 10 000 писем: в 5000 из них советовали покупать акции «Кое-кто Инкорпорейтед», а в 5000 – продавать. Если акции «Кое-кто Инкорпорейтед» росли, на следующий день они писали тем, кому рекомендовали покупать эти акции: в 2500 советовали покупать акции «Как-то-там», а в 2500 – продавать.

Если затем акции «Как-то-там» дешевели, советчики из фонда отправляли 2500 писем тем, кому рекомендовали продавать, и так далее. После десяти этапов оставалось около десяти человек, получивших десять удачных советов подряд. Эти люди отдавали такому замечательному брокеру все свои деньги, а тот немедленно исчезал. Именно таким методом телевизионный иллюзионист Деррен Браун последовательно выбирал пять лошадей-победителей, а потом убеждал молодую мать поставить все ее накопления на шестую.

В жизни подобные аферы, возможно, и не реализуются – Джордан Элленберг написал в твиттере, что не знает реального примера такого балтиморского брокера, хотя – по чистой случайности – могут найтись и они. Существуют тысячи инвестиционных фондов. Бывают периоды, когда некоторые из них получают удивительную прибыль и тем самым привлекают всеобщее внимание и горы инвестиций. Но значит ли это, что они гениально чувствуют рынок, или им просто везет, а вы не обратили внимание, что другие инвестиционные фонды тихо загнулись?

Дело обстоит так. Если 1296 человек в разноцветных шляпах бросают кости, то примерно у 216 из них выпадет шестерка. Если эти 216 бросят кости, то шестерка выпадет примерно у 36, а если они бросят кости, то шестерка выпадет примерно у шестерых. Если эти шестеро снова бросят кости, то одному может выпасть шестерка. А теперь посмотрите на шляпу этого счастливчика и скажите, что секрет выпадения четырех шестерок подряд – это оранжевая шляпа в черную полоску. Достигнув успеха, легко находить в прошлом то, что сопутствовало этому; нас же интересуют события, предсказывающие будущий успех. Нет никаких оснований полагать, что у человека с оранжевой шляпой в черную полоску и в следующий раз выпадет шестерка.

Ошибка выжившего – это пример более широкой проблемы – выбора по зависимой переменной. Звучит замысловато, но на самом деле идея проста: вы не можете понять, почему происходит Х, рассматривая только те случаи, когда Х происходит. В научном эксперименте независимая переменная – это то, что вы меняете (например, доза лекарства, которое выдается участникам эксперимента). Зависимая переменная – это то, что вы измеряете, чтобы проверить, меняется оно или нет (например, процент выживших).

Представьте: вы решили выяснить, ведет ли потребление воды к артриту (ваша зависимая переменная – наличие артрита). Посмотрев на всех больных артритом, вы быстро поймете: все они пили воду. Но поскольку тех, у кого нет артрита, вы не рассматриваете, вы не знаете, пьют ли больные артритом больше воды, чем все остальные.