Совершенное тело за 4 часа

Посмотрите на полученные графики. На них наверняка есть аномальные «выбросы» – точки, находящиеся далеко от остальных. Если они портят впечатление от препарата, просто сотрите их. А если благодаря им препарат смотрится лучше, даже если достоверность этих результатов сомнительна – оставьте.

«Лучшие из пяти… нет, из семи… нет, девяти!»

Если разница между вашим препаратом и плацебо становится значительной по прошествии четырех с половиной месяцев из шести месяцев испытаний, сразу же остановите испытания и начните обрабатывать результаты: на всякий случай, вдруг в дальнейшем ситуация изменится к худшему. Если к концу шести месяцев результаты оказываются «почти значимыми», продлите испытание еще на три месяца.

Поиграйте с полученными данными

Если результаты плачевны, поищите, нет ли в группе подгрупп, в которых ситуация выглядит иначе. Возможно, вы обнаружите, что ваш препарат прекрасно действует на китаянок в возрасте от 52 лет до 61 года. «Изощренная пытка – гарантия любого признания», как говорят в Гуантанамо.

Понажимайте все кнопки и клавиши на компьютере

Если отчаетесь, безуспешно пытаясь проанализировать данные так, как планировали, и не получив желаемого результата, тогда просто попробуйте наугад обработать их с помощью самых разных программ для анализа статистических данных, даже если они в вашем случае неуместны.

После этого вам предстоит самое важное: продуманная публикация. Если испытания прошли удачно, опубликуйте результаты в самом крупном журнале, какой вам доступен. Если испытания оказались позитивными, но подтасовки при получении результатов будут очевидны каждому, поместите результаты в каком-нибудь малоизвестном журнале (который издают, пишут и редактируют исключительно «свои люди»). Помните: только что описанные трюки ничего не скрывают, их заметит каждый, кто прочтет вашу статью, но лишь при внимательном прочтении, значит, в ваших интересах позаботиться о том, чтобы читатели ограничивались краткой аннотацией. И наконец, если вам по-настоящему стыдно за свои результаты, спрячьте их куда-нибудь и ссылайтесь на «данные в электронном виде». Никто не узнает, какими методами вы действовали, такая опасность возникнет лишь в том случае, если кто-нибудь начнет слезно выпрашивать у вас данные для систематического обзора. Если повезет, это случится очень не скоро.

Медленноуглеводная диета и 194 человека

Представленные далее данные по медленноуглеводной диете были собраны с помощью подробных опросников на сайте CureTogether.com. На все вопросы ответило 194 человека, 58 % указали, что эта диета стала первой, которой им удалось строго придерживаться.

Набор участников эксперимента проводился через мой блог (www.fourhourblog.com), Twitter (www.twitter.com/tferris) и Facebook (www.facebook.com/timferriss).

Количество респондентов в зависимости от потери веса

(Потенциальные) недостатки данных

Эти данные, несмотря на всю их примечательность, не идеальны. Вот два самых заметных изъяна методологии и опросов в целом:

Среди участников могут быть фантазеры

Мы исключили явные повторы, «мусор» («я сбросил 295 кг!», «в самом начале я весил 16 кг» и т. п.) и пометили сомнительные ответы, но никто не просил отвечавших предъявить документы и не навещал их лично. Этой проблемы трудно избежать в неконтролируемых испытаниях.

Во внимание не приняты выбывшие – те, кто пытался следовать диете и не смог.

В проанализированных 3000 комментариев к моему блогу количество отзывов о неудачах составляло 3–5 %, и можно ожидать, что на самом деле их было еще больше. Из 194 респондентов, принявших участие в исследовании, лишь четверо набрали вес или сохранили первоначальный. Напоминаю: к этим респондентам обращались после того, как они оставляли комментарии к посту в блоге или реагировали на сообщения в Twitter или Facebook. Проблема выбывших указывает на общий недостаток публичных опросов: с наибольшей вероятностью на вопросы отвечают те, кто добился положительных результатов[195]. Это одна из форм «систематической ошибки выжившего», с которой стоит разобраться.

Обращаете внимание на среднюю доходность паевых фондов за прошлый год, чтобы выбрать из них лучший? Не забывайте, что перед вами «выжившие». Потери, которые Нассим Талеб называет «безмолвными свидетелями», невозможно зафиксировать путем опросов – опрашивать некого. «Средняя» доходность не так впечатляет, если принять во внимание тех, кто рискнул всем и проиграл. Обнаружить этих «убитых» нелегко, особенно в финансовой сфере, где так много причин скрывать эти цифры.