По понятным причинам мы должны быть скептически настроены к тому, что компании окончательно формируют план статистического анализа после того, как уже накоплено много данных. Подтасовать данные легко, и, как отмечалось ранее, разница между честным и менее честным анализом может стоить миллиарды долларов на мировом рынке. Никого не должно удивлять, что обман чрезвычайно распространен, но до недавнего времени было трудно это доказать, так как протоколы испытаний оценивались как конфиденциальная информация. Нам удалось получить доступ к протоколам, представленным в исследовательский этический комитет в Копенгагене, что позволило изучить степень обмана по предопределенным исходам29
. Мы идентифицировали 102 протокола, в которые вошли как финансируемые (около трех четвертей), так и не финансируемые промышленностью исследования; все они были опубликованы. К нашему удивлению, по меньшей мере один предопределенный протоколом первичный исход был изменен в 63 % испытаний. А в 33 % испытаний был введен новый первичный исход в опубликованном отчете, который не существовал в протоколе. И вот что было хуже всего:«Ни в одной из публикаций не указывалось, что первичные исходы были изменены!»
Почему это настолько сильно влияет на достоверность испытаний? Да потому что часто многие исходы в дальнейшем дополнительно разделяют или объединяют, добиваясь тех результатов, которые нужны. Представьте, что вы стреляете из пистолета по многим мишеням, которые частично перекрываются. Даже если вы плохой стрелок, есть хороший шанс, что вы попадете в область центра одной из мишеней. Если вы хотите кого-то обмануть, то скажете, что цель, в которую вы попали, была той самой, в которую вы целились. Еще вы можете убрать все или несколько мишеней, в которые не попали, прежде чем приглашать зрителей, которые решат, что вы очень хорошо стреляете. Уничтожение других мишеней соответствует неупоминанию о тех исходах, которые изложены в протоколе; это еще одна распространенная практика в клинических испытаниях. Мы обнаружили, что в 71 % испытаний был по меньшей мере один исход, о котором не сообщали, и в публикациях по этим испытаниям отсутствовали медианы четырех исходов по эффективности и трех исходов по вреду29
.Мы опубликовали другие разоблачительные статьи на основе нашей серии протоколов клинических испытаний. Например, нашли неуказанное в публикациях расхождение между протоколами и изданными статьями в расчете размера выборки (18/34 испытаний), в методах обращения с отклонениями от протокола (19/43), недостающие данные (39/49), анализы первичного исхода (25/42), анализ по подгруппам (25/25) и искаженные анализы (23/28)30
. Промежуточные анализы были описаны в 13 протоколах, но упомянуты только в пяти публикациях.Совершенно ясно, что нельзя доверять отчетам об испытаниях и что мы должны иметь доступ к полным текстам протоколов и к необработанным данным. В EMA с этим согласны. Скандал с розиглитазоном заставил нового директора ЕМА Гвидо Раси в 2012 году заявить, что агентство должно анализировать необработанные данные, а не принимать сводную информацию, представленную фармацевтическими компаниями, стремящимися получить одобрение31
.Если говорить о статистике, есть еще одна проблема с испытанием PROactive, которое в целом дурно пахнет. В публикации упоминается о 14 случаях рака мочевого пузыря на этом лекарстве и 6 случаях – на плацебо. Это различие не было статистически достоверным (Р = 0,07) и, следовательно, могло быть интерпретировано в пользу компании32
. Однако спустя 4 года было показано, что один из случаев в группе плацебо был доброкачественным, а 14 против 5 – это уже статистически достоверная разница (Р = 0,04). Такие «ошибки» всегда случаются в пользу компании, которая управляет анализом данных и пишет отчет.И наконец, глитазоны замечательно иллюстрируют мысль о том, что мы не можем полагаться на суррогатные исходы. Розиглитазон и пиоглитазон уменьшают уровень глюкозы в одинаковой степени, и оба увеличивают риск сердечной недостаточности. Однако в то время как розиглитазон совершенно определенно увеличивает частоту сердечно-сосудистых событий, общий эффект пиоглитазона – более неопределенный24, 25, 33
. В 2011 году четыре члена комитета EMA, рассматривавшего заявку на генерический пиоглитазон, сделали расходящееся с мнением агентства заявление: «Похоже, невозможно определить субпопуляцию больных сахарным диабетом, у которых польза от пиоглитазона перевешивала бы его риски»33.