Хотелось бы думать, что искажение данных в отчетности «исследования 239» всего лишь частный случай, исключение из правил и досадное недоразумение, которое не имеет ничего общего с остальными исследованиями. Грустно признавать, но исследователи очень часто поступают подобным образом, как в случае, описанном выше.
Эта практика так широко распространена, что работы здесь — непочатый край, если, конечно, найдутся достаточно смелые ученые для того, чтобы заняться реализацией такого грандиозного проекта. Кто-то ведь должен найти все исследования с измененными основными конечными точками клинической эффективности. Кто-то же должен потребовать предоставить доступ к изначальным, необработанным данным и в далекой перспективе провести их правильный анализ, специально для горе-исследователей, подделывающих результаты. Если вы решитесь на это и опубликуете ваши работы, они немедленно превратятся в справочник по этим исследованиям, потому что в них будут грамотно указаны предварительно установленные конечные точки клинической эффективности. Публикации оригинальных исследователей станут всего лишь сборниками ненужных и не имеющих отношения к науке цифр.
Я уверен, что они будут только рады, если вы окажете им посильную помощь.
Если лекарство не проявило себя с положительной стороны на протяжении всего исследования, можно сгруппировать данные по какому-либо признаку различными способами, чтобы посмотреть, оказалось ли оно эффективным в какой-либо подгруппе. Возможно, препарат идеально работает при приеме пациентами мужского пола китайского происхождения, которые принадлежат к возрастной группе между 56 и 71 годами. Это так же глупо, как играть в «орел — решка» по правилу «два из трех и три из пяти». Однако такие способы применяются исследователями повсюду.
Снова и снова нам приходится возвращаться к одному и тому же принципу этой главы: если вы увеличиваете свои шансы нахождения положительного результата, но используете статистические тесты, которые предполагают получение лишь одного параметра, тогда вы сильно повышаете вероятность нахождения нужных вам данных. Ведь если бросать монетку достаточно долго, то можно в конечном счете выбросить орел или решку четыре раза подряд.
Новый способ увеличить вероятность получения нужного результата — провести анализ подгрупп данных. Уловка заключается в следующем: вы закончили ваше исследование и получили отрицательный результат. Разницы между двумя группами не было никакой: пациенты, принимавшие плацебо, чувствовали себя точно так же, как и те, кто принимал ваш препарат. Ваше лекарство не работает. Это плохая новость. Но затем вы копнули поглубже, провели ряд анализов и обнаружили, что лекарство отлично сработало на группе некурящих мужчин испанского происхождения возрастом от 55 до 70 лет. Если вам непонятно, почему нельзя использовать такой способ при анализе, нужно вернуться к уже прочитанному и подумать о случайной вариации данных, имеющихся в любом исследовании. Предположим, ваше лекарство должно предотвращать летальные исходы у всех участников на протяжении всего исследования. Мы знаем, что смерть может наступить по ряду причин и часто довольно неожиданно, и ее, к сожалению, можно предсказать лишь частично на основе имеющейся в наличии информации о здоровье человека. Вы надеетесь, что после проведения исследования ваше лекарство будет способно предотвратить некоторые из этих случайных, непредвиденных смертей (хотя, конечно, не все, потому что ни одно лекарство не может уберечь от смерти по всем причинам!) и что вы сможете заметить это изменение в частоте смертей, если в исследовании принимает участие достаточно большое количество людей.
Но если посмотреть на результаты после завершения исследования и составить группу из умерших пациентов или из тех, кто выжил, вы не сможете сделать вид, что и та и другая не были сформированы произвольно.