Итак, из рисунка видно, что во 2-й, 4-й, 5-й, 9-й и 10-й работах результаты были отрицательны – глюкагоноподобный пептид-1 достоверно не снижал аппетит. Хотя в них отмечена определённая тенденция к положительному эффекту (средняя величина находится слева от вертикальной черты). А в остальных работах был получен достоверно положительный эффект (1-я, 3-я, 6-я, 7-я, 8-я и 11-я работы).
Предположим, что недостоверные результаты – следствие недостаточно большой группы обследования. Тогда объединение групп больных из статей в единую большую группу (с достоверными и недостоверными результатами) может дать в сумме высокодостоверный результат – нижняя точка на графике. Отсюда и название – метаанализ, т. е. анализ результатов за пределами («мета») отдельных статей. В итоге делается следующий «логический» вывод. Поскольку достоверный результат метаанализа получен в результате объединения статей с достоверными и недостоверными результатами, то следует полагать, что во всех включённых в метаанализ научных работах исследовавшийся эффект положителен. Причём достоверно положительный результат метаанализа в значительно степени зависит от включённых в него работ с достоверным эффектом. Чем в большем числе работ получен положительный результат и чем он достовернее, тем достовернее доказательство эффективности воздействия в метаанализе. Однако эта логика довольно спорна. Для того чтобы убедится в этом, рассмотрим график детальнее.
На графике видно, что из выбранных для метаанализа работ четыре принадлежат одной и той же исследовательской группе (Gitswiller и др.). Причём именно эта группа исследователей получила наиболее убедительные положительные результаты, а поскольку это одна группа, то в анализ включены фактически не четыре работы, а одна. Тогда если предположить (в качестве мысленного эксперимента), что эта научная группа провела исследование тенденциозно, и исключить её результаты из анализа, то из оставшихся исследований будет невозможно скомбинировать достоверный результат. В итоге оказывается, что в большинстве работ получен отрицательный результат. А если учесть, что публиковать предпочитают положительные результаты, реально представленная в научной литературе информация далека от полноты, и метаанализ не является идеальным методом доказательства надёжности лечения или диагностики болезней.
Метаанализ был предложен эпидемиологами всего лишь для расчёта необходимого числа больных, включаемых в исследование, чтобы гарантировать статистически достоверные показатели планируемого исследования, а не для вынесения категорических и окончательных суждений. По этой причине результаты метаанализа должны быть лишь основой для планирования клинических экспериментов, в которых полученный при метаанализе результат следует ещё подтвердить. Итак, даже серьёзные научные исследования, результаты которых были подвергнуты метаанализу, следует воспринимать достаточно критично. Хотя нужно отметить, что метаанализ признан лучшим из инструментов доказательной медицины (табл. 2.1).
Ещё один пример потенциальной ненадёжности некоторых научных экспериментов. Для усиления контроля за исследованием используют так называемый
Лукавство РКИ можно проследить на примере известного анекдота об учёном. Незадачливый учёный решил проверить, где у блохи находится орган слуха. Для этого он некоторым блохам отрывал лапки и приказывал им прыгать. Так как без ног блохи переставали прыгать, учёный сделал «естественный» вывод, что орган слуха у блохи находится в лапках.
Дополним этот анекдот: предположим, что исследователь блох – добросовестный учёный, который решил подтвердить результат в РКИ. Для этого он попросил своего коллегу оторвать у некоторых блох лапки – в зависимости от того, выпали орел или решка. Затем поместить в мешочек блох с лапками и без них, а этот мешочек встряхнуть, чтобы блохи как следует перемешались. Далее он попросил коллегу вслепую вынимать блох из мешочка и класть на стол, а сам приказывал блохам прыгать и только после этого исследовал, есть у блохи лапки или нет. Очевидно, что и в этом случае прыгать не будут только блохи без лапок, и учёный окончательно «убедится», что орган слуха находится в лапках. При этом, как мы видим, соблюдены все формальные признаки правильного двойного слепого исследования:
• лапки отрывали не всем блохам (эффект «пустышки», т. е. контролируемость);
• лапки отрывали случайно (рандомизация);