Двойное слепое
От учителей мы знаем, что классные работы часто оцениваются по-разному, в зависимости от инициалов, написанных на обороте листа. И не имеет значения, что результаты объективно идентичны. Ожидание меняет их. Врач, убежденный в силе своего лекарства, будет уговаривать пациента сказать, что тот чувствует себя лучше. А пациент, который знает, что принимает только плацебо, будет меньше верить в свое выздоровление.
Чтобы ни врач, ни пациент не исказили результат, исследование делают «слепым» – коробочку с лекарством для пациентов X и Y определяют жеребьевкой. Только после того, как все наблюдения завершены, исследователи расшифровывают, какой пациент принимал настоящее лекарство, а какой плацебо.
Вы можете очень просто увидеть эффект «ослепления» – с пепси и кока-колой. Кока-кола потому так популярна, что большинство людей верят, что она им больше нравится на вкус – они уверены, что чувствуют разницу. Возьмите десять бумажных стаканчиков, напишите внизу номер. В стаканчиках с четными номерами пусть будет кока-кола, с нечетными – пепси. Перемешайте стаканчики, чтобы никто не знал, что где находится. А затем проверьте, что и кому больше понравится и много ли людей угадает марку. Кстати, будет еще интереснее, если налить пепси в бутылку из-под кока-колы и разлить ее у всех на глазах. Думаю, вы уже заметили, как много усилий нужно приложить, чтобы наши ожидания не оказали существенного влияния на результат эксперимента.
Ценность результатов исследования для отдельной жизни и отдельных заболеваний зависит от того, кого мы исследуем и как сформирована группа. Когда вы читаете о большом прорыве в лечении болезни Альцгеймера, то поищите, не написано ли там мелким шрифтом, на ком тестировался препарат: на людях, мышах или вообще на клетках в пробирке. В психологии большинство экспериментов проводится на студентах, которые иначе просто болтаются без дела. Тот факт, что их поведение нерепрезентативно для общества в целом, часто забывают упомянуть.
При телефонных опросах номера случайным образом выбирают из телефонной книги. Если вашего номера там нет, то вам не позвонят. Если исследование не включает какие-то группы населения, это искажает результат. Опрос трех подруг о работе буфета менее убедителен, чем исследование при участии многих тысяч человек. Поэтому следующий критерий – это величина опрошенной группы.
Охват исследования
Обратите внимание на число участников исследования: чем больше людей, тем больше уверенности в верности результата. Почти все чудодейственные средства ссылаются на очень впечатляющие и, как правило, плохо задокументированные случаи. Как в любых хороших историях, в них все приукрашено и преувеличено. Предположим, вы хотите выяснить, помогает ли витамин С не заболеть простудой. Вы принимаете витамин С в течение недели и не заболеваете. Что это доказывает? Ничего.
Если тысяча человек в течение года принимает витамин С, а другая тысяча человек принимает витамин П – то есть плацебо – вот тогда результат может считаться релевантным. Интересно было бы взять еще тысячу человек, которые вообще ничего не принимали, потому что вероятно, что самоисцеляющие силы нашего организма активирует сам факт приема «препарата».
И еще одна маленькая подсказка: в надписи мелким шрифтом вы можете разглядеть конфликт интересов. Когда производители сухих завтраков делают заказ на исследование, призванное доказать пользу этого завтрака, не удивляйтесь положительному результату. Если французские исследователи из провинции Бордо откроют, что красное вино защищает артерии лучше, чем пиво, – кого это удивит? Многие «нежелательные» результаты исследований просто не разглашаются – как ни крути, при всех требованиях, предъявляемых к науке, она все же искажается под давлением коммерческих или общественных интересов.
Большую часть исследований лекарств заказывают производители. Вот почему врачи требуют проводить больше независимых исследований по существенным вопросам лекарственного обеспечения. Также имеет смысл повторять исследования в других лабораториях, потому что зачастую позитивные результаты являются невоспроизводимыми – даже если точно следовать протоколу, они оказываются уже не такими хорошими, как в первый раз. Но кому интересно быть вторым? Призы и публикации всегда достаются только первым, независимо от того, что они открыли и насколько это соответствует истине. Нужно иметь много времени и денег, чтобы перепроверять за другими, и это, конечно, менее геройская миссия. Есть и другая возможность: мультицентрические исследования. Это когда ученые проверяют свои гипотезы параллельно в разных местах и автоматически собирают намного больше результатов и исключают больше погрешностей, чем при исследованиях в какой-то одной лаборатории.