Лягушка в кипятке и еще 300 популярных инструментов мышления, которые сделают вас умнее

Аналогичная идея – это движущаяся мишень, где цель эксперимента изменяют, чтобы подтвердить желаемое уже после того, как станут известны результаты.

Один из методов, который часто называют золотым стандартом планирования экспериментов, – это рандомизированный контролируемый эксперимент, в котором участников случайным образом (рандомом) делят на две группы, а затем сравнивают результаты экспериментальной группы (которая получала лечение) с результатами контрольной группы (которая его не получала). Этот подход не ограничивается лишь медициной – его можно использовать в таких сферах, как реклама и разработка продуктов (в следующем разделе мы разберем подробный пример).

Популярная версия такого экспериментального проекта называется А/В-тестирование, где поведение пользователя сравнивают относительно версии А (экспериментальная группа) и версии В (контрольная группа) сайта или продукта, которые различаются потоком страниц, формулировкой текстов, изображениями, цветом и т. д. Такие эксперименты должны быть тщательно спланированы, чтобы выделить один фактор для изучения. Проще всего, если между группами есть только одно различие.

В идеале такие эксперименты проводят вслепую, чтобы участники не знали, в какой группе они оказались, и не смогли своей предвзятостью осознанно и неосознанно повлиять на результат. Классический пример – слепая проверка вкусов, которая гарантирует, что репутация бренда не повлияет на выбор людей.

Чтобы вывести идею слепого эксперимента на следующий уровень, люди, проводящие или анализирующие его, также не знают, к какой группе принадлежат участники. Этот дополнительный слепой фактор помогает исключить влияние эффекта ожиданий наблюдателя (также он называется искажением экспериментатора), где когнитивные искажения исследователей или наблюдателей заставляют их повлиять на результат, подталкивая его в том направлении, которого они ожидают.

К сожалению, такой слепой эксперимент не до конца предотвращает эффект ожиданий наблюдателя, поскольку исследователи все равно могут исказить результаты при подготовке и анализе исследования. Например, они читают только определенные статьи, выбирают гипотезы, основанные на заблаговременно придуманных идеях, и отчитываются о результатах лишь выборочно.

В медицине исследователи изо всех сил добиваются по-настоящему слепых испытаний. В 2014 году журнал British Medical Journal (BMJ) опубликовал пятьдесят три исследования, где сравнивались настоящие хирургические вмешательства с «фиктивными» операциями, «включая сценарий, когда пациенту ввели зонд и не провели никаких манипуляций, но он под действием успокоительных или общей анестезии не мог определить, проводилась ли операция».

Эти мнимые операции являются примером плацебо. Контрольные участники и экспериментальная группа получают одинаковые препараты или манипуляции, но на самом деле «лечение» контрольной группы не должно обладать никаким эффектом. Интересно, что сам факт получения того, от чего вы ждете положительного результата, может спровоцировать этот результат. Это называется эффектом плацебо.

В то время как само плацебо почти не влияет на некоторые вещи, например не может срастить сломанную кость, эффект плацебо вызывает заметные улучшения при множестве недугов. Обзор BMJ сообщил, что в 74 % испытаний пациенты, перенесшие мнимые операции, отметили некоторое облегчение своих симптомов, а в 51 % операций они выздоровели почти так же, как и настоящие пациенты.

При определенных условиях есть даже основания полагать, что эффект плацебо – не просто плод воображения.

Например, плацебо-«обезболивающее» провоцирует ту же мозговую активность, что и настоящие обезболивающие препараты. Все родители знают, что надо «подуть на больное место», и это поможет.

Точно так же ожидание побочного эффекта приводит к настоящим негативным последствиям даже при фальшивом лечении. Этот феномен называется эффектом ноцебо.

Одной из сложнейших вещей в планировании надежного эксперимента является определение конечной точки – метрики, которая используется для оценки гипотезы. В идеале конечная точка – это объективная метрика, которую можно легко измерить и последовательно интерпретировать. Вот примеры объективных метрик: жив ли человек, купивший продукт? Нажал ли пользователь кнопку на сайте?