«Искусство и практика научного эксперимента целиком состоят в искусном допросе Природы. Наблюдение снабдило ученого видением Природы в некотором ее аспекте, у которого есть все недостатки добровольного показания. Он желает проверить верность своей интерпретации этого показания, для чего задает вопросы, нацеленные на установление причинно-следственных отношений. Его вопросы, в форме экспериментальных действий, в необходимой степени детальны, и он должен полагаться на последовательность Природы, делая общие выводы из ее ответа в отдельном случае или предсказывая исход на основании подобных операций в других случаях. Его цель — вывести обоснованные заключения определенной точности и уровня обобщения из полученных им показаний.
Природа, однако, ведет себя далеко не последовательно, ее ответы переменчивы, жеманны, двусмысленны. Она отвечает на вопрос в той форме, в которой он поставлен перед ней в эксперименте, а не в той, которая в голове у экспериментатора; она не собирается переводить ответы на понятный ему язык; ничем не делится даром; и она помешана на точности. Поэтому экспериментатор, который хочет, например, сравнить два удобрения, потратит время впустую, если, разделив свое поле на две равные части, удобрит одну одним, а вторую другим, затем засеет и сравнит собранный урожай между двумя половинами. Вопрос его задан так: какова разница между урожаем с участка А при условиях 1 и урожаем с участка Б при условиях 2? Он не спросил сначала, будет ли участок А давать урожай, одинаковый с участком Б при одинаковых условиях, и он не сможет отделить влияние свойств участка от влияния экспериментальных условий, поскольку Природа, в соответствии с запросом, записала не только вклады каждого из двух различных удобрений в урожай, но и вклады, определяемые различиями между участками в плодородии почв, структуре, водоотведении, расположении, микрофлоре и сотнями других переменных».
Автор этого отрывка — Джоан Фишер Бокс, дочь Рональда Фишера, он взят из написанной ею биографии ее прославленного отца. Хотя сама она не посвятила себя статистике, она явно очень глубоко понимает главный вызов, с которым статистики сталкиваются. Она недвусмысленно утверждает, что вопросы, которые они задают, «нацелены на установление причинно-следственных связей». А то, что стоит у них поперек дороги, — это конфаундеры, хотя она и не употребляет этот термин. Они хотят узнать влияние удобрения (тогда говорили «унавоживания»), т. е. ожидаемую урожайность при применении одного удобрения в сравнении с урожайностью при применении альтернативы. Природа, однако, говорит им о влиянии удобрения в смеси (помните термин «вмешивающаяся переменная»?) со следствиями множества других причин.
Мне нравится образ, который Фишер Бокс предложила в процитированном отрывке: природа словно джинн из сказки, который отвечает точно на тот вопрос, который мы ему реально задали, а не на тот, который хотели бы задать. Но нам приходится верить (а Фишер Бокс, очевидно, верит), что ответ на тот вопрос, который мы хотим задать, действительно существует в природе. Наши эксперименты — это довольно неряшливый способ получить этот ответ, но они ни в коем случае не определяют его. Если мы точно следуем ее аналогии, то
В молодые годы, работая на опытной станции в Ротамстеде, Фишер обычно применял очень сложный, систематический подход, для того чтобы отделить влияние удобрения от других переменных. Он делил свои поля на сетку из небольших участков и тщательно планировал исследование так, чтобы каждое удобрение было испробовано с каждым опытным видом растений и типом почвы (рис. 23). Он проделывал это с целью получить уникальные образцы для сравнения их между собой; в реальности он никогда не смог бы предугадать все конфаундеры, способные определять плодородие данного участка. Достаточно умный джинн сможет победить любую самую совершенную схему структурирования поля.