Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок

Однако экономисты хотели быть уверены в результате, поэтому провели РКИ. Вместо того чтобы раздавать учебники самым нуждающимся школам (стандартный подход), они случайным образом разделили участвовавшие в эксперименте школы на две группы: в первой школе получали учебники, во второй – нет. Итак, у них имелись основная группа и контрольная группа. Благотворительный фонд получил возможность узнать, влияет ли раздача учебников на что-либо.

Результаты эксперимента были показательными и удивительными. Ученики школ с бесплатными учебниками получали в среднем такие же оценки, как и ученики других школ. Успеваемость в обеих группах была почти одинаковой. Результат противоречил интуиции и статистике наблюдений. Впрочем, с рандомизированными испытаниями такое происходит сплошь и рядом.

Как выяснилось, беда была не в учебниках, а в языке, на котором они написаны. Английский – третий язык большинства детей из бедных семей в отдаленных районах Бусиа и Тесо. Ученики просто не могли понять, о чем в учебнике идет речь. Без РКИ исследователи могли не обратить на это внимания. Причина неуспеха была в том, о чем никто просто не думал.

Получив отрицательный результат, экономисты испробовали другой подход. Они провели еще одно РКИ: на сей раз вместо учебников школы получали наглядные пособия и запоминающиеся рисунки, по которым можно объяснять географию, математику и т. д. И вновь экономисты ожидали, что успеваемость повысится. И вновь, сравнивая результаты основной группы с результатами контрольной, они увидели, что наглядные пособия потерпели неудачу. Оценки учеников лучше не стали.

Экономисты не опустили руки и стали придумывать новые подходы к проблеме. Они придумали раздавать бесплатно нечто оригинальное: лекарство от глистов. Кому-то может показаться, что это странный способ улучшать успеваемость в школах, однако исследователи знали, что паразиты замедляют развитие человека, делают детей сонными и ведут к частым прогулам. Особенно сильно глисты влияли на детей в захолустье вроде регионов Бусиа и Тесо.

На этот раз результаты были великолепными. Они существенно превзошли ожидания ученых. Как пишет Тим Харфорд: «Программа была весьма успешной, дети стали расти быстрее, снизился риск повторного заражения, число прогулов в школах уменьшилось на 25 %. Расходы были незначительными» [203].

Это и был минимальный успех. Всего одна программа в одном маленьком регионе. Но если рассматривать проблемы образования на этом уровне, можно увидеть, какие программы успешны, а какие нет. Ученые их протестировали, потерпели неудачу и научились чему-то на своих ошибках. Теперь они могли применить ту же программу в других регионах, экспериментируя вновь и вновь – и продолжая добиваться новых минимальных успехов.

Можно сказать, что так далеко не уедешь, но подумайте об альтернативах. Представьте, что было бы, если бы экономисты положились на интуицию и эмпирическую статистику. Они дарили бы учебники школам вечно, уверяя себя в том, что делают благое дело, хотя в действительности ничего не добивались бы.

Сегодня данный подход реализуют несколько решительно настроенных экономистов, и благодаря их усилиям за последнее десятилетие сфера международного развития преобразилась. Эта группа ученых не совершает революций, вместо этого она сосредоточилась на небольших достижениях. Вот что говорит одна из самых активных защитниц концепции Эстер Дюфло, экономист родом из Франции: «Если мы не знаем, выйдет из наших действий толк или нет, мы ничем не лучше средневековых врачей с их пиявками. Иногда пациенты выздоравливают, иногда умирают. От пиявок или из-за чего-то еще? Мы не знаем» [204].

Критиков рандомизированных испытаний часто беспокоит нравственность «экспериментов над людьми». Разве можно одной группе давать X, а другой Y? Почему бы каждому не получать наилучшее возможное лечение? В таком разрезе РКИ могут казаться неэтичными. Но давайте взглянем на них под другим углом. Если вы действительно не понимаете, какие меры наиболее эффективны, выяснить это вы можете, лишь проведя испытание. Отказавшись от него, вы не станете этичнее. Вы просто ничему не научитесь. И в конце концов никому не поможете.

Дюфло, изящная энергичная женщина, не думает, что ее работа лишена честолюбия. Наоборот, она считает принцип поэтапных изменений новаторским: