Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022)

КОНТРОЛЬНАЯ И ЭКСПЕРИМЕНТАЛЬНАЯ ГРУППА

На практике задача оценки воздействия состоит в том, чтобы определить контрольную и экспериментальную группы, которые сходны по своим параметрам, но одна из них участвует в программе, а другая нет. Так что разница в результатах должна быть обусловлена программой

Экспериментальные и контрольные группы должны быть одинаковыми по крайней мере в трех отношениях:

1. Исходные характеристики групп должны быть идентичными. Например, средний возраст в экспериментальной группе должен быть таким же, как и в контрольной группе.

2. Фактор программы не должен влиять на контрольную группу ни прямо, ни косвенно.

3. Результаты в контрольной группе должны измениться так же, как и результаты в экспериментальной группе, если обеим группам была предоставлена программа (или нет). То есть, группы должны реагировать на программу одинаково. Например, если доходы людей в экспериментальной группе увеличились на 5000 рублей благодаря программе обучения, тогда доходы людей в группе сравнения также увеличились бы на 5000 рублей, если бы они прошли обучение.

Когда эти три условия выполняются, то только существование исследуемой программы будет объяснять любые различия в результате (Y) между двумя группами.

Вместо того, чтобы рассматривать воздействие исключительно для одного человека, более реалистично рассмотреть среднее воздействие для группы людей (Рисунок 1).

Здесь важно рассмотреть, что произойдет, если мы решим продолжить оценку без нахождения контрольной группы. Мы можем столкнуться с риском вынести неточные суждения о результатах программы, в частности, в отношении оценки контрфакта.

Такой риск существует при использовании следующих подходов:

• Сравнения «до и после» (рефлексивного сравнения): сравнивают результаты одной и той же группы до и после участия в программе.

• Сравнения зарегистрированных и незарегистрированных (или самостоятельно выбранных) групп лиц: сравнивают результаты группы, которая решила участвовать в программе, с результатами группы, которая решила не участвовать.

Сравнение «до и после» пытается установить влияние программы путем отслеживания изменений результатов для участников программы с течением времени. По сути, это сравнение предполагает, что, если бы программа никогда не существовала, результат (Y) для участников программы был бы точно таким же, как и их ситуация до программы. К сожалению, для многих программ, реализуемых в течение нескольких месяцев или лет, это предположение может не выполняться.

Рассмотрим для примера оценку программы микрофинансирования для сельских фермеров. Программа предоставляет фермерам микрозаймы, позволяющие им покупать удобрения для увеличения производства риса. Можно увидеть, что за год до начала программы фермеры собирали в среднем 1000 килограммов риса с гектара (точка В на Рисунке 2).

Запущена схема микрофинансирования, и год спустя урожайность риса увеличилась до 1100 кг с гектара (точка А на рисунке 2). Если оценить воздействие, используя сравнение «до и после», то нужно опираться на базовый результат в качестве оценки контрфактного сценария. Применяя общую формулу оценки воздействия, мы бы пришли к выводу, что программа увеличила урожайность риса на 100 кг с гектара (A-B).

Однако представьте, что за год до запуска программы количество осадков было нормальным, но в год действия программы произошла засуха. Из-за засухи средняя урожайность фермеров без схемы микрозаймов, вероятно, будет ниже, чем В: скажем, на уровне D. В этом случае истинное воздействие программы будет A-D, что больше, чем 100 кг, оцененные с использованием сравнения до и после.

Количество осадков было одним из множества внешних факторов, которые могли повлиять на интересующий результат программы (урожайность риса) со временем. Аналогичным образом, многие результаты, на улучшение которых направлены программы развития, такие как доход, производительность, здравоохранение или образование, подвергаются влиянию множества факторов с течением времени. По этой причине базовый результат является не самым точным вариантом оценки контрфактного сценария.

Сравнение группы лиц, добровольно подписавшихся на участие в программе, с группой лиц, решивших не участвовать, является еще одним рискованным подходом к оценке воздействия. Группа сравнения, которая самостоятельно выбрала программу, предоставит еще одну «поддельную» контрфактную оценку. Выбор происходит, когда участие в программе основано на предпочтениях или решениях каждого участника. Такое предпочтение является отдельным фактором, от которого возможно зависит результат участия в ней. Говорить о сравнимости подписавшихся с теми, кто не подписался, в таких условиях нельзя.

Консультанты-оценщики пилота HISP в попытках математического осмысления полученных результатов совершили и первую, и вторую ошибки в оценке контрфакта, но организаторы программы, понимая риск предвзятости, решили найти методы для более точной оценки.