Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022)

Пилот внедрялся в 100 сельских территориях. Из 4959 домохозяйств в базовой выборке, в общей сложности 2907 были зарегистрированы в HISP, и программа успешно работала в течение следующих двух лет ее пилотной реализации. Все медицинские клиники и аптеки, обслуживающие 100 деревень, принимали пациентов по программе страхования, и опросы показывали, что большинство зарегистрированных домохозяйств удовлетворены этой программой. До старта и в конце двухлетнего экспериментального периода проводился сбор оценочных данных по той же выборке из 4959 домохозяйств.

ДОКАЗАТЕЛЬСТВО ВЛИЯНИЯ

Повлияла ли HISP на личные расходы малообеспеченных домохозяйств на здравоохранение? Да, и это было доказано с помощью математических методов. Подход к оценке воздействия, использованный в рамках HISP, предполагал выбор наиболее строгого метода, с учетом особенностей проекта.

Кейс анализа результатов внедрения программы HISP предлагает нам следующее «меню» вариантов методов оценки воздействия:

• рандомизированное распределение;

• инструментальные переменные;

• проектирование разрывной регрессии;

• метод «разность разностей»;

• метод сопоставления.

Все эти подходы преследуют цель определения достоверных групп сравнения, чтобы можно было оценить истинное воздействие программы на личные расходы на здравоохранение бедных домохозяйств.

Итак, мы отталкиваемся от этапа, когда показатели оценки выбраны и детально проработаны, составлен план сбора данных и данные собраны должным образом.

Начнем рассмотрение выбранной в рамках данного кейса методологии оценки с введения концепции контрфакта (то есть факта, противоречащего гипотезе). А далее в рамках данной статьи дадим обзор первому строгому методу, предложенному HISP и испытанному на опыте оценки данной программы.

Существует две концепции, которые являются неотъемлемой частью процесса проведения точных и надежных оценок воздействия — причинно-следственных связей и контрфактов.

В первую очередь вопросы социального воздействия связаны с причинно-следственными связями, например, с поиском ответов на такие вопросы:

Улучшает ли подготовка учителей результаты тестов учащихся? Приводят ли программы дополнительного финансирования медицинских учреждений к улучшению состояния здоровья детей? Увеличивают ли программы профессионального обучения доходы слушателей?

Поиск ответов на эти вопросы может быть непростым. Например, в контексте программы профессиональной подготовки, простого наблюдения того, как доход стажера увеличивается после завершения такой программы, недостаточно для установления причинно-следственной связи. Доход стажера мог бы увеличиться, даже если бы он не проходил обучение — из-за его собственных усилий, из-за изменения условий на рынке труда или из-за из многих других факторов, которые могут повлиять на доход.

Наша задача — найти метод, который позволит установить причинно-следственную связь. Мы эмпирическим путем должны определить, в какой степени конкретная программа — и только эта программа — способствовала изменениям результата. Все посторонние факторы должны быть исключены методикой.

Ответ на основной вопрос оценки воздействия — каково влияние или причинно-следственный эффект программы (P) на интересующий результат (Y)? — дается базовой формулой оценки воздействия:

Δ = (Y | P = 1) − (Y | P = 0).

Эта формула утверждает, что причинное влияние (А) программы (P) на результат (Y) представляет собой разницу между результатом (Y) с программой (другими словами, когда P = 1) и тем же результатом (Y) без программы (то есть, когда P = 0).

Например, если P обозначает программу профессиональной подготовки, а Y обозначает доход, то причинно-следственное влияние программы профессиональной подготовки (Д) представляет собой разницу между доходом человека (Y) после участия в программе профессиональной подготовки (другими словами, когда P = 1) и тем же человеком в тот же момент времени, если он или она не участвовали в программе (другими словами, когда P = 0).

Если бы это было возможно, мы бы наблюдали, какой доход имел бы один и тот же человек в один и тот же момент времени как с программой, так и без нее, так что единственным возможным объяснением любой разницы в доходах этого человека была бы программа. Сравнивая одного и того же человека с самим собой в один и тот же момент, мы бы смогли исключить любые внешние факторы, которые также могли бы объяснить разницу в результатах.

Но к сожалению, измерение одной и той же единицы в двух вариантах одновременно невозможно: в конкретный момент времени человек либо участвовал в программе, либо не участвовал.

Это называется контрфактуальной проблемой: как мы можем измерить, что произошло бы, если бы преобладали другие обстоятельства?