В основном ответы на этот вопрос несли отсылку к игровой форме, соревновательности, командообразованию — без упоминания экологических тематик. Например:
Однако целью проекта заявлено не просто убрать мусор или провести развлекательное мероприятие для горожан, но и увеличить осведомлённость и вовлечённость людей в проблемы заботы об окружающей среде. И если на уровне организаторов преимуществами проекта называются не социальный эффект, а опосредующие качества вроде формата и атмосферы, то получается, что социальное воздействие остаётся лишь второстепенным фактором.
Благодаря Чистым Играм меняется отношение и мышление людей к экологии и экологическим проблемам и всё это в игровой и увлекательной форме.
Логика контрибутивной оценки состоит в том, чтобы посмотреть на ситуацию глазами участника проекта и через его нарратив увидеть фактор изменений его установок. И на основании имеющихся данных представляется затруднительным констатировать сам факт того, что организаторы проекта на местах осознают его в терминах социального воздействия. А потому при отсутствии наблюдаемого позитивного эффекта в установках, выявление его причины становится нецелесообразным.
Таким образом, несмотря на ограниченное количество и качество данных, имеющихся выводов достаточно для того, чтобы констатировать неполное соответствие полученных результатов заявленным целям проекта социального воздействия.
Что можно сделать для более глубокой оценки социального воздействия проекта средствами контрибутивной оценки?
В соответствии с методом «наиболее значимых изменений» (Davies & Dart, 2005), применительно к рассматриваемому кейсу, исследовательский дизайн мог бы выглядеть следующим образом:
1. Концептуализация «осведомлённости и вовлечённости людей в проблемы заботы об окружающей среде» как предмета изменения.
2. Разработка гайда качественного опроса для региональных организаторов и для участников, с целью исследования восприятия предмета изменения и роли респондента в этом изменении.
Предлагаемый способ использования методологии контрибутивной оценки включает не просто качественную оценку результатов, но дизайн исследования, действие которого само по себе является инструментом позитивных социальных изменений.
3. Определение отчетного периода, в рамках которого предполагается достичь изменений.
4. Неанонимные интервью об опыте участия в проекте собираются, как минимум, в двух точках — до участия в проекте и после него. В них участники проговаривают своё восприятие к предмету изменения, а исследователь старается зафиксировать изменения в этом восприятии, произошедшие в ходе проекта.
5. Отбор «наиболее значимых историй» — тех, в которых позитивные изменения проекта были наибольшими, и которые были бы выражением общих тенденций.
6. Обратная связь с участниками для уточнения деталей историй.