Контроль качества обучения при аттестации: компетентностный подход

Для отражения идеи совмещения количественных и качественных уровней измерения в наши дни отечественные ученые ввели представление о бипарадигмальной методологии, под которой следует понимать систему принципов, способов функционирования и форм научной организации теоретической и практической деятельности в условиях сочетания количественных и качественных уровней измерений, а также учение об этой системе, закладывающее научный базис интеграции результатов измерений различных уровней при их шкалировании и использования в образовании [10].

Второе новое понятие, возникшее в научных трудах наших современников, – бипарадигмальные модели измерения, которые включают совокупность предположений, структурных связей, методов, методик, требований, показателей качества, определяющих функционирование и развитие всех компонентов процесса и средств измерения в условиях сочетания количественных и качественных подходов к измерению [Там же]. Понятие «модель измерения» необходимо дифференцировать от другого, близкого по смыслу – «метод измерения», отличающегося от первого по степени обобщенности и полноты включения компонентов измерения. Модель измерения представляет собой общую структуру, охватывающую не только количественные и качественные методы измерения, но и разработку измерителей, проведение тестирования или другие формы сбора данных, формирование выборочных совокупностей обучаемых для калибровки измерителей или сбора репрезентативных данных, анализ данных, их сопоставление и т.д. По форме представления бипарадигмальные модели могут носить не только описательный характер, но и включать математические модели IRT, методы факторной композиции измерителей и другие математико-статистические методы, используемые для разработки тестов и применения данных тестирования при оценивании качества образования.

Типология бипарадигмальных моделей измерения, охватывающая практически весь спектр задач, решаемых при оценивании качества образования, приводится на рис. 2.9.

Рис. 2.9. Типология бипарадигмальных моделей измерения

Педагогические измерения, основанные на бипарадигмальной методологии, могут включать сочетание и взаимное влияние качественных и количественных подходов на всех стадиях: в рамках планирования измерения, на стадии сбора данных и при анализе данных для формулировки выводов и их интерпретации для нужд управления качеством образования.

Бипарадигмальные методы измерений должны строиться с учетом принципа минимакса и контроля, объединяющего три компонента, которые регламентируют процесс измерений и доминируют в различной степени в зависимости от уровня и стадии измерений. На количественном уровне измерений преобладающим будет первый компонент, содержащий требование максимизации дисперсии наблюдаемых результатов измерения, но не снимающий и не ограничивающий влияние двух других компонентов. Реализация этого компонента означает обеспечение максимального дифференцирующего эффекта измерений для выявления всех значимых различий между оценками конструктов.

Второй компонент, предполагающий минимизацию дисперсии ошибочных компонентов, является наиболее важным на качественном уровне измерений, когда резко возрастает влияние субъективных факторов. Минимизация ошибочного компонента дисперсии на количественном уровне обеспечивает возможность повышения надежности измерения за счет уменьшения влияния случайных ошибок.

Выполнение третьего требования к измерениям означает систематическое осуществление контроля внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние. Примеры, подтверждающие важность осуществления контроля внешней дисперсии, можно часто встретить в мониторинге, где нередко встречаются случаи неправильной или упрощенной интерпретации данных и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности.

В целом, контроль внешней дисперсии означает, что необходимо устранить, если это возможно, влияние всех посторонних переменных на оцениваемые конструкты. Если прямое устранение невозможно, то посторонние переменные должны находиться под контролем, и процесс их влияния на измеряемые переменные должен быть управляем.

Проведение оценивания предполагает определенную последовательность получения количественных и качественных данных, собираемых на основе различных дизайнов измерения. Среди многочисленных возможных схем измерений при сочетании количественных и качественных уровней выделяют два основных дизайна, получивших название последовательного и параллельного. В последовательном дизайне качественные измерения сменяют количественные либо, наоборот, вначале идут количественные измерения. При параллельном дизайне количественные и качественные измерения ведутся одновременно с последующим объединением данных на основе единой методологии измерения.