Контроль качества обучения при аттестации: компетентностный подход

Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:

     • определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);

     • провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;

     • определить структуру теста и стратегию расположения заданий;

     • разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;

     • создать задания в каждой из выбранных тестовых форм;

     • отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;

     • провести экспертный анализ качества содержания заданий и теста;

     • провести экспертизу формы предтестовых заданий;

     • переработать содержание и формы заданий по результатам экспертизы;

     • сформировать выборку для апробационного тестирования;

     • разработать инструкции для студентов и преподавателей, проводящих апробацию теста;

     • провести апробационное тестирование для сбора эмпирических результатов;

     • провести статистическую обработку результатов апробации;

     • выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

     • провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

     • повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

     • установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].

Выводы

Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.

Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.

В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.

При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.

Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.