Создание компьютерных тестов и диалоговых тренажёров

Важно отметить, что варианты неправильных ответов также должны быть разработаны автором. Перекладывание выполнения данной очевидной, на первый взгляд, функции автора на других участников команды – программистов, сценаристов или методистов, зачастую приводит к существенному ухудшению качества контроля знаний. Это объясняется тем, что подготовленные несведущими в предметной области специалистами варианты ответов легко обнаруживаются учащимися, что позволяет показать последним завышенный относительно реальных знаний результат тестирования.

При разработке авторских материалов для контроля знаний в рамках электронной образовательной среды не рекомендуется применять кроссвордный стиль формулирования заданий (например, «вставьте пропущенное слово»), т.к. такой подход не способствует закреплению в сознании учащегося связки «вопрос – ответ» (за редким исключением).

Помимо вышеизложенных ограничений, хочется дать еще несколько общих рекомендаций к составлению тестов:

• не следует нумеровать вопросы внутри заданий, если предполагается их отображение в случайном порядке;

• такая же рекомендация относится к численно-буквенному обозначению предлагаемых вариантов ответов для случаев, когда они должны быть случайным образом перемешаны;

• общий объем теста должен быть ограничен максимальным временем непрерывной работы за компьютером для целевой категории обучаемых (как правило, не более одного часа);

• желательно, чтобы количество предлагаемых вариантов ответов в тестовых вопросах было не менее 4-х (включая дистракторы) – для повышения статистически значимой достоверности результатов теста по сравнению со случайным угадыванием;

• в случае отображения всех вопросов теста одновременно на одном экране в прямой последовательности моментальная обратная связь по ответам не применяется, в таких случаях к разбору ошибок переходят только после полного завершения тестирования.

2. Условия тестирования

При разработке контрольных вопросов автору теста также следует продумать и описать следующие моменты, которые являются ключевыми в тестировании:

• количество вопросов, которые будут заданы в рамках одной попытки;

• количество предоставляемых попыток прохождения теста;

• наличие или отсутствие ограничений по времени ответа на вопросы;

• траекторию отображения вопросов (произвольную, по темам, в зависимости от результата ответа на предыдущие вопросы, возможность или невозможность пропускать вопросы и изменять уже принятые ответы и т. д.);

• систему начисления баллов за различные варианты ответов (полные, неполные, частично правильные, удельный вес вопросов в зависимости от сложности, количество использованных попыток для получения правильного варианта и т. п.);

• критерии оценки успешности тестирования (проходной балл).

Каждый ответ на вопрос в тесте оценивается в баллах. Вы можете управлять начислением баллов, определяя свои правила в пределах принятых ограничений технической реализации.

В общем случае у Вас имеется следующий арсенал оценивания ответов:

• начислять баллы за правильный ответ;

• начислять или не начислять баллы за частично правильный ответ;

• начислять, не начислять или вычитать баллы за неправильный ответ.

Количество начисляемых баллов в каждом случае определяет автор теста. Это открывает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отрицательным результатом.

Для того, чтобы рассмотреть механизм реализации такого варианта завершения тестирования рассмотрим более общую категорию – траекторию отображения тестовых вопросов.

3. Траектория тестирования

При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта.

Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копирования, а также последующего анализа и распространения.

В условиях современного уровня развития компьютерных и коммуникационных технологий вопрос защиты контрольно-измерительных материалов от их несанкционированного копирования и распространения становится все более сложно выполнимым. Поэтому на первый план выходят приемы, сводящие ценность обладания ключами к тесту к минимуму – не дающие существенных преимуществ обладателю правильных ответов перед другими участниками тестирования.

Среди таких приемов:

• случайный порядок отображения вопросов;

• случайный порядок отображения вариантов ответов;

• случайный отбор вопросов из банков вопросов по разным темам;

• зависимость набора вопросов от выданных ответов;

• ограничение времени на ответ и др.

Траектория тестирования – это порядок, в котором следуют вопросы теста на экране компьютера.

У каждой разновидности траектории есть свои сильные и слабые стороны.