Однако метод известных групп обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Дело в том, что при формировании известных групп оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест для прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они проходят в лучшем случае проверку по методике известных групп и не обладают прогностической валидностью (или эта валидность строго экспериментально не доказана).
4. Основные схемы валидизации психодиагностических методик
Решение проблемы прогностической валидности под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать на порядок больше испытуемых – не 30, а, как минимум, 300, так как неизвестно, кто из этих 300 попадет в крайние группы.
Например, мы хотим использовать тест для прогноза готовности школьников для обучения в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то должен взяться за нелегкую многолетнюю программу проверки прогностического потенциала этого теста. Нужно протестировать 300–500 школьников, а затем подождать, кто из них поступит в вуз и будет успешно там учиться. После двух-трехлетнего интервала можно сформировать критериальные группы и подсчитать корреляцию с прежними тестовыми показателями этих бывших школьников. Только после реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую валидность. Без этого мы исходим только из доверия к научной интуиции разработчика теста и не имеем независимых доказательств того, что тест можно использовать для прогноза.
Различение обычной дешевой схемы валидизации теста (по известным группам) и дорогой прогностической схемы валидизации теста – важнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.
ЛЕКЦИЯ № 14. Стандартизация тестов
1. Тестовые нормы
Что, несомненно, должен знать и уметь делать каждый грамотный пользователь теста, так это понимать, что такое тестовые нормы и как ими пользоваться.
Первоначальный суммарный балл, подсчитанный с помощью ключа, не является показателем, который можно диагностически интерпретировать. Его называют в тестологии «сырым» тестовым баллом. Применение тестовых норм в профессионально организованной психодиагностике основывается на переводе тестовых баллов из «сырой» шкалы в стандартную. Эта процедура называется стандартизацией тестового балла.
Допустим, мы провели тест из 20 заданий, и испытуемый дал 12 правильных ответов. Можно ли при этом сказать, что способность у испытуемого выражена лучше или хуже, чем в среднем? Нет. Для такого вывода нужно сравнить балл 12 со средним баллом по представительной выборке испытуемых.
Выборка, на которой определяются статистические тестовые нормы, называется выборкой стандартизации
. Ее численность, как правило, не меньше 200 человек. Столько должны принять участие в психометрическом эксперименте по определению тестовых норм – в эксперименте по стандартизации теста.2. Корреляция качественных признаков
Корреляция качественных признаков
– метод анализа связи переменных, измеряемых в порядковых шкалах и шкалах наименований (см. шкалы измерительные). Наиболее часто такой корреляционный анализ проводят с помощью коэффициентов ранговой корреляции, используемых в случаях, когда обе переменные измеряются в шкалах порядка или легко могут быть преобразованы в ранги. При измерении сравниваемых переменных в шкалах наименований широко применяются коэффициенты сопряженности, в которых в качестве промежуточной расчетной величины используется критерий согласия Пирсона (см. критерий X2). Наиболее часто в таких расчетах пользуются коэффициентом сопряженности Пирсона:Значение P всегда положительно и измеряется от нуля до единицы. Особенностью коэффициента сопряженности Пирсона является то, что максимальное его значение всегда меньше +1 и в значительной степени зависит от количества наблюдений (размера таблицы). В случае квадратной таблицы (k × k):
Так, в таблице размером (5 × 5) Pmax
= 0,894; в таблице (10 × 10) Рmax = 0,949. Поэтому окончательной формой выражения связи между переменными с помощью коэффициента Пирсона является его отношение к величине Рmax для данного случая (Р / Рmax).При расчете сопряженности находит применение также коэффициент Чупрова:
где
В психологической диагностике описанные коэффициенты используются относительно редко.
3. Ранговая корреляция