В свое время Б. Саймон (1958), анализировавший применение интеллектуальных тестов в английской школе, обратил внимание на то, что авторы включают в свои тесты задания, состоящие из непонятных для некоторых испытуемых слов. Он с полной ясностью показал, что слова, вошедшие в словарь ребенка одного социального слоя, могут быть неизвестны и непонятны ребенку из другого социального слоя. Тесты, о которых писал Саймон, были рассчитаны на английского ребенка из обеспеченных слоев населения, с достаточно высоким уровнем образования окружающих его людей. Все, что пишет данный специалист, – абсолютно верно. Но дело не только в этом: дело и в том, насколько эти функциональные признаки освоены испытуемыми в их повседневной жизни и практике.
Если бы исследователь опросил испытуемых, известно ли им, что такое свекла, капуста и т. д., то можно утверждать, что не нашлось бы испытуемых, которые этих овощей бы не знали (речь идет, положим, об испытуемых, проживающих на большей части территории СССР, жители Африки, возможно, о подобных овощах не знают).
Но «знать» это одно, а уметь логически обработать – другое. Последнее зависит не от одного владения правилами логической обработки, но и от признаков, выделяемых для такой обработки.
Поэтому специфика материальной наполненности теста, с одной стороны, и особенности выборки или совокупности испытуемых – с другой, приводят в различных их сочетаниях к неодинаковым характеристикам надежности одного и того же психологического теста при его повторных проверках. Это признается современной тестологией. Как можно заключить, тестологи не считают надежность неотъемлемым признаком самого теста. Отсюда возникают требования к четкому описанию выборок, на которых устанавливалась надежность.
Так, авторы «Стандартных требований…» пишут:
«В руководящих указаниях по применению теста при сообщении данных о надежности… выборки должны быть описаны достаточно подробно, чтобы лицо, пользующееся тестом, могло судить, в какой мере приведенные данные приложимы к тем испытуемым и к тем проблемам, с которыми оно имеет дело». В комментарии, сопровождающем это требование, содержатся такие указания: «…надежность теста, предназначенного для отбора работников, должна быть установлена путем тестирования кандидатов (из числа которых будет произведен отбор), а не студентов колледжа и не лиц, уже состоящих на работе» (Standards for Educational and Psychological Test, 1974, § Г. 2).
Мало того, выдвигается и такое пожелание: «В руководящих указаниях по применению теста следует представлять демографическую информацию – распределение испытуемых по возрасту, полу, социально-экономическому и интеллектуальному уровню, трудовому статусу, биографии и времени пребывания в данной группе» (Standards for Educational and Psychological Test, 1974, § Г. 2.21).
Из сказанного вытекает, что исследователя не может удовлетворять информация о том, что надежность теста по сведениям, которые приводятся автором теста, достаточно высока. Совершенно необходимо проверить эту надежность в тех условиях, в которых тест будет применяться, с учетом всех тех особенностей, которые присущи интересующей исследователя выборке или популяции.
И сами диагностируемые свойства обнаружат себя по-разному, в зависимости от того, какой материал и какой выборке будет предъявлен для работы. Допустим, диагностируется некое элементарное умение обобщать, однако степень познанности испытуемыми материала, на котором изучается это умение, жизненный опыт в выделении функциональных признаков, подлежащих обобщению, – все это неизбежно отразится на конечных результатах работы испытуемых. Следовательно, диагностироваться будет не одно лишь элементарное умение обобщать, но и то, насколько близки испытуемым конкретные объекты, предлагаемые им в тесте.