Тестирование в конфигурации персонального интервью может выполняться либо технологией завершающей беседы, либо технологией протокола. Если используется метод заключительного собеседования, сначала респонденту предлагают заполнить анкету – точно так же, как он сделал бы это при проведении полномасштабного исследования. Однако сам интервьюер при этом должен фиксировать наблюдаемые реакции респондента – такие как замешательство, нежелание, затруднение. После завершения интервьюер должен провести с респондентом собеседование, спросив последнего, о чем тот думал, когда отвечал на каждый вопрос; не возникло ли каких-либо проблем с пониманием; не получилось ли так, что некоторые аспекты предмета исследования остались незатронутыми.
Если употребляется технология протокола, респондента по мере заполнения анкеты просят излагать мысли вслух. Интервьюер делает запись этих мыслей и в конце процедуры просит респондента более досконально рассказать о возникших проблемах. Второй подход лучше работает в том случае, если тестирование проводится по телефону. Респонденты дают более частые и подробные комментарии по телефону, поскольку у них отсутствуют невербальные средства коммуникации.
33. Тестирование отдельных вопросов
Существует несколько специфических причин, которые определяют необходимость тестирования отдельных вопросов. Наиболее распространенные параметры проверки отдельных вопросов:
1) разброс мнений (дисперсия). Проверка элементов анкеты на приемлемый уровень разброса мнений (дисперсия) среди целевой совокупности – одна из наиболее частых целей тестирования. Исследователя интересуют элементы, которые демонстрируют более высокий разброс ответов и соответственно окажутся полезными с точки зрения выделения подгрупп людей. Слишком асимметричное распределение, полученное по результатам тестирования, может рассматриваться как предупреждение о том, что вопрос, возможно, не отражает соответствующий конструкт;
2) значение. Это наиболее важная цель тестирования. Значение, которое закладывает в вопрос исследователь, может и не соответствовать интерпретации этого вопроса респондентом по двум важным причинам. Первая состоит в том, что респондент не обязательно услышит и увидит каждое слово вопроса. Это может привести к искажению его значения. Вторая причина, определяющая возможность возникновения проблем с интерпретацией, заключается в том, что респонденты могут модифицировать сложный вопрос таким образом, чтобы на него было проще ответить. Следовательно, люди могут сосредоточить внимание на той части вопроса, которая им более понятна, и ответить только на нее. Они также могут взять те части вопроса, которые им понятны, «собрать» из них другой вопрос, на который и ответят. Исследования показали, что респонденты часто трансформируют сложные вопросы в понятную для себя форму для того, чтобы мобилизировать требуемые усилия;
3) сложность задачи. Респонденту бывает трудно ответить даже на понятный и четко сформулированный вопрос, если требуется сопоставление информации непривычным для респондента образом, (большинству респондентов, вероятно, трудно будет указать, сколько килограммов стирального порошка они израсходовали в прошлом году, поскольку они, скорее всего, не учитывают стиральный порошок в килограммах за год);
4) интерес и внимание респондента. Этот аспект тестирования исследователи часто упускают. Между тем необходимо фиксировать, какие вопросы участники нашли особенно интересными или особенно скучными. Интерес и внимание зависят от таких факторов:
а) усталость респондента;
б) непонимание частью респондентов вопросов какого-то блока;
в) степень интереса, проявляемого разными группами респондентов к различным вопросам;
г) тип и формы вопроса;
д) вопросы личного, интимного характера, требующие оценки, высказывания своего мнения и т. д.
34. Тестирование анкеты
При тестировании анкеты следует обратить внимание на следующие аспекты
:1) последовательность. Тестирование часто сводится к интуитивной оценке. Вопросы должны быть в логичной последовательности, не нарушая когерентный ход опроса. Переходы от одной темы к другой также должны быть проверены т. е. надо убедиться, что они понятны и логичны;
2) пропуск вопросов. Многие анкеты содержат инструкцию по заполнению (пропустить следующий вопрос, если на предыдущий респондент ответил определенным образом). Независимо от того, кто будет выполнять эти инструкции – сам респондент в ходе почтового опроса или интервьюер в ходе личного интервью, – необходимо убедиться в том, что они являются четкими и понятными. В данном случае анкета несколько напоминает дорожную карту со знаками. Исследователи, которые принимали участие в разработке анкеты, могут просто не заметить некоторых ошибок или неоднозначности в этих инструкциях;