Один из широко распространенных подходов к установлению обоснованности – это использование судей и специалистов
. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для определения измеряемого явления, и просят высказать мнение о значении точности отнесения любого из свойств к этому объекту. Коллективное перерассмотрение предложений судей дает возможность присвоить признакам веса или то же самое, что шкальные отметки в измерении изучаемого явления. В качестве набора признаков могут выступить список отдельных мнений, характеристики явлений и т. д. Процедуры судейства разнообразны. В их основе могут лежать схемы парных сопоставлений, последовательных интервалов, ранжирования.При отборе судей возникает трудноразрешимый вопрос, каково действие собственных установок судей на их отметки, ведь данные установки, возможно, будут существенно отличаться от установок обследуемых в отношении того же самого объекта. В общем виде решение проблемы состоит в том, чтобы
:1) внимательно рассмотреть состав судей с точки зрения адекватности их жизненного опыта и признаков общественного статуса, соответствующих показателям изучаемой ключевой совокупности;
2) выявить эффект индивидуальных отклонений в оценках судей относительно общего распределения оценок.
Независимо от использованного метода оценки надежности у исследователя существуют четыре последовательных действия по повышению надежности результатов измерений.
Во-первых,
в случае очень низкой надежности измерений отдельные вопросы элементарно выбрасываются из анкеты, в особенности когда степень надежности можно предопределить в течение разработки анкеты.Во-вторых,
исследователь может использовать гораздо меньше градаций и «свернуть» шкалы.В-третьих,
как альтернатива второму шагу или как подход, реализуемый после второго шага, оценка надежности проводится на индивидуальной основе.После того как первые три шага были использованы, оценивается уровень надежности измерений. Надежность характеризуется коэффициентом,
изменяющимся от нуля до единицы, где единица характеризует наибольшую надежность. Самый низкий уровень надежности характеризуется цифрами 0,65–0,70, особенно если измерения проводятся впервые.Достоверность измерений характеризует совершенно другие аспекты, чем надежность измерений. Измерение может быть надежным, но только не достоверным. Достоверность характеризует четкость измерений по отношению к тому, что уже реально существует.
Ключевая направленность при рассмотрении достоверности измерений хранится в получении сведений из разных источников.
25. Составление анкет
Разработка анкеты
– это метод получения или предоставления какой-либо информации. К сожалению, нет универсальных процедур, обеспечивающих создание «хорошей» анкеты, поэтому потенциальные ошибки из-за неоднозначности формулировок могут достигать уровня 20–30 %. Однако подобных экстремальных значений можно избежать, если руководствоваться здравым смыслом и опытом других исследователей. Хорошая анкета позволяет исследователю достичь своих целей. Опрос должен разрабатываться в соответствии с требованиями конкретного исследования.В процессе разработки анкеты необходимо учитывать ряд ограничений (число, форма вопросов и порядок их следования в некоторой степени будут определены методом сбора данных). Желание и возможности респондентов влияют на окончательный формат анкеты. Формулировка и порядок следования вопросов могут способствовать воспоминанию и мотивировать респондентов давать более точные ответы.
Несмотря на то что каждая анкета должна разрабатываться с учетом задач конкретного исследования, существует последовательность логичных шагов
, которой должен придерживаться каждый исследователь:1) определить, что вы собираетесь измерять;
2) сформулировать вопросы, которые позволят получить нужную информацию;
3) принять решения относительно порядка и формулировки вопросов, а также относительно оформления анкеты;
4) используя небольшую выборку, протестировать анкету на предмет упущений и неоднозначности;
5) исправить ошибки (при необходимости – заново провести тестирование).
Наиболее трудный шаг – четко определить, какую информацию следует получить от каждого респондента. Если этот этап будет недостаточно проработан, результаты исследования окажутся либо нерелевантными по отношению к его целям, либо неполными.
Для предотвращения недостатка релевантности нужно заранее продумывать, какие конкретные процедуры анализа будут использованы.
Необходимо также четко понимать, что представляет собой целевая совокупность. Понимание вопросов будет связано с социально-экономическими характеристиками респондента.