– Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.
Для обобщения всех полученных оценок Е.П. Голубков предлагает вычислять вес эксперта по формуле:
где vi,И
, vi,C, vi,O – балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами, соответственно; VИ, VC, VО – максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки, данные коллегами, соответственно.Эта формула удобна тем, что результирующие веса находятся в пределах от 0
(совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок[39];3. Проведение опроса. Помимо общих требований к опросам, таких, как
– соответствие задаваемых вопросов целям исследования;
– удобство работы с анкетой;
– удобная для экспертов организация проведения опроса,
– имеется ряд правил именно для экспертных опросов. К их числу относятся:
– предоставление экспертам всей требуемой информации;
– проведение коллективных обсуждений, если это целесообразно;
– обеспечение независимости мнений экспертов;
– анонимность ответов для членов экспертной группы.
Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить формулировку вопросов к экспертам, согласовать порядок проведения опросов.
Затем экспертам направляются анкеты с пояснительной запиской.
На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.
Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.
Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять такие характеристики, как моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее) или медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).
При получении количественных оценок применяется обычная формула средневзвешенного значения:
где Xэксп
– общая экспертная оценка; vi – вес каждой оценки (значимость эксперта).5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства[40]
. Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками.Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением повторных экспертиз.
6. Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции, о которых будет рассказано в разделе "Анализ данных".
Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить более или менее точные решения плохо формализуемых задач.
3.2. Описательные исследования
Цели и принципы описательных исследований
Описательные исследования могут проводиться с целью:
– описать характеристики определенной группы, например, "среднего пользователя" – его доход, возраст;
– оценить долю людей, которые ведут себя определенным образом (например, делают покупки преимущественно в супермаркете), среди всей совокупности;
– сделать специальный прогноз, например, каким образом лучше продавать конкретный товар.
Теперь стало понятно, что деление исследований на поисковые и описательные не идентично
делению на количественные и качественные, хотя обычно поисковые исследования – качественные, а описательные – количественные.