Аналитика: методология, технология и организация

При обработке индивидуальных экспертных оценок обычно применяется метод согласования оценок, имеющий массу вариантов реализации, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. Для этого в качестве оценки могут использоваться усредненная вероятность, средневзвешенное значение вероятности (когда учитываются также и веса, приписываемые оценке каждого эксперта) — вплоть до специальных методов оценки измерения и повышения коэффициентов согласованности (конкордации или коэффициентов непротиворечивости) мнений экспертов. Кроме того, еще на этапе формирования экспертной группы могут применяться методы, основанные на отборе экспертов с высоким коэффициентом согласованности мнений.

Существенную роль в обработке числовых данных — именно к этому типу преобразовывается большинство терминов, используемых для обозначения точек в пространстве признаков — играют методы, основанные на преобразовании типов шкал. К числу таких преобразований могут быть отнесены преобразования дискретной шкалы в непрерывную, абсолютной — в нормированную и иные. Такие методы могут применяться как до, так и после выполнения процедуры ранжирования (например, до построения частотнорангового распределения оценок и группирования экспертов по степени согласованности ответов на поставленные вопросы).

В качестве одного из методов повышения согласованности экспертных оценок применяют метод Дельфи.

Метод решающих матриц, идея которого была предложена Г.С. Поспеловым, относится к еще одному классу методов — к методам организации сложных экспертиз. Идея метода заключается в управлении процессом синтеза нового знания в ходе многоэтапного экспертного опроса. Это достигается за счет стратифицированного (послойного) рассмотрения проблемы по уровням, относящимся к различным этапам ее решения. Для научных исследований рассматриваются слои, соответствующие этапам фундаментальных научно-исследовательских работ, прикладных научноисследовательских работ, опытно-конструкторских работ и подпроблем. Для решения проблем управленческой деятельности эти слои могут быть иными, например, следующими: методологический, организационный,

технологический слои и слой подпроблем.

На начальном этапе в результате проведения экспертного опроса в общей (глобальной) проблеме выделяются подпроблемы (направления), сумма весов которых (полученных опять же в результате опроса) равна ста процентам. Количество столбцов матрицы определяется числом подпроблем или направлений работы, строки же соответствуют слоям. В каждом слое некоторому направлению ставится в соответствие одно мероприятие, преимущественно нацеленное на решение той или иной задачи в сфере методологического, организационного или технологического обеспечения решения подпроблемы (перечень мероприятий также получают в ходе очередного тура экспертного опроса). Однако, поскольку любое мероприятие дает помимо основного результата еще и ряд косвенных, постольку в ходе следующего тура эксперты оценивают относительный вклад предшествующих мероприятий в проведение последующих (сумма весов дуг входящих в элемент более высокого уровня со стороны элементов более низкого уровня также должна быть равна ста процентам). В результате пересчета весов каждого элемента решающей матрицы могут быть аналитически исчислены коэффициенты важности мероприятий. Соответственно, неопределенность снижается поэтапно, и те данные, которые не могли быть получены методом прямого экспертного опроса, становятся доступными, благодаря разбиению исходной неопределенности на меньшие фрагменты, не требующие от эксперта стратегического мышления.

В завершение этой главы отметим, что ни одна сложная реальная задача, стоящая перед коллективом аналитиков, не может быть решена исключительно за счет применения какой-то одной неизменной совокупности процедур. Чаще всего, новый проект становится в том числе и вкладом в методологическое, технологическое и организационное обеспечение аналитической деятельности. Это и не удивительно — достаточно обратиться к реальным примерам масштабных проектов, чтобы убедиться в этом и понять причины, по которым так происходит.

Пример организации процесса комплексного перспективного моделирования приведен в Приложении 1 к этой книге. Данный пример иллюстрирует то, каким образом в 1996-98 годах специалистами ВВС США проводилось формирование перспективного плана развития ВВС на период до 2025 года в контексте оценки альтернатив развития мировой ситуации. Многие пункты подготовленного в результате этой работы отчета сегодня подтверждаются реальным развитием мировой ситуации.