Объектный состав процесса экспертного оценивания. Представляет собой информационные модели действительного и желаемого состояний организации, а также условий среды, в которых она функционирует (рис. 8.5). Кроме этого в объектном составе могут присутствовать базы знаний, образованные путем анализа и систематизации как внутреннего опыта организации, так и внешнего (опыта других организаций).
Рис. 8.5. Объектный состав процесса экспертной оценки, его источники и методы формированияВ качестве объектов оценивания обычно выступают альтернативы решения проблем, генерируемые на основе контекста, в котором происходит разработка решения. При этом в функции эксперт-группы входит как генерация альтернатив, так и их оценка с выработкой рекомендаций по решению проблем.
Рассмотрим подробнее методы формирования эксперт-групп, методы сбора и обработки информации, получаемой от экспертов, и расширения метода экспертных оценок.
По объекту исследования экспертная информация может быть разделена на следующую информацию о:
● миссии и целях системы (в том числе рангах целей);
● функциях системы;
● составе системы;
● связях между элементами системы;
● тенденциях развития системы (прогнозе развития при различных факторах среды);
● возможных вариантах изменения системы (альтернативах);
● весах (рангах, значимости) элементов системы и их функциях.
Методы формирования эксперт-группНа точность результатов экспертизы существенно влияет состав эксперт-группы. Одна из задач процедуры отбора – формирование системы характеристик эксперта. А. С. Малинин и В. И. Мухин предлагают для описания экспертов, с точки зрения оценки качества решения проблемы, использовать следующие характеристики: компетентность, креативность, конформность, аналитичность, широту и глубину мышления, самокритичность и др.
Под компетентностью понимают степень квалификации эксперта в определенной области знаний, обладание компетенцией (компетенция – круг вопросов, для решения которых лицо обладает необходимыми знаниями и умениями).
Креативность (англ. сreate – создавать) – это способность видеть контекст (существенные по отношению к данной проблеме обстоятельства) и создавать на его основе модели необходимых изменений, т. е. разрабатывать альтернативы.
Конформность – с одной стороны, способность личности к действительному преобразованию индивидуальных установок в результате внутреннего принятия позиции окружающих, которая оценивается как более объективная и обоснованная (обычно играет положительную роль), а с другой стороны, неустойчивость мнения, подверженность влиянию более авторитетных членов группы (играет отрицательную роль).
Аналитичность – в широком смысле способность эксперта к анализу и самоанализу, в узком смысле – способность анализировать проблемную ситуацию, т. е. выделять в ней элементы, определять связи между ними и функциональные зависимости, что позволяет находить место рассогласования в системе и разрабатывать модели требуемых изменений.
Широта мышления – это способность эксперта представлять исследуемую сущность не только в общем контексте, но и в других контекстах, формирующих новый аспект исследуемой сущности.
Глубина мышления – это способность эксперта представлять максимально возможное множество аспектов исследуемой сущности именно в данном контексте.
Самокритичность – способность эксперта абстрагироваться от эмоционального контекста и объективно оценивать собственную позицию.
Определение компетентности эксперта методом самооценкиКомпетентность экспертов оценивается определением коэффициента компетентности k по простой и полной методике. Коэффициент компетентности k вычисляется на основе суждений эксперта о степени своей информированности по решаемой проблеме с указанием источников аргументации своих суждений:
где ku – коэффициент информированности, получаемый на основе самооценки эксперта по 10-балльной шкале, умножаемый на 0,1;
ka – коэффициент аргументации, получаемый в результате суммирования баллов по табл. 8.1.
Эксперт заполняет таблицу без значений степеней влияния, оценивая влияние источников по качественной шкале: высокая – средняя – низкая. Затем качественные оценки заменяются их количественными показателями и подсчитывается (суммированием значений) количество баллов по всем источникам.
При этом должны выполняться условия: 0 ≤ ka ≤ 1, 0 ≤ ku ≤ 1 и соответственно 0 ≤ k ≤ 1.
Таблица 8.1Эталонные весовые коэффициенты источников аргументацииИсточник: Малин А. С., Мухин В. И. Исследование систем управления: Учебник для вузов. – Изд. 2-е. М.: ГУ ВШЭ, 2004. – С. 340
Методы сбора экспертной информацииАнкетирование считается наиболее эффективным и самым распространенным видом опроса и заключается в заполнении экспертами опросных листов-анкет.