Исследование действием. Лидерство на острие настоящего

Лёвинджер и Уэслер [68] сообщают о высокой взаимной достоверности (межэкспертной надежности) и внутренней непротиворечивости методики WUSCT. Другие исследования свидетельствуют о высоких в целом уровнях взаимной достоверности (например, [36, 50]), внутренней непротиворечивости [92] и надежности по методу расщепления [79, 92]. Результаты WUSCT почти невозможно фальсифицировать. Эксперименты показали, что испытуемым почти никогда не удавалось представить протокол на уровне более поздней логики действий по сравнению с их собственной, даже после объяснения теоретической основы процедуры кодирования ответов [91].

После получения надежного результата с помощью традиционных тестов на надежность (в которых оба кодировщика отдельно подсчитывают баллы по одним и тем же пунктам, а затем определяется уровень их согласованности) лучший способ поддержать и повысить уровень надежности и точности – провести соответствующий тест для оценки каждого измерения так, чтобы второй кодировщик перепроверил результаты первого. Такой тест в последние годы проводился дважды для кодировщиков «Глобального профиля лидера». В обзоре 805 измерений [60], каждое из которых могло быть оценено по 13 разным уровням (например, ранний дипломатический, дипломатический, поздний дипломатический и т. п.), коэффициент корреляции Пирсона между результатами двух кодировщиков составил 0,96 при абсолютном согласии в оценках в 72 % случаев, при расхождении на 1/3 логики действий в 22 % случаев и только при одном случае расхождения, большем, чем одна полная логика. В случаях несоответствий кодировщики достигали договоренности при обсуждении результатов, прежде чем сообщать их клиентам. Они в большинстве случаев были предположительно точнее, чем исходные оценки. Таким образом, эта процедура не только была проверкой надежности, но и позволяла предоставить клиенту более точный результат.

В начале 2016 года стратифицированная выборка из 78 форм с законченными предложениями по методу «Глобальный профиль лидера» от 2015 года (10 – Эксперт, 20 – Достиженец, 20 – Переопределяющий, 20 – Трансформирующий и 8 – ранний Алхимик) была пересмотрена на предмет надежности не только в отношении общей оценки, но и оценки отдельных пунктов в каждом протоколе. Это исследование показало идеальное совпадение по протокольной оценке в 94 % случаев и расхождение по 1/3 логики действий в 6 % случаев (и не забудьте, что несоответствия были урегулированы до того, как результаты показали клиенту). Что касается отдельных пунктов, идеальное совпадение оценок между двумя кодировщиками составило 98 %; только в четырех случаях из 2340 пунктов отмечено расхождение по двум логикам действий и ни одного случая более серьезных отклонений. Если сравнить эти результаты с результатами семилетней давности, полученными теми же кодировщиками, можно заметить повышение доли идеального совпадения оценок на 22 %. Отчасти это можно объяснить тем, что постоянно проводится сопоставление результатов измерений, полученных разными кодировщиками.

В дополнение к этому новому методу определения надежности путем сравнения оценок разных кодировщиков, каждый, кто проходит тестирование по программе «Глобальный профиль лидера», может сам оценить собственную логику действий, прежде чем получит результаты теста. Во время эксперимента 2015 года, в котором приняли участие 66 человек, оценки самих клиентов отличались от анализа по методике «Глобальный профиль лидера» всего в шести случаях (9 %). В четырех из них по итогам беседы с дебрифером испытуемые согласились с оценкой. Обычно клиенты понимают, что условия, которые они винят в расхождениях (например, спешка или усталость во время заполнения пропусков в незаконченных предложениях), такие же, как на их работе, и, следовательно, отражают их обычную логику действий. В двух других случаях дебрифер согласился с самооценкой испытуемых (поскольку английский не был первым языком респондентов и это повлияло на их письменные ответы). Таким образом, в 94 % случаев клиент принимал достоверность анализа «Глобального профиля лидера». Этот процесс дифференцированного исследования надежности с участием испытуемых – одновременно новая форма и проверки надежности, и внешней проверки валидности.