Есть мнение, что краткая проверка надежности, когда каждый кодировщик оценивает одни и те же десять окончаний предложений, не зная, какие баллы выставляют коллеги, может считаться более «строгим» тестом, чем те, о которых мы только что рассказали. Но явный недостаток таких тестов надежности, к которым кодировщики могут подготовиться и работать с ними в оптимальных условиях (после отдыха, когда внимание более сконцентрировано), состоит в том, что никогда нельзя точно знать, можно ли их экстраполировать на повседневные оценки кодировщиков. Второй аргумент против описанного выше теста в том, что у второго кодировщика будет мотив согласиться с первым, чтобы получить высокий процент согласованности оценок. Но идея о пересмотре предыдущих баллов для подтверждения надежности возникает только после процедуры оценки, поэтому в процессе мотивация отсутствует. Кроме того, у второго кодировщика есть еще три стимула для искреннего несогласия с первым: 1) если клиент получает несостоятельную оценку, непригодную для использования в его дальнейшем личностном росте, спрос на программу «Глобальный профиль лидера» постепенно иссякнет; 2) если оценка по этой методике станет менее надежной, результаты исследований будут случайными и статистически несущественными; 3) если оценки неточны, они будут бесполезны для обучения будущих кодировщиков.
В конце 2016 года Элейн Хердман-Баркер подготовила двух кодировщиков для программы «Глобальный профиль лидера». Тест надежности, проведенный между оценками ответов на 900 незаконченных предложений, выставленными новыми кодировщиками, и оценками Хердман-Баркер (выставленными ранее, но не известными новым кодировщикам), показал уровень точного совпадения 87,1 и 87,4 %, при расхождении в оценке двух стадий менее чем в 1 % случаев.
Валидность WUSCT и «Профиля» подвергается критике по двум пунктам: 1) это вопрос беглости речи, поскольку респонденты с продвинутой логикой пишут гораздо более длинные протоколы; 2) статус развития своего «я» как «главный признак», предложенный Лёвинджер, не подтверждается психометрическими методами. Что касается беглости речи, можно считать, что корреляция неизбежна: для выражения концептуальной сложности и креативности, характерных для продвинутых стадий, нужны более длинные ответы [68, 119]. В то же время результаты многочисленных исследований показывают, что развитие своего «я», измеренное по методике WUSCT, сопровождается далеко не только беглостью речи. Личностные характеристики, ассоциированные с предполагаемыми логиками действий, включают подчиненность строгим правилам (здесь наблюдается криволинейная зависимость, менее выраженная на пре- и постконвенциональных стадиях и более явная в конвенциональных логиках), забота, опека, сознательность, доверие, терпимость, эмпатия, склонность к самоанализу, творческий подход, нравственное развитие и целый ряд критериев, связанных с психическим здоровьем [58, 60, 69, 118, 119].
Одно из сравнительно недавних исследований [79] проверяло структурную валидность модели Лёвинджер, используя моделирование структурными уравнениями, чтобы выяснить, становится ли развитие собственного «я» источником ковариации для конкретных личностных конструктов с иерархической точки зрения. Несмотря на то что аналитическая модель не доказала, что развитие своего «я» можно считать «главным признаком», была выявлена положительная и значимая связь между ним и четырьмя конструктами, постулированными Лёвинджер: контролирование импульсов, стиль межличностных отношений, осознанная озабоченность и когнитивный стиль. Желающие просмотреть научную литературу по WUSCT могут обратиться к специальному выпуску журнала Psychological Inquiry (1993), посвященному работе Лёвинджер, а также к книге, опубликованной к ее восьмидесятилетию, Personality Development: Theoretical, Empirical, and Clinical Investigations of Loevinger’s Conception of Ego Development.
Методика «Глобальный профиль лидера», используемая в исследованиях, которые стали основой этой книги, корректирует, дополняет и трансформирует проверку надежности и валидности методики WUSCT пятью способами. Во-первых, «Профиль» добавляет отдельно проверяемые пункты, связанные с работой (например, «Люди, которые выходят за рамки дозволенного на работе…») [74], чтобы повысить очевидную валидность оценки для людей в рабочей обстановке.