Подобные вопросы могут возникнуть в отношении равноценности конструкций и качественной оценки. Пэн и его коллеги, например, доказывали, что распространенные методы качественной оценки, такие как предоставление участникам исследования списка ценностей и просьба оценить их или проранжировать в порядке важности, могут терять свою валидность в других культурах. Они предположили, что такие методы могут быть недействительными из-за культурных различий в понимании определенных пунктов в списке ценностей, и по той причине, что некоторые суждения о ценностях могут быть основаны в большей степени на внутренних социальных сравнениях, чем на прямом выведении из личной, индивидуальной системы ценностей.
Чтобы изучить эту возможность, исследователи опробовали четыре различных метода изучения ценностей: традиционное ранжирование, оценивание, шкальное определение социальных установок и метод оценки поведенческого сценария. Единственным методом, оказавшимся достаточно валидным, был метод оценки поведенческого сценария, наименее традиционный из всех применявшихся.
Использование статистических методов Вопросы, касающиеся равноценности конструкций и систем измерения переменных, затрагивают не только однофакторные системы, но простираются и на те, которые требуют измерения многих позиций и подсчета баллов по нескольким шкалам. Если исследователь, например, использует измерение 50 пунктов, оценивающихся по пяти различным шкалам, возникает вопрос, каждый ли из 50 пунктов равноценно представляет данную конструкцию во всех включенных в исследование культурах и являются ли шкалы равноценными для всех культур?
Статистический метод, называемый факторным анализом, часто используется для извлечения шкальных оценок из большего объема измеряемых позиций. Подобные результаты факторного анализа во всех изучаемых культурах могут быть одним способом оценки степени равноценности в них, по крайней мере систем измерений, имеющих шкальную структуру.
Кросс-культурная валидность намерений
Простым способом иллюстрации проблем, связанных с равноценностью концептуальных определений и эмпирических методов, будет аналогия с кросс-культурным исследованием температуры. Скажем, мы заинтересованы в проведении такого исследования между двумя культурами, А и В. Сначала возникает вопрос; существует ли в обеих культурах понятие температуры и означает ли оно одно и то же и в той и в другой культуре? Если нет, тогда неуместно продолжать подобное исследование (хотя остается возможность проведения иного исследования). Если да, тогда возникает вопрос измерения температуры. Если в культуре А температура измеряется по шкале Цельсия, а в культуре В — по шкале Фаренгейта, то очевидно, что эти способы измерения не поддаются прямому сравнению. Задачей исследователей в таком случае будет нахождение способа измерения температуры, равноценного для обеих культур, а затем сравнение полученных этим способом данных.
По предположению Пуртинга, когда система измерений имеет высокую внутреннюю валидность во всех участвующих в исследовании культурах (т. е. имеет одинаковое значение во всех культурах) и когда измеряемая конструкция относится к психологической сфере, сходной или одинаковой во всех культурах (например, сочетание цветов или шкала высоты звука), в основном, обоснованное сравнение возможно. Когда измеряются недоступные прямому наблюдению психологические особенности и установки, сравнение возможно, пока равнозначны концептуальное определение этой психологической сферы и установившаяся система измерений в ней для всех участвующих в исследовании культур. Любые другие ситуации исследования препятствуют обоснованному сравнению культур.