В вопросе 13 поднимается проблема равноценности системы измерения, предоставленной участникам, для всех культур в данном исследовании. Даже в том случае, если изучаемые понятия равноценны, различные шкалы могут иметь различное значение для разных культур. Представители одной культуры, например, могут не колебаться при использовании 7-балльной шкалы для оценки своего отношения. Представителям другой культуры, однако, подобные шкалы могут быть незнакомы. Непривычные к такому способу упорядочивания своих ответов, они могут предпочитать ему беседу. При существовании подобных различий данные могут быть неравноценными.
Вопросы 14 и 15 относятся к проблеме наборов культурных реакций.
Вопрос 16 адресуется проблеме подсчета и представления эффективных объемов при документировании групповых различий.
Интерпретация и выводы
Вопросы 17, 20 и 21 адресуются к возможности влияния на интерпретацию данных предубеждений и пристрастий исследователя и его оценок ценности.
Вопросы 18 и 19 направлены на характер интерпретаций — причинно-следственный или корреляционный.
Вопрос 22 — это общий суммарный вопрос об исследовании в целом. Не бывает совершенных, безупречных исследований; любое исследование в той или иной степени, тем или иным образом является компромиссом. Основной вопрос, который встает перед исследователями и потребителями исследования, заключается в том, достаточны ли ограничения для исключения любых значимых заключений на основе какой-либо части данных, или же некоторые заключения могут быть оправданны, несмотря на недостатки или ограничения. Эта оценка полностью субъективна, основывается на вашем обзоре и оценке всех пунктов, рассмотренных здесь, а также на том весе, который вы придаете каждому из них в отношении возможного влияния исследования и его результатов на научную литературу.
Другие вопросы
В дополнение к вопросам, которые прямо относятся к валидности и надежности выводов исследования, я привел несколько вопросов, которые следует поднять относительно возможного значения этих выводов. При разработке исследования исследователи должны рассмотреть эти важнейшие вопросы с самого начала. Подобным образом, потребители исследования должны задавать сложные вопросы о влиянии и последствиях любого исследования не только в рамках существующей литературы и современного состояния знания, но также и с точки зрения возможного применения этого знания, хорошего или плохого, всеми группами потребителей.
Ответы «не знаю»
Ответы «не знаю» могут иметь одно из двух значений. Первое — это то, что вы как читатель не имеете навыков или опыта, необходимых для произведения требуемой оценки. Например, ваше знание статистики или теории недостаточно для адекватной оценки вопросов, касающихся этих проблем. В таких случаях нет иного выхода, кроме как продолжать углублять свои знания в этих областях, чтобы обрести большую компетентность и больший опыт.
Второй тип ответов «не знаю» появляется тогда, когда в самом исследовании представлено недостаточно информации, на основе которой можно выводить оценку. Подобные ответы «не знаю» куда более проблематичны, поскольку кросс-культурные исследователи обязаны обращаться к большей части этих моментов, если не ко всем, хотя бы одним-двумя предложениями. Для потребителей исследования важно знать, что исследователи были осведомлены об этих проблемах и как-то обращались к ним. Хуже, когда читатель остается в подвешенном состоянии, не зная, поднимались ли эти вопросы, потому что в конце концов такая неопределенность пагубна для вклада исследования в литературу, науку и практику.
Таблица 5.1 Сводный лист для рецензирования кросс-культурного исследования
Автор(ы) Название Журнал
Выходные данные
Теория и гипотезы
1. Имеет ли теория смысл для всех культур, принимающих участие в исследовании? Почему да или почему нет? Да Нет Не знаю
2. Равноценны ли по своему значению гипотезы для всех участников исследования? Да Нет Не знаю
Методы
3. Подходит ли выбранный вид исследования для решения поставленного вопроса? Да Нет Не знаю
4. Являются ли субъекты исследования адекватными представителями своей культуры? Да Нет Не знаю
5. Операционализирована ли культура согласно социопсихологическим понятиям? Если нет, то как она Операционализирована?
6. Равноценны ли субъекты исследования в целях сравнения — нет ли других особенностей или демографических тупиков? Да Нет Не знаю
7. Равноценны ли измеряемые в исследовании понятия для всех участвующих в нем культур? Да Нет Не знаю
8. Имеют ли используемые шкалы, подшкалы и вопросы одинаковые характеристики валидности и надежности для всех культур, участвующих в исследовании? Да Нет Не знаю
9. Для всех ли субъектов исследования шкалы/конструкции значимо контекстуализованы? Да Нет Не знаю
10. С равноценными ли ожиданиями субъекты исследования приходят в лаборатории или завершают процедуру тестирования? Да Нет Не знаю