Руководство по рецензированию кросс-культурного исследования

Студенты, профессорско-преподавательский состав и исследователи являются потребителями исследований. Всем нам необходимо уметь находить исследовательские статьи, публикуемые в научных журналах по психологии, знакомиться с ними, понимать и оценивать их. Нам требуются эти навыки для того, чтобы знать литературу по своему вопросу, понимать состояние научного знания в интересующей нас области, составлять документы, планировать исследование и обучать.

В этом разделе я предлагаю вам способ систематичного рецензирования кросс-культурного исследования. Сводный лист, был создан для выделения наиболее важных проблем, которые обсуждались в этой главе. Проблемы выражены в форме вопросов, относящихся к любой из исследовательских статей, с которыми вы знакомитесь и которые рецензируете по требованию учебной программы для своего исследовательского проекта или ради интереса. Это руководство следует применять в отношении кросс-культурных исследований проверки гипотезы; оно может быть не столь подходящим для этнографических и валидизирующих исследований. Обращаясь к каждому из этих вопросов (более детально описанных ниже), вы можете просто обводить в кружок «да», «нет» или «не знаю».

Сделайте копию этого сводного листа и используйте ее при проведении литературных обзоров и рецензировании статей. Помните, ваша цель: самостоятельно оценить достоинства отдельных исследований в отношении их потенциального влияния на истину и знания в области психологии.

Теория и гипотезы

Ранее в этой главе мы говорили, что все теории создаются на определенной культурной основе. Следовательно, теории и гипотезы, созданные в их русле, ограничены своей культурной основой. В вопросах 1 и 2 поднимается проблема равноценности теории и гипотез для всех культур, принимающих участие в исследовании. Чтобы дать свою оценку, вам необходимо отрешиться и попытаться концептуально понять теоретическую основу, представленную во введении статьи — ее логику, посылки и допущения, — а затем определить культурную основу, в которой эти посылки и допущения будут содержать истину (или не будут).

Методы

В вопросе 3 спрашивается, обеспечивает ли вид исследования, выбранный исследователями, подходящий способ проверки их гипотез. Любым из понятий, описанных в гипотезе, можно манипулировать в исследовании таким образом, что 1) гипотеза может быть искажена и 2) если она не искажена, конкурирующую гипотезу можно исключить.

Вопросы 4,5 и 6 направлены на проблему адекватности и равноценности выборок по внекультурным демографическим переменным.

Вопросы 7 и 8 адресуются к концептуальному и эмпирическому определению переменных. Проблемы кросс-культурной валидности могут адресовать к другому исследованию, ссылка на которое должна быть приведена.

Вопрос 9 также связан с концептуальным и эмпирическим определением переменных. Во многих культурах вопросы об абстрактных психологических конструкциях не имеют большого смысла (обратитесь, для примера, к тому месту в главе 3, где говорится о «Я-конструктах»). В этих культурах вопросы о психологических свойствах и особенностях имеют значение лишь при обеспечении специфического контекста (когда вы дома, с друзьями в общественном месте, на работе). Если в исследовании принимают участие культуры подобного рода, тогда психологические данные обретут значение лишь в том случае, если их системы измерения в достаточной степени контекстуализованы.

Вопросы 10 и 11 относятся к проблеме равноценности между культурами окружения, среды и процедур исследования.

В вопросе 12 спрашивается, постарались ли исследователи установить лингвистическую эквивалентность своих протоколов посредством процедур обратного перевода.

Данные и анализ данных

В вопросе 13 поднимается проблема равноценности системы измерения, предоставленной участникам, для всех культур в данном исследовании. Даже в том случае, если изучаемые понятия равноценны, различные шкалы могут иметь различное значение для разных культур. Представители одной культуры, например, могут не колебаться при использовании 7-балльной шкалы для оценки своего отношения. Представителям другой культуры, однако, подобные шкалы могут быть незнакомы. Непривычные к такому способу упорядочивания своих ответов, они могут предпочитать ему беседу. При существовании подобных различий данные могут быть неравноценными.

Вопросы 14 и 15 относятся к проблеме наборов культурных реакций.

Вопрос 16 адресуется проблеме подсчета и представления эффективных объемов при документировании групповых различий.

Интерпретация и выводы

Вопросы 17, 20 и 21 адресуются к возможности влияния на интерпретацию данных предубеждений и пристрастий исследователя и его оценок ценности.

Вопросы 18 и 19 направлены на характер интерпретаций — причинно-следственный или корреляционный.

Вопрос 22 — это общий суммарный вопрос об исследовании в целом. Не бывает совершенных, безупречных исследований; любое исследование в той или иной степени, тем или иным образом является компромиссом. Основной вопрос, который встает перед исследователями и потребителями исследования, заключается в том, достаточны ли ограничения для исключения любых значимых заключений на основе какой-либо части данных, или же некоторые заключения могут быть оправданны, несмотря на недостатки или ограничения. Эта оценка полностью субъективна, основывается на вашем обзоре и оценке всех пунктов, рассмотренных здесь, а также на том весе, который вы придаете каждому из них в отношении возможного влияния исследования и его результатов на научную литературу.

Другие вопросы

В дополнение к вопросам, которые прямо относятся к валидности и надежности выводов исследования, я привел несколько вопросов, которые следует поднять относительно возможного значения этих выводов. При разработке исследования исследователи должны рассмотреть эти важнейшие вопросы с самого начала. Подобным образом, потребители исследования должны задавать сложные вопросы о влиянии и последствиях любого исследования не только в рамках существующей литературы и современного состояния знания, но также и с точки зрения возможного применения этого знания, хорошего или плохого, всеми группами потребителей.

Ответы «не знаю»

Ответы «не знаю» могут иметь одно из двух значений. Первое — это то, что вы как читатель не имеете навыков или опыта, необходимых для произведения требуемой оценки. Например, ваше знание статистики или теории недостаточно для адекватной оценки вопросов, касающихся этих проблем. В таких случаях нет иного выхода, кроме как продолжать углублять свои знания в этих областях, чтобы обрести большую компетентность и больший опыт.

Второй тип ответов «не знаю» появляется тогда, когда в самом исследовании представлено недостаточно информации, на основе которой можно выводить оценку. Подобные ответы «не знаю» куда более проблематичны, поскольку кросс-культурные исследователи обязаны обращаться к большей части этих моментов, если не ко всем, хотя бы одним-двумя предложениями. Для потребителей исследования важно знать, что исследователи были осведомлены об этих проблемах и как-то обращались к ним. Хуже, когда читатель остается в подвешенном состоянии, не зная, поднимались ли эти вопросы, потому что в конце концов такая неопределенность пагубна для вклада исследования в литературу, науку и практику.

Таблица 5.1 Сводный лист для рецензирования кросс-культурного исследования

Автор(ы) Название Журнал

Выходные данные

Теория и гипотезы

1. Имеет ли теория смысл для всех культур, принимающих участие в исследовании? Почему да или почему нет? Да Нет Не знаю

2. Равноценны ли по своему значению гипотезы для всех участников исследования? Да Нет Не знаю

Методы

3. Подходит ли выбранный вид исследования для решения поставленного вопроса? Да Нет Не знаю

4. Являются ли субъекты исследования адекватными представителями своей культуры? Да Нет Не знаю

5. Операционализирована ли культура согласно социопсихологическим понятиям? Если нет, то как она Операционализирована?

6. Равноценны ли субъекты исследования в целях сравнения — нет ли других особенностей или демографических тупиков? Да Нет Не знаю

7. Равноценны ли измеряемые в исследовании понятия для всех участвующих в нем культур? Да Нет Не знаю

8. Имеют ли используемые шкалы, подшкалы и вопросы одинаковые характеристики валидности и надежности для всех культур, участвующих в исследовании? Да Нет Не знаю

9. Для всех ли субъектов исследования шкалы/конструкции значимо контекстуализованы? Да Нет Не знаю

10. С равноценными ли ожиданиями субъекты исследования приходят в лаборатории или завершают процедуру тестирования? Да Нет Не знаю

11. Установлена ли равноценность процедур исследования с учетом негативных раздражителей? Да Нет Не знаю

12. Установлена ли исследователями лингвистическая эквивалентность методов и исследовательских протоколов с помощью обратного перевода? Да Нет Не знаю

Данные и анализ данных

13. Предоставляют ли субъекты исследования данные на значимом уровне измерения, который в то же время является равноценным для культур? Да Нет Не знаю

14. Влияют ли на массив данных культурные наборы реакций? Да Нет Не знаю

15. Выявляют ли исследователи культурные наборы реакций и контролируют ли последние при необходимости? Да Нет Не знаю

16. При обнаружении культурных различий дают ли исследователи показатель величины этих различий (статистический показатель эффективного объема)? Да Нет Не знаю

Интерпретации и выводы

17. Ограничены ли интерпретации и выводы культурными

фильтрами и предубеждениями исследователя или теорий? Да Нет Не знаю

18. Подтверждены ли интерпретации культурных медиаторов в соотношении с тем, как была операционализирована культура в исследовании? Да Нет Не знаю

19. Делают ли исследователи неоправданные причинно-следственные интерпретации связи между культурой и избранными переменными? Да Нет Не знаю

20. Производят ли исследователи качественную оценку, основываясь на результатах исследования? Да Нет Не знаю

21. В достаточной ли степени интерпретации регулируются осведомленностью о неосознаваемых культурных процессах, которые могли оказывать влияние на исследование или на теорию? Да Нет Не знаю

22. Имеются ли достаточные методологические сомнения для исключения любых значимых заключений, сделанных на основе данных исследования? Да Нет Не знаю

Другие вопросы, касающиеся исследования

23. Какой вклад вносит исследование в наши знания о культурных влияниях на избранную интересующую переменную?

24. Как будут влиять на результаты исследования изменения в любом методологическом аспекте (например, культурная или демографическая основа участников, методы измерения ключевых переменных)?

25. Могут ли результаты исследования использоваться кем бы то ни было для укрепления стереотипов представителей культур, принимающих участие в исследовании?

26. Могут ли результаты исследования использоваться кем бы то ни было для укрепления предвзятого мнения о представителях культур, принимающих участие в исследовании, или для их дискриминации?

ЗАКЛЮЧЕНИЕ

Исследование — это основной способ получения студентами и учеными сведений о мире. Знание, получаемое в результате исследования и неоднократное находимое во многих исследованиях, называется воспроизведенным. Воспроизведенные открытия и знание формируют базу «истинных» сведений о мире. Это та истина, которую дают в школах, которую вы черпаете из книг.

Однако истина и знание ограничены условиями, параметрами и рамками исследований, из которых они извлекаются. Все исследования в какой-либо степени ограничены этими параметрами, установленными либо путем сознательных решений, либо по умолчанию. Эти ограничения применимы ко всем исследованиям во всех социальных науках, независимо от сферы или дисциплины. Исследователям и потребителям исследования необходимо знать эти условия и параметры, а также то, какие ограничения они налагают на получаемое в результате исследования знание.

Кросс-культурные исследования имеют собственный набор проблем, касающихся условий и параметров исследования. Многие из этих проблем — просто распространение основных исследовательских проблем в кросс-культурную сферу. Чтобы критически знакомиться с кросс-культурным исследованием и оценивать его, вы должны иметь представление об этих проблемах.

На самом деле проблемы так многочисленны, что вы можете задаться вопросом, способно ли хоть какое-то исследование дать хоть какие-то сведения. Действительно, все исследования имеют по крайней мере некоторые неточности, и каждое — свои ограничения. Но это вовсе не обязательно означает, что мы ничего не можем из них почерпнуть. Вопрос состоит в том, настолько ли перевешивают изъяны исследования его процедуры, чтобы вы потеряли доверие к полученным данным. Если исследование настолько полно неточностями, что вы не доверяете данным, то вы не должны верить ему, будь оно кросс-культурным или нет. Но если проблемы исследования менее серьезны, вы должны быть способны выбрать из него информацию о культурных различиях. Если вы используете для сбора информации множество исследований в этой области, они могут кумулятивно сказать вам что-то об этой области, даже если каждое по отдельности исследование не скажет почти ничего.

Несмотря на неотъемлемые сложности, кросс-культурное исследование предлагает большое количество увлекательных и интересных возможностей, недоступных традиционному исследовательскому подходу. Благодаря кросс-культурному исследованию мы можем проверить пределы и ограничения нашим знаниям в области психологии и человеческого поведения. Кросс-культурная инициатива сама по себе предлагает процесс, при помощи которого ученые и неспециалисты, принадлежащие к различным культурам, могут соединить свои усилия и работать с единой целью, таким образом укрепляя отношения людей, между которыми, казалось бы, лежит глубокая пропасть. Результаты кросс-культурных исследований предлагают ученым, студентам и обществу новые возможности углубления нашего понимания многообразия людей. Это может служить основой обновления личных и профессиональных взаимоотношений и может помочь сосредоточить внимание на общественных и политических системах. С позиций методологии, кросс-культурные исследования предлагают исследователям способ решения эмпирических проблем, связанных с проведением исследований, например со сбивающими с толку переменными, имеющимися в традиционных исследовательских подходах.

Процесс оценки достоинств каждого исследования в отношении вашего доверия данным и последующий сбор обрывков информации по многим исследованиям, которым вы доверяете, являются интегральными для получения сведений об этой области. В данной главе я попытался дать вам надежную основу для развития и тренировки этих навыков.

Материал, представленный в этой главе, всего лишь верхушка айсберга. Существует много великолепных источников, не считая указанных в этой главе, которые рассматривают проблемы кросс-культурного исследования более подробно, предназначены для специалистов в этой области и включают проблемы методологии, интерпретации и анализа данных. Я сам выбирал исследования и открытия из различных областей кросс-культурной психологии, чтобы представить их вам в остальной части книги. Но не верьте мне на слово; вы должны самостоятельно оценить представленные исследования. Этот навык требует долгой тренировки, но, как и многие навыки, его можно приобрести. Я надеюсь, что в процессе чтения и оценки исследований, представленных в этой книге или любых других, вы обнаружите, что, хотя кросс-культурное исследование имеет свои проблемы и ограничения, у него есть свои преимущества и потенциальные возможности, которые перевешивают трудности.

ГЛОССАРИЙ

Валидность — степень, в которой результаты исследования, системы измерений или статистики являются точными или представляют то, что были предназначены представлять.

Воспроизведение — результаты исследования, неоднократно и последовательно обнаруживаемые в нескольких исследованиях. Выборка — окончательная группа единиц анализа, включенная в исследование.

Децентровка — концепция, на которой держится процедура обратного перевода, заключающаяся в уничтожении всех специфичных для культуры понятий языка-оригинала или в равноценном переводе их на желаемый язык.

Исследовательская парадигма — подход к проведению исследования, характеризующийся определенной методологией, адресованной определенным типам исследовательских вопросов.

Качественная оценка — интерпретация данных, включающая суждение о ценности (например, хорошо или плохо, правильно или неправильно), базирующаяся на собственной культурной основе исследователя.

Культурный набор реакций — влияние культуры на использование шкал для ответа; культурная тенденция использовать определенные участки шкалы независимо от содержания вопроса.

Надежность — степень, в которой результаты исследования, системы измерений или статистики сохраняют свою постоянность.

Обратный перевод — техника перевода протоколов исследования, при которой протокол составляется на одном языке, переводится на выбранный язык, а затем другой человек переводит его на язык оригинала. Если версия, полученная в результате обратного перевода, идентична оригинальной, эти версии, как правило, считаются равноценными. Если нет, то процедура повторяется до тех пор, пока версия, полученная в результате обратного перевода, не будет идентична оригинальной версии.

Операционализация — способы концептуального определения и измерения переменной исследователем.

Равноценность — состояние или условие подобия концептуального значения и эмпирического метода между культурами, благодаря которому допустимо значимое сравнение.

Составление выборки — процедуры, используемые исследователями для определения своей выборки.

Этнографическое исследование — вид исследования культуры, заключающийся во внедрении в культуру, зачастую требующий от исследователя больших временных затрат на изучение уклада и традиций.

Глава 6