Матрицы множественных методов и признаков

В истории психологического измерения одной из наиболее влиятельных работ являлась статья Campbell и Fiske, опубликованная в 1959 году. В данной статье Campbell и Fiske развивают понятие конструктной валидности, описанное Cronbach и Meehl в 1955 году. Как уже говорилось, Cronbach и Meehl концептуализировали конструктную валидность на основе понятия номологической сети. Хотя их статья и явилась большим шагом вперед в разработке теории конструктной валидности, Cronbach и Meehl не предоставили никакого строгого статистического метода оценки конструктной валидности. В качестве статистического и методологического дополнения и расширения концептуальной работы, проделанной Cronbach и Meehl, Campbell и Fiske разработали и описали т.н. матрицы множественных методов и признаков (МММП).

В матрицах множественных методов и признаков при оценке конструктной валидности используются показатели по нескольким психологическим признакам, каждый из которых измерен несколькими методами. Например, исследователи, изучающие новый самооценочный опросник социальной компетентности, могут попросить респондентов наряду с самим этим опросником заполнить самооценочные тесты, измеряющие другие психологические признаки, такие как импульсивность, добросовестность и эмоциональная устойчивость. Кроме того, они могут попросить близких знакомых каждого из респондентов, чтобы те заполнили все перечисленные тесты про своих друзей, т.е. продублировать самооценочные данные данными экспертной оценки со стороны близких людей. И наконец, они могут нанять группу студентов-психологов, чтобы те провели интервью и оценили каждого из респондентов все по тем же показателям социальной компетентности, импульсивности, добросовестности и эмоциональной устойчивости. Таким образом, для каждого из респондентов исследователи получили бы данные относительно нескольких психологических признаков (социальная компетентность, импульсивность, добросовестность и эмоциональная устойчивость), каждый из которых измерен одновременно несколькими методами (самооценочным, экспертной оценкой близкого человека, экспертной оценкой проводящего интервью психолога).

Конечная цель анализа матриц множественных методов и признаков – обеспечить четкое руководство и схему оценки показателей конвергентной и дивергентной валидности. Данная цель частично достигается за счет изучения двух качественно различных источников вариативности, которые могут оказывать влияние на корреляцию между двумя показателями (тестами) – вариативность психологических признаков и вариативность измерительных методов. Для лучшего понимания данных источников вариативности представим себе, что исследователь, изучающий новый самооценочный опросник социальной компетентности, обнаруживает, что баллы по этому опроснику имеют сильную корреляцию с баллами по самооценочному опроснику эмоциональной устойчивости. О чем говорит это открытие?

Грубо говоря, это открытие свидетельствует о том, что респонденты, заявляющие, что они социально компетентны, заявляют также, что они эмоционально устойчивы. Однако отражает ли данный факт сугубо психологическое явление (т.е. взаимосвязь двух конструктов) или же он отражает в большей степени методологическое явление, независимое от самих психологических конструктов? В первом случае речь идет о том, что два психологических признака – социальная компетентность и эмоциональная устойчивость – имеют что-то общее, а определенная часть вариативности признака в двух использованных тестах пересекается. Например, социально компетентные люди могут иметь тенденцию к развитию большей эмоциональной устойчивости (возможно, потому, что их социальная компетентность позволяет им вступать в эмоционально благополучные взаимоотношения). Либо же эмоционально устойчивые люди могут иметь тенденцию к развитию все большей социальной компетентности (вероятно, их эмоциональная устойчивость позволяет им чувствовать себя более комфортно и вести себя более эффективно в ситуациях общения). Возможен еще один вариант, при котором и социальная компетентность, и эмоциональная устойчивость зависят от некоторой третьей переменной (возможно, существуют определенные генетические предпосылки, оказывающие влияние и на социальную компетентность, и на эмоциональную устойчивость). Каждое из этих объяснений подразумевает, что два измеряемых признака (социальная компетентность и эмоциональная устойчивость) действительно взаимосвязаны и имеют что-то общее. Предполагается, что тесты, направленные на измерение данных психологических признаков, коррелируют между собой именно потому, что взаимосвязаны сами признаки.

Несмотря на то, что при рассмотрении корреляции между тестовыми баллами по социальной компетентности и эмоциональной устойчивости в первую очередь напрашивается именно психологическая интерпретация, данная взаимосвязь может иметь и непсихологическую основу. Вспомните, что рассматриваемый пример был основан на применении двух самооценочных опросников. Таким образом, корреляция может быть основана сугубо на общей вариативности метода. Другими словами, корреляция может быть положительной потому, что она получена при использовании одного и того же источника – самоотчетных данных самого респондента. Когда два психологических измерения получены из одного и того же источника, они могут быть взаимосвязаны «сверх» взаимосвязи самих психологических конструктов, лежащих в их основе.

Например, люди могут иметь тенденцию оценивать себя в весьма обобщенных терминах – либо как в целом «хороших», либо как в целом «плохих». Таким образом, положительная корреляция между самооценкой социальной компетентности и самооценкой эмоциональной устойчивости может быть обусловлена тем фактом, что респонденты, которые указывают для себя высокий уровень социальной компетентности, просто-напросто склонны оценивать себя в целом «хорошо», а следовательно, они укажут достаточно высокий уровень и по показателю эмоциональной устойчивости. Сходным образом, респондент, оценивающий себя в целом как «плохого» человека, будет склонен давать довольно низкую самооценку как по социальной компетентности, так и по эмоциональной устойчивости. В данном случае очевидная корреляция между показателями социальной компетентности и эмоциональной устойчивости не отражает реальной взаимосвязи между психологическими конструктами. Данная корреляция является лишь следствием систематических искажений, вносимых в процесс измерения самим методом самоотчета. Таким образом, корреляция является «артефактом» того, что два показателя получены одним и тем же методом (самоотчетом). Говоря психометрическим языком, тестовые баллы имеют общую вариативность (дисперсию) метода.

Если принимать во внимание потенциальные влияния вариативности метода и вариативности признака, корреляция между двумя тестами выглядит весьма неоднозначно. С одной стороны, сильная положительная или отрицательная корреляция может означать, что тесты обладают общей дисперсией признака, т.е. конструкты, на измерение которых они направлены, взаимосвязаны. С другой стороны, сильная положительная или отрицательная корреляция может означать, что тесты обладают общей дисперсией метода, т.е. они коррелируют прежде всего потому, что используют один и тот же измерительный принцип.

Такого рода неоднозначность усложняет и интерпретацию слабой корреляции между двумя тестами. Относительно слабая корреляция может означать, что использованные тесты не имеют общей дисперсии признака, т.е. конструкты, на измерение которых они направлены, не связаны друг с другом. С другой стороны, это может означать и то, что тесты не имеют общей дисперсии метода (т.е. они пользуются различным принципом измерения). В таком случае истинная корреляция между психологическими признаками маскируется. Другими словами, возможно, что в действительности два психологических признака связаны между собой, однако поскольку один из них измерен с помощью одного метода (например, самоотчета), а другой – с помощью другого метода (например, экспертная оценка близкого человека), итоговый коэффициент корреляции невысок.

Данная неоднозначность интерпретации может помешать при оценке конструктной валидности теста. Возможность того, что часть дисперсии связана с психологическими признаками, а часть – с использованными методами, затрудняет интерпретацию набора корреляционных взаимосвязей в терминах ковергентной и дивергентной валидности. Каждый из коэффициентов корреляции, вероятно, отражает тесный сплав дисперсии признака и дисперсии метода. Поскольку исследователь, оценивающий конструктную валидность теста, не знает заранее истинный «вес» дисперсии признака и дисперсии метода, необходим тщательный анализ полученного набора корреляционных взаимосвязей. Такой тщательный анализ может привести к полезным выводам относительно дисперсии метода, дисперсии признака и, наконец, конструктной валидности исследуемого теста. Анализ матриц множественных методов и признаков (МММП) был разработан именно для этих целей.

Как было показано Campbell и Fiske (1959), анализ матриц множественных методов и признаков (МММП) следует проводить путем рассмотрения различных типов корреляций, отражающих различные по характеру сплавы дисперсии признаков и дисперсии методов. В приведенном выше примере для валидизации нового опросника социальной компетентности исследователь собрал данные по четырем психологических признакам, каждый из которых был измерен тремя различными способами. Остановимся подробнее на двух коэффициентах корреляции: а) между самооценочным опросником социальной компетентности и экспертным опросником социальной компетентности для близких друзей или знакомых, б) между самооценочным опросником социальной компетентности и самооценочным опросником эмоциональной устойчивости. Если новый самооценочный опросник действительно можно рассматривать как валидный инструмент диагностики социальной компетентности, то какой из двух коэффициентов корреляции должен быть выше?

Основываясь сугубо на смысле измеряемых конструктов, исследователь может предположить, что первый коэффициент корреляции будет выше второго. Предположение о том, что первый коэффициент корреляции должен быть высок, основано на том, что этот коэффициент получен при сопоставлении двух измерений одного и того же конструкта. С другой стороны, исследователь может ожидать, что второй коэффициент корреляции будет низок, т.к. социальная компетентность и эмоциональная устойчивость все-таки являются различными психологическими конструктами. Тем не менее, в такого рода прогнозах игнорируется потенциальное влияние на коэффициент корреляции со стороны общей дисперсии метода.

Принимая во внимание дисперсию метода, исследователь может пересмотреть свои предположения. Заметьте, что первый коэффициент корреляции получен с использованием двух разных методов измерения, тогда как второй основан на одном методе (два самооценочных теста). Таким образом, исходя из соображений общей дисперсии метода, исследователь может предположить, что вторая корреляция будет выше первой.

Как показывает этот пример, в матрицах множественных методов и признаков (МММП) существует возможность выделить различные типы корреляций, при этом каждый из типов отражает определенный сплав дисперсии признака и дисперсии метода. Campbell и Fiske (1959) называют четыре типа корреляций, которые могут быть получены в анализе МММП (см. Таблицу 9.2).

Таблица 9.2. Основы МММП: типы корреляций, дисперсия признака и дисперсия метода

· Гетеропризнаковые – гетерометодные корреляции основаны на различных психологических конструктах, измеренных различными методами (например, корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю эмоциональной устойчивости).

· Гетеропризнаковые – монометодные корреляции основаны на различных психологических конструктах, измеренных одним и тем же методом (например, корреляция самооценочного опросника социальной компетентности и самооценочного опросника эмоциональной устойчивости).

· Монопризнаковые – гетерометодные корреляции основаны на сходных конструктах, измеренных разными методами (например, корреляция самооценочного опросника социальной компетентности и экспертной оценки близкого знакомого по показателю социальной компетентности).

· Монопризнаковые – монометодные корреляции основаны на сходных конструктах, измеренных сходными методами (например, корреляция самооценочного опросника социальной компетентности с самим собой). Такого рода корреляции используются для вычисления психометрической надежности.

Campbell и Fiske (1959) сформулировали определения данных четырех типов корреляций и связали их с понятием конструктной валидности. Полная матрица множественных методов и признаков, содержащая гипотетические коэффициенты корреляции для рассматриваемого примера, приведена в Таблице 9.3. Матрица включает в себя 66 корреляций между четырьмя психологическими признаками, измеренными тремя различными способами, а также 12 коэффициентов надежности вдоль основной диагонали. Каждое из этих 78 значений может быть охарактеризовано в терминах одного из четырех типов корреляций, рассмотренных выше. Оценка конструктной валидности, дисперсии признаков и дисперсии методов проводится в процессе рассмотрения различных типов корреляции, содержащихся в МММП.

Свидетельства конвергентной валидности представлены монопризнаковыми – гетерометодными корреляциями, которые в рассматриваемой матрице обозначены жирным шрифтом. Данные значения представляют собой корреляции между сходными (либо совпадающими) признаками, измеренными различными способами. Например, корреляция между самооценкой социальной компетентности и экспертной оценкой социальной компетентности от близкого знакомого составляет 0.40. Корреляция между самооценкой социальной компетентности и экспертной оценкой социальной компетентности, предоставляемой психологом после интервью, составляет 0.34. Данные коэффициенты корреляции показывают, что респонденты, оценивающие себя как социально компетентных, обычно получают высокую оценку по социальной компетентности как от своих близких знакомых, так и от проводящих с ними интервью психологов. Достаточно высокие монопризнаковые – гетерометодные корреляции предоставляют свидетельства в пользу ковергентной валидности нового опросника социальной компетентности. Тем не менее, при их интерпретации следует принимать во внимание другие корреляции, представленные в МММП.

Для того чтобы свидетельства конвергентной и дивергентной валидности могли считаться надежными, самооценочный опросник социальной компетентности должен коррелировать с другими шкалами социальной компетентности сильнее, нежели с любыми другими показателями. Как показывает МММП, приведенная в Таблице 9.2, монопризнаковые – гетерометодные корреляции (как и ожидалось) в целом сильнее гетеропризнаковых – гетерометодных корреляций, отражающих взаимосвязи между разными конструктами, измеренными разными методами (в таблице показаны внутри треугольников из пунктирных линий). Например, корреляция между самооценкой социальной компетентности и экспертной оценкой эмоциональной устойчивости, полученной от близкого знакомого, составляет всего 0.20, а корреляция между самооценкой социальной компетентности и экспертной оценкой добросовестности, полученной от психолога-интервьюера, составляет лишь 0.09. Данные коэффициенты, так же как и большинство других гетеропризнаковых – гетерометодных корреляций, заметно ниже, чем монопризнаковые – гетерометодные корреляции, которые рассматривались в предыдущем абзаце. Таким образом, корреляции между показателями, которые имеют общую дисперсию признака, но не имеют общей дисперсии метода (монопризнаковые – гетерометодные) должны превышать корреляции между показателями, которые не имеют общей дисперсии ни признака, ни метода (гетеропризнаковые – гетерометодные).

Таблица 9.3 (см.отдельный файл)

Еще более строгое требование к вычислению конвергентной и дивергентной валидности заключается в том, что самооценочный опросник социальной компетентности должен коррелировать с другими тестами социальной компетентности с более высокими коэффициентами, нежели с самооценочными опросниками, направленными на измерение других психологических признаков. Как показано в матрице множественных признаков и методов, приведенной в Таблице 9.3, монопризнаковые – гетерометодные корреляции, как и ожидалось, в целом выше, чем гетеропризнаковые – монометодные корреляции, которые отражают взаимосвязи между различными признаками, измеренными одним и тем же методом (в таблице представлены внутри треугольников, образованных сплошными линиями). Относительно данных взаимосвязей результаты корреляционного анализа, приведенные в таблице, противоречивы. С одной стороны, корреляции между самооценочным опросником социальной компетентности и самооценочными опросниками импульсивности и добросовестности относительно невысоки (0.14 и 0.20 соответственно), с другой стороны – корреляция между самооценочным опросником социальной компетентности и самооценочным опросником эмоциональной стабильности также достаточно высока (0.35). Таким образом, самооценочный тест социальной компетентности связан с самооценочным тестом эмоциональной устойчивости в той же мере, что и с другими методами измерения социальной компетентности. Данный факт может являться поводом для беспокойства относительно дивергентной валидности самооценочного опросника, который, как предполагается, измеряет уровень социальной компетентности. Итак, корреляции между тестами, обладающими общей дисперсией признака, но не обладающими общей дисперсией метода (монопризнаковые – гетерометодные) должны превышать корреляции между тестами, обладающими общей дисперсией метода, но не обладающими общей дисперсией признака (гетеропризнаковые – монометодные). В идеале исследователю следовало бы получить даже более высокие монопризнаковые – гетерометодные и более низкие гетеропризнаковые – монометодные корреляции нежели те, которые представлены в Таблице 9.3.

В целом анализ МММП, разработанный Campbell и Fiske (1959), может обеспечить исследователя весьма полезными инструментами оценки конструктной валидности. Логику применения анализа МММП для оценки конвергентной и дивергентной валидности составляет внимательное и последовательное рассмотрение эффектов вариативности метода и вариативности признака на коэффициенты корреляции между различными тестами, использованными при валидизации. В десятилетиях, последовавших за публикацией этой весьма влиятельной работы Campbell и Fiske, исследователями, работающими в сфере психологического измерения, были разработаны еще более утонченные методы статистического анализа МММП. К примеру, Widaman (1985) разработал стратегию, предполагающую применение к матрицам МММП средств факторного анализа. Хотя подобные процедуры и выходят за пределы рассмотрения, представленного в этой книге, читателю необходимо знать, что современная психометрика продолжает развивать и совершенстовать идеи Campbell и Fiske.

Несмотря на хорошую логическую основу метода анализа МММП и всеобщее признание необходимости его применения, на практике этот подход к оценке конвергентной и дивергентной валидности теста применяется не слишком часто. К примеру, нами был проведен небольшой обзор статей, опубликованных в журнале «Психологическая оценка» (научный журнал, издаваемый Американской психологической ассоциацией) в номерах за 2005 год. Целью данного журнала является публикация данных «эмпирических исследований измерения и оценки, относящихся к широкой области проблем клинической психологии» (APA, без даты). В данном обзоре было выделено 13 статей, в которых предоставлялись данные о конвергентной и дивергентной валидности, либо же в целом о конструктной валидности теста. Из этих 13 статей лишь в двух использовался анализ МММП. Кроме того, в данных двух статьях в качестве множественных «методов» измерения использовались множественные серии проведения тестирования. Другими словами, респонденты заполняли один и тот же тест несколько раз, и разница во времени тестирования выступала как разница в «методе». Хотя и приходится признать, что такого рода литературный обзор ограничен и нестрог, он наглядно показывает, насколько (не)часто в психометрике применяется анализ МММП.

Однако даже несмотря на частоту его применения, анализ МММП явился важным шагом вперед в теории и методах оценки конвергентной и дивергентной валидности тестов. Данный подход во многом сформировал само понимание конструктной валидности, и без его рассмотрения невозможно полное понимание психометрики.