Эмпирические свидетельства валидности: внутренняя структура теста

Следующий вопрос, относящийся к валидности интерпретаций результатов теста, касается внутренней структуры теста. Внутренняя структура теста - это соотношение частей теста между собой. Например, в некоторых тестах все пункты сильно коррелируют друг с другом, в то время как в других тестах взаимосвязи пунктов делятся на две и более группы. Как будет показано ниже, теоретические основы конструкта несут предпосылки для внутренней структуры теста, измеряющего этот конструкт. Таким образом, важным вопросом валидности является соответствие между действительной внутренней структурой теста и той, которой он должен обладать. Для того чтобы тест мог быть валидно интерпретирован как инструмент измерения определенного конструкта, необходимо, чтобы его внутренняя структура совпадала с теоретически обоснованной структурой конструкта.

Допустим, у исследователя возникло желание оценить методики диагностики самооценки. Пожалуй, наиболее часто для измерения самооценки в психологических исследованиях используется Опросник самооценки Розенберга (RSEI; Rosenberg, 1989). RSEI зачастую применяется для измерения одного внутренне связного конструкта – общей самооценки (global self-esteem). Общая самооценка – это оценка испытуемым собственной ценности «в целом», а RSEI включает в себя 10 пунктов, таких как «Я хорошо к себе отношусь» и «Иногда мне кажется, что я совсем ни на что не годен» (обратите внимание, это утверждение обращено). Исследователи, которые собираются интерпретировать баллы RSEI в качестве инструмента, измеряющего общую самооценку, должны ожидать, что среди этих 10 пунктов существует определенная структура. В данном случае если исследователь на теоретических основаниях полагает, что общая самооценка является единым внутренне связным конструктом, а опросник RSEI является валидным инструментом диагностики самооценки, по результатам психометрического исследования должно обнаружиться, что все пункты теста сильно коррелируют друг с другом, образуя единую тесно связанную группу пунктов. Таким образом, если RSEI действительно является валидным инструментом диагностики общей самооценки, тогда ответы на пункты теста должны демонстрировать одномерную структуру, согласующуюся с теоретическим определением конструкта.

Для другой методики диагностики самооценки ожидания исследователя могут быть несколько иными. Речь идет о Многомерном опроснике самооценки (The Multidimensional Self-Esteem Inventory (MSEI; O'Brien & Epstein, 1988)), созданном для диагностики как общей самооценки, так и восьми частных ее компонентов. Авторы теста утверждают, что концептуальная модель, лежащая в основе MSEI, разделяет иерархию самооценки на два основных уровня. Первый уровень соответствует общей самооценке. Он относится к наиболее базовым обобщенным оценочным чувствам респондента по отношению к самому себе. Второй уровень соответствует оценочным суждениям среднего уровня обобщенности, которые называют компонентами самооценки (с.7).

Этот теоретический подход к самооценке был основан на более ранних исследованиях, показавших, что на самооценку в первую очередь оказывают влияние компетентность, симпатии окружающих, любовь окружающих, личная активность, моральное самоодобрение, внешняя привлекательность и физические возможности. Таким образом, авторы утверждают, что данные факторы в совокупности выражают большинство событий в жизни личности, как правило, оказывающих влияние на самооценку.

Если баллы MSEI могут валидно интерпретироваться как показатели данных компонентов самооценки, тогда ответы на пункты теста должны демонстрировать особую структуру, соответствующую многоуровневому концептуальному определению конструкта. Другими словами, пункты теста MSEI должны образовывать несколько различных групп; они не должны образовывать единую внутренне связную группу. Фактически, пункты должны объединиться в такие группы, которые более или менее точно соответствуют каждому из компонентов конструкта.

Как говорилось в Главе 4, для оценки внутренней структуры (т.е. размерности) психологических тестов исследователи зачастую применяют статистическую процедуру, называемую факторным анализом. Некоторые пункты теста могут более сильно коррелировать друг с другом, чем с остальными пунктами, и как следствие образовывать группы пунктов, называемые измерениями или факторами. Факторный анализ помогает выявить в наборе пунктов определенные факторы и исследовать из природу.

Как вы помните, факторный анализ позволяет работать по крайней мере с тремя фундаментальными проблемами, имеющими отношение к внутренней структуре теста. Во-первых, с его помощью можно выяснить, какое количество факторов содержится в том или ином наборе пунктов. Многие специалисты в области социальной психологии и психологии личности считают общую самооценку единым внутренне связным конструктом. Следовательно, если RSEI в действительности может валидно интерпретироваться как инструмент диагностики общей самооценки, тогда ответы респондентов на 10 пунктов теста должны объединяться в один фактор. Если факторный анализ покажет, что пункты RSEI образуют 2 или более факторов, валидность RSEI в качестве инструмента, измеряющего общую самооценку, попадет под сомнение. Таким образом, при оценке внутренней структуры теста число факторов является немаловажным аспектом.

Чтобы это продемонстрировать, рассмотрим ответы на пункты RSEI ста сорока девяти студентов. Собранные данные были подвергнуты факторному анализу, после чего был рассмотрен график каменистой осыпи (см. Рис. 8.2). Как вы помните, график каменистой осыпи – это графическое представление собственных чисел факторов, которые, в свою очередь, зачастую используются в процессе принятия решения относительно количества факторов, содержащихся в наборе пунктов. На данном графике исследователь сперва ищет относительно большой «обрыв» между точками. Как видно на Рисунке 8.2, относительно большой «обрыв» наблюдается между первой точкой (расположенной по оси собственных чисел приблизительно на значении 5.2) и второй (расположенной по оси собственных чисел приблизительно на значении 1.1), остальные «обрывы» между соседними значениями по оси собственных чисел относительно малы. Тот факт, что относительно большой «обрыв» наблюдается после первой точки, служит доказательством одномерной структуры данных (ответов респондентов на пункты RSEI). Поскольку полученный результат соответствует теоретическим ожиданиям, он служит доказательством того, что внутренняя структура RSEI свидетельствует о валидности этого теста в плане диагностики общей самооценки.

Вторая проблема, решаемая с помощью факторного анализа - обнаружение связей между факторами / измерениями внутри многомерного теста. Как уже было сказано, в виде многомерного теста, исследующего несколько компонентов самооценки, создавался опросник MSEI. Если исследователь полагает, что все компоненты самооценки независимыми, то в таком многомерном тесте должны обнаружиться шкалы, которые не коррелируют между собой. Однако если согласно теории компоненты самооценки каким-то особым образом связаны между собой, факторный анализ поможет обнаружить эти связи.

Чтобы исследовать эти взаимосвязи, авторы теста MSEI провели факторный анализ (O'Brien & Epstein, 1988, с.15-16). Этот анализ привел к обнаружению в MSEI интересной трехфакторной структуры шкал. При помощи ортогонального вращения исследователи обнаружили, что некоторые шкалы MSEI (например, «общая самооценка», «компетентность», «личная активность»), объединяются и образуют фактор «глобальной самооценки», который авторы интерпретируют отчасти как отражающий «способность активно и напрямую влиять на мир, демонстрируя свои возможности, способности к лидерству, физическую ловкость и самодисциплину» (с.16). Другие шкалы MSEI (например, «симпатии окружающих», «любовь окружающих») объединились в фактор «социальной самооценки», которая, по интерпретации авторов, «зависит от обратной связи со стороны окружающих, а также одобрения или неодобрения, получаемого от значимых личностей» (с.16). Еще две шкалы («моральное самоодобрение» и «защитное самоусиление») объединяются и образуют фактор «защитное поведение и личная самооценка», который, по мнению авторов, «далеко не так значим, как объективная или ощутимая обратная связь со стороны общества» (с.16)

Третьей основной целью использования факторного анализа в связи с валидостью является определение того, какие пункты относятся к какому фактору. Во время разработки теста концептуальное понимание конструкта приводит исследователя к формулировке специфических пунктов, отражающих определенные аспекты конструкта. Таким образом, чтобы оценить качество теста, необходимо убедиться в том, что пункты, предназначенные для измерения определенного фактора, действительно относятся именно к этому фактору и ни к какому другому. Как вы помните, такого рода оценка производится на основании рассмотрения факторных нагрузок, каждая из которых выражает взаимосвязь пункта с фактором.

Так, например, авторы MSEI предоставляют результаты факторного анализа всех пунктов своего опросника (O'Brien 8; Epstein, 1988, с.14-15). Ими было показано, что практически каждый пункт теста тесно связано с тем компонентом конструкта, на измерение которого он и был изначально задуман, и слабо взаимосвязан со всеми остальными компонентами. Например, 10 пунктов, сформулированных на шкалу «компетентность», оказались четко взаимосвязанными с соответствующим фактором (и ни с одним другим). Сходным образом, 10 пунктов, формулировавшихся на шкалу «самоодобрение», оказались взаимосвязанными именно и только с этой шкалой. Тем не менее, результаты анализа не были безупречными. Например, несмотря на то, что 10 пунктов, входящих в шкалу «внешняя привлекательность», оказались взаимосвязанными именно и только с этой шкалой, в соответствующий фактор «внешняя привлекательность» вошли также 2 пункта, задумывавшиеся для шкалы «общая самооценка», и 3 пункта, первоначально отнесенных исследователями к шкале «симпатии окружающих». Несмотря на некоторое несовершенство внутренней структуры MSEI, авторы в целом довольны тем, что факторный анализ предоставляет эмпирическую поддержку в пользу валидности внутренней структуры теста.

В целом внутренняя структура теста – важный аспект конструктной валидности. Внутренняя структура теста должна соответствовать структуре конструкта, на измерение которого направлен тест. Как правило, внутреннюю структуру анализируют при помощи корреляций между пунктами теста и подшкалами теста (если таковые имеются), для этого исследователи часто прибегают к факторному анализу.