Эмпирические свидетельства валидности: взаимосвязи с другими переменными

Четвертый тип эмпирических свидетельств валидности – взаимосвязи между баллами валидизируемого теста и другими переменными. Современный взгляд на проблему валидности предполагает повышенное внимание к теоретическому содержанию конструкта, который, как предполагается, лежит в основе интерпретации тестовых баллов. Если тестовые баллы респондента интерпретируются как выражающие определенный психологический конструкт, теоретическое понимание этого конструкта должно создать у исследователя некоторые ожидания относительно закономерностей взаимосвязи тестовых баллов с другими переменными.

Например, если опросник самооценки Розенберга (RSEI), как предполагается, измеряет общую самооценку, следует основательно проанализировать природу и сущность общей самооценки как психологического феномена. Исследователю необходимо ответить на вопрос о том, каким образом общая самооценка взаимосвязана с такими психологическими конструктами, как ощущение счастья, депрессия, интеллект, социальная мотивация, ассертивность и т.д. Теоретическое понимание самооценки может привести исследователя к мысли о том, что люди с высоким уровнем самооценки должны быть относительно счастливыми, высокомотивированными на социальные взаимодействия, а также не должны испытывать депрессию. Кроме того, теоретическое содержание конструкта предполагает, что самооценка не связана с интеллектуальными способностями – в среднем интеллект людей с низкой самооценкой настолько же развит, как и интеллект людей с высокой самооценкой. Таким образом, теоретическое наполнение конструкта подсказывает исследователю определенный паттерн взаимосвязей между самооценкой и рядом других переменных. Если баллы по опроснику RSEI действительно могут интерпретироваться как показатель самооценки, между этими баллами и такими параметрами, как ощущение счастья, депрессия, социальная мотивация и интеллект, должен обнаружиться определенный паттерн взаимосвязей.

Таким образом, четвертый тип эмпирических свидетельств валидности касается соответствия между тем, какие корреляции теста с другими переменными были обнаружены, и тем, какие корреляции должны были обнаружиться. Если наблюдаемый паттерн корреляции с другими тестами в целом соответствует теоретически предсказанному, это является свидетельством в пользу валидности интерпретации теста как показателя исследуемого конструкта. Представим, например, что было проведено исследование, в котором респондентов (помимо RSEI) просили заполнить тесты на ощущение счастья, депрессию, социальную мотивацию и интеллект. Если обнаруживается, что RSEI и в самом деле положительно взаимосвязан с ощущением счастья и социальной мотивацией, отрицательно взаимосвязан с депрессией и не коррелирует с интеллектом, уверенность в том, что баллы теста RSEI можно валидно интерпретировать как показатель самооценки, повышается. И наоборот, если наблюдаемый паттерн корреляции с другими тестами не соответствует теоретически предсказанному, это является свидетельством против валидности интерпретации теста как показателя исследуемого конструкта. Если обнаруживается, что баллы по тесту RSEI не коррелируют с ощущением счастья и социальной мотивацией, уверенность исследователя в валидности интерпретации тестовых баллов с позиций самооценки уменьшается.

При оценке паттерна корреляций между валидизируемым тестом и другими переменными рассматривается конвергентная валидность. Конвергентная валидность – это степень взаимосвязи баллов валидизируемого теста с показателями сходных психологических конструктов. В примере с тестом RSEI на теоретических основаниях предполагалось, что общая самооценка связана с ощущением счастья и социальной мотивацией. Кроме того, теоретически ожидалась обратная взаимосвязь между самооценкой и депрессией. Таким образом, если в исследовании обнаруживается, что самооценка действительно связана с ощущением счастья, социальной мотивацией и (отрицательно) с депрессией, можно утверждать, что были получены эмпирические свидетельства конвергентной валидности теста.

Зачастую при оценке валидности интерпретации тестовых баллов исследователи просят респондентов заполнить несколько тестов, направленных на измерение одного и того же конструкта. К примеру, можно было бы попросить респондентов, помимо RSEI, заполнить опросник самооценки Куперсмита (Coopersmith, 1967/1981) и Многомерный опросник самооценки MSEI. Естественно, между баллами по тесту RSEI и этими другими опросниками на самооценку ожидаются сильные положительные взаимосвязи. Если этого не происходит, в валидности теста RSEI как показателя самооценки можно усомниться. Кроме того, для оценки теста используются ответы «информантов». Например, можно было бы попросить каждого из респондентов назвать одного близкого знакомого, а затем раздать этим близким знакомым тест, в котором необходимо отвечать на вопросы о самооценке респондента. Хотя в данном случае и не ожидалось бы чрезмерно высокого коэффициента корреляции, между самоописанием респондента и экспертной оценкой со стороны его близкого знакомого можно ожидать по крайней мере положительную взаимосвязь. Другими словами, ожидалось бы, что мнения самих респондентов и суждения их близких знакомых совпадут. В целом можно сказать, что конвергентная валидность зачастую выражается в форме корреляционных взаимосвязей между различными способами измерения одного конструкта.

Оценивая паттерн взаимосвязей между валидизируемым тестом и другими переменными, необходимо также изучить свидетельства дивергентной валидности[3]. Дивергентная валидность – это степень того, насколько тестовые баллы не взаимосвязаны с показателями других конструктов, не связанных с исследуемым. В приведенном примере на теоретических основаниях предполагалось, что общая самооценка не связана с интеллектом. Таким образом, в исследовании должно обнаружиться, что баллы респондентов по RSEI не коррелируют (или слабо коррелируют) с показателями интеллектуальных способностей. Если же в исследовании обнаруживается, что баллы по RSEI и интеллект положительно взаимосвязаны, это является свидетельством недостаточной дивергентной валидности RSEI как показателя самооценки. В данном случае RSEI, похоже, измеряет нечто большее, чем самооценку.

Дивергентная валидность – важное и в чем-то непростое понятие. Независимо от того, являются ли цели тестирования исследовательскими или прикладными, пользователи теста должны быть уверены в том, что им точно известно, какая именно психологическая переменная измеряется. Рассмотрим гипотетическое исследование, которое могло бы быть проведено специалистом по психологии развития. Исследователя интересует взаимосвязь между самооценкой и способностями к обучению. Он просит выборку старшеклассников заполнить опросник RSEI, а также получает у них разрешение на использование их баллов успеваемости в школе. Исследователь вычисляет корреляцию между баллами по тесту RSEI и средним баллом успеваемости, коэффициент корреляции равен 0.40. Интерпретируется это так: ученики, обладающие относительно высокой самооценкой, имеют тенденцию хорошо учиться в школе. На основе такого рода исследования можно даже сделать вывод о том, что школам следует вкладывать дополнительные ресурсы в развитие самооценки учеников. Результаты и выводы исследования могут признать имеющими важность для теоретической психологии, кроме того, эти выводы могут повлиять на распределение школьного бюджета.

Перед тем, как безоговорочно верить выводам, сделанным по результатам исследования, необходимо внимательно проанализировать использованные методы, в том числе дивергентную валидность теста, который (предположительно) измеряет самооценку. Истинность сделанных выводов отчасти зависит от диверегнтной валидности RSEI как показателя общей самооценки. В случае, если тестовые баллы RSEI коррелируют с коэффициентом интеллекта, можно утверждать, что RSEI обладает низкой дивергентной валидностью и измеряет (хотя бы частично) также и интеллект. Таким образом, корреляцию, полученную в исследовании, можно было бы объяснить с позиций того, что ученики, обладающие более выраженными интеллектуальными способностями, имеют тенденцию лучше учиться в школе. В самом деле, возможно, что самооценка на самом деле совсем не связана с успеваемостью, и исследователь в своих выводах допустил серьезную ошибку. Такого рода ошибка могла бы пагубно сказаться как на теоретической психологии, так и на использовании и без того ограниченных школьных ресурсов.

При оценке этого типа эмпирических свидетельств валидности выделяют также конкуррентную валидность и прогностическую. Конкуррентная валидность выражает степень корреляции баллов валидизируемого теста с другими переменными, измеренными одновременно с проведением тестирования по основной методике. Так, например, Интернет-сайт Совета колледжей (компании, которая проводит тестирование по тесту SAT), содержит информацию о том, что субтест SAT на логическое мышление «является мерой тех навыков критического мышления, которые понадобятся вам для достижения успеха при обучении в колледже» (College Board, 2006). Как оценить валидность теста SAT как показателя навыков, необходимых для успешной учебы? Одна из возможностей – протестировать с помощью SAT респондентов-старшеклассников и скоррелировать полученные баллы со средним баллом успеваемости в старших классах (GPA)[4]. Другими словами, можно исследовать взаимосвязь между баллами SAT и баллами GPA, полученными приблизительно в то же время, что и проводилось тестирование. Прогностическая валидность выражает степень корреляции баллов валидизируемого теста с другими переменными, измеренными в отсроченный момент времени. Например, при другом способе оценки валидности SAT можно было бы протестировать старшеклассников по SAT и скоррелировать эти баллы со средней успеваемостью (GPA) во время первого года обучения в колледже. Другими словами, можно было бы исследовать взаимосвязь между баллами SAT и баллами GPA, полученными через год или больше после тестирования. Хотя различие между конкуррентной валидностью и прогностической валидностью традиционно считается важным, их объединяет то, что оценивается соответствие между баллами валидизируемого теста и другими переменными, имеющими отношение к исходному конструкту. Как уже говорилось, соответствие между тестовыми баллами и другими переменными обозначается как конвергентная валидность. В связи с этим можно утверждать, что конкуррентная и прогностическая валидность являются, в сущности, разновидностями конвергентной.

Исследования конвергентной и дивергентной валидности обладают множеством важных нюансов. Вероятно, данный тип эмпирических свидетельств валидности является самым значительным среди всех остальных. В приведенном здесь обсуждении были рассмотрены лишь теоретические основы и актуальность использования этих показателей. Поскольку конвергентная и дивергентная валидность так важны, более детальному их рассмотрению будет посвящена следующая глава.