Обнаружение конструктной систематической ошибки: внутренняя оценка теста

Конструктная систематическая ошибка зачастую оценивается путем исследования ответов на отдельные пункты теста. Пункт теста может быть подвержен систематической ошибке в том случае, если (а) люди, состоящие в разных группах, дали разные ответы на данный пункт и (б) можно установить, что данные различные ответы не связаны с групповыми различиями, касающимися именно той психологической характеристики, которая измеряется тестом. Например, предположим, что имеется тест на выявление технических способностей, состоящий из ста пунктов. Представим, что из этого теста выбран один пункт и обнаружено, что ответы мужчин совпадают с ответами женщин. В таком случае этот пункт не оказался бы подверженным систематической ошибке (допуская, что мужчины и женщины обладают одинаковым уровнем технических способностей). С другой стороны, если мужчины и женщины с одинаковым уровнем технических способностей дали разные ответы на данный пункт, можно предположить наличие в данном пункте определенного типа систематической погрешности.

Как уже говорилось, большинство психологических тестов являются составными – они состоят из множества пунктов (вопросов, заданий или утверждений). Для таких тестов общий показатель систематической ошибки тестовых баллов является функцией всех частных показателей систематической ошибки, связанных с каждым из пунктов в отдельности. Если показано, что ни один из пунктов в тесте не подвержен систематической ошибке, тогда можно допустить, что итоговый результат теста также не подвержен систематической ошибке. Если же один или более пунктов предположительно содержат систематическую ошибку, тогда можно допустить, что ошибка содержится и в итоговом результате теста.

Как вы помните, систематическая ошибка теста затрагивает взаимосвязь между групповыми различиями в истинных уровнях выраженности признака и групповыми различиями в полученных тестовых баллах. В случае конструктной систематической ошибки пункт теста будет содержать систематическую ошибку в том случае, если ответы людей, принадлежащих к одной группе, отражают их истинную психологическую характеристику, а ответы на этот же пункт людей, принадлежащих к другой группе, - нет (при этом предполагается некая минимальная степень надежности теста). Естественно, узнать истинный уровень выраженности какого-либо психологического признака у респондента невозможно. Поэтому методы, которые будут обсуждаться ниже, являются лишь оценками наличия и степени проявления конструктной систематической ошибки теста

Конструктная систематическая ошибка связана с содержательным значением тестовых баллов. Наличие конструктной систематической ошибки предполагает, что результаты теста могут иметь различный смысл для разных групп людей. Если по результатам исследования обнаружилось, что показатели теста на выявление технических способностей подвержены конструктной систематической ошибке, относящейся к полу респондентов, тогда необходимо учитывать возможность того, что показатели теста в группе мужчин и в группе женщин отражают различные психологические характеристики. Например, ответы мужчин на пункты теста могут определяться главным образом единственной составляющей - техническими способностями. В то же время ответы женщин могут определяться двумя составляющими – техническими способностями и угрозой стереотипа (тенденцией к поведению, которое подтверждает стереотипы о какой-либо социальной группе) (Spencer, Steele, & Quinn, 1999). Таким образом, тест технических способностей у представителей разных полов оценивает разные психологические характеристики.

Далее будут описаны несколько методов, которые могут быть использованы для оценки наличия и степени выраженности конструктной систематической ошибки. Эти методы сосредоточены вокруг внутренней структуры теста, описанной при рассмотрении валидности в Главе 8. В этой главе внутренняя структура теста определялась как «то, как части теста взаимосвязаны друг с другом». Простыми словами, внутренняя структура теста отражает паттерн интеркорреляций между пунктами и/или корреляций между пунктами и суммарным баллом теста. Чтобы оценить наличие конструктной систематической ошибки, исследование внутренней структуры теста проводится отдельно для двух групп. Если эти две группы показывают одинаковую внутреннюю структуру ответов на пункты теста, можно заключить, что данный тест, вероятно, конструктной погрешности не подвержен. Если же в этих двух группах респондентов обнаруживаются различные внутренние структуры ответов, делается заключение о том, что тест может быть подвержен конструктной систематической ошибке. Для выявления конструктной систематической ошибки теста существуют как минимум четыре метода.