Определение прогностической систематической ошибки: внешняя оценка теста

Прогностическая ошибка связана со степенью того, насколько одинаково тестовые баллы в разных группах предсказывают значение некой критериальной переменной. Например, предполагается, что тест академических способностей SAT измеряет уровень учебных достижений. Допуская, что уровень успеваемости в средней школе имеет отношение к уровню успеваемости в первый год обучения в колледже (выражаемому в показателе GPA), вузы зачастую используют результаты тестирования по SAT для принятия решения о зачислении абитуриентов. Предполагается, что на основе школьного теста академических способностей можно с некоторой степенью точности предсказать учебную успеваемость студента-первокурсника. Если в результате получается, что возможность успешно предсказать уровень академической успеваемости первокурсников на основе школьных тестов в различных группах респондентов различается, можно предположить, что школьные тесты подвержены прогностической систематической ошибке измерения.

Наличие прогностической ошибки исследуется путем измерения двух переменных. Исследуется степень того, насколько показатели основного теста (прогностического) могут использоваться для прогнозирования показателей респондентов по какому-либо другому психологическому параметру (критериальной переменной), который предположительно связан с показателями основного теста.

Определение наличия прогностической ошибки начинается с предположения о том, что тест является «универсальной мерой», т.е. дает одинаковый прогноз для всех групп респондентов. С целью подтверждения данного предположения проводятся разного рода статистические анализы. Если анализы подтверждают, что тест для обеих групп одинаково прогностичен, исследователь приходит к выводу, что тест не подвержен прогностической ошибке (по крайней мере, в отношении исследуемой критериальной переменной и исследуемых групп респондентов). Если же по результатам анализа обнаруживается, что прогностичность теста для двух групп неодинакова, можно заключить, что данный тест подвержен прогностической систематической ошибке.

Представьте, что вы занимаете должность агента по выбору участников обучающих программ в крупной компании, которая тратит большие суммы денег на развитие у работников механических навыков, нужных для проведения определенных операций. Ваша работа заключается в том, чтобы выбрать для этой обучающей программы наиболее талантливых кандидатов. Выбор именно тех людей, которые с большей долей вероятности справятся с программой успешно, является существенно важным из-за ее стоимости. Успех вашей работы зависит от того, насколько правильно вы сделаете выбор. Для того чтобы увеличить вероятность правильного выбора, вы разрабатываете тест на выявление технических способностей, который предоставляете всем кандидатам. Более того, вы предполагаете, что результаты этого теста будут связаны с некоторым параметром, отражающим успешность в работе после прохождения обучающей программы. Например, после проведения данной программы уровень технической компетентности каждого работника будет оцениваться руководителем. Наконец, вы предполагаете, что между показателями теста на выявление технических способностей, проведенного перед обучающей программой, и оценкой технической компетентности (со стороны руководителя) после ее проведения существует положительная линейная связь. Другими словами, кандидаты с высокими показателями технических способностей (прогностический тест) будут получать более высокие оценки технической компетентности после прохождения обучающей программы (критериальная переменная), нежели кандидаты с низкими показателями технических способностей.

При разработке и оценке теста на выявление технических способностей вы можете запланировать оценку прогностической систематической ошибки. Прогностическая ошибка связана с использованием показателей теста для того, чтобы предсказать значение некой релевантной переменной (напр., поведение, компетентность, успешность и т.д.), которая будет играть роль в ситуациях, отличных от той, в которой проводился тест. Поэтому если у вас есть причина думать, что тест на выявление технических способностей будет обладать предсказательной способностью только для группы мужчин, но не женщин, вы можете предположить наличие прогностической систематической ошибки теста.

Для того чтобы оценить эффективность теста на выявление технических способностей и наличие в нем прогностической ошибки, вам необходимо обратить внимание на два вопроса: а) действительно ли ваш тест помогает предсказать итог обучающей программы и б) одинаково ли верно ваш тест прогнозирует этот итог в двух разных группах респондентов? Чтобы ответить на эти вопросы, вам понадобятся данные, которые могут быть использованы, чтобы оценить прогностическую эффективность вашего теста. Подобные данные могут быть получены путем проведения тестирования среди участников программы перед ее проведением и регистрацией итоговых показателей (критериальных переменных) в конце обучающей программы. Эти два вопроса часто исследуются с помощью статистического метода под названием «регрессия», при котором вы используете показатели теста на выявление технических способностей, проведенного перед обучающей программой, для того, чтобы рассчитать прогнозируемые оценки технической компетентности, выставляемые впоследствии руководителем.