Контроль содержания теста и процесса вычисления тестовых баллов для минимизации последствий от установок на ответ

Несмотря на все попытки предупредить или уменьшить наличие установок на ответ, всегда остается подозрение о том, что они все же проявляются в некоторой степени. В связи с этим содержание теста может быть смоделировано таким образом, чтобы уменьшить действие некоторых установок, проявляющееся в неточности тестовых баллов. Или же пользователи тестов могут брать на вооружение специальные процедуры подсчета результатов, уменьшающие эффекты тех или иных установок.

Пожалуй, лучшим примером управления содержанием теста для уменьшения эффекта установки является использование сбалансированных шкал для борьбы с установкой на согласие. Как описывалось ранее, установка на согласие имеет место тогда, когда человек соглашается с утверждением независимо от содержания данного утверждения. Как было показано ранее, эта установка становится особенно проблематичной, когда все пункты теста сформулированы однонаправлено. Кроме того, мы показали, что установка на согласие может загубить анализ результатов обследования – респонденты с установкой на согласие неотличимы от респондентов с высоким истинным уровнем выраженности признака (допуская, что все пункты теста направлены в положительную сторону), что может создать искусственно высокую корреляцию между тестами. Общепринятым решением этой проблемы является создание такого теста, в котором влияние установки на ответ будет минимальным в отношении подсчета итогового тестового балла. Речь идет об использовании «сбалансированных» шкал.

Сбалансированная шкала – это шкала, некоторые пункты которой сформулированы в положительном ключе, а некоторые – в отрицательном. В вышеупомянутом примере (см. Таблицу 10.1а) исследователь просит шесть работников ответить на следующие четыре пункта по «удовлетворенности работой» (каждый ответ по семибалльной шкале, где 1 = полностью не согласен, а 7 = полностью согласен):

1. Я действительно доволен своей работой

2. Что касается меня, я нахожу свою работу удовлетворительной

3. В целом я удовлетворен повседневными аспектами своей работы

4. У себя на работе я бы поменял лишь незначительные моменты

Мы отмечали, что все четыре пункта сформулированы в положительном ключе, т.к. позитивный ответ (некоторый уровень согласия) означает более высокий уровень удовлетворенности работой. Для уменьшения потенциального влияния установки на согласие исследователь может использовать следующий видоизмененный набор пунктов:

1. Я действительно доволен своей работой
2. Я не нахожу свою работу удовлетворительной
3. В целом я удовлетворен повседневными аспектами своей работы
4. Я бы многое хотел поменять в своей работе

Обратите внимание, что измененная шкала включает в себя два пункта, сформулированные в отрицательном ключе («обращенные пункты»). Пункты 2 и 4 изменены так, что отрицательный ответ (определенная степень несогласия с утверждением) является индикатором более высокого уровня удовлетворенности работой. Эта пересмотренная шкала сбалансирована, т.к. включает в себя два прямых пункта (т.е., когда согласие с утверждением означает высокую степень удовлетворенности) и два обратных пункта (т.е., когда несогласие с утверждением означает высокую степень удовлетворенности).

Таблица 10.1b показывает ответы работников на утверждения сбалансированной шкалы. Ключевое отличие между этими ответами и первоначальными (Таблица 10.1а) таково, что правдивые респонденты соответствуют формату сбалансированных шкал, а респонденты с установкой на согласие – нет. Например, заметьте, что респондент 2 - правдивый респондент с высоким уровнем удовлетворенности работой. Он соглашается с прямыми пунктами (т.е. пунктами 1 и 3) и не соглашается с обратными (2 и 4), как и ожидается от кого-то с высоким уровнем удовлетворенности, кто внимателен к содержанию утверждений теста. В противоположность этому респондент 1 (демонстрирующий установку на согласие) соглашается со всеми четырьмя утверждениями, игнорируя тот факт, что согласие в одних случаях показывает высокий уровень удовлетворенности, а в других – низкий. Это является показателем того, что человек просто соглашается с утверждениями, невзирая на их содержание.

Сбалансированная шкала должна быть правильно закодирована и вычислена. Ключ к ответам должен согласовываться с тем фактом, что данная шкала имеет и прямые, и обратные пункты. Обычно пользователи тестов предпочитают, чтобы «итоговый» высокий балл в тесте означал высокий уровень измеряемого признака. Например, чтобы высокий балл в тесте на удовлетворенность работой являлся показателем высокого уровня удовлетворенности работой. Чтобы достигнуть это, пользователь теста должен «обратить» пункты, сформулированные в отрицательном ключе. Для этого пользователь теста кодирует ответы респондента так, чтобы относительно высокий балл означал высокий уровень выраженности измеряемого признака. Например, тест на удовлетворенность работой имеет семизначную шкалу. Исследователь перекодирует вариант ответа «7» (полностью согласен) в «1» (полностью не согласен), ответ «6» (согласен) в «2» (не согласен), и ответ «5» (скорее согласен) в «3» (скорее не согласен). Сходным образом, психодиагност кодирует ответы так, чтобы относительно небольшие баллы выражали низкий уровень выраженности измеряемого признака. Поэтому психодиагност кодирует ответ «1» (полностью не согласен) как «7» (полностью согласен), ответ «2» как «6», а ответ «3» как «5». Этот процесс перекодировки (обращения) заново градуирует ответы таким образом, чтобы относительно высокие баллы (т.е., 7, 6 или 5) означали высокий уровень выраженности признака, а относительно низкие баллы (т.е., 1, 2 или 3) означали бы низкий уровень выраженности признака. В Таблице 10.1c приведены перекодированные ответы респондентов на сбалансированную шкалу.

Рассмотрим, как именно в сбалансированной шкале уменьшается влияние установки респондентов на согласие. Один из плюсов сбалансированной шкалы заключается в том, что она дифференцирует респондентов с установкой на согласие и тех, кто отвечает правдиво, имея при этом высокий уровень выраженности измеряемого признака (попутно заметим: сбалансированная шкала также дифференцирует респондентов с установкой на несогласие и тех, у кого действительно низкий уровень выраженности признака). Рассмотрите респондентов с установкой на согласие, представленных в Таблице 10.1c, и заметьте, что полученные ими баллы по сбалансированной шкале отличаются от баллов по исходной шкале (Таблица 10.1а). Заметьте, что у респондента 1 итоговый балл в сбалансированной шкале на удовлетворенность работой составляет всего 18, тогда как в первоначальном варианте шкалы он составлял 24. Аналогично, тестовый балл респондента 4 в сбалансированной шкале равен 15, тогда как в первоначальном варианте шкалы – 26. Таким образом, использование сбалансированных шкал гарантирует, что респонденты с установкой на согласие будут получать баллы, близкие к средним (т.е. не являющиеся чрезвычайно низкими или высокими). Рассмотрим теперь данные респондентов, отвечавших добросовестно (Таблица 10.1c). Например, тестовый балл респондента 2 остается высоким – таким же, как и в первоначальном варианте шкалы (т.е. 25). Добросовестные респонденты, у которых был высокий балл в первоначальном варианте шкалы, имеют такой же высокий балл и по сбалансированной шкале; добросовестные респонденты с низким баллом в первоначальном варианте шкалы имеют такой же низкий балл и в сбалансированной шкале. Так психодиагносты могут быть уверены в том, что крайние баллы (т.е. особенно высокие или особенно низкие) по тесту будут получать только те респонденты, которые отвечают добросовестно. Следовательно, вероятность того, что респонденту с установкой на согласие будет ошибочно приписан высокий уровень выраженности признака, невелика.

Несмотря на то, что сбалансированные шкалы позволяют пользователям теста избежать смешения респондентов с установкой на согласие и «добросовестных» респондентов с высокими истинными баллами по шкале, как вы можете догадаться, эти шкалы просто создают новую проблему. Вы, вероятно, заметили в Таблице 10.1c, что теперь невозможно дифференцировать респондентов с установкой на ответ и «добросовестных» респондентов со средними уровнями выраженности измеряемого признака. В известном смысле, одна проблема просто была заменена на другую. Тем не менее, таким образом мы избежали очень серьезную проблему, создав проблему менее серьезную для целей исследования. Использование сбалансированных шкал имеет очень важные следствия для достижения точности исследовательских результатов.

Одно из таких следствий проявляется в корреляции между удовлетворенностью работой и самооценкой ее престижности – то, на измерение чего и было изначально ориентировано описанное исследование. Вернитесь к первоначальной шкале, в которой все пункты были положительно сформулированы (см. Таблицу 10.1а), и заметьте, что данная корреляция для всех шести респондентов составила r =0.43. Полагаясь на первоначальный вариант шкалы, исследователь сделает заключение, что существует умеренная или сильная взаимосвязь между удовлетворенностью работой и самооценкой престижности. Тем не менее, при допущении абсолютного «всезнания», представим, что нам известно, кто из респондентов проявил установку на согласие. Анализ данных по четырем «добросовестным» респондентам, обнаруживает весьма незначительную негативную корреляцию между удовлетворенностью и самооценкой престижности (r = -0.09). Таким образом, наличие у двух респондентов установки на согласие исказило результаты анализа, приведя к тому, что исследователь делает неправильные выводы относительно взаимосвязи между двумя изучаемыми конструктами.

Рассмотрим теперь корреляцию, вычисленную из баллов по сбалансированной шкале (Таблица 10.1c). Заметьте, что данная корреляция для общей выборки составляет r = -0.10. Это гораздо ближе к корреляции, полученной на «добросовестных» респондентах (где r = -0.09), нежели корреляция, полученная для шести отвечавших в первоначальном варианте теста. Следовательно, при использовании сбалансированной шкалы выводы исследователя будут гораздо более точными.

В целом сбалансированные шкалы предоставляют исследованиям поведения важные преимущества. Несмотря на то, что они не предотвращают установки на согласие и не могут полностью сгладить ее влияния, они действительно уменьшают влияние этой установки на результаты исследования. Используя сбалансированные шкалы, пользователи теста могут быть достаточно уверены в том, что результаты их исследования не искажены влиянием установки респондентов на согласие. Как показано в Таблице 10.1, сбалансированная шкала может помочь избежать искусственной (т.е. фальшивой) корреляции, которая может быть результатом установки некоторых из респондентов. Потенциально важные выгоды от использования сбалансированных шкал более чем перевешивают их затратность (т.е. необходимость формулировки обращенных пунктов и усложненную систему кодировки ответов).

Как отмечалось ранее, для уменьшения эффектов установки респондента на тот или иной ответ пользователи тестов могут пользоваться также специальными техниками подсчета тестовых баллов. Выше в качестве проблемы, которая может искажать результаты по тестам способностей или тестам достижений (например, SAT и GRE) называлось угадывание ответов. В самом деле, в данных тестах используются такие методы подсчета тестовых баллов, которые направлены на то, чтобы сделать поправку на фактор угадывания. Например, в SAT используется такой метод подсчета, при котором неправильному ответу и пропущенному ответу приписываются разные веса (коэффициенты). В частности, правильный ответ на вопрос засчитывается как 1 балл, вопрос, на который был дан неверный ответ, оценивается в -0.25 балла, а пропущенный вопрос не оценивается. Не вдаваясь в излишние детали, скажем только, что данный способ кодирования ответов приводит к минимизации выгоды, получаемой от угадывания. Интересно, впрочем, что «умелая» догадка все же является выгодной для тех, кто выполняет тест SAT. Другими словами, если респондент может сразу исключить один или несколько вариантов ответа, то выбор наугад среди оставшихся вариантов является выгодным для получения более высокого итогового балла.