Особенности создания опросников

 

Опросники широко используются как методики измерения личностных качеств, поскольку они могут разрабатываться так, что им будут присущи многие атрибуты эффективных тестов: надежность, дискриминативность, стандартизованность. Но стоит упомянуть, что в силу природы личностных переменных, труднее всего бывает установить валидность именно этих методик [6, с. 91].

 

Существует ряд проблем, возникающих при создании опросника. Если их не разрешить при разработке вопросов, то неизбежно снижение валидности опросника.

1. Установка на согласие (response set of acquiescence). Это тенденция респондента соглашаться с утверждениями или отвечать на вопросы «да» независимо от их содержания. Чаще всего проявляется, когда утверждения (вопросы) неоднозначны и неопределенны [6, с. 91]. Устраняется про помощи разработки сбалансированных шкал (с примерно равным количеством заданий имеющих ключевые ответы «да» или «нет»), разработки понятных и недвусмысленных вопросов. А также при помощи специальных методик, разработанных для определения, была ли установка на согласие фактом, влияющим на ответы респондента [6, с. 102-105].

2. Установка на социально одобряемые ответы - тенденция респондентов отвечать на вопросы теста так, чтобы выглядеть «социально положительными», если возможен «социально желательный» ответ, то весьма вероятно, что испытуемые будут его давать [6, с. 91]. Устраняется при помощи разработки заданий с вынужденным выбором, избегания явно социально желательных – не желательных ответов, измерения социально желательных и не желательных черт, использования шкалы лжи, валидизации теста [6, с. 106-109].

3. Установка на неопределенные и средние ответы. Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (например, «не уверен», «не знаю», или «затрудняюсь ответить»), то многие респонденты склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности заданий, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей [6, с. 91]. Чаще всего это происходит, когда оба крайних значений в равной степени безразличны для респондентов. Средством борьбы с этой установкой является повышения значимости вопросов методики [6, с. 111].

4. Установка на «крайние» (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые респонденты вне зависимости от содержания вопросов предпочитают выбирать крайние ответы [6, с. 91].

5. Очевидная валидность – при разработке тестов личности обусловлена необходимостью уверенности в том, что ответы на вопросы могут рассматриваться как правдивые [6, с. 92].

6. Необходимость создания выборки из генеральной совокупности вопросов. Иногда, даже опытные разработчики вопросов бывают удивлены тем, что вопросы нагружены не теми факторами, для выявления которых были созданы. А также тем, что вопросы вообще не нагружены ни одним из факторов. Эта проблема, с точки зрения классической теории тестов состоит в трудности определения конкретной выборочной совокупности [6, с. 92].

Поэтому изначально необходимо сконструировать вдвое больше заданий, чем необходимо для окончательного опросника. При этом опросник для взрослых должен занимать не более 30 минут. В идеале опросники должны быть настолько краткими, насколько это возможно в соответствии с критериями надежности и валидности. Это значит, что в выборочной совокупности должно быть, по крайней мере, 50 заданий [6, с. 183].

7. Выборка из генеральной совокупности испытуемых. Часто тесты разрабатываются универсальными. То есть, применимыми к любым респондентам, за исключением респондентов с патологией. В этом случае, в идеале, необходимы выборки из общей популяции (то есть всего населения), в которой встречаются все возможные показатели. Такие выборки получить непросто, так как они должны быть очень большими по объему [6, с. 92].

8. Проблемы в установке адекватного критерия валидности. Как уже указывалось выше, в описании конкурентной валидности, рейтинги - не самый адекватный инструмент. Аналогично, если уже существуют тесты, измеряющие те же показатели - под сомнение ставится необходимость нового теста. Таким образом, разработчики часто вынуждены ограничиваться исследованиями конструктной валидности основанными на мультивариативном анализе разработанного теста по сравнению с другими переменными, а также исследованиями специальных групп, имеющих по предположению контрольные показатели по рассматриваемой переменной [6, с. 93].

 

Нет необходимости говорить о том, что для опросников важна корректная формулировка вопросов. Далее приведем формы вопросов, используемых в наиболее эффективных опросниках.

1. Вопросы с ответом типа «да - нет» - легко формулировать, понятны респондентам, ответы на них даются быстро.

2. Вопросы с ответом типа «да - затрудняюсь ответить - нет». Трудность с такими вопросами заключается в том, что эта «средняя» категория очень привлекательна для респондентов и редко бывает информативной.

3. Альтернативые задания с ответами типа «правда - ложь». Утверждения от первого лица, которые необходимо отметить как верные или не верные.

4. Задания с ответами типа «нравится – не нравится». Используются в проективных опросниках, но не обязательно.

5. Задания с рейтинговыми шкалами. Им часто отдается предпочтение потому, что в них преодолеваются трудности, связанные с корелирующими дихотомическими заданиями, а также, потому что респондентам они кажутся наиболее разумными. Хотя при использовании этой шкалы может проявиться установка на крайние ответы.

6. Трихотомические задания. В действительности это трихотомический вариант формы вопроса типа «да - нет». Например «обычно – иногда - никогда». Это более гибкий вариант, чем дихотомические и альтернативные вопросы.

7. Трихотомические задания с выбором. Позволяют вложить в краткую фору задания практически любую мысль. В них используются три завершающих предложения фразы, одну из которых респондент должен выбрать.

8. Задания с вынужденным выбором. Респондент принуждается к выбору одного из, обычно, двух утверждений, которое ему наиболее близко [6, с. 93-96].

 

При формулировании заданий, также имеет смысл следовать некоторым правилам.

1. Устранять возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делается не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Представления же некоторых испытуемых о своей личности могут быть значительно искаженными. В связи с этим, идеальным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.

2. Формулируйте понятные, недвусмысленные вопросы. Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надежность зависит, в известной степени, от этого качества теста.

3. Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: «Нравится ли вам спорт?» — является слишком общим: термин «спорт» — неопределенный, как и термин «нравится» Необходимо задать более конкретный вопрос: «Вы играете регулярно в какую-либо спортивную игру?» или «Вы регулярно следите за игрой вашей любимой спортивной команды?» На эти вопросы, ответы на которые вряд ли будут фальсифицировать или относительно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.

4. В каждом задании следует задавать только один вопрос или делать только одно утверждение. Рассмотрим пример: «Думаю, следует заставить черных и представителей других рас эмигрировать». Если это задание предназначено для измерения расизма, то оно будет плохим. Есть расисты (такие, как южно-африканские), которые проводят резкие различия между черными и людьми других рас. Другие считают всех, кто не являются
англо-саксами, не относящимися к людям. Следовательно, некоторые расисты могут положительно ответить на этот вопрос, тогда как другие - нет (только черных следует принуждать к эмиграции). Более злостные расисты могут быть готовы оставить черных и представителей других рас, но видеть их исключительно в качестве рабов. А, например, немцы, проживающие в Англии, опять-таки ответят «нет», исходя из своей интерпретации понятия «другие расы» Следовало бы дать утверждение более точно: «Думаю, следует заставить негров эмигрировать».

5. Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность. Это положение прояснят примеры. Например, вопрос «Часто ли вам снятся сны?» Здесь все зависит от значения слова «часто». Некоторые испытуемые могут испытывать такое чувство, что видеть сон раз в месяц — это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь — это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят «нет». Улучшенный вопрос будет звучать: «Снятся ли вам сны дважды в неделю или чаще?»

6. Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Если задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.

7. При помощи инструкций обеспечьте, чтобы испытуемые давали первые, приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае, вероятно, что задание не выявляет тот аспект поведения, который имеет существенное отношение к измерению личностных качеств [6, с. 96-99].

 

Существуют мнения, что опросники по существу бессмысленны. На различные критические замечания такого рода получен эмпирический ответ: анализ любого опросника показывает, что множество заданий опросника измеряет однородный фактор, в то время, как исследования валидности демонстрируют, что же это за фактор. Тот факт, что задания имеют сомнительное значение, становится несущественным, если ответы на эти задания фактически являются дискриминативными или корелируют с внешним критерием [6, с. 101].

 

На основании всего вышеописанного можно сделать вывод, что разработку опросников следует осуществлять в соответствии со следующим алгоритмом.

1. Перечислите черты и особенности интересующего вас поведения, на основании психологической литературы.

2. Преобразуйте описание каждой черты или особенности поведения в задание. При этом выбор формы задания зависит от особенностей используемого материала и оценки преимуществ и недостатков каждого типа заданий.

3. Независимо от используемого типа заданий старайтесь, чтобы назначение каждого задания не было слишком очевидным.

4. Формулируйте каждое задание понятно и недвусмысленно.

5. Насколько возможно, обеспечьте, чтобы каждое задание относилось к какой-либо конкретной области поведения.

6. В каждом задании должен содержаться только один вопрос или одно утверждение.

7. Избегайте использовать термины частоты и другие субъективные выражения.

8. Когда это возможно, задания должны касаться поведения, а не чувств и отношений.

9. Обеспечьте, чтобы ответы на задания давались быстро.

10. Избегайте влияния основных установок на ответы, таких как
установка на согласие и установка на социально одобряемые ответы.

11. Вероятность проявления установки на согласие лучше всего уменьшается формулированием понятных заданий и использованием сбалансированных шкал.

12. Проверьте при помощи процедур анализа заданий то, что тенденция к согласию — несущественный фактор.

13. Установки на социально одобряемые ответы легче всего избежать путем тщательного формулирования заданий.

14. Проверьте при помощи техники анализа заданий, что установка на социально одобряемые ответы — несущественный фактор.

15. Избегайте с помощью адекватной формы заданий влияния установок на выбор крайних или средних категорий ответов.

16. Проверьте при помощи процедуры валидизации, что влияние установок на ответы не является существенным. Если тесты валидны, то установки на ответы не могут оказывать влияние на их показатели [6, с. 114].

 

Невключённое

[1] Качественный признак - качество, которое закладывается при конструировании и создании продукта и выявляется при его испытании [5, с.59].

 

[2] Эквивалентными, например, являются полная и краткая формы опросника MMPI. [5, с.614].