Валидность методов исследования

Валидность метода. Валидность метода исследования и диа­гностики (буквально означает «полноценный, пригодный, соот­ветствующий») показывает, в какой мере измеряется то качество (свойство, характеристика), для оценки которого он предназна­чен. Валидность (адекватность) говорит о степени соответствия метода своему назначению. Чем ближе раскрывается в диагности-

ке тот признак, для обнаружения и измерения которого предна­значен метод, тем выше его валидность.

Понятие валидности относится не только к методике, но и к критерию оценки ее качества, критерию валидности. Это основной признак, по которому можно практически судить о том, является ли данная методика валидной.

Такими критериями могут стать следующие:

- поведенческие показатели — реакции, действия и поступки испытуемого в различных жизненных ситуациях;

- достижения испытуемого в различных видах деятельности — учебной, трудовой, творческой и др.;

- самоорганизация, данные, свидетельствующие о выполне­нии различных контрольных проб и заданий;

- данные, получаемые при помощи других методик, валид­ность или связь которых с проверяемой методикой считается до­стоверно установленной.

Чем выше коэффициент корреляции методики с критерием, тем выше валидность. Развитие факторного анализа позволило создавать методики, валидные по отношению к идентифицируе­мому фактору. Только проверенные на валидность методики могут использоваться в диагностической деятельности и рекомендоваться в массовую образовательную практику.

Выделяют несколько видов валидности диагностических мето­дик.

Теоретическая (концептуальная) валидность определяется по соответствию показателей исследуемого качества, получаемых с помощью данной методики, показателям, получаемым посред­ством других методик (с показателями которых должна существо­вать теоретически обоснованная зависимость). Теоретическую ва­лидность проверяют по корреляциям показателей одного и того же свойства, получаемым при помощи разных методик, связан­ных с одной и той же теорией.

Эмпирическая (прагматическая) валидность проверяется по со­ответствию диагностических показателей реальному жизненному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некой методики мы оцениваем чер­ты характера у данного испытуемого, то применяемая методика будет считаться практически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни имен­но так, как предсказывает методика, т.е. в соответствии с имею­щейся у него чертой характера.

Внутренняя валидность означает соответствие содержащихся в методике заданий, субтестов, суждений и т.п. общей цели и за­мыслу методики в целом. Она считается внутренне невалидной

или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов измеряют не то, что требуется от данной методики.

Внешняя валидностъ — это примерно то же самое, что и эмпи­рическая валидность, с той лишь разницей, что в данном случае речь идет о связи между показателями методики и наиболее важ­ными, ключевыми внешними признаками, относящимися к по­ведению испытуемого.

Очевидная валидность описывает представление о методе, сло­жившееся у испытуемого, т. е. это валидность с точки зрения ис­пытуемого. Методика должна восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с медицинским диагностическим инструментарием.

Конкурентная валидность оценивается по корреляции разрабо­танной методики с другими, валидность которых относительно измеряемого параметра установлена. П.Клайн отмечает, что дан­ные о конкурентной валидности полезны тогда, когда есть не­удовлетворенность работающей методикой для измерения неко­торых переменных, а новые данные создаются для того, чтобы улучшить качество измерения.

Прогностическая валидность устанавливается с помощью кор­реляции между показателями методики и некоторым критерием, характеризующим измеряемое свойство, но в более позднее вре­мя. Л.Кронбах считает прогностическую валидность наиболее убе­дительным доказательством того, что методика измеряет именно то, для чего она была предназначена.

Инкрементная валидность имеет ограниченное значение и от­носится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи. В этом случае данный тест обладает ин-крементной валидностью. Это может быть полезно при проведе­нии профотбора с помощью психологических тестов.

Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелиру­ют с академической успеваемостью, но по-разному для разных дисциплин. Значение дифференциальной валидности, так же как и инкрементной, ограничено.

Содержательная валидность определяется через подтверждение того, что задания методики отражают все аспекты изучаемой об­ласти поведения. Содержательную валидность часто называют «ло­гической валидностью» или «валидностью по определению». Она означает, что методика валидна по мнению специалистов. Обыч­но она определяется у тестов достижений. На практике для опре­деления содержательной валидности подбираются эксперты, ко­торые указывают, какая область (области) поведения наиболее важна.

\ Конструктная валидностъ демонстрируется полным, насколь­ко это возможно, описанием переменной, для измерения кото­рой предназначается методика. Конструктная валидность включа­ет в себя все подходы к определению валидности, которые были перечислены выше.

Из описания видов валидности следует, что не существует ка­кого-либо единичного показателя, с помощью которого устанав­ливается валидность диагностической методики. Тем не менее раз­работчик должен представить весомые доказательства в пользу валидности предлагаемой методики.

Легко заметить прямую связь валидности с надежностью. Ме­тодика с низкой надежностью не может обладать высокой валид-ностью, поскольку неверен измерительный инструмент и неста­билен тот признак, который он измеряет. Такая методика при со­поставлении с внешним критерием может в одном случае пока­зать высокие совпадения, а в другом — крайне низкие. Понятно, что при таких данных никаких выводов о соответствии методики своему назначению сделать невозможно.

Выведение коэффициента валидности — трудоемкая процеду­ра, не обязательная в тех случаях, когда методика используется исследователем в ограниченных пределах и не предполагается ее применение в широком масштабе. К коэффициенту валидности предъявляют те же требования, что и к коэффициенту надежно­сти: чем более методически совершенен критерий, тем выше дол­жен быть и коэффициент валидности. Низкий коэффициент ва­лидности чаще всего отмечается при акцентировании внимания на второстепенных аспектах.

Дополнительные требования к методам исследования. Точность методики отражает ее способность тонко реагировать на малей­шие изменения оцениваемого свойства, происходящие в ходе экс­перимента. Точность диагностической методики в определенном смысле можно сравнивать с точностью технических измеритель­ных инструментов. Метр, например, разделенный только на сан­тиметры, будет грубее измерять длину, чем линейка, градуиро­ванная по миллиметрам. В свою очередь микрометр — прибор, позволяющий оценивать длины, отличающиеся друг от друга на 0,001 мм, будет намного более точным измерительным инстру­ментом, чем школьная линейка.

Чем точнее диагностическая методика, тем совершеннее с ее помощью можно оценивать градации и выявлять оттенки изме­ряемого качества. Однако в практической диагностике далеко не всегда требуется очень высокая степень точности оценок. Ее не­обходимая практическая мера определяется задачей дифферен­циации, разделения испытуемых на группы. Если, например, всю выборку испытуемых нужно разделить всего лишь на две под­группы, то и точность применяемой методики должна соответ-

ствовать именно этому делению, не больше. Если необходимо разделить испытуемых на пять подгрупп, то достаточно приме­нить методику, имеющую измерительную шкалу из пяти пунк­тов (например: «да», «скорее да, чем нет», «ни да, ни нет», «ско­рее нет, чем да», «нет»).

Однозначность методики характеризуется тем, в какой степени получаемые с ее помощью данные отражают изменения именно и только того свойства, для оценивания которого данная методика применяется. Если наряду с этим свойством в получаемых показа­телях отражаются и другие, никак не связанные с данной методи­кой, выходящие за пределы ее валидности, то методика не соот­ветствует критерию однозначности, хотя при этом может оста­ваться частично валидной.

Например, если экспериментатора интересуют оценки моти­вов поведения человека и для того, чтобы их получить, он задает испытуемому прямые вопросы относительно мотивов его поведе­ния, то ответы на эти вопросы вряд ли будут соответствовать кри­терию однозначности. В них почти наверняка отразятся и степень осознания испытуемым мотивов своего поведения, и его жела­ние предстать в благоприятном свете в глазах экспериментатора, и оценки им возможных последствий диагностического экспери­мента.

Репрезентативность означает, что свойства более широкого множества объектов представлены в свойствах подмножества. В диа­гностике говорят о «репрезентативности тестовых норм» или о «тематической репрезентативности» диагностических заданий по отношению к «области валидности» методики.

Репрезентативность тестовых норм — соответствие граничных точек на распределении тестовых баллов, полученных на выборке стандартизации, аналогичным граничным точкам, которые мог­ли бы быть получены на популяции проведения — на множестве испытуемых, для которых предназначена методика. Обычно при получении кривой нормального распределения (см. разд. 9.2) де­лается вывод о том, что тестовые нормы обладают репрезентатив­ностью. Однако нормальность не является необходимым условием репрезентативности. Репрезентативность тестовых норм может до­стигаться и в отсутствие нормального распределения.

Тематическая репрезентативность — мера представленности в наборе диагностических заданий той предметной области, на ко­торую направлена методика, т. е. области поведения в случае тес­тирования психологических свойств или области знания в случае педагогической диагностики.

Диагностическая ценность методики определяется путем про­ведения предварительного опыта с так называемой нейтральной группой, результаты которого в дальнейшей диагностической ра­боте не используются.

\ Например, в процессе обработки результата предваритель­ной контрольной работы все полученные данные располагают в возрастающем порядке и определяют медиану, т.е. величину, находящуюся в середине ряда. Учащихся, получивших оценку ниже медианы, считают «слабыми»; выше медианы — «силь­ными».

Кроме основных есть и ряд дополнительных требований, предъявляемых к выбору диагностических методик.

В о-п ервых, избираемая методика должна быть наиболее про­стой из всех возможных и наименее трудоемкой из тех, которые позволяют получить требуемый результат. В этой связи простая опросная методика может быть предпочтительнее сложного теста.

Во-вторых, избираемая методика должна быть нетрудоем­кой, требовать минимума физических и психических усилий на проведение диагностики.

В-третьих, инструкция к методике должна быть простой, короткой и понятной не только для диагноста, но и для испыту­емого, настраивать испытуемого на добросовестную доверитель­ную работу, исключающую возникновение у него побочных мо­тивов, способных отрицательно повлиять на результаты, сделать их сомнительными. В ней, например, не должно быть слов, на­страивающих испытуемого на определенные ответы или намека­ющих на ту или иную оценку этих ответов.

В-ч е т в е р т ы х, обстановка и другие условия проведения диа­гностики не должны содержать посторонних раздражителей, ко­торые могут отвлечь внимание испытуемого, изменить его отно­шение к психодиагностике и превратить его (отношение) из ней­трального и объективного в пристрастное и субъективное. Не до­пускается, как правило, чтобы во время проведения диагностики присутствовал еще кто-либо, кроме диагноста и испытуемого, звучала музыка, слышались посторонние голоса и другие отвле­кающие шумы.

Контрольные вопросы

1. Чем различаются критерии и показатели? Сколько принято выде­лять критериев и показателей?

2. Что называют операционализацией и верификацией?

3. Как определяется объективность исследовательского метода?

4. Что понимают под надежностью метода исследования? Какие су­ществуют приемы оценки надежности метода?

5. Что называют валидностью и какими критериями она определяется?

6. Какие виды валидности выделяют в методологии психолого-педа­гогического исследования?

7. Какие существуют дополнительные требования к методам психоло­го-педагогических исследований и их выбору?

Практические задания

1. Проанализируйте по авторефератам диссертации обоснованность отбора и применения исследовательских методов.

2. Оцените по выделенным в данной главе критериям методы иссле­дования, которые вы отобрали к своему исследованию.

Рекомендуемая литература

Бабанский Ю.К. Избранные педагогические труды. — М., 1989.

Валеев Г.Х. Методология и методы психолого-педагогических иссле­дований. — Стерлитамак, 2002.

Максимов В. Г. Педагогическая диагностика в школе: учеб. пособие. — М., 2002.

Сластенин В. А., Каширин В. В. Психология и педагогика. — М., 2001.

Социальная психология: учеб. пособие / А.Н.Сухов, А.А.Бодалев, В.Н.Казанцев и др.; под ред. А.Н.Сухова, А.А.Деркача. — М., 2001.

^

ГЛАВА 9

ОБРАБОТКА И ИНТЕРПРЕТАЦИЯ НАУЧНЫХ

ДАННЫХ

Стреляй! Но знай, я это истолкую... Д.А.Леонтьев. Однопсишия

Результативность научного поиска определяется способностью исследователя не только собрать достоверные данные, но также систематизировать и классифицировать их, выявить закономер­ности и представить их научной общественности, а также для ис­пользования педагогами-практиками. Этим вопросам посвящена настоящая глава.