Анализ продуктов деятельности (контент-анализ)

В психодиагностике существует еще один способ получения информации о человеке – это количественно-качественный анализ документальных и материальных источников, позволяющий изучать продукты человеческой деятельности.

Под понятием «документальный источник» понимаются:

- письма;

- автобиографии;

- дневники;

- фотографии;

- записи на кино- и видеопленке;

- творческие результаты в разных видах искусства;

- материалы различных средств массовой информации (газеты, журналы и т. п.).

Для того чтобы при изучении документов можно было преодолеть субъективизм исследователя, выявить достоверную информацию и достаточно точно ее регистрировать, был разработан специальный метод, получивший название контент-анализ (буквально «анализ содержания»). Впервые он начал применяться с 20-х гг. прошлого столетия для обработки материалов средств массовой коммуникации. Это более или менее формализованный метод анализа документов, когда на основе гипотезы исследователя в документальных материалах выделяются специальные единицы информации, а затем подсчитывается частота их употребления. Так, например, в 20-е гг. XX в. русский исследователь Н. А. Рыбников в ходе анализа сочинений прослеживал, как распределяются положительные и отрицательные оценки школьниками своей жизни в зависимости от возраста и пола. Или другой пример: в 80-х гг. XX в. Н. И. Лепехиным и Ч. А. Шакеевой проводился контент-анализ эпизодов жестокости и агрессии в запад­ных и отечественных кинофильмах.

Таким образом, основная процедура контент-анализа связана с переводом качественной информации на язык счета. С этой целью выделяются два типа единиц: смысловые, или качественные, единицы анализа и единицы счета, или количественные. Основная трудность при работе с документальными источниками – умение провести качественный анализ, т. е. выделить смысловые единицы. Это во многом зависит от личной компетентности исследователя, уровня его творческих возможностей.

Так как контент-анализ основан на принципе повторяемости, частоты использования различных смысловых единиц (например, определенных понятий, суждений, образов и т. п.), его следует применять только тогда, когда есть достаточное количество материала для анализа.

В контент-анализе от простого подсчета частот встречаемости тех или иных смысловых единиц постепенно перешли к более сложным статистическим приемам (корреляционной технике и факторному анализу). Новым этапом в развитии этого метода стала его компьютеризация. Особенно широко это используется в США – там разрабатываются стандартные программы анализа разнообразных документов, позволяющие достаточно быстро и надежно проанализировать огромный объем информации и освободить кодировщиков от утомительного ручного способа.

В психологической диагностике контент-анализ наиболее часто используется в качестве вспомогательного метода или процедуры обработки данных, полученных при других исследованиях. С его помощью подвергаются анализу речевые сообщения испытуемого, сопровождающие практически любые диагностические обследования, особенно при индивидуальной процедуре. Конкретно контент-анализ может применяться при обработке данных, полученных посредством проективных методик; интервью, содержания бесед, другой речевой и письменной продукции испытуемого; открытых вопросов анкет и т. п. Так, например, в методиках диагностики личностных особенностей (тревожности, невротизма и др.) проводится контент-анализ грамматических и стилистических конструкций речи испытуемого: количество тематических высказываний (болезнь, страх, неуверенность и т. д.), глаголов, логических блоков и т. п. Такой анализ нередко позволяет выявить и объективизировать скрытую тенденцию в ответах испытуемого.

 

«Тесты учителя»

В последнее время в западной психологической литературе появился термин «тесты учителя». Под ним подразумеваются не только традиционные тесты учета и контроля школьных достижений, а целенаправленное использование учителем в своей работе малоформализованной диагностики. В частности, выделяется умение проводить систематические наблюдения, имеющие своей целью изучение индивидуально-психо­логических особенностей учеников, их поведения. По основательности разработки тесты учителя далеко отстают от того, что достигнуто в формализованной диагностике. Однако само их появление в психо­диагностической литературе следует рассматривать как одно из про­явлений неудовлетворенности той формалистичностью, которая стала неотъемлемой особенностью психологического диагностирования. Только сочетание формализованных методов диагностики с наблюдениями, беседами, тестами учителя и т. п. формами изучения обследуемого может дать удовлетворяющий результат.

Приведенная классификация психодиагностических методик не является исчерпывающей. Ее можно расширить за счет использования других принципов деления методик на классы. Так, существует классификация психодиагностических методик, опирающаяся на такое основание, как наличие или отсутствие оценок выполнения заданий по типу правильно – неправильно. Класс психодиагностических методик, где ответы испытуемых всегда оцениваются как правильные или неправильные, составляют тесты интеллекта, тесты способностей, тесты достижений и некоторые личностные тесты действия. К классу методик, в которых понятие правильный или неправильный ответ не существует, относятся большинство личностных опросников, проективные техники и психофизиологические методики.

Еще одним основанием для классификации методик может быть мера включенности в диагностическую процедуру самого психодиагноста и степень его влияния на результаты эксперимента. Этот принцип позволяет разделить психодиагностические методики на следующие группы:

- влияние психодиагноста выражено минимально;

- влияние психодиагноста выражено максимально;

- влияние психодиагноста выражено в средней степени (промежуточное положение между двумя полюсами).

В первую группу входят тесты интеллекта, способностей, достижений, многие опросники и психофизиологические методики. В них и процедура эксперимента, и фиксация результатов являются рутинной операцией и могут быть доверены лаборанту или компьютеру.

Вторую группу составляют различные виды интервью, бесед, наблюдений. Здесь, напротив, психодиагност своими реакциями, репликами, манерой поведения может создать такие условия работы, в которых получение нужной информации будет затруднено или даже искажено.

В третью группу входят многомерные опросники, опросники с открытыми ответами, проективные техники, в которых велика степень включенности психодиагноста на этапе интерпретации полученных результатов. Психодиагностическое заключение, которое делается на основании этих методик, не свободно от влияния личности диагноста, его профессиональной компетентности.

ПСИХОМЕТРИЧЕСКИЕ ТРЕБОВАНИЯ К ПОСТРОЕНИЮ
И ПРОВЕРКЕ МЕТОДИК

 

Психодиагностические методики называют измерительными инст­рументами. Такое определение диагностических методик носит условный характер.

Сначала нужно вспомнить, что представляет собой измерение. Измерить – значит определить какой-либо мерой величину измеряемого. Для этого нужно, чтобы были соблюдены по крайней мере два условия.

Первое условие касается самого измерительного инструмента: он должен иметь на протяжении всего измерения одну и ту же, тождественную самой себе меру. Нельзя измерять инструментом, у которого нет такой тождественной самой себе меры (например, если бы на линейке расстояния от одного деления до другого были неодинаковы на разных участках).

Второе условие – нужно, чтобы то, что измеряется, во всех случаях оставалось одним и тем же, т. е. также было тождественно самому себе.

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность.

Стандартизация

 

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация – это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:

- как выработка единых требований к процедуре эксперимента;

- как определение единого критерия оценки результатов диагно­стических испытаний.

Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:

- инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

- ни одному испытуемому не следует давать никаких преимуществ перед другими;

- в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;

- эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;

- временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т. д.

Обычно авторы методики в руководстве приводят точные и подробные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.

Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.

В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации.

Выборка стандартизации. При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью.

Выборка – это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделяют группу людей – выборку стандартизации – которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популяции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных ре­зультатов, – порядка 200 человек.

 

Надежность

 

В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Надежность методики – это такой критерий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений. Была сделана попытка составить классификацию таких факторов. Среди них наиболее часто называются следующие:

- нестабильность диагностируемого свойства;

- несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания, как методику предъявлять испытуемым, и т. д.);

- меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т. д.);

- различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т. д.);

- колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утом­ление и т. д.);

- элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы; однотипный характер инструкций; одинаковые для всех временные ограничения; способы и особенности контакта с испытуемыми; порядок предъявления заданий и т. д. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.

На характеристику надежности методик большое влияние оказывает исследуемая выборка. Она может как снижать, так и завышать этот показатель, например, надежность может быть искусственно завышена, если в выборке небольшой разброс результатов, т. е. если результаты по своим значениям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изменения ранговых мест испытуемых будут незначительными, и, следовательно, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от друга результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делается описание выборки, на которой определялась надежность методики.

 

Валидность

 

Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной. «Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает»

Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация. Обобщая, можно сказать следующее:

- при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

- при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Провести теоретическую валидизацию методики – это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять. Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики совпадают.

Прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики. Для проведения прагматической валидизации методики обычно используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности – рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности). Прагматической валидности придают большое значение особенно там, где встает вопрос отбора.