Этап 7. Отбор и обучение кодировщиков

 

Из всего вышеизложенного следует, что к отбору и обучению кодировщиков надо подходить со всей тщательностью. Во-первых, кодировщиков должно быть не менее двух. Во-вторых, это должны быть люди с примерно одинаковым опытом и навыками кодировки. В-третьих, важным условием является независимость этих кодировщиков друг от друга и от исследователя, подготавливающего кодовый план. К. Криппендорф особенно отмечал это условие, настаивая, что не может быть ничего хуже, когда кодировкой занимается сам исследователь или же при Помощи своих коллег, также участвующих в данном исследовании.

Процесс обучения состоит из ряда этапов. Вначале кодировщики внимательно знакомятся с категориями, их определениями и размерностями категорий, которые представлены в кодовой книге. Это часто игнорируемый, но очень важный этап. Ниже у нас будет возможность проиллюстрировать насущность погружения в исследуемую категорию. После инструктажа кодировщики переходят к практическим занятиям, на которых 1) им показывают образцы объявлений, отобранных для кодировки; 2) которые они кодируют в соответствии с полученными инструкциями; З) по результатам практической работы проводится обсуждение возникших проблем, оценивается качество кодировки и, при необходимости, проводится дополнительный тренинг.

 

Этап 8. Пилотаж и коррекция плана исследования

 

Любой план может быть усовершенствован или скорректирован. Не является исключением и контент- анализ, в котором обязательной стадией является пилотаж кодового плана. Предметом пилотажа является усовершенствование категорий, размерностей, кодировочных листов и инструкций кодировщикам. Обычно пилотаж проводится после обучения кодировщиков на одном и том же наборе объявлений.

 

А. Кутлалиев

А. Попов

 

Рассмотрим гипотетическую ситуацию. Три кодировщика проанализировали 10 рекламных объявлений и отнесли их к той или иной размерности некой категории (табл. 11.5)

 

 

Как видно, размерности 1 и 2 хорошо определены: у кодировщиков -е возникло разногласий но по поводу того, какие объявления отнести к этим размерностям. Однако для размерностей З и 4 мнения кодировщиков е совпали, причем весьма кардинально. Следовательно, дефиниции размерностей З и 4 должны быть пересмотрены до начала основного анализа.

Вторая задача, которую решает пилотаж, — это оценка степени готовности самих кодировщиков. При затруднении кодировки той или иной категории возможен дополнительный тренинг отдельных кодировщиков. Пр. систематическом несовпадении мнения одного из кодировщиков с остальными он может быть полностью исключен из процесса кодировки.

 

Этап 9. Кодирование собранного материала

И оценка валидности данных

 

Обучи в персонал и отладив кодовый план, можно проводить кодировку основной выборки рекламных объявлений. После того как этот процесс завершен, необходимо оценить надежность кодировки. Под надежностью (достоверностью) в контент- анализе понимается высокая вероятность того, что два и более кодировщика, работая независимо друг от друга, присвоили одни и те же коды одним и тем же элементам в каждом из проанализированных рекламных объявлений. данный тип надежности, называемый

межкодировочной надежностью, может вычисляться по разным метода - должен быть обязательно проверен до анализа полученных данных. Низкий уровень вычисленной надежности свидетельствует о том, что полученным доверять нельзя.

 

Глава 11.

Контент- анализ рекламы

 

0. Холсти¹ для вычисления межкодировочной надежности для номинальных категорий рекомендует крайне простую формулу:

(34)

где R — показатель надежности (Reliability), М — общее количество совпавших кодовых элементов у двух кодировщиков, N₁, N₂ — общее количество закодированных элементов у 1-го и 2-го кодировщика соответственно. Например, если в 80 случаях из 100 мнения кодировщиков совпали, то надежность по Холсти составляет:

 

 

Как dидно, метод понятный, простой в вычислениях, однако имеющий тенденцию завышать надежность кодировки, так как не учитывает, что коды могут совпасть и случайно. допустим, у нас категория имеет две размерности (да — нет). Нетрудно видеть, что, закодировав выборку два раза (имитируя работу двух кодировщиков) с помощью генератора случайных чисел, мы получим надежность, равную примерно 50%. для решения этой проблемы  существуют и другие, более сложные формулы. Однако и они не универсальны, поскольку чувствительны к другим аспектам кодировки. Например, в π –индексе² надежность вычисляется с коррекцией на случайные совпадения:

 

 

(35)

 

где π — оценка надежности, К₀ — процент наблюдаемых совпадений кодировщиков, К_е  процент ожидаемых совпадений. Недостаток данного индекса состоит в его чувствительности к виду распределения закодированных элементов. Хотя методика его подсчета крайне проста: на первом этапе вычисляется процент ожидаемых совпадений, далее по формуле Холсти вычисляется процент наблюдаемых совпадений. Подставляя эти величины в формулу, мы и получим i-индекс. Например, в нашем гипотетическом примере с чистящими средствами основные рекламируемые выгоды распределились следующим образом (%):

 

А. Кутлалиев

А. Попов

• цена—ЗО,

• соотношение цена/качество — 25,

• чистящие способности — 15,

• концентрация — 10,

• другое — 10,

• не обнаружено — 10.

Тогда процент ожидаемых совпадений равен 0,205 (0,30² + 0,25² + О,15² + 0,10² + 0,10² + 0,10² = 0,205), а процент наблюдаемых совпадений возьие из предыдущего примера — 80%. Тогда:

 

Перро и Лей¹ разработали другой подход к коррекции межкодировочной надежности. Эта формула также не свободна от недостатков, в частности, она зависит от количества размерностей в категории. В каноническом виде она выглядит следующим образом:

 

(36)

 

где F₀ — количество совпавших кодовых элементов, N — общее количество кодовых элементов, к  — количество размерностей в категории. Например взяв предыдущие данные, мы получим F₀= 80,  N = 100, к = 6. Оценка надёжности по Перро — Лею составит:

 

 

Но, пожалуй, одной из наиболее часто применяемых мер согласия является «каппа Коэна» (Cohen’s kappa)², вычисляемая по формуле:

 

(37)

где π_ij — вероятность того, что кодировщик 1 закодирует объект раз-

 

Глава 11.

Контент- анализ рекламы

мерностью i, а кодировщик 2 закодирует этот же объект размерностью. Или, другими словами, это разность между долями согласных и несогласных ответов, деленная на разность между 1 и долей несогласных ответов:

 

(38)

 

Понятно, что каппа Коэна может изменяться от 1 (полное согласие двух

кодировщиков в оценке объектов) до -1 (полное несогласие). Особый случай, когда каппа равна 0. Это означает, что с таким же успехом можно было

бы попросить оценить объекты два генератора случайных чисел.

Все вышеприведенные формулы предназначены для номинальных категорий, и все в той или иной мере используются в контент- анализе. Но, независимо от используемой формулы, приемлемым считается уровень надежности не менее 80%.

для оценки надежности порядковых и интервальных категории используются обычные корреляции и ранговые корреляции. Однако здесь существует опасность ошибки при оценке надежности, связанная с тем, что корреляционные коэффициенты указывают направление связи, ничего не говоря о самих значениях. Предположим, мы оцениваем по 5-балльной шкале уровень эмоциональных мотиваций в рекламе, где 1 — «полное отсутствие эмоциональных мотиваций», а 5 — «наличие только эмоциональных мотива-

ций» (табл. 11.6):

 

 

Считаем коэффициент ранговой корреляции. Получаем +1.0, надежность стопроцентная, хотя даже на глаз видно, что кодировщик 1 гораздо

ниже оценивает наличие эмоциональных мотивов в рекламе.