Понятие надежности теста и его виды.

Надежность теста – хар-ка психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость результатов исследования к действию посторонних случайных факторов.

Методически надежность психодиагностической методики определяется как степень согласованности результатов, получаемых при:

а) первичном и вторичном применении методики у одних и тех же испытуемых в различные моменты времени (т.н. ретестовая, или диахронная надежность);

б) одновременном использовании разных, но сопоставимых по характеру наборов заданий (одномоментная, или синхронная надежность);

Наряду с надежностью целой методики различают также надежность отдельных пунктов, из которых она состоит.

Причины ошибок: отклонения от стандартного проведения; неточность в процедуре обработки; применение методики вне пределов ее валидности, эмоциональное состояние испытуемых; отвлекающие факторы, климатические условия, недостаточная мотивация.

Ни одна из существующих психодиагностических методик не является идеальной с точки зрения надежности.

.

r_t - коэффициент надежности методики.

При большом количестве повторных тестирований средние величины индивидуальных баллов образуют своё распределение, характеризуемое стандартной ошибкой мат. ожидания.

Вывод:Чем ниже надежность методики,т.е.чем выше дисперсия ошибки=> темшире доверит.интревал т тем ниже дифференц.способность методики.(способность различать испытуемых по заданному св-ву.)

Для дифф.способности методики необходимо оценить ошибку измерения,обусл.индивид.разбросом.

Относительная доля дисперсии ошибки δ – отношения дисперсии ошибки к общей дисперсии – легко определяется из формулы Рюлона:

.

Для увеличения надежностиисп. стандартизация процедуры обследования,кот.сниж.дисперсию ошибки.

 

Вопрос 39.

РЕТЕСТОВАЯ НАДЕЖНОСТЬ МЕТОДИКИ. ПРОЦЕДУРЫ ЕЕ ОПРЕДЕЛЕНИЯ.

РН - психодиагностической методики вычисляется по соответствию результатов первичного и повторного обследований той же выборки испытуемых (обычно через две недели после первого замера).

Коэффициент надежности r_t соответствует коэффициенту корреляции между результатами первого обследования и ретеста. При использовании интервальных -коэффициент корреляции Пирсона, а для порядковых шкал — коэффициенты ранговой корреляции Спирмена или Кендалла.

Ретестовая надежность показывает, в какой степени результаты методики можно распространить на различные случаи ее применения. Чем выше ретестовая надежность, тем менее чувствительны результаты к обычным изменениям состояния испытуемого и обстановки тестирования.

Разумеется, требование ретестовой надежности является корректным лишь по отношению к таким психическим характеристикам индивидов, которые сами являются устойчивыми во времени.

«+» ретест.надежности: простота процедуры.

«-» ретест.надежности: 1) Фактор тренировки. 2)Запоминание испытуемыми отдельных решений и воспроизведение при ретесте.3)Эффект переноса. Повторное проведение методики может привести к изменению ее природы. В первую очередь =>упускается момент решения.

Вывод: не для каждой психодиагностической методики имеется возможность определения ретестовой надежности.

Для коррекции завышения эмпирических значений балльных оценок применяется формула

,

где х _∞ – истинный балл; х – эмпирический балл испытуемого; r_t – эмпирически измеренная надежность методики; М_t – мат. ожидание шкалы измерения.

Для стандартных шкал имеем:

;

.

Вывод: существует не один, а большое количество коэффициентов ретестовой надежности одной и той же психодиаг.методики.

 

Вопрос 40.

Одномоментная надежность методики. Процедуры её определения.

Способ определения одномоментной надежности состоит в коррелировании сопоставимых форм методики.

Одномоментные методики -это серии заданий,и.возможность приведения одних показателей к др. с помощью спец.коэф-тов или таблиц эквивалентности.

3варианта вычисления одномоментной надежности:

1) метод параллельных форм,

2) метод расщепления

3) метод анализа согласованности ответов по всем пунктам методики (метод Кьюдера-Ричардсона).

1)Метод параллельных форм - использование взаимозаменяемых вариантов, соответствующих друг другу по основным характеристикам (объективности, надежности, валидности, трудности и дискриминативности). (снижает вероятность обмана, присутствует фактор тренировки).

Вывод: относительная трудность двух параллельных форм методики может меняться от одного индивида к другому под действием факторов, связанных с прошлым опытом различных испытуемых.

Метод расщепления методики - выполнение испытуемым заданий двух равноценных частей методики. Надежность, найденная методом расщепления, является мерой согласованности выборок содержания.

Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы пунктов.

2)Способы разделения на 2 части:

1) разделение пунктов методики на "четные" и "нечетные"; (если задания целиковые, то делить нельзя; также при разделении на четные и нечетные необходимо произвести ранжирование по степени сложности заданий. 2) распределение заданий по времени решения каждой из частей методики

После расщепления методики на две половины отдельно по каждой части вычисляются:

1)общее кол-во пунктов2)суммарные баллы отд.по каждой части3) Дисперсии4)Коэф-т корреляции5)Коэф-т надежности

Если Дисперсии 2-х частей =, то индекс ОднН. вычисляется по формуле Спирмена-Брауна:

,

где r – коэффициент корреляции между 1-й и 2-й частями методики.

Если Дисперсии не равны, то в случае больших выборок (>100) следует пользоваться формулой Фланагана,

а в случае малых выборок (<100) – формулой Кристофа:

3)Процедура определения согласованности выполнения заданий теста была разработана в 1937 г. американскими психологами Джорджем Кьюдером и М.В. Ричардсоном. Такова известная формула KR ₂₀:

где KR ₂₀ – традиционное обозначение для получаемого коэффициента надежности всего теста;

s ² – дисперсия суммарных показателей по всему тесту;

n – число пунктов (заданий) теста;

p_i и q_i – доля испытуемых, соответственно справившихся и не справившихся с i -заданием:

Здесь N ₊ – число испытуемых, ответивших "верно", N – объем выборки.

Подведем итог рассмотрению надежности целой методики.

Различные типы надежности отличаются друг от друга тем, какие факторы взяты в качестве источников дисперсии ошибки.

Любой коэффициент надежности можно интерпретировать непосредственно в процентах дисперсии показателей. Причем суммарную дисперсию ошибки можно разложить на отдельные составляющие.

Вопрос 41.

Надежность отдельных пунктов теста. Процедуры её определения.

Надежность целой тестовой методики обеспечивается надежностью пунктов, из которых она состоит. До включения в методику отдельный пункт должен быть оценен с точки зрения объективности, валидности, устойчивости, силы / трудности и дискриминативности.

Объективность пункта методики устанавливается экспертами-психологами. (не менее трех)

Экспертная оценка объективности каждого пункта предполагает его анализ с точки зрения:

§ соответствия концепту (соответствует – частично соответствует – не соответствует);

§ однозначности формулировки вопроса / задачи (однозначно – не совсем однозначно – не однозначно);

§ пригодности вариантов ответа (подходит – частично подходит – не подходит).

Во время анализа надо учитывать, что если пункт хотя бы в 20 % случаев оценивается как "частично соответствует концепту", то его следует признать непригодным для использования в методике. В сомнительных случаях путем опроса экспертов нужно уточнить мотивировку оценок отдельных пунктов.

Валидность. Задача считается валидной, когда в соответствии с критерием она чаще всего правильно решается теми испытуемыми, у которых измеряемый признак более выражен, чем у других.

Устойчивость. Пункт является устойчивым, если при его повторном предъявлении он вызывает у испытуемого эквивалентную первому предъявлению реакцию.

Для дихотомических пунктов (типа "решил – не решил", "согласен – не согласен", "да – нет") устойчивость измеряется с помощью четырехклеточной матрицы сопряженности:

 

	Тест 2
Да	Нет
Тест 1	Да	а	b
Нет	c	d