Оценка качества экспертов персоналом рабочей группы.

Цель этой экспертизы - получить количественную характеристику заинтересованности эксперта в данной работе, оценить его собранность и активность в ходе опроса (К_РГ). Эту оценку дают технические работники, которые проводят опрос.

В этом случае применяют также 10-бальную шкалу.

Члены рабочей группы, уполномоченные для этой цели, дают оценку персонально каждому эксперту. Затем определяют усредненную оценку по каждому эксперту.

 

5. Статистические оценки качества экспертов.

Среди множества статистических методов определения качества экспертов, наиболее применимым является метод оценки по отклонению от среднего мнения экспертной группы, считая это мнение за истинное значение. В этом случае определяют дисперсию или стандарт согласно теории случайных процессов, как это сказано выше.

При оценке качества продукции несколько другим по форме является метод, основанный на использовании «коэффициента конкордации». Суть этого метода заключается в следующем.

1. Каждый эксперт ранжирует все объекты, параметры, исследуемых экспертов и т.п. Каждому объекту… присваивает свой уровень, находящийся в рамках общего количества объектов. Например, если пять объектов, то ранжирование осуществляют в пределах от 1 до 5, а если семь объектов, то от 1 до 7 и т.д.

Причем эксперт может присвоить нескольким объектам одинаковый ранг, но при этом сумма рангов не должна превышать их потенциальное значение. Например, из пяти объектов эксперт хочет первым трем дать одинаковые оценки. Тогда он может дать им ранги 2, 2, 2, 4 и 5, т.е. в сумме количество рангов равно должно быть равно 15 = 1+2+3+4+5:

а_1j, a_2j, a_3j,......., a_nj

2. Затем определяют сумму рангов, полученную каждым объектом ,

где m – число экспертов;

n – число объектов, показателей, исследуемых экспертов и т.п.;

3. Вычисляют среднюю сумму рангов для всех объектов по выражению:

 

4. Определяют сумму квадратов отклонений рангов по формуле:

5. Вычисляют значение коэффициента конкордации, который при строгом ранжировании (в условиях отсутствия одинаковых рангов) равен:

,

Коэффициет конкордации позволяет характеризовать степень согласованности мнений специалистов.

Если эксперты присваивают одинаковые ранги двум или более объектам (экспертам), то имеет место нестрогое ранжирование и тогда значение коэффициента конкордации вычисляют по следующей зависимости:

,

где - число одинаковых рангов в i – ранжировании у j го эксперта.

При 0 £ W_N £ 1,0 отсутствует полная согласованность между экспертами.

При W_N = 0 отсутствует какая-либо согласованность между экспертами.

При W_N = 1,0 имеется полная согласованность между экспертами.

 

Таблица. Определение значения коэффициента конкордации при строгом ранжировании

 

Объекты, n	Эксперты, m
						å aij
	L=21

 

Статистическую значимость ранжировки, проведенную экспертами, можно проверить по критерию Пирсона c², предполагая, что значение m (n-1) W имеет c -распределение с (n-1) степенью свободы.

Расчетное значение критерия при строгом ранжировании можно определить

по формуле:

Принимая значение доверительной вероятности (ошибки) равной 0,01 и имея величину степени свободы (n-1) = (6-1) = 5, по специальным таблицам, применяемым в статистике, определим .

При можно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

 

Приведем также в табличной форме пример определения значения коэффициента конкордации при не строгом ранжировании.

Объек-ты, n	Эксперты, m
						å aij
		2,5			5,5
	4,5				5,5
		2,5				1,5
		2,5					15,5	30,25
		2,5				1,5
	4,5						28,5	56,25
							L=21

 

 

Расчетное значение критерия при не строгом ранжировании можно определить по формуле:

Принимая значение доверительной вероятности (ошибки) допустим равной 0,01 и имея величину степени свободы (n - 1) = (6 - 1) = 5, по специальным таблицам, применяемым в статистике, определим .

При можно утверждать, что согласованность мнений специалистов не случайная и результаты экспертного анализа являются статистически значимыми.

Существуют и другие методы, например метод ранговой корреляции, который предусматривает определение корреляции между ранжировкой отдельного эксперта и средней ранжировкой.

 

Тестовые оценки

Тестовый метод основан на испытаниях, в процессе которых оцениваются некоторые психофизиологические особенности, от которых зависит качество эксперта.

Учитывая, что в настоящее время в экспериментальной психологии накоплен большой опыт по разработке тестовых задач (например, для профессионального отбора и профессиональной ориентации), тестовый метод является перспективным и при оценки качества экспертов.

Тестовые исследования проводятся специальными способами для:

- оценки воспроизводимости результата,

- оценки квалиметрической компетентности эксперта,

- оценки объективности корректирования своих оценок и др.

 

Документальные оценки

Существует много различных мнений по документальным оценкам. Предполагают учет следующих, документально подтвержденных факторов:

число лет работы,

количество публикаций,

профессиональный статус,

количество изобретений,

владение иностранными языками,

участие в конференциях, симпозиумах, крупных совещаниях,

возраст, состояние здоровья, работоспособность, физические недостатки и др.

Анализ этих факторов в настоящее время носит дискуссионный характер, поэтому существует мнение, что их можно оценить одним совокупным коэффициентом.

 

Комбинированные оценки.

Учитывая, что ни одна из вышеприведенных оценок не способна полностью охарактеризовать качество эксперта, предлагается вычислять комбинированные оценки, основываясь на следующих исходных данных:

Оценка должна быть комплексной, в зависимости от частных оценок.

В первую очередь следует учитывать три эвристические оценки (самооценка, взаимооценка и оценка рабочей группой) и две статистические (оценка отклонения от средней и оценка воспроизводимости результата.

Комбинированную оценку целесообразно определять по формуле:

К_Э = М_САМ К_САМ + М_ВЗ К_ВЗ + М_РГ К_РГ + М_ОС К_ОС + М_ВР К_ВР,

где М_i - значения весомости соответствующих частных оценок.

Проведенные опыты показали, что для получения достаточно приближенных данных можно воспользоваться следующей зависимостью:

К_Э = 0,14 К_САМ + 0,21 К_ВЗ + 0,13 К_РГ + 0,22 К_ОС + 0,30 К_ВР.

Для выбора лучших кандидатов в состав экспертной группы, при ее формировании (до начала экспертизы), можно воспользоваться упрощенной комбинированной оценкой:

К_Э = 0,4 К_САМ + 0,6 К_ВЗ.