Общие факторы, влияющие на выбор экспертов

 

Выбор экспертов - сложная задача по следующим условиям.

1. Сложно учесть многообразие свойств эксперта, которые учитываются пока еще неудовлетворительными существующими методами (для групповых решений, по компетентности и др.).

2. Недостаточная изученность психофизиологических особенностей человека, что может существенно влиять на результаты оценок (по Котлеру, например, экспертов разделяют на «интуиционистов», «формалистов». Но! Не учитывают, например, степень склонности к риску, предпочтение к численным значениям вероятностей и др.).

3. Противоречия, вызванные стремлением экономии расходов на экспертизу и использованием экспертов в узком диапазоне оценок влияния отдельных факторов.

4. Отсутствие решения проблемы оценки качества экспертов, для чего нужно четко знать свойства, которыми оно определяется.

Свойства экспертов можно представить в виде следующей иерархической классификационной структуры.

Качества эксперта зависят от:

* компетентности,

* заинтересованности,

* деловитости,

* объективности (беспристрастности).

а) Компетентность разделяют на:

· профессиональную,

· квалиметрическую.

б) Заинтересованность в результатах экспертизы может быть:

· для их использования в работе,

· для повышения компетентности.

в) Деловитость характеризуют:

· собранность,

· контактность,

· обладание мотивацией.

г) Объективность при:

· самостоятельном назначении оценок,

· корректировании своих оценок в условиях поступления информации от других экспертов.

Свойства, перечисленные в пунктах а), б), в) и г), имеют сильную, среднюю или слабую связь, влияющую на следующие коэффициенты оценки качества экспертов:

* самооценки (К_САМ.),

* коллективной оценки компетентности эксперта (К_КОЛ.),

* оценки компетентности эксперта рабочей группой (К_Р.Г.),

* оценки отклонения компетентности эксперта от средней оценки по группе (статистическая оценка) (К_О.С.),

* оценки воспроизводимости экспертной оценки, если опрос повторяют в течение нескольких туров (К_В.Р.).

Таким образом, анализируя природу этих коэффициентов, можно увидеть, что методы оценки качества экспертов разделяют на:

1) Эвристические, которые назначают эксперты и подразделяют на:

· самооценка,

· взаимная оценка,

· оценка аргументированности и знакомства с оцениваемым фактором (вариант самооценки),

· оценка рабочей группой.

2) Статистические оценки, которые получают в результате обработки суждений других экспертов и подразделяют на:

· оценка по отклонению от среднего мнения экспертной группы,

· оценка объективности (беспристрастность).

3) Тестовые оценки, которые получают в результате специальных испытаний экспертов и подразделяют на:

· оценка воспроизводимости результата,

· оценка квалиметрической компетентности,

· оценка объективности корректировки своих оценок (отсутствие конформизма).

4) Документальные оценки, которые основаны на результатах анализа документальных данных об экспертах; их подразделяют на:

· оценка компетентности по отдельным документальным данным,

· оценка компетентности по служебному статусу.

5) Комбинированные оценки, полученные с использованием любой совокупности вышеперечисленных методов.

 

 

Самооценка экспертов

 

Анализируя этот метод, сделаем допущение, что самооценка достаточно правильно отражает истинное качество эксперта.

В этом случае эксперт сам оценивает свой профессиональный уровень. Это требует от него квалифицированного знания особенностей рассматриваемой проблемы.

Установлено, что точность усредненной экспертной оценки тем выше, чем выше среднее значение самооценки членов группы. Поэтому в состав экспертной группы рекомендуется брать специалистов с высокими значениями самооценки.

Однако при самооценке возникают следующие недостатки:

* на самооценку влияют психологические особенности эксперта, в зависимости от его степени удовлетворенности,

* на самооценку влияет понимание им оценочной шкалы, т. к. эксперты по-разному оценивают свои качества.

Для решения задач применяются не всегда одинаковые подходы.

Так, например, при экспертном анализе качества товаров самооценку эксперта рекомендуется определять следующим образом.

1. Эксперт заполняет анкету самооценки (таблица 3.1), которая характеризует регулярность чтения и степень знакомства с продукцией.

 

Таблица 2.1. Качественная самооценка эксперта.

 

	Регулярность чтения
Источники информации	Часто и регу- лярно	Часто, но не регу- лярно	Ред- ко	Не чи- таю
	Отечественная литература по производству и потреблению оцениваемой продукции.		+
	Зарубежная литература по производству и потреблению оцениваемой продукции			+
	Патентная информация.	+
	Фирменная информация (каталоги, проспекты и др.)	+
	Степень знакомства (участия)
Характер знакомства (участия)	Высо- кая	Сред-няя	Низ- кая	От- сут- ству- ет
	Знакомство с образцами продукции на выставках, показах, заводах и т. д.	+
	Непосредственное знакомство с вопросами производства и потребления продукции за рубежом (симпозиумы, командировки, и т. д.).			+
	Знакомство с результатами социологических опросов о требованиях потребителей к качеству продукции.				+
	Участие в проведении социологических опросов о требованиях потребителей к качеству продукции.				+

2. Самооценку вычисляют по формуле В. М. Глушкова

/2.1/

где - самооценка j-го эксперта;

- оценка, зависящая от степени информированности и степени знакомства с продукцией, определяемая по данным таблицы 3.1.

M_i - весомость показателей информированности и знакомства с продукцией, определяемая по следующей таблице.

 

Таблица 2.2. Количественные значения самооценок в зависимости от M_i и К_i

	Факторы, влияющие на самооценку эксперта	Веспоказателя	Оценка в зависимости от степени информированности и знакомства с продукцией
		Mi	Кi=10	Кi=7,5	Кi=2,0	Кi=0
	Источники информации	-	Читаю часто и регу- лярно	Читаю часто, но не регу- лярно	Чи- таю ред-ко	Не чи- таю
	Отечественная литература по производству и потреблению оцениваемой продукции.	0,10		0,75
	Зарубежная литература по производству и потреблению оцениваемой продукции.	0,20			0,4
	Патентная информация.	0,15	1,5
	Фирменная информация (каталоги, проспекты и др.).	0,10	1,0
			Степень знакомства (участия)
	Характер знакомства (участия)		Высо- кая	Средн-яя	Низ- кая	От-сут-ству-ет
		Mi	Кi=10	Кi=7,5	Кi=2,0	Кi=0
	Знакомство с образцами продукции на выставках, показах, заводах и т. д.	0,12	1,2
	Непосредственное знакомство с вопросами производства и потребления продукции за рубежом (симпозиумы, командировки, и т. д.).	0,14			0,28
	Знакомство с результатами социологических опросов о требованиях потребителей к качеству продукции.	0,09
	Участие в проведении социологических опросов о требованиях потребителей к качеству продукции.	0,10

Значения изменяются от 0 до 10, а , поэтому

В данном конкретном случае .

2.6.3. Взаимооценка экспертов (коллективная взаимная оценка)

 

Взаимная оценка представляет собой среднее значение оценки эксперта из оценок, назначенных всеми другими экспертами.

Первый путь таков, когда каждый эксперт назначает количественную оценку своему коллеге. Затем определяется средняя оценка по каждому эксперту.

Такой подход основан на обстоятельстве того, что существует непосредственная связь между компетенцией специалиста и усредненной оценкой, которую он получает от своих коллег по работе. Метод оправдан при не большом количестве экспертов (N<15 человек) или, если в рассматриваемом коллективе не существует групп, которые специально предусматривают искусственное формирование завышенных приоритетов одних- и занижение других членов этого коллектива.

Второй путь, при большом количестве экспертов (N³15), предусматривает следующие процедуры:

1. Каждый эксперт формирует всех экспертов допустим в 3 группы и назначает им уровни квалификации: выше средней, средней и ниже средней.

2. Затем эксперт ранжирует экспертов каждой подгруппы (от 1 до m), где m - число экспертов в подгруппе, значение которого должно быть не более 50% от общего состава группы.

3. Каждому эксперту присваивается оценка с учетом назначенного диапазона изменения оценок в рассматриваемой подгруппе (в рамках 1...10, с точностью до 1,0 ил 0,5 балла).

4. На основе полученных оценок формируется матрица и определяется средняя оценка по каждому эксперту.

/2.2/

где средняя взаимная оценка i -го эксперта;

- оценка, представленная i -му эксперту j -вым;

n₁ - число экспертов, оценивающих i -го эксперта. Если какой-то эксперт плохо знает кого-то из своих коллег, то он может сделать прочерк, поэтому считают, что в любом случае при экспертизе должно быть n₁ ³ 0,5 n.

Расчеты выполняют в табличной и матричной форме. Ниже приведен пример заполнения анкеты и определения взаимной оценки одним из экспертов

Пример заполнения анкеты и определения взаимной оценки экспертов

		Квалификация	Ранги по группам	Оценки экспертов
№	Ф.И.О. экспер-тов	> ср. 8-10	ср. 4-7	< ср. 1-3	> ср. 8-10	ср. 4-7	< ср. 1-3	> ср. 8-10	ср. 4-7	< ср. 1-3
1.		+
2.			+						5,5
3.		+
4.			+						5,5
5.			+
6.			+
7.				+
8.		+						9,5
9.				+
10.			+						6,5

Затем составляют матрицу оценок и среднюю оценку по каждому эксперту.

Считают, что для экспертизы можно допускать экспертов, средний уровень которых не ниже 6 по шкале 0...10.

Кроме того, необходимо проверить экспертную группу на согласованность.

Этот метод заключается в следующем.

1) Каждый эксперт дает оценку другим своим коллегам.

2) Определяют сумму баллов для каждого объекта

, /3/

где a_ij - ранг i -го эксперта.......у j- го объекта.

3) Подсчитывают среднюю сумму баллов по выражению:

/4/

4) Вычисляют математическое ожидание оценок по всей матрице данных

/5/

5) Определяют среднее квадратическое отклонение (стандарт) по зависимости:

/6/

6) Вычисляют коэффициент вариации по зависимости:

. /7/

По существующему опыту считают, что если:

V = менее 0,10 - согласованность высокая;

V = 0,11... 0,15 согласованность выше средней;

V = 0,16... 0,25 - согласованность средняя;

V = 0,26... 0,35 - согласованность экспертов ниже средней;

V = более 0,36- согласованности нет.