Тема 2. «Количественные и качественные экспертные оценки».

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т. е. должна иметься воз­можность оценки любого рассматриваемого объекта эксперти­зы по каждому из критериев.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объек­тов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально - числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собст­венности, "имидж фирмы", "социальная значимость проекта" и другие, могут быть измерены лишь субъективно.

Многие из объективных крите­риев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объ­емы производства продукции, которые станут возможными по­сле реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания яв­ляется формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к со­вокупности критериев, включаемых в состав оценочной сис­темы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную про­цедуру. Это могут быть 2—3-туровые экспертизы, когда пред­варительно сформулированный перечень критериев уточняет­ся экспертами.

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим мо­жет быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной систе­мой.

Оценочные системы

Значительная роль при проведении процедур многокритери­ального экспертного оценивания принадлежит оценочным системам.

Приведем их описание.

Структура оценочной системы

Оценочная система, используемая при многокритериаль­ном экспертном оценивании, включает такие важные состав­ляющие, как:

§ перечень критериев, характеризующих объект принятия управленческого решения;

§ оценка сравнительной важности критериев;

§ шкала для оценки проектов по критериям;

§ формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечис­ленных выше составляющих либо недостаточное качество ка­кой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

 

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

 

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.