Оценочные системы. Обобщенные критерии. Шкалы.

Значительная роль при проведении процедур многокритериального экспертного оценивания принадлежит оценочным системам.

Структура оценочной системы

Оценочная система, используемая при многокритериальном экспертном оценивании, включает такие важные составляющие, как:

§ перечень критериев, характеризующих объект принятия управленческого решения;

§ оценка сравнительной важности критериев;

§ шкала для оценки проектов по критериям;

§ формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечисленных выше составляющих либо недостаточное качество какой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

Остановимся подробнее на каждой из составляющих оценочной системы.

Определение сравнительной важности критериев

Когда альтернативы оцениваются не по одному, а по нескольким факторам, признакам, критериям, сложность анализа и обработки результатов экспертиз существенно возрастает.

Более трудоемким становится определение их сравнительной предпочтительности, предполагающее знание того, какие критерии и в какой степени влияют на оценку альтернатив при выработке и принятии управленческих решений как при сравнительных оценках альтернатив, имеющих явно выраженный количественный характер, так и при их качественных оценках.

После выявления критериев, определяющих оценки альтернатив, часто возникает задача формирования обобщенного критерия, с помощью которого можно рассчитать оценки альтернатив по оценкам значений частных критериев.

Далее будут более детально рассмотрены методы формирования линейных обобщенных критериев и обобщенных критериев более сложного вида. В их основе лежат различные предположения о природе обобщенных критериев и характере анализируемой информации.

Шкалы

Это даже необязательно должны быть количественные измерения в привычном для нас понимании. Это могут быть и каче­ственные оценки, позволяющие судить о происходящих изменени­ях, об их динамике.

Поэтому, когда мы говорим об оценках экспертов, мы по­нимаем под этим количественные или качественные измере­ния соответствующих показателей.

Отметим сразу, что экспертные измерения, т. е. оценки, которые даются экспертами при выработке и принятии управ­ленческих решений, обладают некоторыми особенностями.

Обсудим их более подробно. Для этого нам придется вспомнить основные положения теории измерений. Любое измерение производится, как правило, в определен­ной шкале. Например, если мы измеряем температуру, то обя­зательно производим это либо в шкале Цельсия, либо в шка­ле Фаренгейта, либо в шкале Кельвина и т. д.

Один и тот же объект в один и тот же момент времени в од­ной и той же точке пространства имеет, естественно, опреде­ленную температуру, которая, будучи измерена в различных шкалах, даст различные численные значения.

Измерения веса также могут производиться в различных шкалах, но между шкалами,в которых измеряется температу­ра, и шкалами, в которых измеряется вес, есть одна сущест­венная разница.

Если для второго типа шкал значение имеет только отно­шение значений веса измеряемых объектов, то для первого ти­па шкал к этому добавляются и различные точки отсчета. Более детальное изложение основ теории измерений чита­тель может найти в работе [3].

Характер произведенных экспертных измерений необходи­мо принимать во внимание и при проведении процедур экс­пертного оценивания, выработке и принятии управленческих решении, определении коллективных решений.

Эксперты должны однозначно понимать, что именно и в какой шкале они оценивают, чтобы избежать ситуаций, когда эксперты оценивают один и тот же показатель, характеризую­щий объект исходя из различных предпосылок.

В зависимости от целей экспертизы эксперты могут оцени­вать стоимость объекта, ожидаемую инфляцию, ожидаемые изменения валютного курса, степень удовлетворительности достигнутого уровня по тому или иному показателю, приори­тетность финансирования, кредитные лимиты, устойчивость фирмы, рейтинг банка и т. д.

Оцениваемые показатели, как и объекты оценки, достаточно разнообразны. Если эксперт должен оценить значение количественного показателя, он может это сделать, указав соответствующее численное значение либо интервал, в котором, по его мнению лежит значение оцениваемого показателя.

При коллективной экспертной оценке значения показате­ля, указанные экспертами, либо усредняются, либо обрабаты­ваются с помощью других специальных методов.

Могут использоваться также различные методы получения экспертной информации — методы экспертных измерений, которые мы обсудим ниже.

Если критерии, по которым оцениваются проекты, носят экономический характер и измеряются в рублях (долларах), годах (месяцах), процентах и т. д., то мы, как правило, поль­зуемся соответствующими общеизвестными шкалами.

Однако нередко при оценивании проектов возникает необхо­димость в использовании критериев, оценки по которым могут быть получены лишь с помощью специально разрабатываемых вербально-числовых шкал.

Вербально-числовые шкалы применяются преимущественно в тех случаях, когда оценки по критерию носят субъективный ха­рактер.

Например, субъективный характер, в основе которого опыт и знания эксперта, носят оценки степени риска, ожидаемой конкурентоспособности продукции, сравнительной значимо­сти того или иного фактора и многие другие.

Смысл вербально-числовых шкал в том, что они позволяют измерить степень интенсивности критериального свойства, имеющего субъективный характер.

В состав вербально-числовых шкал входят, как правило, содержательное описание градаций шкалы и числовые значения, соответствующие каждой из градаций шкалы.

В качестве примера вербально-числовой шкалы, имеющей достаточно широкое применение, мы приведем шкалу Харрингтона, характеризующую степень выраженности критериального свойства и имеющую универсальный характер (табл. 5.1). Отметим, что численные значения градаций шкалы Харрингтона получены на основе анализа и обработки большого массива статистических данных.

Однако при оценке объектов принятия управленческих решенийпо критериям, допускающим лишь субъективную оценку специалистов, целесообразны разработка и использо­вание специальных шкал, отражающих специфику того или иного критерия, той или иной группы объектов при выработ­ке и принятии управленческого решения.

Таблица 5.1. Вербально-числовая шкала Харрингтона

№ п/п	Содержательное описание градаций	Численное значение
	Очень высокая	0,8- 1,0
	Высокая	0,64-0,8
	Средняя	0,37 - 0,64
	Низкая	0,2 — 0,37
	Очень низкая	0,0 — 0,2

 

Можно использовать следующую процедуру для формиро­вания вербально-числовых шкал, специально предназначен­ных для оценки проектов по критериям, для которых обще­принятые вербально-числовые шкалы отсутствуют.

Формирование вербально-числовой шкалы можно разбить на два этапа:

§ выбор градаций (делений) шкалы,

§ определение численных значений градаций шкалы.

Очень важно при определении набора градаций шкалы вы­брать такие,содержательные интерпретации которых одинако­во или почти одинаково (с незначительными разногласиями, не превышающими заданного порога) принимаются всеми экспертами, участвующими в выработке управленческих реше­ний.

Для получения численных значений, соответствующих со­держательно описанным градациям шкалы, могут быть ис­пользованы специальные методы. Ознакомиться с алгоритма­ми формирования вербально-числовых шкал можно, напри­мер, в работе [3|.

Таким образом, нами рассмотрены основные проблемы формирования оценочной системы, предназначенной для вы­работки и принятия управленческих решений.

Самостоятельный интерес при формировании оценочной системы представляет определение принципа принятия реше­ния, на основании которого по значениям критериев оценен­ных альтернативных вариантов решений устанавливается их сравнительная предпочтительность.

Некоторые методы и правила определения принципа при­нятия решений — выбора наиболее предпочтительного альтернативного варианта — уже были обсуждены.