Количественные и качественные экспертные оценки

Остановимся теперь на основных способах экспертных из­мерений — методах получения экспертных оценок, играющих во многих случаях определяющую роль при принятии важных управленческих решений.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, из­меряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объек­тов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Это может быть конкретное численное значение показателя для оцениваемого объекта, например стоимость жилой квартиры; цена единицы продукции, при которой она может иметь кон­курентоспособный спрос; предполагаемая емкость рынка; оп­тимальный объем производства и т. д.

Если эксперт затрудняется указать конкретное значение по­казателя, он может указать диапазон, в котором лежит значе­ние оцениваемого показателя.

Во втором случае, когда оценивается сравнительная пред­почтительность объектов по тому или иному показателю, ко­личественная оценка, указываемая экспертом, определяет сте­пень их сравнительной предпочтительности.

Заранее необходимо условиться, что, скажем, большее зна­чение оценки соответствует более предпочтительному альтер­нативному варианту. Иногда количественную оценку сравнительной предпочтительности объектов целесообразнее произ­водить в баллах, используя специально разработанные балль­ные шкалы.

Метод средней точки

Метод используется, когда альтернативных вариантов до­статочно много. Если через f(a1) обозначим оценку первого альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через f(a2) — оценку второго альтернативного вари­анта, то далее эксперту предлагается подобрать третий альтер­нативный вариант a3, оценка которого f(a3) расположена в се­редине между значениями f(a1) и f(a2) и равна f(a1) + f(a2)/2.

При этом в качестве первого и второго альтернативных ва­риантов целесообразно выбирать наименее и наиболее пред­почтительные альтернативные варианты.

Далее эксперт указывает альтернативный вариант a4, значе­ние которого f(a4) расположено посередине между f(a1) и f(a3), и альтернативный вариант a5, значение которого f(a5) располо­жено посередине между значениями f(a1) и f(a4).

Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтерна­тивных вариантов.

Метод Черчмена — Акофа

Метод Черчмена — Акофа используется при количествен­ной оценке сравнительной предпочтительности альтернатив­ных вариантов и допускает корректировку оценок, даваемых экспертами.

В методе предполагается, что оценки альтернативных вари­антов — неотрицательные числа, что если альтернативный ва­риант a1 предпочтительнее альтернативного варианта а2, то f(a1) больше, чем f(a2), а оценка одновременной реализации альтернативных вариантов a1 и а2 равняется f(a1) + f(a2)).

Все альтернативные варианты ранжируются по предпочти­тельности, и каждому из них эксперт назначает количествен­ные оценки, как правило, в долях единицы.

Метод лотерей

Согласно этому методу, для любой тройки альтернативных вариантов а1, а2, а3, упорядоченных в порядке убывания пред­почтительности, эксперт указывает такую вероятность p, при которой альтернативный вариант а2 равноценен лотерее, при которой альтернативный вариант a1 встречается с вероятно­стью р, а альтернативный вариант а3 — с вероятностью 1 — р.

Методы получения качественных экспертных оценок

Иногда специфика объектов экспертного оценивания тако­ва, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных ва­риантов к установленным и принятым к использованию клас­сам, категориям, уровням, сортам и т. д. (далее — классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объ­екты, заранее не определены. Может быть заранее не опреде­лено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь по­сле завершения процедуры классификации.

Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта.

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

- конкретной ситуации принятия решения;

- возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

- возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

- профессиональные знания;

- опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

1. Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

2. Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

3. Тестовые – подразумевают проведение специального испытания.

Правила:

• Тест должен быть специально разработан под конкретные объекты экспертной оценки
• Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту
• Должна быть разработана шкала для определения точности оценок, даваемых экспертом
• Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.

При разработке управленческих решений важно правильно оценить сложившуюся ситуацию и альтернативные варианты решении с целью выбора наиболее эффективного решения, соот­ветствующего целям организации и ЛПР.

Правильная оценка способствует достижению поставленных целей, в то время как ошибочная оценка и как следствие невер­но принятое решение затрудняют или вообще делают его невоз­можным.

Обсудим технологии оценивания при принятии управленческих решений. Оценочный процесс при принятии решений является пре­рогативой человека-управленца. Поэтому будем говорить прежде всего о технологиях экспертного оценивания, посколь­ку основным субъектом оценочного процесса в найдем случае чаше всего является высококвалифицированный специалиста области управления — эксперт.

А поскольку в разных случаях будут осуществляться оцен­ки достаточно широкого круга проблем, начиная от весьма разнообразных ситуаций, встречающихся в управленческой деятельности, и кончая не менее разнообразными альтерна­тивными вариантами управленческих решений, обсуждая ин­струментарий оценивания, будем говорить об объекте оце­нивания, или об объекте экспертизы.

В практике оценивания все большее значение приобретают многокритериальные оценки объектов экспертизы, которые во многих случаях обеспечивают получение более достоверной экспертной информации.

Действительно, во многих случаях объект характеризуется не одним критерием, а несколькими. Скажем, при оценке конкурентоспособности число таких критериев может дохо­дить до ста и более.

Наряду с термином "критерий" могут использоваться также термины "фактор", "показатель", "частный критерий" и т. д.

Если говорить о многокритериальном оценивании при при­нятии решений, то мы прежде всего хотим отметить связь, су­ществующую между критериями и целями.

Организация, ЛПР при принятии решений руководствуют­ся целями, которые они стремятся достигнуть. Каждой пели, как уже говорилось выше, должен соответствовать критерий, с помощью которого может быть оценена степень достижения цели. Так, например, если целью является обеспечение высокого качества выпускаемого предприятием изделия, то в роли интегрального критерия может выступать качество изделия, а в ро­ли частных критериев — показатели, характеризующие функ­циональные возможности изделия, экономические, экологи­ческие, эргономические, а также показатели надежности, без­опасности и др.

Естественно, что, оценив предварительно значения частных критериев для объекта, мы с большей достоверностью можем говорить об оценке качества объекта в целом.