Эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок.

Для уменьшения указанных недостатков рекомендуется применять взаимооценку только в тех группах, где большинство экспертов хорошо знают друг друга.

Оценка эксперта рабочей группой.

Цель этой оценки – дать в количественной форме характеристику (K pг) заинтересованности эксперта в участии в экспертизе и его собранности (внимательности) в ходе опроса.

Оценка дается техническими работниками, проводящими опрос экспертов.

При назначении оценок они исходят из отношения экспертов к выполняемой экспертизе и их активностиприобсужденииоценок.Оценку,определяемуюрабочейгруппойвыражаютв10-бальнойшкале.

Статистические оценки

Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Необходимость их обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах часто отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т.е. максимально приближенное к истинному.

На точность экспертной оценки влияют субъективные (зависящие от эксперта) и объективные (зависящие от методики оценки) факторы, воздействующие на процесс оценки как помехи. Возникающая под их действием погрешность оценки имеет случайную и систематическую составляющие. Если эксперт уделяет чрезмерное внимание, например, внешнему виду продукции, то он будет завышать коэффициент весомости эстетического показателя качества, т.е. в этом случае в его оценке постоянно присутствует погрешность. Вместе с тем если провести несколько независимых туров определения коэффициентов весомости, то результаты каждого эксперта в различных турах, как правило, будут отличаться, что вызвано наличием случайнойпогрешности.

Анализ причин появления погрешностей может позволить уменьшить их влияние, т.е. повысить точность оценки.

Случайная погрешность зависит от психофизиологических особенностей эксперта, его собранности, внимательности и т.д. Случайную погрешность экспертной оценки можно уменьшить многократным повторением оценок, однако, систематическая погрешность при этом останется неизменной, так как основная причина систематической погрешности – недостаточная или неправильная информированность эксперта. Повысить информированность можно, ознакомив эксперта с необходимой информацией перед началом экспертизы.

Различают следующие виды статистических оценок: оценка по отклонению от среднего мнения экспертной группы; оценка объективности эксперта.

Оценка по отклонению от среднего мнения экспертной группы – оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Индивидуальные экспертные оценки могут быть двух типов:

 

ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);

определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).

Оценка по отклонению от среднего мнения экспертной группы может быть выражена через

совокупность абсолютных отклонений

(x) и индивидуальной оценкой(хi)

(D i), рассчитанных как разница между средней групповой оценкой

 

D i = x - xi.

Оценка объективности эксперта является важной характеристикой его качества. В ряде случаев, например, при оценке конкретных образцов продукции, необъективность экспертов может привести к существенному искажению результатов. Однако пока еще нет специфических методов оценки объективности экспертов и на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S — сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п — число экспертов; m — число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример.

Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

 

Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл.

 

Решение.1. Среднее арифметическое рангов

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок.

Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы *. Характерными чертами ого метода являются: анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них; многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения.

Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения; контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов. *

Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

 

 

Тестовые оценки

Тестовый метод заключается в проведении испытаний, в ходе которых оцениваются некоторые психофизиологические особенности, от которых зависит качество эксперта.

Достоинством этого метода является возможность оценить многие качества, для чего другие методы и виды оценок неприемлемы. Недостаток его заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.

При проведении тестовых оценок к тестам предъявляются следующие требования:

понимания испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение;

вероятность случайного угадывания решения задачи должна быть близка к нулю; тестовая задача должна иметь точное решение.

Разновидностями тестовых являются оценки воспроизводимости результатов, квалиметрической компетентности эксперта, объективности корректирования своих оценок.

Оценка воспроизводимости результата – оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Применительно, например, к экспертному опросу, проводимому в несколько туров, это означает, что оценки, назначенные экспертом в последующем туре, должны быть достаточно близкими к аналогичным оценкам предыдущего тура. В этом случае можно говорить о малом значении случайностей погрешности экспертной оценки, т.е. о стабильности мнения.

Следует учесть, что промежуток времени между турами должен быть не велик, чтобы исключить влияние возможной новой информации, изменяющей его суждения, но в то же время достаточен, чтобы эксперт забыл данные оценки в предыдущем туре.

Оценка квалиметрической компетентности эксперта – оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем контроля знаний с использованием тестов в определенной области знаний.

Проверка умения проверять подразделяют на три типа: умение использовать разные типы оценочных шкал; умение определять субъективные вероятности;

умение различать достаточное число градаций оцениваемого свойства.

1 Умение использовать разные типы оценочных шкал (порядка, отношений, интервалов) очень важно, так как достаточно часто экспертные оценки проводятся путем ранжирования показателей качества товаров (например, вкус очень сладкий, сладкий, слабовыраженный, несладкий). Эксперты, не умеющие оперировать некоторыми видами шкал, должны быть отклонены на этапе формирования рабочихгрупп.

2 Умение определять субъективные вероятности – способность эксперта оценивать вероятность наступления определенных событий. Эта способность различна у разных людей. От эксперта требуется не только давать количественные оценки каким-то признакам экспертируемого им объекта, но и определять субъективную вероятность этихоценок.

Использование вероятностных характеристик проявляется и в том, что эксперты очень редко улавливают разницу между математическим ожиданием некоторой величины и ее наиболее вероятным значением.

Эксперты, у которых такая способность отсутствует, не должны привлекаться к экспертизам, связанным спрогнозированием.

 

3 Умение различать достаточное число градаций оцениваемого свойства – способность эксперта улавливать различия в интенсивности проявления каждого свойства. Понятно, что чем больше количество градаций шкалы способен различать эксперт при оценке каждого свойства, тем большей чувствительностью обладает эксперт к самым незначительным изменениям свойств и показателей объектов экспертизы. Например, при органолептическом анализе дегустаторов проверяют на умение выявить разницу во вкусах, запахах, оттенках цвета и т.д. Тренированный глаз эксперта может различить 30 оттенков белого цвета. От особенностиэкспертаразличатьградацииоцениваемогосвойствазависиттакжеточностьэкспертныхоценок.

Оценка объективности корректирования своих суждений – способность экспертов оценивать испытуемый объект независимо от оценок других экспертов, необходима для выявления отсутствия у эксперта конформизма.

Конформизм – это приспособленчество, отсутствие собственной позиции, некритическое следование общим мнениям.

При экспертной оценке конформизм играет отрицательную роль. Поэтому качество эксперта определяется также отсутствием у него этого свойства.

Для проверки применяют метод подставной группы, в задачи которой входит вынесение заведомо ложных

(неверных) суждений об испытуемом объекте.

Документальная оценка – оценка эксперта, основанная на документальном подтверждении соответствия его установленным требованиям: компетентности, независимости, практического стажа работы.

Документальные оценки лишь дополняют другие группы оценок качества эксперта и не играют самостоятельной роли. Связано это с двумя обстоятельствами:

1) большая часть факторов, влияющая на документальную оценку, в той или иной степени уже учитывается при взаимооценке и других частных оценках;

2) влияние факторов документальной оценки очень сильно зависит от области работы эксперта.

Так, кандидат в эксперты может занимать достаточно высокое служебное положение, но при этом не обладать индивидуальными качествами для экспертных оценок (например, не обладает сенсорной чувствительностью).

Комбинированные оценки – оценки, основанные на совместном использовании разных методов оценки качества экспертов.

Предыдущий анализ показал, что ни один из существующих методов эвристической, статистической, тестовой или документальной оценки сам по себе не может достаточно полно характеризовать качество эксперта.

Необходимость применения комплексных оценок качества экспертов объясняется разнообразием предъявляемых к ним требований, каждое из которых может быть оценено одним или несколькими методами. Однако не каждый применяемый метод позволяет дать количественную характеристику отдельных свойств эксперта. К тому же степень разработки и применимости предлагаемых методов неодинакова.

Из всех видов частных оценок на сегодняшний день достаточно разработаны и подготовлены к широкому применению на практике только три: эвристические оценки (самооценка, взаимооценка и оценка рабочей группой) и две статистические оценки (оценка отклонения от средней и оценка воспроизводимости результата).

Пять этих частных оценок и целесообразно применять для вычисления компетентной оценки качества эксперта.

Остальные частные оценки – тестовые, документальные, в настоящее время еще не достаточно разработаны для их широкого использования.

Для сведения частных оценок в комплексную оценку целесообразно использовать формулу средней арифметической.

Весомость частных оценок может быть определена группой специалистов, профессионально занимающихся методологией экспертных методов.

Исходя из указанных положений, комплексную оценку качества эксперта можно рассчитать по формуле

K э= М сам K сам+ М вз K вз+ М pг K pг+ М ос К ос+ М вр K вр, (2)

где М – коэффициенты весомости частных оценок: сам – самооценки, вз – взаимооценки, рг – оценки рабочей группы, ос – оценки отклонения от средней, вр – оценки воспроизводимости результатов; K – значения соответствующих частных оценок.

Эта формула апробирована при оценке экспертов, работающих в часовой промышленности и имеет вид

 

 

K э=0,14 K сам+0,21 K вз+0,13 K рг+0,22 K ос+0,30 K вр, (3)

Анализ частных оценок, полученных экспертом, может влиять на эффективность его работы. Так, низкая оценка рабочей группой K pгв сочетании с высокой самооценкой K сам позволяет сделать вывод о недостаточно серьезном отношении к работе; высокая воспроизводимость K вр и высокая оценка рабочей группой K pг в сочетании с низкой оценкой отклонения от средней K ос свидетельствуют о неправильной информированности эксперта.

При комбинированной оценке в зависимости от ее целей могут быть использованы не все, а лишь отдельные частные оценки. Например, при выборе лучших кандидатов в экспертную группу нельзя получить оценки K pг, K ос, K вр до начала экспертизы, тогда ограничиваются комбинированной оценкой, зависящей от самооценки K сам и взаимооценки K вз

K э = 0,4 K сам +0,6 K вз. (4)

 

3.2.4.2 Количествоэкспертов

Точность групповой экспертной оценки во многом зависит от числа экспертов в группе. Чем больше экспертов, тем выше точность и достоверность оценки.

Однако с увеличением количества экспертов возрастают затраты на проведение экспертизы, появляются сложности с выявлением согласованного мнения экспертов.

В связи с этим возникает установления оптимального числа экспертов в группе при одновременном обеспечении достоверности полученных результатов. Исследованию этой проблемы посвящено значительное количество работ. Данные свидетельствуют об отсутствии единства мнений в вопросе о численности экспертных групп и на практике численность экспертных групп ограничивается 8 – 12 человек.

При отборе экспертов существуют рекомендации о подборе их с учетом компетенции. Группа не должна состоять из представителей узкой специальности, так как их мнение может быть тенденциозным. Необходимо также обращать внимание на степень сложности объекта экспертизы и наличия у экспертов необходимых квалификаций, опыта работы. Должны учитываться и личностные отношения между экспертами.

Необходимо выявить возможные противоречия между целями экспертизы и целями экспертов, чтобы предотвратить смещение групповой оценки в направлении, желательном для одного или нескольких либо всей группы экспертов.

Чтобы воспользоваться графиком для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение, не зависящие от n. Тогда по графику на рис. 159, можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях)

 

Проведение экспертногоопроса

Существует два способа проведения экспертного опроса: первый (основной), когда оценка выносится самой группой, и второй, когда оценку от имени группы выносит один (лидер, фаворит).

Точность оценок, выносимых лидером обычно ниже той точности, которая достигается при вынесении оценок группой.

Критериями выбора указанных способов проведения экспертного опроса являются объективность, информированность, затраты – критерий трудоемкости.

Критерий объективности

В процессе взаимодействия между экспертами может возникнуть конформное влияние, заключающееся в воздействии на эксперта, оценки которого отклоняются от преобладающего мнения, силы мнения большинства. Кроме того, может проявляться и авторитетное влияние, в результате которого эксперт стремитсяприблизитьсвоемнениекмнениюспециалиста,которогоонсчитаетнаиболееавторитетным.

Очевидно, что конформный и авторитарный виды влияния носят отрицательный характер, так как эксперт меняет свое суждение под влиянием факторов, не имеющих отношения к качеству продукции, что снижает объективность выносимых имоценок.

Таким образом, по критерию объективности лучшими являются те способы опроса, в которых в меньшей степени могут появляться конформный и авторитетный виды влияния.

При способе оценки, выносимых открытым голосованием конформный и авторитетный виды влияния могут проявляться в наибольшей степени. Кроме того, понижению объективности выносимых экспертных оценок может способствовать и то обстоятельство, что в условиях открытого обсуждения и открытого голосования у некоторой части экспертов проявляется своеобразный антиконформизм – стремление придерживаться неправильной точки зрения из престижных соображений.

Наконец, этому способу опроса, понижающий объективность коллективной экспертной оценки, – выносимое группой суждение очень часто основывается не на беспристрастном и последовательном анализе проблемы, а на компромиссе между суждениями отдельных экспертов.

По критерию объективности способ анонимного обоснования оценок имеет некоторое преимущество над персональным обоснованием оценок.

Критерий информированности

При взаимодействии экспертов возникает информативное влияние, заключающееся в том, что на суждения эксперта воздействуют логические доводы других экспертов, а также сообщаемая ими дополнительная, ранее неизвестная данному эксперту информация.

В результате под влиянием новой информации эксперт может скорректировать свое суждение, что нужно считать положительным явлением, так как в этом случае информированность эксперта повысилась.

Следовательно, повысилось и качество эксперта.

Исходя из этого, наиболее удачными по критерию информированности являются способы, содержащие информацию об оценках других экспертов, когда существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок.

Критерий трудоемкости

Трудоемкость процедуры опроса зависит от количества проделываемых операций и их продолжительности. Так, при письменном обосновании оценок эксперт затрачивает больше времени, чем при устной дискуссии.

Эффективность экспертного опроса в значительной степени зависит от формы его проведения, т.е. от способов и техники выявления суждений экспертов.

Существуют два способа опроса экспертов: индивидуальный и групповой.

При групповом способе технический работник проводит опрос сразу всей группы экспертов, при индивидуальной – опрашивает каждого эксперта.

По затратам труда и времени групповой способ эффективнее, однако при его применении невозможно использовать некоторые технические приемы проведения опроса (например, интервью-анкету). И самое главное – он не может обеспечить ту степень взаимодействия между экспертом и техническим работником, которая необходима для правильного уяснения поставленных перед экспертом вопросов. По этим причинам для экспертной оценки качества рекомендуется индивидуальный способ.

К техническим приемам получения оценок, используемых при экспертном методе относятся интервью, интервью-анкета, анкетирование, смешанное анкетирование.

При интервью технический работник выявляет оценки в ходе свободной, но проводимой по определенной программе беседы сэкспертом.

Для интервью – анкеты задаваемые вопросы носят более конкретный характер, а их последовательность заранее достаточно жестко определена. Интервьюер письменно фиксирует экспертные оценки, заполняя в присутствии эксперта предварительно подготовленную анкету.

Анкетирование – это письменные ответы эксперта на вопросы анкеты.

Смешанное анкетирование – технический работник общается с экспертом: разъясняет ему непонятные вопросы анкеты, уточняет датами и т.д.