Вопрос 1 – Область применения экспертных методов

Вопрос 1 – Область применения экспертных методов

Экспертные методы прогнозирования – это научные методы анализа аргументированных суждений высококвалифицированных специалистов (экспертов).

Экспертная оценка отражает суждение эксперта или группы экспертов относительно перспектив развития объекта и основана на мобилизации их профессионального опыта и интуиции.

Проблемы, для решения которых приходится применять методы экспертных оценок, принято разделять на два класса.

Проблемы первого класса характеризуются тем, что о них в целом имеется достаточная информация, но она может носить качественный характер или их решение требует учета многих критериев, что вызывает необходимость привлечения экспертов. Основные задачи, которые в данном случае приходится решать прогнозисту, состоят в поиске хороших экспертов и правильной организации процедуры экспертизы.

Проблемы, составляющие второй класс, не характеризуются достаточным информационным потенциалом. Обработка мнений экспертов для получения обобщенных оценок не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важную роль здесь приобретают процедуры качественной обработки оценок экспертов.

Таким образом, экспертные методы используются для прогнозирования:

1) объектов, развитие которых полностью либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда время или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) когда отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

В то же время, методы экспертных оценок имеют ряд недостатков:

1) часть специалистов экспертной группы или даже один наиболее активный член могут оказывать давление на всех членов, и, если такое мнение ошибочно, может быть получен неправильный прогноз;

2) на решения членов экспертной группы может оказать отрицательное влияние не глубина доводов, а количество замечаний «за» и «против»;

3) проблема достижения соглашения между экспертами может иметь более важное значение, чем тщательно разработанный прогноз.

 

Вопрос 3 – Коллективные экспертные оценки

Методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования. В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы.

Существует большое число модификаций методов коллективных экспертных оценок. В настоящее время наиболее популярны следующие методы.

Метод «635».

Одна из разновидностей мозговой атаки. Цифры в названии означают следующее: 6 участников, каждый из которых должен записать 3 идеи в течение 5 минут. При этом лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив по 18 идей, в общей сложности – 108. Структура идей при этом четко определена. Метод широко используется для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Метод «Дельфи».

Основатели – сотрудники американской корпорации РЭНД Т. Гордон и О.Хелмер (1964 г.).

Цель метода – разработка программы последовательных многотуровых индивидуальных опросов, перемежаемых обратной связью в виде информации, получаемой путем обработки согласованной точки зрения экспертов по более ранним частям (этапам) программы.

Сущность метода «Дельфи» состоит в последовательном анкетировании мнений экспертов и формировании массива информации, отражающего индии­видуальные оценки экспертов, основанные как на строго логическом анализе, так и на интуитивном опыте. Он предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты.

Сначала проводится индивидуальный опрос экспертов обычно в форме анкет-вопросников. Затем осуществляется статистическая их обработка и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным мнением. Эта процедура может повторяться 3-4 раза. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода «Дельфи»:

1) полная заочность и анонимность экспертов;

2) многотуровость проведения опроса экспертов;

3) задействование обратной связи, когда в каждом последующем туре используются результаты предыдущего;

4) использование статистических методов обработки результатов групповых ответов.

Таким образом, с помощью метода Дельфи выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, периодически взвешивать свои суждения с учетом ответов и доводов коллег.

Метод широко используется при прогнозировании науки и техники, инвестиций и других подобных аспектов.

Вопрос 4 – Подготовка и проведение экспертизы

Процедура проведения экспертизы включает следующие этапы:

Ранжирование.

Ранжированием называется расположение показателей (факторов, явлений, объектов) в порядке возрастания (убывания) некоторого общего признака.

Ранжирование применяется, если:

- рассматриваемые показатели имеют различную природу;

- представляет интерес только взаимное упорядоченное (пространственное или временное) расположение объектов;

- часть показателей измерить невозможно.

Каждый эксперт присваивает n объектам ранжирования номера натурального ряда 1, 2, 3, …, n (ранги) в порядке возрастания (убывания) заданного качества. Мера этого качества определяется при этом чисто субъективно, с точки зрения опыта, знаний, предположений эксперта. Если некоторым S объектам присвоен один и тот же ранг, например, они поделили n_k-n_k+s места, то после проведенного экспертами ранжирования осуществляется стандартизация рангов. Этим объектам присваиваются ранг, равный среднеарифметическому мест, которые они поделили:

 

.

 

Данная формула получена, исходя из предположения, что общее число рангов равно числу ранжируемых объектов. Тогда будет выполняться условие:

 

,

 

где x_i – ранг i-го объекта.

Если ранжирование осуществляется несколькими экспертами, то для получения итоговых рангов необходимо просуммировать стандартизированные ранги, указанные группой экспертов для каждого из исследуемых объектов. После этого ранг 1 присваивается объекту с наименьшим суммарным рангом, и т. д.

Полученная от экспертов информация может быть использована для определения коэффициентов весомости различных объектов (параметров):

 

,

 

где x_ij – стандартизированный ранг, назначенный j-м экспертом i-му объекту;

m – количество экспертов.

Метод парных сравнений.

Трудности ранжирования или оценивания, особенно в случае большого числа параметров, можно уменьшить, если предложить экспертам осуществлять сравнение параметров попарно, с тем, чтобы установить в каждой паре наиболее важный (значимый).

Для этого составляется таблица (матрица) сравнений, в которой оцениваемые параметры (объекты) записываются дважды – в заголовках строк и столбцов. В каждую клетку, кроме диагональных (т. е. клетки (i; k), i≠k), заносится номер параметра (i или k), которому отдается предпочтение, причем эксперт должен отдать предпочтение одному из них.

По заполненным каждым экспертом матрицам подсчитывается и заносится в итоговый столбец частота превосходства i-го параметра в строке i (r_ij), в итоговую строку – частота превосходства k-го параметра в столбце k (S_kj) над всеми остальными.

Затем для каждого параметра определяется суммарная частота его предпочтения, указанная j-м экспертом:

 

M_ij = r_ij + S_kj.

 

Средняя для всех экспертов частота превосходства i-го параметра равна:

 

.

 

Тогда коэффициенты весомости параметров можно рассчитать как:

 

,

 

где L – общее число сравнений, проведенных каждым экспертом:

 

L = n * (n – 1).

 

Для ускорения процедуры экспертизы может применяться метод частичного парного сравнения, когда в матрице сравнений заполняются лишь клетки, находящиеся справа от диагонали. Тогда величина L будет в два раза меньше. Однако при этом возможны ошибки, выражающиеся в том, что эксперты чаще предпочитают параметр, стоящий первым из двух сравниваемых.

При статистическом анализе ответов экспертов необходимо оценить степень согласованности их мнений по всем вопросам, выявить группы с расходящимися мнениями, установить и устранить причины рассогласованности, ко­торая делает групповую оценку ненадежной.

Наиболее точными методами проверки согласованности оценок, полученных от экспертов, являются методы ранговой корреляции:

1. Для оценки согласованности мнений двух экспертов применяется коэффициент Спирмэна:

 

,

 

где d_i – разность между рангами i-го параметра, указанными экспертами.

Чем ближе значение ρ к единице, тем больше степень согласованности экспертных оценок.

2. Для оценки согласованности мнений группы из m экспертов по n параметрам применяется коэффициент конкордации (общий коэффициент ранговой корреляции для группы, состоящей из m экспертов):

 

,

 

где S – сумма квадратов отклонений суммы рангов, полученной от всех экспертов по каждому параметру, от среднеарифметической сум­мы рангов по всем параметрам:

 

.

 

Если некоторые эксперты не могут установить ранговое различие между несколькими показателями и присваивают им одинаковые ранги, коэффициент конкордации определяется по формуле:

 

,

 

где T_j – показатель равных (связанных) рангов в оценках j-го эксперта:

 

,

 

где t_lj – число равных рангов в l-й группе оценок j-го эксперта;

h – число групп равных рангов в оценках j-го эксперта.

Коэффициент конкордации принимает значения в интервале от 0 (отсутствие согласованности мнений экспертов) до 1 (полная согласованность).

Для оценки значимости коэффициента конкордации используют критерий χ²:

 

.

 

Если расчетное значение критерия больше табличного (при доверительной вероятности α и (n – 1) степенях свободы), то можно утверждать, что коэффициент конкордации значим, т. е. согласованность мнений экспертов является неслучайной.

 

Вопрос 1 – Область применения экспертных методов

Экспертные методы прогнозирования – это научные методы анализа аргументированных суждений высококвалифицированных специалистов (экспертов).

Экспертная оценка отражает суждение эксперта или группы экспертов относительно перспектив развития объекта и основана на мобилизации их профессионального опыта и интуиции.

Проблемы, для решения которых приходится применять методы экспертных оценок, принято разделять на два класса.

Проблемы первого класса характеризуются тем, что о них в целом имеется достаточная информация, но она может носить качественный характер или их решение требует учета многих критериев, что вызывает необходимость привлечения экспертов. Основные задачи, которые в данном случае приходится решать прогнозисту, состоят в поиске хороших экспертов и правильной организации процедуры экспертизы.

Проблемы, составляющие второй класс, не характеризуются достаточным информационным потенциалом. Обработка мнений экспертов для получения обобщенных оценок не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важную роль здесь приобретают процедуры качественной обработки оценок экспертов.

Таким образом, экспертные методы используются для прогнозирования:

1) объектов, развитие которых полностью либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда время или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) когда отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

В то же время, методы экспертных оценок имеют ряд недостатков:

1) часть специалистов экспертной группы или даже один наиболее активный член могут оказывать давление на всех членов, и, если такое мнение ошибочно, может быть получен неправильный прогноз;

2) на решения членов экспертной группы может оказать отрицательное влияние не глубина доводов, а количество замечаний «за» и «против»;

3) проблема достижения соглашения между экспертами может иметь более важное значение, чем тщательно разработанный прогноз.