Тема 4. Экспертные методы прогнозирования

Преимущественно применяются в следующих случаях:

1) в условиях отсутствия достаточно представительной и достоверной информации об объекте прогнозирования

2) в условиях большой неопределенности среды функционирования объекта прогнозирования

3) при среднем и долгосрочных прогнозах объектов относящихся к отрасли, подверженных сильному влиянию открытий фундаментальных наук

4) в условиях дефицита времени

При применении экспериментальных методов, особые требования предъявляются:

· к экспертам

· способам их подбора

· способам формирования экспертных групп

Требования, предъявляемые к экспертам:

1) оценка эксперта должна быть стабильна во времени,

2) наличие дополнительной информации может лишь улучшить оценку эксперта,

3) эксперт должен быть признанным специалистом в данной отрасли знаний

4) желательно, чтобы эксперт обладал хотя бы некоторым опытом успешных прогнозов.

Формы работы эксперта могут быть программированными или непрограммированными.

Экспертиза может осуществляться в устной форме (интервью) и в письменной форме.

Программирование работы эксперта предполагает:

· построение графических моделей объекта на базе ретроспективного анализа,

· разработку таблиц экспертизы анализа, по определенной структуре,

· необходимость заранее определить типы шкал для вопросов и ответов и т.д.

При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в данной области. Как правило, не целесообразно привлекать всех выявленных специалистов к экспертизе, поэтому формируют репрезентативную выборку из генеральной совокупности.

Пусть по некому вопросу, по которому необходимо получить прогноз имеются 100 специалистов. мы можем сформировать группу экспертов до 50 человек. Для простоты будем считать экспертом специалиста со стажем работы по данной специальности не менее 10 лет. Тогда исходную задачу можем сформировать следующим образом: определить 50% выборку из 100 специалистов со стажем работы не менее 10 лет, при этом организатор прогноза должен задать вероятность того, что заданное условие выполняется. Вероятность = 0,9545. Предположим, что в данной совокупности доля специалистов со стажем 10 лет и выше 60%, со стажем менее 10лет – 40 %. Вначале рассчитывают ошибку репрезентативности (по теореме Бернелли)

____

Mg = t √ rg\n

t - доверительный коэффициент (t = 2)

r - доля элементов выборки с наличием заданного признака (0.6)

g - доля элементов выборки с отсутствием заданного признака (0,4)

n - объем выборки (50)

 

Mg=0,138

 

Таким образом в сформированном коллективе доля экспертов со стажем 10 лет и выше составит 0,6 ± 0,138, то есть от 46,2% до 73,8%

На практике стремимся к минимально возможному числу экспертов. Уменьшение числа экспертов всегда равносильно уменьшению репрезентативности следовательно часто возникает задача определения численности экспертной группы, при задаваемых значениях уменьшение точности. Например задано уменьшение выборки на 10 %. Тогда это составит 0,0138, тогда полученная ошибка репрезентативности будет равна 0,6 ± 0,138 + 0,0138

 

N = rgt²\Mg²

 

n=37 экспертов или 35

При формировании экспертных групп обязательно оценивают компетентность экспертов. Для описания качеств экспертов с точки зрения оценки качества решения проблемы используют ряд характеристик среди них главной является компетентность, может использоваться такие характеристики как креативность (стремление к познанию нового) конформизм, аналитичность и широта мышления, конструктивность мышления, коллективизм, самокритичность.

Существуют достаточно много методов оценки экспертов (их компетентности).

1) по ученой степени и занимаемой должности, в зависимости от этого эксперту присваивается некоторый вес.

2) по количеству публикаций и количеству ссылок на научные труды эксперта.

3) самооценка эксперта и оценка другими экспертами

Самооценка проявляется на основе расчета коэффициента компетентности, он рассчитывался на основе суждения эксперта о степени своей информативности по решенной проблеме и указаний типовых источников аргументации своего мнения.

 

K = (Ku + Ka) \ 2

 

Кu - коэффициент информативности

Кa- коэффициент аргументации

 

0 ≤ Кu, Кa ≤ 1

 

Кu – определяется на основе самооценки, как правило, по десяти бальной шкале с последующим умножением на 0,1

Кa – получают на основе суммирования баллов, полученных по эталонной таблице

 

Эталонная таблица

Источник аргументации	Степень на влияния источника на ваше мнение
	высокое	среднее	низкое
проведенный вами теоретический анализ	0,3	0,2	0,1
ваш производный опыт	0,5	0,4	0,2
обобщение работ отечественных авторов	0,05	0,05	0,05
обобщение работ зарубежных авторов	0,05	0,05	0,05
ваша интуиция	0,05	0,05	0,05

 

Эксперту дается эта таблица без цифр, эксперт отмечает каким либо знаком степень источника (высокое, среднее, низкое). Затем на заполненную экспертом таблицу накладывается эталонная и подсчитывается количество балов. Максимальное значение может быть 1.

Затем может осуществляться оценка компетентности экспертов путем вычисления относительных коэффициентов компетентности, по результатам высказываний специалистов о составе экспертной группы. Вначале специалистам предлагается высказать суждение о включении тех или иных лиц в экспертную группу для решения проблемы, для этого специалистам предлагается первоначальный список экспертов, специалисты могут добавить в него фамилии других экспертов. Если в первоначальном список добавлены фамилии, то им также предлагается высказать суждение о составе экспертной группы. Проводится несколько туров таких опросов. В результате сеть специалистов, для решения проблемы стабилизируется. По результатам такого опроса составляется квадратная матрица. Элементами таблицы являются значения

 

Xij |1, jà i

|0, j-й эксперт не назвал i-го

 

Затем вычисляются относительные коэффициенты компетентности экспертов, они могут быть разных порядков, Относительный коэффициент компетентности для i-го эксперта L порядка.

_m

Σ x_ij k_ij ^L-1

K_i^L = ^{j=1____________}

_{n m}

Σ Σ x_ij k_ij ^L-1

^{i=1 j=1}

 

i- строки,

j- столбцы

Сумма коэффициентов компетентности L порядка = 1.

Относительный коэффициент компенсации 1 порядка.

_m

Σ x_ij

K_i¹ = ^j=1________

_{n m}

Σ Σ x_ij

^{i=1 j=1}

Коэффициенты компетентности рассчитывается в виде итерационной процедуры, но процесс расчета очень быстро сходятся, поэтому после 3-4 расчетов относительные коэффициенты компетентности стабилизируются. Количество экспертов в группе будет соответствовать репрезентативной группе, т.е. из общего числа экспертов, включенных в список по величине относительно коэффициента компетентности отбирается группа по объемам, равная репрезентативной. Очень часто дополнительную информацию о достоверности прогноза можно дать оценка достоверности суждения эксперта.

 

Di = Nn\N

 

Nn – число прогнозов, которое (совпали) подтверждены практикой,

N – общее число прогнозов.

 

Можно учесть вклад каждого эксперта в достоверность всей группы

_n

D_i^om = Di \ (1/n Σ D_i)

ⁱ⁼¹

Важнейшими характерами группы экспертов: репрезентативность (чтобы дать адекватную оценку процессу)

После того как проведена экспертиза, в зависимости от того какой вид экспертизы осуществляется, разрабатываются специальные таблицы с вопросами или просто ставится цель экспертизы. Затем осуществляется экспертный опрос или экспертный анализ. После осуществляется экспертный опрос или экспертный анализ. После осуществляется обработка полученной информации следовательно зависит от вида экспертизы. Завершающим этапом экспертизы является получение согласованной экспертной оценки, как правило она получается как средневзвешенная величина оценок экспертов, входящих в группу. Параметром, по которому взвешиваются оценки экспертов является коэффициенты компетентности.

_{n n}

a¯ = Σ a_i k_i \ Σ k_i

^{i=1 i=1}

k_{i –} коэффициент компетентности

Не всегда эта оценка бывает достаточна или удовлетворительна, для того чтобы сделать прогноз. Такой расчет согласованной оценки обычно дополняют исследованием распределения ответов экспертов. Обычно определяется минимальная и максимальная оценка, то есть определяется интервал оценок, затем его делим на несколько интервалов, затем можно построить гистограмму распределения оценок экспертов.

 

a_max

a_min

 

Затем применяют дискордантную функцию, можно определить количество экспертов, попавших в каждый интервал. организатор прогноза сам для себя задает параметры точности.

 

Метод «Дельфи»

Этот метод применяется в основном для прогнозирования науки и техники. Этот метод относится к методу групповых экспертных оценок с обратной связью. Разработан в 1964г. сотрудниками НТ Корпорации «РЭМД» - О. Хеллер и Т.Гордон. Сущность этого метода, состоит в последовательности анкетировании мнений экспертов и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные как на логическом анализе, так и на опыте и интуиции.

Метод Дельфи основывается на ряде принципов:

1) вопросы в анкетах ставятся таким образом, чтоб могло было дать количественную характеристику ответам экспертов

2) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются

3) все опрашиваемые эксперты после каждого тура знакомятся с результатами опроса

4) эксперты обосновывают свои оценки и мнения, если они отклоняются от мнения большинства.

5) статистическая обработка производится последовательно от тура к туру с целью получения обобщающих характеристик.

Таким образом при помощи метода Дельфи выявляется преобладающее суждение экспертов по какому либо вопросу в обстановке, исключающей их прямые контакты, но в тоже время любой эксперт имеет возможность скорректировать свои оценки и мнения.

 

ТЕХНОЛОГИЯ

До начала первого тура организатор прогноза должен провести инструктаж.

1 тур – первая анкета является полностью, бесструктурной и допускает любые ответы. В этой анкете члены жюри опрашиваются для составления прогноза в определенной области науки и техники, для которой это жюри и было создано. Члены жюри отбираются, исходя из предполагаемой компетенции в этой области. Предполагается, что они гораздо лучше, чем руководитель знают эту область науки и техники. После того как прогнозы членов жюри возвращаются к руководителю, он должен объединить их в единый прогноз, нужно иметь ввиду, что некоторые жюри могут давать ответы в словесной форме или даже в форме сценария, такой прогноз должен быть расчленен на ряд отдельных событий. Другие члены жюри могут давать ответы в виде перечня событий, расположенных хронологически, в любом случае события должны быть идентифицированы, одинаковые события- объединены, второстепенные события с точки зрения руководителя – должны быть исключены, а окончательный перечень событий должен быть составлен в точных терминах. Этот перечень событий и становится второй анкетой. В ходе первого тура- формируется область прогнозирования.

Второй тур. Членам жюри направляют свободный перечень событий и просят оценить даты, когда может произойти реализация этих событий, кроме того членов жюри просят привести соображения, в силу которых они считают свои оценки правильными. Оценка сленга жюри может включать такие слова: «никогда», «позже» и так далее.

После того как прогнозы и оценки дат вернулись к руководителю, он должен подготовить статистическую сводку мнений членов жюри, упоминая также их аргументы и доводы, что данное событие произойдет именно в этот момент времени. По результатам 2 тура составляется третья анкета. Третья анкета состоит из перечня событий и дат верхнего и нижнего квартилей для каждого события. Третья анкета включает сводные данные о причинах более ранних или более поздних оценок дат.

3 тур. Члены жюри получают третью анкету, их просят дать обзор аргументов членов жюри и сформирулировать новые оценки предполагаемой даты наступления каждого события. Если их новая оценка не попала в интервал между нижним и верхним квартилем, то их просят обосновать свою точку зрения и прокомментировать точки зрения тех, кто придерживается других взглядов. Затем члены жюри дают новые оценки и новые аргументы. После того как ответы возвратились к руководителю он фактически повторяет ту же работу, что и во втором туре. Все это объединяется в единый прогноз и формируется четвертая анкета (последняя).

4 тур. Членам жюри вновь передают перечень событий и статистическое описание оценок группы, аргументы членов жюри. Члены жюри опять составляют прогноз. В зависимости от желания руководителя можно представить статистическую обработку этих ответов. Смысла анализировать аргументы уже, нет. Обобщенная оценка дат совершения событий определяется как средневзвешенная. Средневзвешенная оценивается по тем ответам, которые попали в интервал между квартилями. В некоторых случаях для того чтобы сблизить оценки экспертов можно рассчитывать децили (10-ая часть интервала). Руководитель прогноза определяет какие децили он будет использовать при расчете средневзешанной. При использовании метода Дельфи необходимо учитывать следующее:

1) группа экспертов должна быть стабильной и численность их должна удерживаться в благоразумных пределах

2) время между турами не должно быть более 1 месяца

3) вопросы в анкетах должны быть тщательно продуманы и четко сформулированы

4) число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин

5) должно проводится стсемный отбор экспертов

6) необходимо иметь самооценку компетентности экспертов

7) следует установить влияние различных видов передачи ифнормации экспертов по каналам обратной связи

8) необходимо установить влияние общего мнения на экспертные оценки и на сходимость этих оценок.

 

КОЛЛЕКТИВНАЯ ГЕНЕРАЦИЙ ИДЕЙ

Этот метод известен как метод мозговой атаки, процесс выдвижения новых идей при этом методе происходит лавинообразно. Высказывания первым из членов группы идея порождает либо творческую либо критическую реакцию. Однако при этом методе существует запрет на критику. Поэтому негативная реакция на идеи также порождает позитивные результаты. Наличие такого эффекта подтверждается не только качественным анализом, но и статистическим. С точки зрения результатов, каждая может достигнуть при помощи сессии полной идеи, эти сессии можно сгруппировать следующим образом:

1.Сессии, в результате которых открываются возможности сформулировать план решение соотвествтующей задачи. Этот план может опираться как истинные с точки зрения большинства идеи, так и на идеи дискуссионные.

2.Сессии, в результате которых формируются идеи которые могут быть полезны при решении той или иной проблемы

3.Сессии, в результате которых устанавливаются новые аспекты решения рассматриваемой проблемы.

 

Независимо от того для решения каких проблем используется полная генерация идей необходимо руководствоваться следующими правилами:

1) приветствовать оригинальность и нетривиальность идей

2) чем больше выдвигается идей, тем лучше

3) требуется комбинации и усовершенствование идей

Методически сессии количественной генерации организуются следующим образом: за несколько дней до начала сессии ее участникам представляют информацию о подлежащем обсуждению вопроса. Вместе с тем основная информация о решающей проблеме сообщается участникам сессии непосредственно перед ее началом. Желательно, чтобы выносимый на обсуждение вопрос был по свей внутренней структуре достаточно простым. Сужение задачи всегда стимулирует эффективность генерации идей. Поэтому сложные проблемы должны быть решены на составные части оптимальная численность группы участников сессии 10 – 15 человек.