Методы и процедуры коллективной экспертизы.

В процессе исследования сложных систем один эксперт не в состоянии учесть все факторы и взаимосвязи, предвидеть возможные последствия решений и направления развития систем в будущем, оценить вероятность большого числа альтернатив. Выработка сложных решений или составление полноценного прогноза требуют участия группы опытных специалистов. Поэтому, наряду с индивидуальными методами получения информации, используются коллективные экспертные методы.

Данные методы основаны на получении обобщенной и согласованной оценки группы экспертов, на принципах выявления групповых мнений по исследуемой ситуации. Преимущество групповых оценок заключается в возможности всестороннего анализа количественных и качественных аспектов рассматриваемых проблем.

Методы коллективных экспертных оценок позволяют: а) получить необходимую информацию в относительно короткие сроки; б) обеспечить установление непосредственной обратной связи между экспертами; в) ускорить согласование мнений экспертов за счет личных контактов и аргументации; г) обеспечить возможность уточнения мнений экспертов с учетом дополнительной информации.

Использование коллективных экспертных методов для исследования систем базируется на следующих предпосылках:

· мнение группы экспертов (специалистов) надежнее, чем мнение одного человека;

· коллективная ответственность позволяет принимать более “рискованные” решения;

· интервал оценок, полученных от экспертов, включает в себя “истинную” (объективную) оценку;

· применение математических методов и логических процедур, используемых для объединения мнений экспертов, позволяет получить согласованное мнение группы.

Основным достоинством коллективных экспертных оценок является достаточно высокая степень точности и согласованности получаемых результатов. Основной недостаток – возможность взаимовлияния экспертов друг на друга.

При использовании методов коллективных экспертных оценок необходимо соблюдать ряд требований:

Во-первых, необходимо формирование специальных рабочих групп, функциями которых является организация и проведение опроса, обработка и анализ полученных результатов.

Во-вторых, при проведении опроса следует обеспечить однозначность понимания вопросов, а также относительную независимость суждений экспертов.

В-третьих, должна быть проведена обработка результатов, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов.

Существует много модификаций методов коллективной экспертизы:

· метод совещаний (комиссий);

· метод “круглого стола”;

· метод Дельфи;

· метод “мозговой атаки”;

· метод «суда» и другие.

Метод совещаний (комиссий) заключается в работе объединенных в комиссию экспертов, т.е. это метод открытого обсуждения проблемы Он является наиболее простым и традиционным методом в исследовании проблем управления и предполагает выработку единого мнения по обсуждаемому кругу вопросов. Метод имеет следующие недостатки: а) в процессе совещания существенную роль играют такие психологические факторы, как мнение авторитетов, к которому могут присоединиться другие эксперты; б) при подобного рода обсуждениях часто происходит спор двух или трех наиболее авторитетных экспертов, в результате чего мнение других экспертов во внимание не принимается.; в) в отдельных случаях негативную роль может сыграть нежелание отдельных экспертов отказаться от публично высказанного ранее мнения.

Разновидностью совещаний являются дискуссии, которые проводятся как открытые коллективные обсуждения рассматриваемых проблем, основной задачей которых является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников. Результаты дискуссии фиксируются в виде стенограммы или магнитной записи. После окончания дискуссии проводится анализ записей для более четкого представления основных результатов.

Метод “ круглого стола ”. Специальная комиссия обсуждает проблему с целью согласования мнений и выработки единого решения. Недостатком метода является то, что зачастую эксперты руководствуются логикой компромисса, что иногда снижает качество принимаемых решений.

Одним из наиболее эффективных методов экспертного исследования является метод Дельфи – получение согласованного мнения и оценки экспертов с помощью специальной программы последовательных индивидуальных опросов экспертов. Хотя название метода произошло от знаменитого в античные времена Дельфийского оракула, предсказывающего будущее, и сам метод был разработан американской исследовательской корпорацией РЭНД для прогнозирования, его задачи и возможности выходят далеко за рамки прогнозирования. Реализация метода предусматривает ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам, общим свойством которых является недостаточность информации.

Основные особенности и принципы экспертизы по методу Дельфи:

· полный отказ от личных контактов экспертов, опрашиваемых по конкретной проблеме;

· обеспечение экспертов необходимой информацией;

· сохранение анонимности оценок, аргументации и критики;

· обоснование ответов экспертов по запросу организаторов экспертизы;

· возможность количественной оценки ответов экспертов;

· несколько туров проведения экспертизы;

· информирование экспертов о результатах каждого тура;

· выявление оценок и мнений, отличающихся от мнения большинства;

· статистическая обработка результатов.

В методе Дельфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения. Анонимность достигается применением специальных вопросников или другим способом индивидуального опроса, например, на основе интерактивной работы эксперта с компьютером. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам.

Таким образом, дельфийское согласование – итерационное исследование на базе использования обратной связи индивидуальных экспертных мнений с промежуточными результатами усредненных экспертных оценок и проведением его коррекции с мотивировкой авторов крайних оценок, отклоняющихся от мнений большинства. Обычно в качестве групповой оценки принимается медиана и два квартиля (т.е. среднее суждение экспертов).

Метод мозговой атаки получил широкое распространение с начала 50-х годов ХХ века. Методы этого типа известны также под названием “ мозговой штурм ”, “ конференция идей ”, а в последнее время наибольшее распространение получил термин “ коллективная генерация идей ”. Существуют общие правила, принципы проведения мозговой атаки:

· обеспечивать максимальную свободу мышления и высказывания новых идей;

· приветствовать любые идеи, даже если они кажутся сомнительными или абсурдными (обсуждение и оценка идей предусматривается позднее);

· не допускается критика;

· чем больше идей, тем лучше;

· обмен мыслями и сочетание идей.

В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. При организации сессий коллективной генерации идей возможно введение дополнительных правил, ориентирующих участников на наиболее ценные и конструктивные идеи, с тем, чтобы обсуждение шло по пути их развития и обобщения. Данный метод целесообразно использовать для решения нетривиальных проблем, не поддающихся привычным решениям, например – для разработки инновационной стратегии, тактики управления и т.п.

Метод суда основывается на том, что организация работы экспертов проводится в соответствии с правилами ведения судебного процесса. Использование этого метода особенно полезно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения.

Более подробно о методах коллективной экспертизы см. [5, 8,16, 33,36].

Особое место в группе экспертных методов занимает эвристическое программирование. Эвристические методы базируются на творческом, нестандартном мышлении. Исследование закономерностей творческого процесса занимает важное место в методологии системного анализа, оно является предметом изучения специальной отрасли знания, называемой эвристикой.

Эвристика в широком смысле представляет собой раздел психологии, изучающий природу мыслительных операций человека при решении им различного рода задач. Психологические теории творчества смогли объяснить процессы мышления лишь частично, не обеспечивая необходимой полноты и достоверности. Тем не менее, на их базе разрабатывается и успешно развивается направление, называемое эвристическим программированием, когда основой компьютерных программ являются результаты изучения процесса решения различных задач реальными людьми: шахматистами, музыкантами, логиками-теоретиками. В отличие от компьютера, человек способен целесообразно действовать в условиях, когда ни описание исходной ситуации, ни пути достижения решения не формализованы. Это качество особенно важно в процессе реализации системного анализа. Так, первые два шага стратегии системного проектирования могут быть осуществлены исключительно на базе использования эвристических приемов. Формулировка функции объекта, определение целей, построение эталонных систем – эти и другие шаги могут быть реализованы эвристически, интуитивно или с помощью специальных методов стимулирования творчества.