Основные этапы проведения экспертизы.

При проведении экспертного обследования конкретной системы управления важно не только привлечь квалифицированных экспертов, но и найти форму систематизации, обработки и анализа экспертной информации. Основными задачами, возникающими в ходе подготовки и проведения экспертизы, являются:

· определение цели экспертизы (например, получение объективной информации о ситуации);

· формирование группы экспертов (в зависимости от специфики оцениваемых событий определяется численность экспертной группы и ее состав);

· формирование правил проведения экспертного опроса (выбор метода проведения экспертизы, составление анкет, процедура обработки результатов).

В общем случае проведение экспертизы включает следующие этапы:

-предварительный этап;

-формирование рабочей группы;

-формирование экспертной группы;

-подготовка и проведение опроса экспертов;

-обработка и анализ результатов опроса экспертов.

Предварительный этап.

Предварительный этап – одна из наиболее важных стадий проведения экспертизы. На данном этапе определяются:

· конкретные задачи (вопросы, по которым должна проводиться экспертиза);

· состав лиц, входящих в рабочую группу по подготовке и проведению экспертизы;

· программа проведения экспертизы, в которой определяются задачи рабочей группы, место и время проведения экспертизы, техника опроса экспертов, способ обработки и анализа результатов опроса, форма их представления.

Конкретные задачи экспертизы определяются, исходя из информационных возможностей. Экспертные опросы целесообразно проводить в сочетании с другими методами анализа и моделирования.

Формирование рабочей группы.

Рабочая группа – это группа специалистов, осуществляющих организаторскую работу по проведению экспертизы. Члены рабочей группы должны быть не только компетентными в вопросах, по которым проводится экспертиза, но и обладать специальными знаниями по обработке и анализу информации. Количество членов рабочей группы зависит от задач экспертизы, сроков и способа их проведения, а также величины и состава экспертной группы. В задачи рабочей группы по организации проведения экспертизы входит:

· создание экспертных групп;

· определение состава предварительной информации для экспертов и ее получение;

· подготовка необходимого инструментария (анкет, аналитических таблиц, графиков и т.п.) для опроса экспертов;

· определение способа опроса: индивидуальный или групповой, устный или письменный;

· организация и проведение опроса;

· обработка и анализ результатов опроса экспертов;

· составление отчета о проведенной экспертизе.

Рабочая группа должна обеспечить соблюдение основных требований проведения экспертизы:

- независимость формирования экспертами собственных мнений об оцениваемых событиях.

- удобство работы с экспертными листами – точность формулировок и единообразное их понимание;

- соблюдение анонимности ответов для остальных экспертов;

- возможность проведения коллективных обсуждений оцениваемых событий;

- предоставление экспертам необходимой информации.

Выбор конкретного вида экспертизы определяется целями исследования, спецификой рассматриваемой проблемы, полнотой и достоверностью используемой информации, располагаемым временем и затратами на проведение опроса и т.д.

Формирование экспертной группы.

Важнейшими задачами данного этапа является выбор экспертов с точки зрения их квалификации («качества» экспертов) и оптимального количества экспертов в группе. Рабочая группа осуществляет подбор экспертов, включающий выявление наиболее опытных и квалифицированных специалистов, по роду своей деятельности хорошо знающих проблему.

“Эксперт” в дословном переводе с латинского означает “опытный”, поэтому главные качества участников экспертизы – профессиональный опыт и интуиция. Поскольку качество экспертного оценивания во многом определяется квалификацией привлеченных специалистов, при отборе экспертной группы используют специальные методы оценки квалификации. Чаще всего – это методы “самооценки” или “взаимооценки”, основанные на заполнении экспертами соответствующих анкет, позволяющих выявить их профессиональные и личностные характеристики. Кроме этого, к общим характеристикам экспертов относятся:

· компетентность – степень квалификации эксперта в определенной области знаний;

· креативность – способность решать творческие задачи;

· отношение к экспертизе. Негативное или пассивное отношение отрицательно влияет на качество оценок;

· конформизм – подверженность влиянию авторитетов, характеризующая неустойчивость собственного мнения. Если в состав экспертной комиссии входят явные лидеры, имеющие значительный авторитет и возможности, то высказываемые ими суждения и оценки могут оказывать влияние на оценки и суждения других экспертов. В такой ситуации может быть полезным использование технологии анонимной экспертизы;

· конструктивность мышления – прагматический аспект мышления. Эксперт должен предлагать решения, обладающие свойством практичности;

· аналитичность и широта мышления, высокий уровень эрудиции;

· коллективизм – способность работать в группе, самокритичность.

При определении состава и величины экспертной группы учитывается, что существует связь между достоверностью экспертной информации и количеством экспертов. С ростом численности экспертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в группу практически не оказывает влияния на экспертную оценку. Следовательно, необходимо установить границы численности для экспертных групп. Для этого используются специальные способы расчета, позволяющие устанавливать численность групп из предположения, что добавление к группе каждого нового эксперта меняет групповую оценку на 5-10%. В противном случае дополнительное включение нецелесообразно.

При проведении экспертного исследования необходимо учитывать возможность искажения информации в виде появления ошибок – систематических или случайных. Эксперт, склонный к систематическим ошибкам, выдает значения, которые устойчиво отклоняются от истинных в сторону увеличения или уменьшения (психологи полагают, что это может быть связано с индивидуально-личностными качествами эксперта). Для коррекции систематических ошибок применяют поправочные коэффициенты или используют специальные тренинги.

Случайные ошибки изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии. При подборе экспертов учитывается их индивидуальная склонность к систематическим ошибкам, а также стабильность оценок и возможность повышения качества результатов экспертизы за счет предоставления эксперту дополнительной информации.

При формировании экспертной группы следует также учитывать возможность влияния фактора конъюнктурности. С ним можно столкнуться, когда в состав экспертной группы включены лица, заинтересованные в результатах экспертизы.

Подготовка и проведение опроса экспертов.

Проведению экспертизы должна предшествовать подготовка предварительной информации для экспертов, а также подготовка необходимого инструментария для проведения экспертизы (анкет, опросных листов, аналитических таблиц и др.). Выбор форм и способов проведения экспертизы обусловлен характером оцениваемой информации, возможностью ее получения и интерпретации, лимитом времени на проведение экспертизы, а также территориальной удаленностью экспертов от места расположения рабочей группы. Опрос может быть осуществлен путем очного или заочного анкетирования.