Сущность мониторинга и оценки государственных и муниципальных программ. Основные методологические стратегии.

 

Термины «мониторинг» и «оценка» иногда употребляются как синонимы или взаимозаменяемые понятия, то приводит к замешательству. Все же эти понятия отличаются.[18]

Мониторинг -- это процесс, который включает регулярный сбор и фиксацию данных для отслеживания ключевых элементов реализации проекта на протяжении его деятельности. Цель мониторинга -- корректировка, обеспечение эффективного использования ресурсов, достижение запланированных задач, минимизация отрицательных последствий, определение возможностей развития и/или повторения проекта. Для мониторинга характерны простые вопросы: имело место какое-либо мероприятие или нет, скольким клиентам была предоставлена услуга, сколько предметов было роздано и т.д. Как правило, эту информацию получить достаточно просто, и нужно лишь аккуратно ее зафиксировать после оказания услуги.

Мониторинг социальных государственных и муниципальных программ и проектов базируется на комплексности, системности и регулярности использования одних и тех же принципов и одного и того же инструментария. Это дает возможность осуществлять текущий контроль динамики изменений в отношении к проблеме на протяжении времени реализации проекта и своевременно корректировать направления деятельности, используя соответствующие методы и средства.[19]

Оценка -- это систематизированное исследование ситуации, процесса реализации программы или ее результатов с целью разработки проекта деятельности, создания рекомендаций по улучшению работы, оценки ее эффективности и результативности. Существует несколько типов оценки. Среди них можно выделить три основных: оценка ситуации, оценка процесса и оценка влияния. Оценка ситуации, как правило, проводится перед началом вмешательства. Ее цель -- разработка проекта, адекватного потребностям целевой группы. Оценку процесса проводят в ходе реализации программы. Она призвана откорректировать программу во время реализации для повышения эффективности ее воздействия. Оценка влияния проводится после окончания программы (или ее компонента) или некоторое время спустя. Она показывает, насколько программа вмешательства достигла поставленных целей.

Оценка - это управленческая функция, которую применяют периодически и селективно при необходимости осуществить независимую, системную и объективную проверку состояния прогресса в достижении или отклонение от достижения ожидаемых результатов Оценка не одноразовое мероприятие, однако осуществляется по мере необходимости в ответ на потребность глубокого и масштабного анализа взаимосвязи между проблемами и запросами целевой группы (или групп), на удовлетворение которой (которых) направлена деятельность организации, и дизайном и состоянием внедрения программы (цель, ожидаемые результаты, план мероприятий, результативность и эффективность использования имеющихся ресурсов и т.д.) [20]

Теоретическая основа оценки государственных и муниципальных программ выходит за рамки анализа только затрат, необходимых для их реализации.На сегодня, кроме проверки результативности, эффективности и устойчивости государственных и муниципальных программ и их оценки используется и для определения ее соответствия приоритетам государственной политики. Такой подход является краеугольным камнем публичного управления и также способствует лучшей подотчетности правительственных структур перед общественностью.[21]

При проведении оценки рассматриваются более глубокие вопросы, например: почему какое-либо мероприятие имело или не имело желаемого эффекта, какие факторы были благоприятными, а какие мешали, какие изменения могут быть внесены для улучшения дальнейшей работы. Обычно это требует более углубленного анализа и интерпретации большего объема различных видов информации. В зависимости от планируемого использования результатов оценки можно также различать формирующую (оценка, проводимая с целью сформировать или откорректировать проектную деятельность; к формирующим относятся оценка процесса и оценка ситуации) и суммирующую (оценка-итог проведенной деятельности с целью определения эффективности и результативности этой деятельности, таковой является оценка влияния) оценку Значение государственного управления.

Достаточно часто мониторинг и оценка выступают взаимодополняющими компонентами при реализации проектов. Проведение оценки требует меньше средств и времени, если используются данные постоянного мониторинга и оценка основывается на данных, которые собираются во время мониторинга. Мониторинг и оценка могут проходить как параллельные процессы, а могут быть разнесены во времени. Очень часто, когда люди говорят «оценка», они подразумевают и мониторинг, и оценку, которые проводятся для одной цели[22].

Существует целый ряд различных подходов к проведению мониторинга и оценки Мониторинг и оценка.

 Выбор стратегии и методик мониторинга определяется особенностями проекта и видами деятельности, а характер и содержание оценки -- ее целью. Масштабные экспериментальные оценки, проведенные в нескольких местах, могут показать, какие социальные программы более эффективны, но не подскажут, как улучшить работу органа власти. Небольшие практические оценки не укажут, насколько эффективна работа по сравнению с другими программами, но подскажут, как можно ее улучшить.

Мониторинг и оценка проекта могут быть внутренними и внешними. Внутренний мониторинг и внутренняя оценка предполагают, что они планируются и реализуются силами самого проекта или силами организации, которая является основным исполнителем. Внешний мониторинг и внешняя оценка могут осуществляться со стороны вышестоящей организации, финансирующей стороны, или независимой структурой, которая специально приглашается для их проведения.

Мониторинг выполнения программы способствует «местному» обучению, как правило, на уровне руководства органа власти, что способствует совершенствованию госпрограммы в краткосрочной перспективе Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К.: К.І.С., 2007. - 80 с. - C. 30. Оценка госпрограммы способствует не только улучшению реализации программы, но может привести изменение ее дизайна в целом. Оценка способствует обучению через исследование как процесса, так и результатов - кратко-, средне- и долгосрочных. Процесс оценки в современных условиях обеспечивает широкое привлечение, диалог, развивает доверие и пр.

Мониторинг и оценка способствуют открытости и отчетности. Мониторинг внедрения государственной или местной программы - это есть процесс налаживания достаточного уровня отчетности для обеспечения реализации программы. Оценка, в свою очередь, обеспечивает надлежащий уровень открытости и отчетности, необходимых для достижения ожидаемых результатов Там же..

В практическом плане основными задачами оценки программ является содействие:

1) обеспечению стабильности предоставления органами власти в центре и на местах и органами самоуправления услуг в соответствии с требованиями законодательства и приоритетов государственной политики;

2) постоянному совершенствованию качества услуг и повышению удовлетворенности ими потребителей;

3) ограничению расходов и достижению эффективности в оказании услуг;

4) оптимизации информационного обеспечения процесса принятия решений по государственной политики и программ, эффективному управлению рисками;

5) решению вопросов о выделении бюджетных ресурсов.

Мониторинг и оценка важны, но они - не единственные элементы современной управленческой практики. Теория и практика разработки и внедрения программ предполагает выполнение ряда последовательных взаимосвязанных шагов, известных под общим названием этапов «проектного цикла». И хотя в разных странах в зависимости от сферы внедрения программы иногда используют несколько отличающиеся подходы и сроки, как правило, проектный цикл предусматривает следующие основные этапы: идентификация, разработка, утверждение и финансирование, внедрение, мониторинг и оценка и отчетность.

Этап «Идентификация» предусматривает определение концепции программы, выявление целевой группы (бенефициаров) программы и возможных заинтересованных сторон и участников, детальное исследование проблем и потребностей целевой группы и определение потенциальных путей их решения.

На этапе «Разработка проекта» осуществляется точная формулировка элементов программы и выработки четкого плана его реализации с учетом интересов целевой группы и заинтересованных лиц, четкого распределения ролей и полномочий между исполнителями, графика выполнения и мониторинга программы, определение необходимых ресурсов и процедур отчетности и т.п. [23]

Этап «Одобрение и финансирование» выполняет то учреждение, которое выделяет финансирует. После того, как организация-заявитель подала программу, это учреждение рассматривает ее и принимает соответствующее решение. На основе принятого решения готовят соответствующие документы.

«Реализация проекта» означает обеспечение четкого выполнения задач проекта в сотрудничестве с партнерами. Формирование взаимного доверия между партнерами по реализации программы и ее бенефициар, через активное привлечение последних к всех этапов выполнения проекта, является залогом эффективности и результативности программы.

Этап под названием «Мониторинг и оценка» предполагает сбор и анализ информации, необходимой для обеспечения достижения ожидаемых результатов и совершенствования процесса реализации программы. Другими задачами мониторинга и оценки является обеспечение открытости и отчетности, а также содействие распространению накопленного опыта - как положительного, так и негативного.

Этап «Отчет» предполагает предоставление руководителям соответствующей организации, финансирующему учреждению и бенефициарам программы информации о достижении ожидаемых (или недостижения) и неожиданных результатов и о расходе ресурсов.

Основные методологические стратегии. Существуют две основные методологические стратегии, используемые при оценке: качественная и количественная. Данные стратегии могут быть использованы как совместно, так и по отдельности.

Качественная оценка направлена на выявление основных типов мотиваций, мнений, отношений, поведения, ситуаций, причинно-следственных связей между процессами и явлениями. Иногда качественную оценку называют понимающей, то есть такой, которая позволяет лучше понять ситуацию или явление.

Данные для качественной оценки собирают при помощи неформализованного (неколичественного) анализа текстов, неструктурированных наблюдений, неструктурированных и полуструктурированных интервью, фокус-групп. Эти данные можно представить в различной форме: в виде отдельных высказываний, записей наблюдателей, фрагментов текстов и т.п. Мониторинг и оценка.

Анализ данных, собранных при помощи качественных методов, проводится в основном при помощи традиционных умственных операций: путем систематизации, типологизации, сравнения, обобщения собранных фактов, мнений, отношений.[24]

Результатом качественной оценки может быть словесное описание определенного процесса, исследуемой ситуации, поведения человека, перечень выявленных типов поведения и отношения представителей исследуемых групп, содержательные выводы о выявленных причинах определенных явлений и процессов.[25]

Однако качественная оценка не позволяет нам определить, какое количество людей придерживается выявленных типов поведения, какие факторы воздействия на них являются наиболее эффективными, а какие нет. Оценить количественно (математически -- в числах, например в %) распространенность выявленных в ходе качественной оценки типов мнений, отношений, поведения и ситуаций позволяют количественные методы сбора и анализа данных. Эти методы также дают возможность при помощи коэффициентов оценивать связи между различными характеристиками, процессами и явлениями.

Количественная оценка явлений и процессов проводится в случае, когда структура (основные компоненты) оцениваемой ситуации является достаточно известной

Исследователи составляют перечень характеристик явления или процесса, которые они хотят оценить, и разрабатывают числовые шкалы, по которым оценивают выбранные для оценки характеристики.

Оценивание ряда характеристик осуществляется при помощи процедур измерения. В задачах исследования мы перечисляем характеристики, которые хотели бы измерить, например: уровень информированности целевой группы, уровень удовлетворенности людей различными аспектами жизни, активность, количество определенных действий (например, обращений в организацию).

В результате измерения мы получаем числовую модель явления, в которой каждый объект (например, человек) описывается рядом цифр по определенным показателям. Измерив важные для оценки характеристики при помощи чисел, мы можем затем применить различные математико-статистические методы и процедуры для анализа изучаемого процесса или явления. Результаты измерения подаются исследователем чаще всего в виде таблиц, графиков, различных коэффициентов связи.

При проведении оценки важно понять, какие характеристики явлений и процессов возможно отразить при помощи цифр, а какие нет, поскольку некоторые характеристики отразить в виде цифр достаточно просто, некоторые измерить достаточно тяжело, а некоторые -- просто невозможно.

Таким образом, если оценка проводится относительно явлений и процессов, слабо изученных исследователями, сначала проводится сбор качественных данных с целью получить наиболее подробное описание ситуации. Затем на основе качественных данных разрабатывается инструментарий количественных методов и проводится оценка распространенности выявленных типов, а также связей между различными характеристиками. Мониторинг, как правило, проводится при помощи количественных методов, однако для объяснения появления новых тенденций после количественного измерения, для понимания могут быть использованы качественные методы. Достаточно часто комплексный и всесторонний анализ требует применения и качественных, и количественных методов. Главное при проведении оценки -- понимать возможности, особенности и ограничения каждого из рассмотренных подходов.[26]