Мониторинг и оценка в Кыргызстане. «Методы мониторинга и оценки общественной политики» Третьякова Татьяна ОО Институт гуманитарного проектирования Предпосылки создания системы МиО 1. В стране идет реформа государственного управления 2. Принята уже третья по счету стратегия, которая постоянно ставит вопрос о мониторинге и оценке результатов. 3. Достаточная открытость государственных органов, ответственных за создание стратегий. 4. Прошли публичные и экспертные обсуждения в стране по итогам первой стратегии НСCБ в 2007 году. 5. Прошло публичное обсуждение стратегии (СРС 2008 году) Основания участия общественности в мониторинге и оценке Политики Ставят задачи и контролируют. Внешний контроль. Избирают Внутренний контроль. Общество (Граждане). Должны работать на благо общества Контроль со стороны общества ? Зона мониторинга. Государст венные органы. Система мониторинга и оценки Среда оценки Государственные органы Гражданское общество Государственные органы СТРАТЕГИИ ПРОГРАММЫ ПРОЕКТЫ Политика Оценка инфраструктуры и кадровой готовности Внутренний аудит Мониторинг и Оценка Государственные органы Институциональные возможности ведения МиО: Целостность управленческого цикла Постановка целей Определение показателей Принятие решений Отслеживание показателей Обработка и анализ данных Подготовка аналитических документов МОДЕЛЬ ПРОГРАММЫ Оборудование ПРОБЛЕМА Люди Материалы Среда ПРОЦЕСС Технологии Мониторинг Оценка РЕШЕНИЕ ПРОБЛЕМЫ Модель программы: теория и реальность Теория • Миссия Реальность • Влияние программы • Цель • Результат программы • Задачи • Запланированные действия • Результаты действий • Выполненные действия Для чего нужны мониторинг и оценка? • Мониторинг и оценка (МиО) необходимы для принятия управленческих решений, основанных на данных и для отчетности. МиО обеспечивают информацию о функционировании государственных и неправительственных программ и проектов, а также определяют что, как и почему (не) работает. МиО не обладают внутренней ценностью; вся их ценность в том, как они помогают усовершенствовать деятельность организаций. ОЦЕНКА Информация для принятия решений ИССЛЕДОВАНИЕ РЕЗУЛЬТАТ Новое знание МЕТОДЫ Расширить и углубить существующее знание Получить информацию для принятия решений ПОСТАНОВКА ЗАДАЧИ Оценка и исследование «Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 1997) Исследование – это систематическая деятельность, направленная на получение нового знания. Существенной характеристикой исследования является возможность получения обобщенного знания, которое может использоваться в различных условиях. Оценка в управлении программой Мониторинг Аудит Проверка на соответствие Инспекция Выявление и предотвращение нарушений Контроль Отслеживание хода программы по сравнению с планом на основании замера значений показателей (индикаторов) Оценка Анализ процесса выполнения программы, достигнутых результатов и причин отклонений от плана Исследование Получение нового знания, моделирование Получение нового знания ОЦЕНКА • • • • Правильные ли вещи мы делаем? Правильно ли мы их делаем? Что у нас получается и почему? Как можно это сделать лучше? Оценка - это совокупность механизмов и методов по измерению фактических результатов политики (программ, проектов) которые завершены или находятся в стадии реализации, • в современных условиях невозможно проводить политику и принимать решения без ее всесторонней ОЦЕНКИ, так как проблемы становятся все сложнее, и возрастает цена ошибки, не говоря уже о необходимости рационально расходовать государственные ресурсы. • Организации государственного управления выступают инициаторами и заказчиками ОЦЕНКИ. • ОЦЕНКУ, как правило, осуществляют сторонние гражданские, профессиональные организации. • ОЦЕНКА не имеет задачи наказания виновных. Мониторинг • Как идут дела? • В какой мере выполняются планы? -----------------------------------------------------------------------Систематический сбор информации о значениях заранее выбранных индикаторов для обеспечения руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется программа развития, в какой степени достигаются поставленные цели и как используются фонды, выделенные на данную программу. На стадии разработки программы Когда нужно создавать систему мониторинга? 2 4 5 1 3 Для эффективного управления нужно знать: 1. Скорость 2. Температуру охлаждающей жидкости 3. Количество топлива 4. Включены ли фары 5. … Вышестояща я или специальная организация Внутренние управленческие функциональны е места Внешняя независимая КОНТРОЛЬ ОЦЕНКА МОНИТОРИНГ Нормы, стандарты , правила В соответствии с целями заказа В соответствии с целями управления РЕАЛЬНОСТЬ Мониторинг Система мониторинга в организации\учреждении. Управление Цели. Задачи. Индикаторы. Мероприятия. Периодичн. Издержки. Отв. Лица. Мониторинг. Информационна я система. Аналитическая система. Оперативная система. Теоретический (максимальный) уровень М. Приемлемый уровень М. Технологический уровень М. М. интуитивная, нерефлексивная. Потребность в информации Формирование задания Планирование Стадии процесса оценки программы Сбор данных Анализ данных Написание отчета Принятие решения «Обратная связь» Проблемы создания системы М и О в Кыргызстане. • Все проделанные ранее действия, направлены на создание лишь элементов мониторинга и оценки, то есть малой части того, что необходимо сделать . • «Понятийная катастрофа» в сфере. М,О, Контроль, практически не различены. • Мониторинг осуществляется как дополнительная нагрузка к деятельности ведомства, которая никаким образом не связана с эффективностью выполнения программы развития. • При этом в органах, ответственных за разработку и внедрение мониторинга и оценки нет представления о полной, работающей системе. Создаваемую информационную часть они полагают уже и законченной часть, и в этом смысле не ставятся задачи на продолжение работ. Государственные органы. Рекомендации. • Должна быть создана инфраструктура оценки в учреждениях. • Подготовлены кадры. • Разработаны инструкции и регламенты • Лица принимающие решение должны быть лояльны к процедурам МиО и пользоваться результатами. • Должна быть создана информационная база данных (Национальный статистический комитет, ведомственная статистика) Гражданское общество • Очевидно, что не достаточно разрозненных организаций которые занимаются оценкой, так как они работают с государством в режиме «заказчик -исполнитель». • Должна быть создана открытая организация, способная, оценивать Стратегии и политики независимо, содействовать подготовке оценщиков, экспертов, вести публичные обсуждения достижений, вводить профессиональные стандарты оценки. Разрабатывать этику оценки и оценщиков. Национальная сеть МиО В Кыргызстане создана Национальная сеть мониторинга и оценки в 2008 году. Стратегической целью является – • Формирование института профессиональной оценки, экспертизы и мониторинга. • Создание эффективных механизмов участия оценщиков в анализе национальных, локальных и секторальных программ. • Информирования, о значимых моментах в сфере МиО и реализации программ. • Повышения квалификации членов сети • Содействовать формированию политики в области МиО. Для чего нужны индикаторы ? • Индикаторы – это единицы того, что вкладывается в проект, какие процессы при этом происходят, какие результаты при этом получаются, и каков долгосрочный эффект. При условии научного подхода к сбору информации, предоставляется реальная возможность отслеживать прогресс проекта, демонстрировать результаты, и, в случае необходимости, корректировать процесс. СТРУКТУРА ИНДИКАТОРЫ СТРАТЕГИЧЕСКАЯ ЦЕЛЬ СОЦИАЛЬНЫЙ ЭФФЕКТ - измеренные долгосрочные улучшения социального положения потребителей и общества (impact) КОНЕЧНЫЙ РЕЗУЛЬТАТ - результат программы, выраженный объективными показателями улучшения положения получателей услуг (outcomes) ПРОМЕЖУТОЧНЫЕ РЕЗУЛЬТАТЫ – результаты выполнения задач, выраженные объективными показателями воздействия на потребителей услуг (interim outcomes) ПРЯМЫЕ РЕЗУЛЬТАТЫ/ ОБЪЕМЫ РАБОТ, УСЛУГ: произведенные работы госорганов, изданные нормативные акты, подготовленные кадры, построенные объекты и др. (outputs) ЗАТРАТЫ/ СТОИМОСТЬ: количество задействованных людей, финансов, оборудования, материалов (inputs) ЦЕЛЬ ПРОГРАММЫ ЗАДАЧИ МЕРОПРИЯТИЯ РЕСУРСЫ Упражнение: Поддержка малого бизнеса Проведено N консультаций с предпринимателями, разработано ХХ предложений в налоговое, таможенное законодательство Рост занятости на N%, снижение бедности на X%, рост благосостояния населения Y% Принято N предложений от предпринимателей, сделано 46 поправок в законы, создан Сокращение времени на Бизнес-инкубатор таможенные процедуры с 3 дней до 0,5 дней, снижение ставки налога с 15% до 9% Потрачено 12 человекомесяцев юристов и экономистов Прирост новых предприятий малого бизнеса, прирост продукции, увеличение доли на рынке Основные индикаторы программ • Конечный результат – воздействие на потребителей • Качество – уровень удовлетворенности потребителей, точность, уровень ошибок, надежность • Своевременность - % работ, выполненных в срок • Производительность – количество услуг (работ) на единицу затрат (на 1 госслужащего) • Прямой результат – объем работ, услуг Пример: Цель - Снижение уровня безработицы Для того, чтобы определить, когда мы добьемся успехов в достижении этой цели, нам необходимо ответить на следующий вопрос: – Для кого? – Где? – Сколько? – К какому сроку? Упражнение: Улучшение доступа фермеров к рынкам • Какие индикаторы покажут нам этот результат? • увеличение ежегодного дохода в % • сокращение больных растений в % • сокращение цен на продукцию в силу роста конкуренции • повышение уровня занятости в сельском хозяйстве Прочие? Методы сбора информации • Анкетирование • Наблюдение • Интервьюирование • Изучение документации Построение системы мониторинга Оборудование ПРОБЛЕМА Люди Материалы Среда ПРОЦЕСС Технологии РЕШЕНИЕ ПРОБЛЕМЫ Построение системы мониторинга программы 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Разработать индикаторы и дать им определения Определить источники информации Выбрать методы сбора данных Определить периодичность и график сбора данных Распределить ответственность за сбор данных Сформировать каналы передачи данных лицам, принимающим решения Определить порядок обработки данных и разработать соответствующие инструменты Определить схему распространения и использования информации Обучить людей, которые будут заняты в проведении мониторинга Предусмотреть в бюджете расходы на мониторинг Материалы по оценке: