Управление оценкой Оценка для разработки политик Октябрь, 2014 г., Сучжоу, Китай
реклама
Управление оценкой Оценка для разработки политик Октябрь, 2014 г., Сучжоу, Китай Presented by: Joseph J. Capuno University of the Philippines Based on the material prepared by: Professor Patricia Rogers RMIT University (Royal Melbourne Institute of Technology) Australia [email protected] Десять компонентов управления оценкой 1. Решить – что оценивать и когда 2. Вовлекать соответствующие заинтересованные стороны 3. Определить очертания оценки – прояснить предполагаемое использование и пользователей, основные вопросы оценки и значения 4. Разработать Техническое задание или Запрос на представление предложения (ЗПП) 5. Оценить и обеспечить финансирование и другие необходимые ресурсы 6. Привлечь команду по оценке 7. Осуществлять контроль за разработкой дизайна оценки и плана оценки 8. Осуществлять контроль за реализацией плана оценки 9. Распространить и оказывать поддержку использованию полученных результатов оценки 10. Провести обзор оценки и процесса проведения оценки. 2 1. Принять решение – что оценивать Какой вариант даст what лучшие How do you decide getsрезультаты evaluated в вашей ситуации? Есть другие варианты? – and when? Вариант Характеристики Преимущества Недостатки Универсальная и стандартизиров анная Все программы оцениваются одинаково (например, в середине программы, по ее окончанию) Последовательность и ясность Ресурсы оценки слишком распылены Универсальная, но разработанная на местном уровне Оцениваются все программы, но масштаб с фокусом на важных вопросах и сроках Местное вовлечение, больший шанс использования Риск упустить важные вопросы, трудно агрегировать Целевая Определить программы, имеющие особую стратегическую важность Более сфокусированные ресурсы оценки Не включает оценку в ежедневный менеджмент 3 1. Принять решение – что оценивать Australian Publlic Service Commission (2005) Evaluating learning and developmentr 4 Когда проводить оценку воздействия • Разные вещи – Пилотные программы – Инновационные программы – Новые области деятельности • Установившиеся вещи – Представительные программы – Важные программы • Стараться заполнить пробелы Howard White www.3ieimpact.org На различных этапах необходимы различные типы оценок Определение повестки дня Формулировка политики Реализация политики Какова ситуация? Каковы потребности и возможности? Каковы приоритеты? Каковы варианты? Каковы доказательства того, что будет работать? Что является наилучшим вариантом? Как мы думаем, как это будет работать? Что необходимо, чтобы это заработало? Как она может быть реализована? Как идет реализация? Каким образом ее нужно адаптировать? Анализ потребностей Анализ ситуации Анализ существующих доказательств – систематические обзоры, образцы для подражания Оценка воздействия пилотных проектов Предварительная (перспективная) экономическая оценка Теория изменения Howard White Процесс оценки Мониторинг www.3ieimpact.org Обзор Какое было воздействие? (преднамеренное и непреднамеренное) Нужно ли пересмотреть политику? Оценка воздействия реализованных политик Последующая (ретроспективная) Process evaluation экономическая оценка Оценка развития 6 Определение сроков принятия основных решений Планирование для проведения оценки Начало программы Проведение оценки Решение быть проинформированным на основе оценки Конец программы Process evaluation Начало новой программы Идти в обратном направлении от времени, когда нужна информация для принятия информированного решения 7 Некоторые временные рамки • Последующая: 12-18 месяцев • Предварительная: – Для подготовки дизайна обследования – за 3-6 месяцев до него – После обследования до первых оценок воздействия – за 6-9 месяцев – Написание отчета и консультации – за 3-6 месяцев Howard White www.3ieimpact.org Зачастую решение необходимо принимать до того, как появятся свидетельства воздействий Конец программы Начало программы Воздействие становится очевидным Оценка Необходим отчет Когда вам нужна информация для информирования решения? Принимается решение Начинается новая программа Process evaluation Как вы можете решить задачу определения сроков принятия решений? 9 2. Вовлекать заинтересованные стороны в оценку Члены Роль Координационный комитет Представители основных предполагаемых пользователей Принимать решения об оценке: Утверждать технические задания, отбирать команду по оценке, оценивать дизайн и команду, отчеты. Быть чемпионом оценки и поощрять использование ее полученных результатов Технический консультационный комитет Секторные эксперты, эксперты по методологии Предоставлять технические консультации. Может включать обзор дизайна и отчета по оценке со стороны коллег Комитет по консультациям с сообществом Представители сообщества Предоставлять информацию с точки зрения сообщества Помогать в стимулировании участия в процессе сбора данных Кто должен вовлекаться в оценку Какие структуры вы будете использовать? 10 3. Определить очертания оценки – определить основных предполагаемых пользователей и основные предполагаемые виды использования, основные вопросы оценки, кто ее будет делать 11 Решить, кто будет проводить оценку Вся оценка проводится • внутренними силами • небольшие-умеренные инвестиции низкий риск • оценка ограничена по масштабу, • внутренние сотрудники имеют навыки и ресурсы для систематического сбора и анализа данных. Гибрид – сочетание Внешние провайдеры услуг внутренних и внешних •поддержка внутренних сотрудников для проведения оценки посредством ресурсов содействия и/или обучения. •осуществление одного или более компонентов (например, сбор или анализ специальных данных, или отчетность). •Проведение внешнего обзора процесса или продукта (например, дизайн оценки, инструменты сбора данных, отчет по оценке). Внешняя – меньший Разработана внутренними силами и реализуется внешней группой масштаб проекта по •небольшие оценки, оценке, разработанный •когда оценка повторно использует предыдущий дизайн (план) внутренними силами Внешняя – больший Для разработки дизайна оценки используется внешняя экспертиза. масштаб проекта по оценке, разработанный внешними оценщиками Инструментарий оценки правительства NSW 12 Разработать основные вопросы оценки Оценка процесса Как реализуется программа? Оценка итогов (или оценка воздействия) Насколько хорошо сработала программа? Экономическая оценка (анализ экономической эффективности и анализ выгод и затрат) Достигнуто ли соотношение цена-качество? Какое вариант наиболее экономически эффективен? Была ли интервенция экономически эффективной (по сравнению с альтернативами)? Является ли программа наилучшим использованием ресурсов? Каково соотношение затрат к выгодам? Насколько уместны процессы по сравнению со стандартами качества? Правильно ли реализуется программа? Охватываются ли участники, как это было предусмотрено? Насколько удовлетворены клиенты программы? Для каких клиентов? Что сделано инновационными образом? Достигла ли программа предусмотренные итоги в краткосрочной, среднесрочной и долгосрочной перспективах? Для кого, какими путями и при каких обстоятельствах? Какие непреднамеренные итоги (положительные и отрицательные) были получены? В какой степени изменения могут приписываться программе? Каковы конкретные характеристики программы и контекст, которые способствовали изменению? Каким было влияние других факторов? Инструментарий оценки правительства NSW 13 Пояснить “что считается успехом” • Что будет считаться успехом с точки зрения: • Итогов • Процессов • Распределения выгод и затрат? Какие критерии и стандарты должны использоваться, чтобы судить об успехе? • ЦРТ • Заявленные национальные целевые показатели и политики 14 4. Разработать техническое задание/запрос на предоставление предложений 1. Почему и для кого проводится оценка 2. Как она будет осуществляться 3. Кто будет проводить оценку и составлять отчеты 4. Основные этапы, представляемые материалы/отчеты и сроки 5. Какие ресурсы имеются для проведения оценки •Критерии отбора и взвешивание – опыт в области оценки в целом и в этом секторе – знания языка и культуры – продемонстрированная экспертиза в конкретных областях навыков – учет завершенных предыдущих оценок с высоким качеством в указанные сроки – затраты – http://betterevaluation.org/evaluation-options/terms_of_reference 15 5. Определить и обеспечить финансирование и другие необходимые ресурсы • Вопросы, которые влияют на уровень необходимых ресурсов – Масштаб оценки – число мест, фокус на более долгосрочных воздействиях – Характер оценки – риск, неопределённость, требуемый уровень определенности – Характер того, что оценивается – – Стандартная, легко наблюдаемая услуга с краткосрочными, легко наблюдаемыми воздействиями, тесно связанными с услугой – Очень изменяющаяся, трудная для наблюдения услуга с более долгосрочными воздействиями, трудными для наблюдения, на которые влияют другие факторы 16 5. Определить и обеспечить финансирование и другие необходимые ресурсы • Вопросы, которые влияют на уровень необходимых ресурсов – Масштаб оценки – число мест, фокус на более долгосрочных воздействиях – Характер оценки – риск, неопределённость, требуемый уровень определенности – Характер того, что оценивается – – Стандартная, легко наблюдаемая услуга с краткосрочными, легко наблюдаемыми воздействиями, тесно связанными с услугой – Очень изменяющаяся, трудная для наблюдения услуга с более долгосрочными воздействиями, трудными для наблюдения, на которые влияют другие факторы – Доступность существующей информации – данные мониторинга о реализации программы – социальные индикаторы на местном уровне 17 Стоимость некоторых исследований • Исследования по профессиональнотехническому обучению ИАБР: US$20 000 каждое • Исследование IEG BINP - US$40 000-60 000 • Исследование IEG по электрификации села US$120 000 • Исследование IEG по образованию в Гане US$500 000 • Среднее исследование 3ie - US$300 000 + • Среднее исследование 3ie в Африке с двумя раундами обследований - US$500 000 + Howard White www.3ieimpact.org 6. Привлечь команду по оценке Размещение объявления •Предоставить достаточное время для подготовки (хорошие команды по оценке зачастую заняты) •Распространять через официальные уведомления и неформальные сети (например, списки для обзора оценок) •Если существует группа поставщиков, проанализировать членов и выбрать тех, кто будет приглашен •Персонально связаться с потенциально подходящими оценщиками, чтобы проинформировать их о размещении ЗПП 19 Отбор команды по оценке • Составить короткий список на основе предложений • Провести интервью, чтобы проверить их понимание проекта и способность осуществить проект • Проанализировать выборку из их работы • Проверить, есть ли рекомендации • Проверить, кто фактически будет проводить работу – команда ‘A’, которая присутствовала на интервью, или команда ‘B’? 20 7. Контролировать разработку дизайна оценки и плана оценки Дизайн оценки • Каким образом будут собираться и анализироваться данные, чтобы ответить на основные вопросы оценки Первоначальный дизайн внутри организации • Что будет сделано, чтобы реализовать дизайн 21 Варианты для разработки дизайна оценки Разработан собственными силами • Изложен в ТЗ Первоначальный дизайн разработан собственными силами • Команда по оценке предлагает любые изменения в первоначальном отчете Первоначальный дизайн команды по оценке • Заказчик предлагает изменения на первоначальном этапе Дизайн подготовлен как отдельный проект • Может быть отдельным проектом для одной команды или для нескольких (заявители, включенные в короткий список) 22 Проверить, чтобы дизайн охватывал все основные вопросы оценки – матрица оценки Основной вопрос оценки Обзор документов (указать) 1. 2. 3. 23 Интервью с основными информаторами Анкета Наблюдения 8. Контроль за реализацией плана оценки • Регулярный надзор • Отчетность по промежуточным полученным результатам • Постоянное вовлечение заинтересованных сторон и чемпионов оценки (учитывая изменения в составе заинтересованных сторон) • Определение и рассмотрение любых изменений, которые необходимо внести в план 24 Обеспечить процессы для пересмотра дизайна и плана оценки, если необходимо • Могут понадобиться изменения, чтобы отреагировать на: – трудности в ее реализации в соответствии с планами (например, существующие данные недостаточно хорошего качества) – возникающие приоритеты в области политики – возникающие возможности для информирования и усовершенствования реализации • Необходимые процессы для пересмотра дизайна и плана – Официальное определение проблемы – Описание и анализ вариантов – Официальное решение о внесении изменения 25 9. Распространить полученные результаты и поддерживать их использование • Необходимо включить план коммуникаций в качестве части плана оценки • Необходимо предусмотреть в бюджете адекватные сроки и денежные средства 26 10. Провести обзор оценки и процесса оценки Во время оценки •Определять и решать проблемы •Включать в процессы обзора основных итоговых материалов – дизайн, план, инструменты сбора данных, отчеты После оценки •Может включать обзор отчета со стороны коллег до его принятия •Архивирование отчета •Архивирование деидентифицированных данных 27 Стандарты оценки Полезность Исполни мость Действит ельность Правильность/ уместность 28
