Агранович М.Л. Выступление на вебинаре.

Российский тренинговый центр Института управления образованием РАО
Вебинар «Оценка эффективности деятельности муниципальных
образовательных систем»
23 апреля 2013 года
Оценка эффективности деятельности
муниципальных образовательных систем
Агранович М.Л.,
Исполнительный директор
Межрегиональной ассоциации
мониторинга и статистики образования
Действующая нормативно-методическая база
оценки
Указ Президента Российской Федерации «Об оценке эффективности деятельности органов местного
самоуправления городских округов и муниципальных районов» № 607 от 28 апреля 2008 г., который
• вводит систему показателей оценки,
• устанавливает порядок оценки и публикации ее результатов
• определяет перечень необходимых нормативных документов для обеспечения оценки.
• рекомендует также регионам выделять за счет бюджетных ассигнований из бюджета субъекта Российской
Федерации гранты муниципалитетам.
Постановление правительства рф от 17 декабря 2012 г. n 1317 «О мерах по реализации указа президента
российской федерации от 28 апреля 2008 г. n 607…» которым утверждены:
• перечень дополнительных показателей для оценки эффективности деятельности органов местного
самоуправления;
• методику мониторинга эффективности;
• типовую форму доклада глав;
• методические рекомендации о выделении грантов;
• перечень рекомендуемых показателей, используемых для определения размера грантов;
• правила оценки населением эффективности деятельности руководителей органов местного самоуправления,
а также применения результатов указанной оценки;
• критерии оценки населением эффективности деятельности руководителей
Задачи оценки
Содействие достижению и поощрение достижения
наилучших значений показателей деятельности органов
местного самоуправления городских округов и
муниципальных районов
Результаты мониторинга эффективности деятельности
органов местного самоуправления позволяют
определить зоны, требующие приоритетного внимания …,
сформировать перечень мероприятий по повышению
результативности деятельности…, а также выявить
внутренние ресурсы для повышения качества и объема
предоставляемых населению услуг
Направления оценки
• Результативность деятельности органов
местного самоуправления в сфере
образования
• Эффективность расходов на образование
• Уровень удовлетворенности населения
услугами образования.
Результаты
1.
Оценка результативности и эффективности муниципальных
образовательных систем в сфере образования на основе
унифицированного
набора
прозрачных показателей
и единой
Главный результат
- региональные
и муниципальные
методики
руководители
начали считать показатели, придавать
2. Публикация ежегодных докладов каждым муниципалитетом,
значение
цифрам
и индикаторам,
осознали действенность
содержащих
сопоставимые
данные
3.индикативного
Расчет объемов иуправления
направленийинеэффективных
по оценку
сами стали расходов
проводить
каждому муниципалитету
образовательных
систем не на основе экспертных оценок и
4. Предоставление грантов наиболее успешным регионам на основе
рейтингаа по проверяемым количественным показателям.
мнений,
5. Постоянное совершенствование методической базы оценки в части
состава показателей, методов сбора данных и расчета, приведения
данных к сопоставимому виду, анализа результатов расчета
Теперь можно делать следующий шаг:
Наряду с совершенствованием:
• состава показателей
• методов их расчета
• методов приведения данных к сопоставимому виду с учетом условий
функционирования региональных образовательных систем
• способов определения целевых значений и нормативов:
• способов построения рейтингов
Надо развивать направления использования результатов расчетов:
 Переходить от констатации к анализу причин успеха или неуспеха.
 Применять индикативные методы управления для улучшения показателей
 Использовать оценку как информационную базу общественного диалога
Принципы оценки муниципальных
образовательных систем
 Оценка – по эффектам важным для конечного потребителя, а не по
промежуточным результатам
 Учет условий функционирования и возможностей развития
 Сочетание инвариантной части со специфическими для данной территории
показателями
 Оценка эффективности по конечным результатам, а не «внутренней
эффективности
 Прозрачность и публичность оценки.
 Оценка проводится для целей анализа и служит информационной основой
общественного диалога, а не для наказания и поощрения
Совершенствование оценки муниципальных
образовательных систем
Корректировка состава показателей оценки и
методов их расчета
Новый подход к оценке эффективности.
Показатели оценки
удовлетворенность
населения
услугами:
Направления оценки
результативности:
Доля преступлений, совершенных
 Качество
образования
• дошкольного
образования;
несовершеннолетними
или при их соучастии, в общем
Доля
выпускников
не получивших
аттестат
о среднем
 Доступность
дошкольного,
общего
среднего
и
количестве
зарегистрированных
преступлений
• общего образования;
(полном)
образовании,
в
общей
дополнительного
образования
детей ичисленности
• дополнительного образования
выпускников
подростков
Дифференциация
результатов
обучения в средней
 Социализация
подростков
и молодежи
школе
 Удовлетворенность
Доступностьнаселения
дошкольногоуслугами
образования
дошкольного, общего среднего и
дополнительного
образования
детей и
Доступность
дополнительного
подростковобразования детей и подростков
Расчет показателей результативности
1. Рассчитываются показатели результатов и на
их основе промежуточные, по направлениям,
и сводный индекс результативности.
2. Учет внешних факторов (приведение к
сопоставимому виду) – осуществляется на
основе расчета зависимости показателей
затрат от контекстных показателей или
кластеризации.
Схема расчета индексов и построения рейтинга
Расчет показателей по
направлениям
норм
𝑋𝑖
𝑋𝑖 − 𝑋𝑚𝑖𝑛
𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛
=
Нормирование
Расчет индексов по
направлениям
𝐼𝐽 =
𝑎𝑖 × 𝑥𝑖
𝑖
Нормирование
Расчет сводного индекса
Расчет частных и сводного
рейтинга
𝐼св = 𝑗
𝑏𝑗 × 𝐼𝑗
Основные принципы оценки эффективности
деятельности :
1. Эффективность деятельности рассчитывается как
отношение значений достигнутых показателей
результатов к расходам на образование
2. Оценка должна учитывать специфические условия
и возможности развития территории
3. Оценка должна учитывать не только достигнутый
уровень показателей, но и их динамику.
Расчет показателей эффективности
Индекс
результативности
Индекс
= Расходы на образование
эффективности
в расчете на 1 учащегося
Приведение расходов на образование к
сопоставимому виду.
Расходы на одного учащегося ,
тыс.руб.
Зависимость расходов на образование от структуры
населения
70.0
y = 26.287e0.0068x
R² = 0.6088
60.0
50.0
40.0
30.0
20.0
10.0
0.0
0
20
40
60
80
100
Доля учащихся, проживающих в сельской местности, %
120
Сравнение номинальных и приведенных расходов
МО39
МО37
МО35
МО33
МО31
МО29
МО27
МО25
МО23
МО21
МО19
МО17
МО15
МО13
МО11
МО9
МО7
МО5
МО3
МО1
Приведенные расходы
Номинальные расходы
0.0
10.0
20.0
30.0
40.0
50.0
60.0
70.0
80.0
90.0
100.0
Сравнение индексов результативности и
эффективности по муниципалитетам
42
39
36
33
30
27
23
Индекс Эффективности
20
Индекс Результативности
17
14
11
8
5
1
0.00
0.20
0.40
0.60
0.80
1.00
1.20
Общие результаты анализа
 Индекс результативности сильно коррелирует с затратами, то
есть большие расходы дают и лучшие результаты.
По результатам экспериментальной проверки
в 5 субъектах
Федерации
 Показатель эффективности
не связан
с показателем
результативности и показателем расходов, т.е. высокая
эффективность может быть обеспечена как в «богатых»
муниципалитетах, так и в «бедных»
 Уровень удовлетворенности населения услугами образования
не связан с показателями результатов
Направления анализа результатов и возможные
управленческие решения
1. Определение сильных и слабых сторон
региональной образовательной системы
2. Реализация образовательной политики –
«манипуляция» весами
3. Использование опыта лучшей практики
Анализ результатов – профиль муниципальной
системы образования
Муницип. А демонстрирует
лучшие, чем в среднем по
региону, результаты по качеству
образования и социализации
учащихся но уступает другим
МО по доступности
образования
Удовлетворенность
качество
1.00
0.90
0.80
0.70
0.60
0.50
0.40
0.30
0.20
0.10
0.00
Социализация
Муницип. А
Среднее по
муниципалитетам региона
Доступность
Анализ результатов: в чем проблемы муниципалитета А?
Сравнение показателей доступности образования в муниципалитете
А со средними по региону
Доступность доп. образования в
школах
Доступность доп. образования в
учреждениях
Доступность дошкольного
образавания
-0.35
-0.30
-0.25
-0.20
-0.15
-0.10
-0.05
0.00
0.05
Использование оценки в управлении
• Анализ причин отставания и успехов
• Индикативное управление через
«манипуляцию» весами при расчете
сводного рейтинга.
• Использование опыта лучшей практики
Использование результатов в управлении
Муниципалитет
Качество
вес
A
B
C
D
E
F
1
0,39
0,45
0,51
0,50
0,38
0,47
Качество
вес
A
B
C
D
E
F
3
1,18
1,36
1,54
1,51
1,13
1,41
Доступность
1
1,00
0,90
0,60
0,98
0,41
0,82
Доступность
1
1,00
0,90
0,60
0,98
0,41
0,82
Социализаци Удовлетворе
я
нность
1
0,92
0,60
1,00
0,27
0,85
1,00
1
0,11
0,22
0,14
0,37
0,26
0,61
Социализаци Удовлетворе
я
нность
1
0,92
0,60
1,00
0,27
0,85
1,00
1
0,11
0,22
0,14
0,37
0,26
0,61
СВОДНЫЙ
Ранг
0,61
0,54
0,56
0,53
0,48
0,73
СВОДНЫЙ
0,54
0,51
0,55
0,52
0,44
0,64
2
4
3
5
6
1
Ранг
3
5
2
4
6
1
СПАСИБО ЗА ВНИМАНИЕ!
www.mamso.ru
info@mamso.ru
rtc.imerae@gmail.com
WWW.RTC-EDU.RU