Разработка методологии оценки результатов работы консультационных центров для

Разработка методологии оценки результатов
работы консультационных центров для
потребителей и результаты ее апробации
А. К. Синягин,
Директор департамента
консультационных услуг
государственному сектору
26 июня 2015 года
Практическая поддержка Роспотребнадзора и
консультационных центров: система оценки деятельности
консультационных центров
Выполнено:
Разработана система оценки деятельности консультационных центров исходя из лучшей мировой
практики, в частности, методологии оценки результатов деятельности госорганов в ЕС (Common
Assessment Framework, CAF).
Ее составляющие: качественные показатели, три критерия – Процессы, Взаимодействие,
Результаты, оценочные листы с описанием уровней качественного состояния (от 0 до 5) и системой
баллов (от 0 до 100), самооценка в виде выбора «своего» места и подтверждения доказательствами
Современное состояние:
Система оценки апробирована в пилотных регионах Проекта (октябрь –ноябрь 2014 ), обсуждена на
конференции (декабрь 2014), с учетом апробации проведена оценка деятельности региональных
консультационных центров (68 регионов) и построен экспериментальный рейтинг (март 2015)
Перспективы:
Необходимы дальнейшие работы по внедрению системы оценки – уточнение методологии,
формализация, принятие документов, информационное сопровождение
2
Основные положения методологии оценки
результатов деятельности консультационных центров
для потребителей
Система качественных
показателей оценки по разделам
(критериям) «Оценка качества…»:
Имеющаяся база: в 2008 г. –
Система оценка органов и
учреждений,
в 2013 – приказ № 656 о
целевых показателях
эффективности работы
1. Процесса консультирования
2. Процесса информирования
3. Квалификационно-кадрового
обеспечения
4. Материально-технического
и IT обеспечения
5. Сотрудничества с общественными
объединениями потребителей
6. Сотрудничества с образовательными
учреждениями
7. Результатов для потребителей
8. Результатов для общества
Трудности использования
при оценке количественных
показателей для
консультационных центров
Пример лучшей мировой
практики – оценка
результатов деятельности
госорганов в ЕС (Common
Assessment Framework, CAF)
После апробации:
1. Качество процессов
2. Качество взаимодействия
3. Качество результатов
3
Особенности предлагаемой
для апробации системы:
1. Простой и наглядный
характер – система
оценочных таблиц
2. Градации (уровни состояния)
качественных показателей
оценки
3. Присвоение баллов (в
методике CAF 100-балльная
шкала)
4. Самооценка при условии
представления
убедительных доказательств
5. Независимая оценка
(формальные правила,
коллегиальное обсуждение
спорных ситуаций, сводная
оценка)
Порядок оценки результатов деятельности
консультационного центра
1. Изучение форм для заполнения
2. Оценка исходной ситуации
3. Заполнение оценочных таблиц – баллы
по шкале в зависимости от состояния и
имеющихся доказательств
4. Приведение к заполненным таблицам
убедительных доказательств
5. Сведение итоговых значений в
оценочных таблицах в сводную форму
6. Экспертиза по формальным правилам
4
Пример оценочной таблицы: Качество процесса
консультирования
Краткое описание уровней показателя
Уровень
Интервал
оценки
Значение
оценки
1
2
3
4
Мы не ведем или практически не ведем деятельность по консультированию потребителей
финансовых услуг
0
0-10
Мы планируем и выполняем деятельность по консультированию потребителей финансовых услуг
1
11-30
Мы планируем и выполняем деятельность по консультированию потребителей финансовых услуг в
запланированные сроки и в соответствии с установленными требованиями (стандартами)
2
31-50
Мы планируем и выполняем деятельность по консультированию потребителей финансовых услуг в
запланированные сроки и в соответствии с установленными требованиями (стандартами), в конце
года проводим ее оценку и необходимую корректировку
3
51-70
Мы планируем и выполняем, регулярно оцениваем и корректируем деятельность по
консультированию потребителей финансовых услуг в запланированные сроки и в соответствии с
установленными требованиями (стандартами), пересматриваем подходы, если это необходимо
4
71-90
Мы планируем, выполняем, регулярно оцениваем и корректируем деятельность по
консультированию потребителей финансовых услуг в запланированные сроки и в соответствии с
установленными требованиями (стандартами), учимся у других, совершенствуем и внедряем новые
подходы
5
91-100
К каждой таблице должны быть даны комментарии, содержащие доказательства выбранного значения (документы,
справки, протоколы, значения количественных показателей и их динамики, результаты опросов и др.)
5
Блок-схема обработки данных дистанционного
опроса консультационных центров в 2015 году
Исходные данные :
направлен запрос в 83 региона Российской Федерации
получены анкеты из 68 регионов
Итерационный процесс оценки каждого из 3-х разделов анкеты
(ПРОЦЕССЫ, ВЗАИМОСВЯЗИ, РЕЗУЛЬТАТ)
II этап
I этап
Оценка уровня
состояния
(качественная
характеристика по
разделу) исходя из
анализа ответов на
подвопросы и их
весовых
характеристик
Оценка
качества
заполнения анкеты
АНКЕТА
IV этап
III этап
Оценка
значения
(в баллах) в рамках
выбранного уровня
(интервала)
исходя из анализа
доказательств
Промежуточный
результат 1
Промежуточный
результат 2
Промежуточный
результат 3
Установлена
БАЗА для оценки
Установлен
УРОВЕНЬ
состояния
Присвоено
ЗНАЧЕНИЕ
оценки(в баллах)
Разбор спорных
ситуаций
исходя из
обсуждения на
рабочей группе
консультантов
Промежуточный
результат 4
Уточненный
УРОВЕНЬ и
ЗНАЧЕНИЕ
оценки (в баллах)
ИТОГОВЫЙ результат оценки деятельности КЦ:
- Х баллов из 300 возможных;
- фиксация УРОВНЯ состояния по разделам ПРОЦЕССЫ, ВЗАИМОСВЯЗИ,
РЕЗУЛЬТАТ;
- возможность сравнения с другими КЦ (построение рейтинга)
6
V этап
СВОДНАЯ
Оценка
деятельности
Распределение региональных консультационных центров
по критерию «Качество процессов информирования и
консультирования»
Нулевой уровень:
4
4
6%
6%
9
13%
консультационный центр не ведет или практически не ведет деятельность по
консультированию и информированию потребителей финансовых услуг
5
8%
Первый уровень:
Консультационный центр планирует и ведет деятельность по консультированию и
информированию потребителей финансовых услуг
Второй уровень:
консультационный центр планирует и ведет деятельность по консультированию и
информированию потребителей финансовых услуг в запланированные сроки и в
соответствии с установленными требованиями
Третий уровень:
консультационный центр планирует и ведет деятельность по консультированию и
информированию в запланированные сроки и в соответствии с установленными
требованиями, в конце года проводит ее оценку и необходимую корректировку
24
36%
21
31%
7
Четвертый уровень:
консультационный центр планирует, ведет и регулярно оценивает и корректирует
деятельность в запланированные сроки и в соответствии с установленными
требованиями, пересматривает подходы, если это необходимо
Пятый уровень:
консультационный центр планирует, ведет и регулярно оценивает и корректирует
деятельность в запланированные сроки и в соответствии с установленными
требованиями (стандартами), учится у других, совершенствует и внедряет новые
подходы
Распределение региональных консультационных центров
по критерию «Качество взаимодействия»
5
8%
Нулевой уровень:
консультационный центр не проводит или практически не проводит деятельность
по развитию сотрудничества с заинтересованными организациями в силу
объективных причин
6
9%
9
14%
23
34%
15
22%
9
13%
8
Первый уровень:
консультационный центр планирует и ведет деятельность по развитию
сотрудничества с заинтересованными организациями
Второй уровень:
консультационный центр планирует и проводит деятельность по развитию
сотрудничества в запланированные сроки и в соответствии с установленными
требованиями
Третий уровень:
консультационный центр планирует и проводит деятельность по развитию
сотрудничества в запланированные сроки и в соответствии с установленными
требованиями, в конце года проводит ее оценку и необходимую корректировку
Четвертый уровень:
консультационный центр планирует и ведет деятельность по развитию
сотрудничества в запланированные сроки и в соответствии с установленными
требованиями, в конце года проводит ее оценку и необходимую корректировку,
пересматривает подходы
Пятый уровень:
консультационный центр планирует, ведет, регулярно оценивает и корректирует
деятельность в запланированные сроки и в соответствии с установленными
требованиями, учится у других, совершенствует и внедряет новые подходы
Распределение региональных консультационных центров
по критерию «Качество результатов деятельности»
3
4%
6
0
9%
0%4
6%
20
30%
Нулевой уровень:
консультационный центр не получил или практически не получил за отчетный
период результатов деятельности в силу объективных причин, которые не
позволяют судить о месте консультационного центра в регионе
Первый уровень:
консультационный центр запланировал и получил за отчетный период
результаты деятельности, которые позволяют вынести суждение о
незначительном месте консультационного центра в регионе
Второй уровень:
консультационный центр запланировал и получил за отчетный период
результаты деятельности, которые позволяют вынести суждение о
слабозаметном месте консультационного центра в регионе
Третий уровень:
консультационный центр запланировал и получил за отчетный период
достоверные и подтверждаемые результаты деятельности, которые позволяют
вынести суждение о заметном месте консультационного центра в регионе
34
51%
9
Четвертый уровень:
консультационный центр запланировал и получил за отчетный период
достоверные и подтверждаемые результаты деятельности, которые позволяют
вынести суждение о достойном месте консультационного центра в регионе
Пятый уровень:
консультационный центр запланировал и получил за отчетный период
достоверные и подтверждаемые результаты деятельности, которые позволяют
вынести суждение о важном месте консультационного центра в регионе
Экспериментальный рейтинг региональных
консультационных центров для потребителей:
выводы по первым результатам
 Экспериментальный рейтинг носит неофициальный (справочный) характер –
его результаты не подлежат распространению,
 Экспериментальный рейтинг имеет право на существование,
 Экспериментальный рейтинг представляет базу для развития (уточнение
методологии, принятие формальных правил и методических рекомендаций для
заполнения, размещение результатов на сайте),
 Доработанный рейтинг должен быть основан на принципах независимости,
объективности и формальности,
 Доработанный рейтинг необходим для улучшения работы (определить лучших
и распространить передовую практику, определить худших и провести разбор
ситуации, сравнить и стимулировать)
10
Благодарим за внимание!
101990, Москва, ул. Мясницкая, д.44/1
Телефон (495) 737 5353
Факс
(495) 737 5347
E-mail
[email protected]