партнеров EEN Россия, анализ эффективности по ключевым

Мониторинг региональных интегрированных центров - партнеров
EEN Россия, анализ эффективности по ключевым показателям
(индикаторам) отчетности о результатах деятельности
Конференция ENTERPRISE EUROPE NETWORK – РОССИЯ:
СТАРТ ПРОЕКТА, 18-19 мая 2015 года
Мониторинг и оценка – ключевые положения
Деятельность в сети EEN направлена на конкретные результаты:

Функция мониторинга – упреждение отклонений от намеченной траектории
деятельности РИЦ, формирование корректирующих управленческих решений

Функция оценки – подтверждение достижения целей/ результатов деятельности
РИЦ в рамке сети EEN и Консорциума, выявление системных проблем и лучших
практик, формирование корректирующих управленческих решений
Мониторинг и оценка обеспечивают:

координацию и контроль деятельности РИЦ в рамках задач EEN/ Консорциума,
базы для принятия решений;

выявление проблем;

выявление лучших практик;

необходимость поддержки РИЦ со стороны Консорциума;

формирование пакета услуг Консорциума;

информирование заинтересованных сторон (Консорциум, EEN, ФОИВ, МСП,
общественность и т.д.);

демонстрацию достижений
2
Рамка результативности EEN и
заинтересованных сторон (инвесторов)
Мероприятия (деятельность)
Непосредственные результаты
Конечный результат
Международное взаимодействие в
целях бизнес-кооперации, трансфера
технологий, внедрения инноваций и
проведения НИР:
- (со-) организация брокерских
мероприятий и «миссий компаний»;
- инициирование и распространение
предложений о сотрудничестве
- количество организованных
брокерских мероприятий и «миссий
компаний»
- количество СМП, принявших участие в
указанных мероприятиях
- количество деловых встреч/
переговоров на указанных
мероприятиях
-количество инициированных
предложений о сотрудничестве
- количество полученных выражений
интереса
- количество инициированных
выражений интереса
Количество соглашений о
сотрудничестве:
- коммерческие
соглашения;
- соглашения по
трансферу
технологий;
- соглашения в сфере
научных
исследований
Мероприятия по содержательной и
информационно поддержке СМП (в
рамках организации международного
сотрудничества)
Количество запросов, полученных от
партнеров EEN
3
Рамка результативности EEN и
заинтересованных сторон (инвесторов)
Мероприятия (деятельность)
Непосредственные результаты
Продвижение услуг сети EEN/EENRussia, PR и коммуникации
Количество СМП, зарегистрированных
в официальной базе данных EEN
Развитие и укрепление сети EEN
Активный вклад в деятельность сети
EEN (измеримые действия)
Развитие сети инфраструктуры
поддержки СМП/ инноваций
Элементы поддержки СМП
(нормативные правовые акты,
финансирование, продвижение,
консультирование и т.п.)
Номенклатура разработанной/
производимой продукция
Интеллектуальная собственность….
Конечный результат
Контракты
Конечный результат для EEN – партнёрские соглашения
Необходимые направления деятельности указаны (декомпозированы) в
соглашениях с РИЦ
Результаты деятельности РИЦ измеряемы
4
Схема мониторинга
Отчетность,
представление
интересов
EEN
Обмен данными,
формирование
решений
«Инвесторы»
(ФОИВ, РОИВ)
Отчетность
Решения,
поручения,
проверка
Отчетность,
заявки, запросы
РИЦ
Проверка, аудит
Отчетность
Эксперты
МСП
МСП
5
Консорциум
Эксперты
Оценка,
решения, аудит,
поддержка
Выполнение соглашений с
Консорциумом
Ход формирования и
реализации планов работ/
проектов РИЦ
Выявление рисков и
отклонений
Формирование решений и
управление поручениями
6
Стратегическое
Оперативное
Направления мониторинга и оценки
Изменение среды
(принятие решений,
направленных на
развитие инновационной
инфраструктуры)
Определение «точек
прорыва»
(приоритетность
мероприятий РИЦ)
Сокращение разрывов
«цель - факт»
Оценка хода реализации
стратегии
(деятельность РИЦ
релевантна задачам EEN
и Консорциума)
Среда (онтология) деятельности РИЦ (пример)
Какие услуги
предоставить
СМП?
Как привлечь
СМП?
Что должны
знать
сотрудники?
РИЦ
Какие имеются
точки роста?
Возможно ли
достижение
антикризисных
эффектов?
7
Чем СМП
интересны
партнёрам EEN?
Чем партнёры
EEN интересны
СМП?
Как ввести
заявку в
систему? И т.п.
Результативность – эффективность: как видят
деятельность РИЦ инвесторы и Консорциум
Современные международные стандарты оценки эффективности программ и проектов
предполагают оценку эффективности деятельности*, финансируемой из бюджета или
организациями-донорами, по трем параметрам: экономичность, эффективность и
результативность
Цель
Затраты
Ресурсы
Экономия
(economy)
Процесс
Экономическая
эффективность
(Economically Efficient)
Непосредс
твенный
результат
(output)
Конечный
результат
(outcome)
Результативность
(Effectiveness)
Эффективность по конечному результату (Value for money)
1
Миссия
Мониторинг и оценка эффективности
*UN,
8 UNIDO, INTOSAI, World Bank, Счетная палата РФ, управление регионами (США) и т.д.
Стратегич
еский
результат
(воздейст
вие –
impact)
Формирование и реализация плана
деятельности РИЦ
Этап планирования
Этап реализации
Ключевые вопросы:
ЧТО ДЕЛАЕМ? ЧТО ДОСТИГАЕМ?
Ключевые вопросы:
КАК УПРАВЛЯЕМ?
ЧТО ДОСТИГНУТО?
1. Логико-структурный анализ
плана работы РИЦ
2. Формирование сетевого графика
работы РИЦ и индикаторов (карты
проекта)
3. Формирование дорожной карты
(списка ключевых событий)
1. Содержательный мониторинг и
оценка
2. Поддержка РИЦ и организация мероприятий Консорциума
3. Оценка, корректирующие решения
9
Логико-структурный подход (Logical
Framework Approach)
Ожидания
заинтересованн
ых сторон
Логика
проекта
Объективно
проверяемые
индикаторы
Источники/
методы
верификации
Допущения/
риски
Цель
1
Подтверждение,
пересмотр
глобальных
целей
2
Конечный
результат
Проверка
допущений/
рисков
Непосредствен
ные
результаты
Мероприятия/
действия
Цена
Стоимость
Ограничения
10
ЛСП-анализ – план действий (проект) - бюджет
ЛСП-схема
План действий и расходов,
ориентированный на результат
Карта проекта
Бюджетирование
Salaries
Allowances
Vehicle Op.
Office
Tel/Fax
Seeds
Fertiliser
11
5000
1250
3750
750
400
850
2300
5500
1750
4250
750
400
1100
3100
5500
1750
4250
750
400
1100
3100
5500
1750
4250
750
400
1100
3100
«Карта проекта» - план работ РИЦ
Непосредствен
ный результат
и индикаторы
Ключевые
события
Ответственный
Финансирован
ие
Цель
Задача 1
Мероприятие
1.1
Мероприятие
1.2
Задача 2
Мероприятие
2.1
….
Задача N
Мероприятие
N
12
Просрочено
Возможны
проблемы
Все нормально
Текущее
состояние
Периодичность мониторинга




данные о достижении ключевых событий еженедельно (ежемесячно);
данные о реализации сетевого графика в целом –
ежемесячно (ежеквартально);
развернутые описания ключевых событий, динамики
реализации мероприятий, динамики достижения
индикаторов результатов – по запросу;
данные об экспертной оценке МСП – по запросу/ при
подаче заявки на сотрудничество
13
«Дорожная карта»
Дорожная карта («вехи»)
Текущая дата
1.12.2016 Ввод первой очереди
Просрочено
Возможны
проблемы
15.04.2017 Получение первого экземпляра
10.01.2018 Запуск массового производства
Все нормально
Проект 1
Проект 2
Проект 3
Проект 4
2015
14
2016
Проект 5
2017
2018
Пример промежуточной оценки
Ключевые события
(в % к плану)
Мероприятия (в % к
плану)
Кассовое исполнение
в % к плану
Индикаторы (в % к
плану)
Статус
1. Наименование
100
100
100
100
Выполняется
2. Наименование
100
100
100
100
3. Наименование
100
100
100
100
4. Наименование
100
100
100
100
5. Наименование
100
100
100
80
Выполняется
с отставанием
6. Наименование
100
100
0
0
Необходимо
вмешательство
РИЦ
15
Выполняется
Выполняется
Выполняется
Пример решений по результатам мониторинга
и оценки
Качество работы РИЦ
Решение
Лучшее
Приемлемое
Использовать лучшие практики/ как учебную базу
Предоставление преимуществ
PR
Мотивировать на улучшения
Использовать лучшие практики/ как учебную базу
Предоставление преимуществ
Мотивировать на улучшения
Плохое
Потребовать улучшений
Наихудшее
Осуществить программу ускоренных улучшений
или исключить из сети EEN
Хорошее
16
Возможное использование данных
мониторинга и оценки



информационная витрина мониторинга – доступность
данных для лиц, принимающих решения
информирование общественности и продвижение
деятельности в сети EEN/ развитию регионов в сети
интернет. Возможна поставка данных для
информационного сайта госпрограмм programs.gov.ru
PART (Program Assessment Rating Tool)*,– возможный
инструмент аналитики успешности программ развития
инфраструктуры поддержки СМП по предмету
(направлению), региону, РИЦ
* Порядок рейтингования и оценки программ, Административно-бюджетное управление при Президенте США,
2008 год
17
Методы верификации отчетности РИЦ






получение обратной связи от МСП
сопоставление отчетности, получаемой
Консорциумом с официальной отчетностью по
государственным (целевым) программам
сопоставление затрат на схожие мероприятия РИЦ
использование данных статистики
экспертная оценка
проведение тематической оценки (evaluation)
результатов деятельности РИЦ и др.
18
ПРИЛОЖЕНИЯ
19
Результативность – эффективность:
Экономичность характеризует выбор принципиального подхода к решению
поставленной проблемы с точки зрения минимизации объема финансовых
ресурсов, направляемого на приобретение проектных (материальных) ресурсов,
необходимых для реализации проекта
Эффективность характеризует соотношение между непосредственными
результатами проекта (продукцией, услугами, получаемыми на выходе проекта) и
проектными ресурсами
Непосредственный результат (output) - продукция (услуги), полученные в
результате деятельности
Результативность характеризует степень достижения целей проекта и
отражает соотношение между непосредственными результатами проекта и его
целями, либо конечными результатами
Конечный результат (outcome) - изменения в состоянии дел целевой группы
проекта, что указывает на степень достижение определенной цели деятельности
20
Результативность – эффективность: пример
использования при принятии решений
Вопрос
Показатели эффективности
и другие оценочные параметры
Правильное ли направление действий было
результативность ,
соответствие проекта стратегии,
выбрано?
Правильным ли образом осуществлялись
эффективность, результативность
мероприятия?
Какие результаты были достигнуты?
Могли ли быть достигнуты результаты
альтернативным путем?
Как осуществлять деятельность в будущем
экономичность, эффективность,
результативность, воздействие на
заинтересованные стороны
экономичность, эффективность,
результативность, воздействие на
заинтересованные стороны
эффективность,
исполнительская дисциплина
на лучшем уровне?
Устойчивы ли достигнутые результаты?
21
потребность в дополнительных проектах
Техника планирования и мониторинга
Разнородность условий деятельности и приоритетных предметных
областей РИЦ затрудняет универсальный подход к мониторингу.
В этой связи предлагается использовать методику:



логико-структурный подход (Logical Framework Approach)* или
проектную матрицу (Project Design Matrix) при формировании
планов деятельности РИЦ;
стандартизованного описания проектов** - сетевых графиков (карт
проекта), включая фиксацию: целей, задач, ресурсов, результатов и
их индикаторов;
фиксация и отслеживание ключевых событий («вех») на основе
применения «дорожной карты»
* Используется World Bank, USAID, UNIDO и т.п.
** На основе опыта Аналитического центра при Правительстве Российской Федерации
22
Планирование: базовые положения





мероприятия РИЦ в интересах сети EEN однородны, так
как известны типовые мероприятия EEN
условия деятельности РИЦ в интересах сети EEN
неоднородны, так как РИЦ находятся в разных регионах,
имеют разную ресурсную обеспеченность, связи,
приоритеты в развитии инфраструктуры поддержки МСП
однородность мероприятий в рамках EEN дает
возможность унифицировать планирование
неоднородность условий деятельности РИЦ приводит к
необходимости взвешенной разработки показателей
результативности
неоднородность условий деятельности РИЦ приводит к
необходимости применения инструментария для учёта
всех важных факторов влияния на целевые показатели РИЦ
23
Логико-структурный подход (Logical
Framework Approach)
цель – отражает среднесрочные и долгосрочные
выгоды для МСП региона, а также самого региона
в контексте EEN
деятельность (мероприятия) описывают, что
реально предпринимается для достижения
результатов, лежит в основе плана работ РИЦ
непосредственные результаты – итог реализации
мероприятий, их показатели отражают
эффективность ответственных за мероприятие
лиц
непосредственные результаты должны вести к
достижению конечного результата
24
Объективно проверяемые индикаторы в LFA
1)
2)
Для каждой цели и результата определяется
индикатор, согласованный с индикаторами EEN
Определение базовых (на момент начала проекта) и
плановых значений индикаторов на период
Количество
Качество
Целевая группа
Time / period
Место
25
Сколько ?
Что?
Кто?
Время начала и
продолжительность?
Где?
Пример индикаторов



26
Цель: рост количества вновь создаваемых ОИС в МСП,
используемых в трансфере технологий
Выбор индикатора: ОИС разработан, ОИС используется в
производстве, ОИС предложено партнерам EEN, ОИС
запрошено партнером EEN, ОИС заинтересовало партнера
EEN
Индикаторы:
 Количество: количество ОИС - N
 Качество: N% ОИС используются в промышленном
производстве ...
 Целевые группы: партнеры EEN, МСП России
 Субъект РФ : ...
 Срок достижения: 2016
Формы развернутых описаний
Развернутое описание мероприятий РИЦ
Ответственный исполнитель: ____________________
п/п
Наименование
мероприятия
Содержание
мероприятия
Тип
мероприятия
Непосредствен
ые результаты
мероприятия
Конечные
результаты
мероприятия качественные и
количественны
е изменения
1
2
3
4
5
6
№
27
Конечное
воздействие последствия и
влияние
мероприятия
7