Экспертиза предложений - Федеральная целевая программа

Общество с ограниченной ответственностью
«Современные образовательные концепции»
МЕТОДИКА
проведения экспертизы предложений
по формированию тематики проектов
в рамках Федеральной целевой программы
развития образования на 2011—2015 годы
с целью оценки соответствия
целям и задачам Программы,
возможности и эффективности достижения
целевых индикаторов и показателей
г. Москва 2012
Авторский коллектив под руководством Фирова Н.В.:
Ганеев А.Р., Елисеева М.Г., Карпов А.В., Костюк А.В., Ожегина С.Ф., Петрова Ю.В., Тищенко А.С.,
Чупин М.А.. Рецензент — Гужеля Д.Ю.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011—2015 годы с целью
оценки соответствия целям и задачам Программы, возможности и эффективности достижения целевых индикаторов и показателей — М.: АС-Траст, — 44 с.
ISBN 978-5-903455-47-8
Настоящая Методика предназначена для проведения комплексного анализа (экспертизы) предложений по формированию тематики проектов в рамках Федеральной целевой программы развития
образования на 2011—2015 годы (далее — ФЦПРО).
В основу разработанной Методики заложены методы многокритериального экспертного анализа,
в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса
экспертов с использованием «вербально-числовых шкал», процедуры парных сравнений рассматриваемых аспектов с последующей обработкой результатов для получения шкальных оценок их важности.
Применение таких методов позволяет рассчитать обобщенную интегральную оценку предполагаемого эффекта от реализации предлагаемого проекта, и по результатам сравнения сформировать рекомендации по целесообразности реализации (или отклонения) данного проекта в рамках ФЦПРО.
В рамках методики сформирован комплекс критериев для отбора экспертов и оценки предложений
по формированию тематики проектов в рамках мероприятий Программы и подготовлен инструментарий для проведения экспертизы поступающих предложений по проектам.
Благодаря универсальности подхода настоящая Методика может использоваться не только для экспертизы предложений по тематике проектов Федеральной целевой программы развития образования
на 2011—2015 годы, но и других программ и проектов, заказчиком которых является Министерство
образования и науки Российской Федерации.
ISBN 978-5-903455-47-8
© Общество с ограниченной ответственностью
«Современные образовательные концепции»
© Издательство АС-Траст
Оглавление
Перечень условных обозначений и сокращений
Общие положения
4
5
1. Цели и задачи проведения экспертизы предложений
по формированию тематики проектов для реализации в рамках ФЦПРО
5
2. Основные подходы и принципы проведения экспертизы предложений
по формированию тематики проектов для реализации в рамках ФЦПРО
5
Критерии отбора экспертов для проведения экспертизы
8
Критерии оценки предложений по формированию тематики проектов
в рамках мероприятий Программы
16
Порядок проведения экспертизы предложений по формированию тематики
проектов в рамках Федеральной целевой программы развития образования
на 2011—2015 годы
20
1. Организационная схема проведения экспертизы предложений по формированию
тематики проектов в рамках ФЦПРО
20
2. Алгоритмы расчета критериев оценки
21
3. Алгоритм оценки предложений по формированию тематики проектов
в рамках мероприятий Программы
25
4. Порядок отбора экспертов для проведения анализа предложений
по проектам в рамках мероприятий Программы
26
5. Порядок оценки предложений по формированию тематики проектов
в рамках мероприятий Программы
29
Заключение
33
Список использованных источников
34
Приложение №1
— лист опроса экспертов для определения интегральной
рейтинговой оценки эксперта
35
Приложение №2
— лист опроса экспертов для определения значимости критериев
для экспертизы проектов
38
Приложение №3
— форма экспертного заключения о соответствии предложений
по проекту целям и задачам ФЦПРО на 2011—2015 годы
42
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
3
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
4
ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
МЭРТ
НИР
ОУ
ОУО
СПО
ФЦПРО
— Минэкономразвития РФ
— научно-исследовательская работа
— образовательное учреждение
— Органы управления образованием
— специальное программное обеспечение
— Федеральная целевая программа развития образования на 2011—2015 годы
Общие положения
Общие положения
1. Цели и задачи проведения экспертизы предложений по формированию
тематики проектов для реализации в рамках ФЦПРО
Настоящая Методика предназначена для проведения комплексного анализа (экспертизы) предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011—2015 годы, поступающих от Департаментов-заказчиков Министерства
образования и науки Российской Федерации.
Проведение комплексного анализа предложений по проектам в соответствии с разработанными
положениями Методики позволит обеспечить решение следующих задач:
• формирование пула актуальных проектов для реализации в рамках ФЦПРО, соответствующих
стратегическим направлениям модернизации образования, целям и задачам Программы,
и гарантированно обеспечивающих достижение запланированных на отчетный период значений соответствующих индикаторов и показателей хода Программы;
• оценка обоснованности и целесообразности предлагаемых работ в рамках проектов с целью
исключения дублирования работ и использования результатов прошлых лет;
• оценка соответствия предлагаемых работ требованиям действующего законодательства, положениям Федерального закона от 21.07.2005 г. № 94–ФЗ «О размещении заказов на поставки
товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд»
и Гражданского кодекса Российской Федерации;
• обеспечение эффективности расходование средств федерального бюджета на реализацию
программных мероприятий.
2. Основные подходы и принципы проведения экспертизы предложений
по формированию тематики проектов для реализации в рамках ФЦПРО
В рамках ФЦПРО ежегодно планируется выполнить большое количество проектов, имеющих
разностороннюю тематику и оказывающих различное влияние на совершенствование отдельных
элементов системы образования. Поэтому в основу методического подхода по оценке для проведения комплексного анализа (экспертизы) предложений по формированию тематики проектов
в рамках были заложены методы многокритериального экспертного анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов
с использованием «вербально-числовых шкал», процедуры парных сравнений рассматриваемых
аспектов с последующей обработкой результатов для получения шкальных оценок их важности.
Данный подход имеет ряд существенных преимуществ относительно других методов. Главное,
из которых заключается в том, что в роли экспертов выступают специалисты, имеющие долгосрочный опыт работы с предметной областью и на основании своего опыта могут делать прогнозы
относительно будущего развития событий. Опыт эксперта в данном случае играет определяющую роль.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
5
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
6
Для обеспечения достоверности и объективности результатов экспертиза должна базироваться
на следующих основных принципах:
• системности организации экспертной работы и единства ее нормативного, организационного
и методологического обеспечения;
• независимости и правовой защищенности участников экспертного процесса, их компетентности и заинтересованности в получении объективных результатов;
• научно-технической обоснованности экспертных оценок, их ориентации на мировой уровень
развития науки и техники;
• участия в экспертных оценках экспертов соответствующей квалификации;
• объективности принимаемых заключений по результатам анализа;
• комплексности и полноты экспертных оценок;
• гласности экспертизы при условии сохранения государственной, служебной и коммерческой
тайны в соответствии с действующим законодательством;
• комплексного подхода, позволяющего проводить оценку реализации проектов интегрально и
по уровням образования в отдельности:
- дошкольное образование,
- общее (среднее, полное) образование,
- профессиональное образование (НПО, СПО и ВПО),
- дополнительное образование;
• объективной и всесторонней оценки разработанных критериев, которая позволяет определить
особенности реализации как отдельного проекта, так и ФЦП в целом, недостатки в работе
и причины их возникновения, а также на основе полученных результатов выработать конкретные рекомендации по улучшению и оптимизации работы;
• выбора эффективных методов, алгоритмов и программ выполнения проектных процедур.
Эксперты должны нести ответственность за нарушение принципов, организационных и правовых
норм ее проведения, своих договорных обязательств в порядке, установленном существующими
нормативными актами. Они обязаны исключить использование материалов экспертизы третьими
лицами, разглашение конфиденциальной информации и сведений, составляющих государственную и коммерческую тайну.
Для проведения экспертизы необходимо обеспечить привлечение квалифицированных экспертов
в системе российского образования, что позволит получить объективную картину реального положения в сфере российского образования.
Ключевым фактором обеспечения адекватности экспертных оценок является подбор состава
экспертной группы, охватывающего все уровни и направления модернизации в сфере образования:
• по уровням российского образования:
- дошкольное образование,
- общее образование,
- начальное и среднее профессиональное образование,
- высшая школа,
- дополнительное образование;
Общие положения
• и по основным тематическим направлениям модернизации российского образования, представленных в ФЦПРО:
- Информатизация системы образования;
- Повышение квалификации;
- Международная деятельность;
- Контент;
- Контроль качества образования;
- Инфраструктура;
- Экономика образования;
- Воспитание и социализация обучающихся;
- Энергосбережение образовательных учреждений.
Указанные меры позволят более детально подходить к анализу процессов преобразования в образовательной среде, а также учитывать большее количество факторов при принятии решений
относительно последующих шагов реализации Программы, что крайне важно, учитывая, что массовый этап внедрения проектов приходится на более поздние периоды, и именно в ближайшее
время наиболее важна поддержка принятия решений за счет максимально объемной и детализированной картины процессов, происходящих в сфере образования.
Ключевым элементом экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО является процедура организации работы привлекаемых экспертов.
При ее организации должны быть соблюдены следующие требования:
• независимость формирования экспертами собственного мнения об оцениваемых событиях;
• удобство работы с предлагаемыми формами;
• приемлемые затраты времени на заполнение форм, удобное время получения вопросов и выдачи ответов;
• сохранение анонимности ответов для членов экспертной группы;
• проведение коллективных обсуждений оцениваемых событий;
• предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработаны правила проведения экспертного опроса и организации работы экспертной группы. В них должна быть учтена специфика
оцениваемых событий, а также особенности, связанные с реализацией Программы.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
7
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
8
Критерии отбора экспертов для проведения
экспертизы
Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных
решений. Выбор экспертов в первую очередь предполагает ясное понимание критериев отбора
и конкретно сформулированную процедуру отбора.
Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно
работать:
• креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;
• эвристичность, то есть способность видеть или создавать неочевидные проблемы;
• интуиция — способность делать заключения об исследуемом объекте без осознания пути
движения мысли к этому заключению;
• предикаторность, то есть способность предсказывать, предчувствовать будущее состояние
исследуемого объекта;
• независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;
• всесторонность, то есть способность видеть проблему с различных точек зрения.
Основными общепринятыми критериями в процессе отбора экспертов-специалистов системы
образования являются следующие показатели:
• уровень компетентности и грамотности эксперта в данной конкретно обозначенной области.
Здесь можно опереться на следующие данные: профиль и уровень образования, профиль
деятельности (насколько тесная связь с обозначенной областью), какой опыт работы по профилю (учитывается стаж работы непосредственно в данной области и общий стаж работы),
уровень решаемости проблем (соответствует ли занимаемая должность уровню и характеру
обозначенной проблемы), наличие ранее выполненных экспертиз, сбывшихся прогнозов;
• степень незаинтересованности и объективности эксперта-участника при оценке, обобщении
и анализе данных, принятии решения в обозначенной области.
При оценивании экспертов по названным критериям и выборе экспертов могут использоваться
следующие процедуры:
1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз
(данная оценка производится самой исследовательской командой на основе анализа
ретроспективных данных о работе эксперта).
Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.
Критерии отбора экспертов для проведения экспертизы
Таким образом, с учетом специфики проводимых экспертиз в сфере образования целесообразно
ввести следующие критерии отбора экспертов:
1.
соответствие профильного образования эксперта тематике проводимых исследований;
2.
ученая степень;
3.
ученое звание;
4.
должностное положение;
5.
стаж научной или практической работы в определенной сфере;
6.
количество публикаций по данному направлению за последние три года;
7.
цитируемость эксперта;
8.
компетентностный уровень экспертной оценки;
9.
количество сформированных экспертных заключений;
10. квалификация эксперта;
11. признанность эксперта.
Целесообразно к вышеизложенным установить еще и такие требования к экспертам, которые
напрямую не могут быть измерены, но косвенно оцениваются в предложенных выше критериях:
• высокий уровень общей эрудиции;
• наличие академического научного интереса к оцениваемым проблемным вопросам;
• наличие опыта в оцениваемой области знаний;
• принципиальность;
• объективность;
• способность творчески мыслить;
• интуиция.
Перечень критериев и диапазон их измерения представлены в таблице 2.1.
Алгоритм расчета значимости критериев отбора экспертов для проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО представлен
в разделе «Порядок проведения экспертизы предложений по формированию тематики проектов
в рамках Федеральной целевой программы развития образования на 2011—2015 годы», стр 20.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
9
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
10
Таблица 2.1
Перечень критериев отбора экспертов
для проведения экспертизы и диапазон их измерения
№
п/п
1.
Критерии
отбора экспертов
Соответствие профильного
образования эксперта
тематике проводимых
исследований
Обоснование
целесообразности
критерия для экспертизы
Позволяет оценить
квалификацию эксперта
Шкала оценки
Диапазон Значимость
измерения
«вес»
(баллы)
критерия
несоответствие профессионального образования тематике проводимых исследований — 0 баллов,
0…2
0,04
0…2
0,06
1…5
0,06
1…5
0,10
1…5
0,09
0…5
0,13
соответствие профильного образования тематике проводимых
исследований — 1 балл,
соответствие профильного образования тематике проводимых
исследований + прохождение
повышения квалификации или
стажировок по данной тематике
за последние 5 лет — 2 балла
2.
Ученая степень
Позволяет оценить владение отсутствие ученой степени
предметной областью, способ- — 0 баллов,
ность к анализу и самоорганаличие кандидатской степени
низации
— 1 балл,
наличие докторской степени
— 2 балла
3.
Ученое звание
Позволяет оценить
квалификацию эксперта
отсутствие ученого звания
— 0 баллов;
званиям доцент, профессор,
член-корреспондент, академик,
почетный академик присваивается
соответственно 1, 2, 3, 4, 5 баллов
4.
Должность
специалист — 1 балл,
Позволяет оценить степень
охвата проблем в предметной
области, возможность систем- старший специалист — 2 балла,
ного подхода к оценке
начальник отдела — 3 балла,
и анализу проблем
ведущий специалист — 4 балла,
начальник Департамента/Управления, Министр ОУО — 5 баллов
5.
Стаж работы
Позволяет оценить опыт
от 0 до 5 лет — 1 балл,
работы по данному направлеот 5 до 10 лет — 2 балла,
нию в сфере образования
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 лет — 5 баллов
6.
Количество публикаций
по данному направлению
за последние три года
Позволяет оценить актуальность деятельности эксперта
отсутствие публикаций — 0 баллов,
количество публикаций:
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 — 5 баллов
Критерии отбора экспертов для проведения экспертизы
№
п/п
7.
Критерии
отбора экспертов
Цитируемость эксперта
Обоснование
целесообразности
критерия для экспертизы
Позволяет оценить
уровень проработки проблем
предметной области
и актуальность деятельности
эксперта
Шкала оценки
Диапазон Значимость
измерения
«вес»
(баллы)
критерия
отсутствие цитируемости
— 0 баллов,
0…5
0,15
0…1
0,15
0…5
0,09
0…2
0,05
0…1
0,08
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 — 5 баллов
8.
Компетентностный уровень
экспертной оценки
Позволяет оценить уровень
интегральная бальная оценка.
его компетентности эксперта
и достоверности прогнозных Определяется по результатам
проведенных экспертиз
оценок
9.
Количество сформированных
экспертных заключений
Позволяет оценить опыт
экспертной работы, степень
вовлеченности эксперта
в тематику и проблематику
проводимых исследований
отсутствие сформированных экспертных заключений — 0 баллов,
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 – 5 баллов
10. Квалификация эксперта
Позволяет оценить
квалификацию эксперта
оценивается по наличию международных, др. сертификатов в области экспертной деятельности:
отсутствие сертификатов
— 0 баллов,
наличие 1 сертификата — 1 балл,
наличие более одного сертификата
— 2 балла
11. Признанность эксперта
Позволяет оценить
признанность эксперта
в профессиональном
сообществе
интегральная бальная оценка.
Определяется по результатам
групповой оценки
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
11
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
16
Критерии оценки предложений по формированию
тематики проектов в рамках мероприятий программы
Система критериев для отбора предложений по формированию тематики проектов в рамках мероприятий Программы должна удовлетворять следующим требованиям:
• Система должна быть достоверной и отражать реальную событийную картину;
• Система должна иметь четкую направленность на решение конкретных проблем;
• Простота в использовании. Созданная система критериев и алгоритмов должна быть понятна
и проста в использовании;
• Система должна быть экономичной. Использование выработанных алгоритмов должно приводить к минимизации возможных расчетов.
В соответствии с этими требованиями предлагается использовать следующие критерии для
оценки предложений по проектам для реализации в рамках Программы (см. таблицу 3.1).
Условно их можно разделить на 4 группы:
1. Критерии, предусматривающие экспертную оценку социально-экономической результативности и эффективности реализации проекта. По мнению экспертов, следующие типы проектов обладают максимальными значениями предложенного критерия:
• проекты «прямого программного результата», имея в виду их полное соответствие ожидаемым результатам мероприятия, показателям его эффективности и условиям софинансирования;
• проекты «приоритетной национальной направленности», имея в виду их соответствие методологии приоритетного национального проекта, развитию идей и результатов ПНПО;
• проекты «инновационной направленности», имея в виду возможности получения принципиально новых решений для развития системы образования;
• проекты «прямого соответствия», имея в виду использование их результатов в целях выполнения функциональных документов в сфере образования.
Основные критерии для определения интегрального значения значимости проектов (ранжирования проектов) представлены в таблице 3.1.
2. Критерии эффективности расходования финансовых средств на реализацию проекта. Данный критерий напрямую увязан с результативностью и эффективностью реализации проекта
и косвенно характеризует стоимость проекта.
3. Масштабные критерии. Данный критерий оценивает масштаб проведения исследований (поставок оборудования), глубину и/или новизну проработки. Логично предположить, что масштабный критерий проекта тем больше, чем больше охват количественных показателей (субъектов Российской Федерации, целевых групп или лиц в рамках направления или уровня образования), вовлеченных в реализацию данного проекта, или глубина и новизна проработки.
4. Критерии, оценивающие степень влияния проекта на достижение запланированных значений
целевых индикаторов и показателей хода реализации программных мероприятий ФЦПРО.
Критерии оценки предложений по формированию тематики
проектов в рамках мероприятий Программы
Таблица 3.1
Критерии для оценки предложений по проектам для реализации
в рамках Федеральной целевой программы развития образования на 2011—2015 годы
и диапазоны их измерения
№
п/п
Критерии
проектов ФЦПРО
Шкала оценки
1.
степень соответствия проекта стратегическим
Шкала 1..10
направлениям модернизации в сфере образования, 1 – низкая,
тактическим установкам, общественному заказу 10 – высокая
и потребностям государства, экономики и общества
2.
степень актуальности проекта
Диапазон Значимость
измерения
«вес»
(баллы)
критерия
Шкала 0..5, где
1..10
0,06
0..5
0,08
0..3
0,08
0..4
0,07
5 — проект направлен на выполнение Распоряжений и Поручений федеральных органов
исполнительной власти РФ (необходимо указать реквизиты нормативно-правовых актов);
4 — результаты проекта оказывают сильное
влияние на ход реализации ФЦПРО на 2011—
2015 годы; все уровни образования; высокий
социально-экономический эффект от его реализации;
3 — проект актуален для отдельного уровня
образования; высокий социально-экономический эффект от его реализации;
2 – проект актуален для учреждений образования отдельного субъекта РФ (федерального
округа);
1 — проект не обладает общностью, актуален
для отдельного учреждения образования;
0 — проект не актуален
3.
степень новизны
Шкала 0..3, где
3 — результаты, которые будут созданы в рамках проекта, являются новыми и практически
востребованными;
2 — проект направлен на апробацию и внедрение результатов, созданных ранее;
1 — проект направлен на модернизацию
и доработку результатов, созданных ранее;
0 — проект не обладает новизной
4.
степень влияния на цели задачи и необходимые
результаты ФЦПРО
Шкала 0..4, где
4 — проект оказывает прямое влияние на цели
и задачи Программы, ожидаемые конечные результаты реализации Программы и показатели
ее социально-экономической эффективности;
3 — проект оказывает прямое влияние на ожидаемые результаты реализации отдельного
мероприятия (подмероприятия) Программы;
2 — проект оказывает косвенное влияние на
цели и задачи Программы, ожидаемые конечные результаты реализации Программы и
показатели ее социально-экономической
эффективности;
1 — проект оказывает косвенное влияние на
ожидаемые результаты реализации отдельного
мероприятия (подмероприятия) Программы;
0 — нет влияния.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
17
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
18
№
п/п
Критерии
проектов ФЦПРО
Шкала оценки
Диапазон Значимость
измерения
«вес»
(баллы)
критерия
5.
степень проработанности предложения
Шкала 1..10
1 — низкая,
10 — высокая
1..10
0,06
6.
комплексность подхода
Шкала 1..10
1 — отсутствует,
10 — охватывает все этапы
1..10
0,05
7.
степень перспективности результатов проекта
с точки зрения обозначенного в Программе
количественного целевого результата (по охвату
целевых групп, распространенности инноваций
в регионах, различных типах ОУ и т.д.)
Шкала 1..10
1 — низкая,
10 — высокая
1..10
0,06
8.
оценка возможностей сопряжения результатов
проекта с существующими либо планируемыми
к внедрению инновациями (особенно в случае
с содержанием образования — соответствие
другим образовательным ступеням и модулям
в рамках концепций непрерывного и вариативного
образования)
Шкала 1..10
1 — низкая,
10 — высокая
1..10
0,04
9.
оценка социокультурных аспектов внедрения
результатов проекта и их возможных эффектов
в будущем
Шкала 1..10
1 — низкая,
10 — высокая
1..10
0,08
Шкала 1..10
1 — низкая,
10 — высокая
1..10
0,04
11. оценка последствий внедрения инновационной
Шкала 1..10
разработки для людей с ограниченными возмож- 1 — низкая,
ностями, а также социально незащищенных слоев 10 — высокая
населения
1..10
0,05
12. степень апробации и общественного признания
Шкала 1..10
результатов, полученных при выполнении проекта 1 — низкая,
10 — всесторонняя апробация и общественное
признание результатов проекта
1..10
0,08
1..10
0,07
10. оценка социально-психологических аспектов
внедрения результатов проекта (возможности
адаптации с точки зрения целевых групп)
13. оценка практической значимости результатов
проекта
Шкала 1..10
1 — результаты проекта могут быть использованы для отдельного учреждения системы
образования;
10 — межотраслевое применение и/или особо
важное (стратегическое) значение для отрасли,
обладает высокой социальной значимостью.
Проект ориентирован на широкомасштабное
использование (внедрение)
Критерии оценки предложений по формированию тематики
проектов в рамках мероприятий Программы
Критерии
проектов ФЦПРО
14. степень влияния результатов проекта
на индикаторы и показатели Программы
Шкала оценки
Шкала 0..4, где
Диапазон Значимость
измерения
«вес»
(баллы)
критерия
0..4
0,08
0..2
0,10
4 — проект оказывает прямое влияние более
чем на один индикатор или показатель хода
реализации Программы;
3 — проект оказывает прямое влияние на один
индикатор или показатель хода реализации
Программы;
2 — проект оказывает косвенное влияние
более чем на один индикатор или показатель
хода реализации Программы;
1 — проект оказывает косвенное влияние на
один индикатор или показатель хода реализации Программы;
0 — нет влияния.
15. степень соответствия стоимости предлагаемых
работ в рамках проекта рыночной стоимости
Шкала 0..2, где
2 — стоимость предлагаемых работ в рамках
проекта соответствует рыночной стоимости
(отличие не более 10%);
1 — стоимость предлагаемых работ в рамках
проекта превышает рыночную стоимость (не
более 30%);
0 — стоимость предлагаемых работ в рамках
проекта не соответствует рыночной стоимости
(превышение более 30%).
Поскольку социально-экономический эффект от реализации проектов и программных мероприятий в рамках Программы оцениваются множеством характеристик, отражающих их влияния
на важные аспекты общественной деятельности. Отдельные стороны социально-экономического
эффекта характеризуются совокупностью характеристик, имеющих количественную оценку.
В методическом плане их расчет достаточно тривиален.
Ряд аспектов социально-экономического характера может быть оценен только качественно,
выражение их в количественной форме проблематично. Несмотря на это, их учет обязателен,
поскольку только в этом случае может быть установлена объективная оценка эффектов от реализации проекта, тем более что при их оценке показатели, как правило, имеют качественный характер.
Поэтому в основу разработанного методического подхода по оценке социально-экономического
эффекта от реализации проекта, а следовательно, и выдаче рекомендаций о реализации того
или иного предложения по проекта, были заложены методы многокритериального экспертного
анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов с использованием «вербально-числовых шкал», процедуры парных
сравнений рассматриваемых аспектов с последующей обработкой результатов для получения
шкальных оценок их важности.
Применение таких методов позволяет рассчитать обобщенную интегральную оценку значимости
от реализации конкретного проекта и абстрагироваться от сложных и труднопрогнозируемых вопросов прямого моделирования движения денежных потоков, учета неопределенностей и рисков, сопровождающих процессы реформирования системы образования.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
№
п/п
19
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
20
Порядок проведения экспертизы предложений
по формированию тематики проектов в рамках
Федеральной целевой программы развития
образования на 2011—2015 годы
1. Организационная схема проведения экспертизы предложений по формированию тематики проектов в рамках ФЦПРО
Порядок организации и проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011—2015 годы
предусматривает следующие этапы:
1. Формирование рабочей группы по выполнению экспертного опроса:
1.1. разработка критериев отбора экспертов (раздел Методики «Критерии отбора экспертов
для проведения экспертизы», стр.8);
1.2. формирование реестра экспертов по уровням и направлениям модернизации в сфере
образования;
1.3. разработка анкет для экспертов (приложение №1 к Методике);
1.4. проведение экспертного опроса, анализ результатов, расчет коэффициентов относительной важности разработанных критериев отбора экспертов;
1.5. ранжирование экспертов из реестра в соответствии с разработанными критериями;
1.6. проведение отбора не менее 10 человек по каждому направлению.
2. Разработка инструментария для проведения оценки предложений по формированию тематики
проектов в рамках мероприятий Программы:
2.1. разработка критериев оценки предложений по формированию тематики проектов в рамках
мероприятий Программы (раздел Методики «Критерии оценки предложений по формированию тематики проектов в рамках мероприятий Программы», стр.16);
2.2. разработка анкет для экспертов (приложение №2 к Методике);
2.3. проведение экспертного опроса, анализ результатов, расчет коэффициентов относительной важности разработанных критериев для отбора предложений по проектам для реализации в рамках ФЦПРО;
2.4. разработка форм предоставления результатов экспертизы (приложение №3 к Методике).
3. Проведение экспертизы предложений по формированию тематики проектов в рамках ФЦПРО:
3.1. проведение экспертного опроса по каждому предложению по проекту, поступившему от
Департамента-заказчика для реализации в рамках ФЦПРО;
3.2. обработка результатов экспертного опроса;
3.3. расчет количественных критериев;
3.4. измерение качественных характеристик (придание качественным характеристикам количественных значений) на основе использования «вербально-числовых шкал»;
3.5. получение итоговой оценки (рейтинга) проекта;
3.6. анализ полученных результатов. Подготовка рекомендаций заказчику по реализации (или
отклонению) предложения по проекту.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
28
Таблица 4.1
Пример расчета рейтинга эксперта №1
№
п/п
Критерии
отбора экспертов
Данные по эксперту
Значение
критерия
(балл)
2
3
4
5
6
7
1
Нормирован- Значимость Оценка
ное значение
«вес»
по
критерия
критерия критерию
1.
Соответствие профильного
Соответствует (ВПО)
образования эксперта тематике
проводимых исследований
2
1,000
0,04
0,040
2.
Ученая степень
нет
0
0,000
0,06
0,000
3.
Ученое звание
нет
0
0,000
0,06
0,000
4.
Должность
начальник отдела ОУО
3
0,500
0,10
0,050
5.
Стаж работы
10 лет
2
0,250
0,09
0,023
6.
Количество публикаций
по данному направлению
за последние три года
3 статьи
1
0,200
0,13
0,026
7.
Цитируемость эксперта
0
0
0,000
0,15
0,000
8.
Компетентностный уровень
экспертной оценки
0
0
0,000
0,15
0,000
9.
Количество сформированных
экспертных заключений
8 заключений
2
0,400
0,09
0,036
10. Квалификация эксперта
отсутствуют международные,
др. сертификаты в области
экспертной деятельности
0
0,000
0,05
0,000
11. Признанность эксперта
0,5
0,5
0,500
0,08
0,040
Итого рейтинг эксперта №1 — 0,2145.
Таблица 4.2
Пример расчета рейтинга эксперта №2
1.
Соответствие профильного
Соответствует (ВПО)
образования эксперта тематике
проводимых исследований
2
1,000
0,04
0,040
2.
Ученая степень
Кандидат наук
1
0,500
0,06
0,030
3.
Ученое звание
доцент
1
0,000
0,06
0,000
4.
Должность
ведущий специалист
4
0,750
0,10
0,075
5.
Стаж работы
10 лет
2
0,250
0,09
0,023
6.
Количество публикаций
по данному направлению
за последние три года
7 статей
2
0,400
0,13
0,052
7.
Цитируемость эксперта
8 ссылок
1
0,200
0,15
0,030
8.
Компетентностный уровень
экспертной оценки
Не оценивалась
0
0,000
0,15
0,000
9.
Количество сформированных
экспертных заключений
3 заключения
1
0,200
0,09
0,018
10. Квалификация эксперта
отсутствуют международные,
др. сертификаты в области
экспертной деятельности
0
0,000
0,05
0,000
11. Признанность эксперта
0,7
0,7
0,700
0,08
0,056
Итого рейтинг эксперта №2 — 0,3235.
29
5. Порядок оценки предложений по формированию тематики проектов в рамках
мероприятий Программы
Как отмечалось ранее, оценка предложений по формированию тематики проектов в рамках мероприятий Программы (обоснование предпочтительности или ранжирование) проектов представляет собой процедуру многокритериального упорядочения проектов в направлении снижения их значимости (привлекательности). Процедура, по сути, полностью аналогична порядку отбора экспертов для проведения анализа предложений по проектам (п.4, стр. 26).
Ранжирование проектов должно проводиться на основе представленных данных и в соответствии с разработанными критериями, коэффициенты относительной важности которых должны
быть определены заранее при привлечении экспертов федерального уровня (в соответствии
с листами опроса, представленными в Приложении №2).
Рассмотрим пример ранжирования (отбора) проектов.
Имеются данные (аннотация и обоснование стоимости) по двум проектам, условно обозначим их
проект №1 и проект №2. Сведения о проектам систематизированные по критериям, вводятся
в столбец 3 таблиц 4.3 и 4.4.
В соответствии с алгоритмами обработки данных о проектах (таблица 3.1) экспертами проставляются оценки по критериям (столбец 4 таблиц 4.3 и 4.4).
Нормирование указанных критериев проводится по формулам (4.2), значения нормированных
критериев проставляются в столбце 6 таблиц 4.3 и 4.4.
Расчет итогового рейтинга проекта осуществляется по формуле 4.3. По результатам расчета
рейтинг проектов составил: проект №1 — 0,820, эксперт №2 — 0,603.
Поэтому при условии одинаковой направленности проектов для реализации в рамках ФЦПРО по
выбранному направлению целесообразно выбрать проект №1.
Для повышения достоверности отбора предложений по проектам в соответствии с представленными критериями целесообразно привлекать к оценке не менее 8 специалистов по каждому
проекту.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
Порядок проведения экспертизы предложений по формированию тематики проектов
в рамках Федеральной целевой программы развития образования на 2011—2015 годы
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
30
Таблица 4.3
Пример расчета рейтинга проекта №1
№
п/п
1
Критерии
отбора проектов
Данные по проекту
Значение
критерия
(балл)
Нормирован- Значимость Оценка
ное значение
«вес»
по
критерия
критерия критерию
2
3
4
5
6
7
1.
степень соответствия проекта высокая
стратегическим направлениям
модернизации в сфере образования, тактическим установкам,
общественному заказу и потребностям государства, экономики
и общества
7
0,667
0,06
0,040
2.
степень актуальности проекта
проект направлен на выполнение
Распоряжений и Поручений
федеральных органов исполнительной власти РФ
5
1,000
0,08
0,080
3.
степень новизны
результаты, которые будут
созданы в рамках проекта,
являются новыми и практически
востребованными
3
1,000
0,08
0,080
4.
степень влияния на цели задачи проект оказывает прямое влияние
и необходимые результаты
на ожидаемые результаты реалиФЦПРО
зации отдельного мероприятия
(подмероприятия) Программы
3
0,750
0,07
0,053
5.
степень проработанности
предложения
средняя
6
0,556
0,06
0,033
6.
комплексность подхода
все стадии реализации проекта
9
0,889
0,05
0,044
7.
степень перспективности резу- высокая
льтатов проекта с точки зрения
обозначенного в Программе
количественного целевого результата (по охвату целевых групп,
распространенности инноваций
в регионах, различных типах ОУ
и т.д.)
8
0,778
0,06
0,047
8.
оценка возможностей сопряже- средняя
ния результатов проекта с существующими либо планируемыми
к внедрению инновациями (особенно в случае с содержанием
образования — соответствие
другим образовательным
ступеням и модулям в рамках
концепций непрерывного
и вариативного образования)
7
0,667
0,04
0,027
9.
оценка социокультурных аспектов высокая
внедрения результатов проекта
и их возможных эффектов
в будущем
8
0,778
0,08
0,062
10. оценка социально-психологичес- средняя
ких аспектов внедрения результатов проекта (возможности адапта
ции с точки зрения целевых групп)
6
0,556
0,04
0,022
11. оценка последствий внедрения низкая
инновационной разработки для
людей с ограниченными возможностями, а также социально
незащищенных слоев населения
3
0,222
0,05
0,011
Порядок проведения экспертизы предложений по формированию тематики проектов
в рамках Федеральной целевой программы развития образования на 2011—2015 годы
Критерии
отбора проектов
Данные по проекту
Значение
критерия
(балл)
2
3
4
5
6
7
12. степень апробации и обществысокая
венного признания результатов,
полученных при выполнении
проекта
9
0,889
0,08
0,071
13. оценка практической значимости высокая
результатов выполненного
проекта
10
1,000
0,07
0,070
14. степень влияния результатов
проект оказывает прямое влияние
проекта на индикаторы и показа- более чем на один индикатор
тели Программы
или показатель хода реализации
Программы
4
1,000
0,08
0,080
15. степень соответствия стоимости стоимость предлагаемых работ
предлагаемых работ в рамках
в рамках проекта соответствует
проекта рыночной стоимости
рыночной стоимости
2
1,000
0,1
0,100
4
5
6
7
№
п/п
1
Нормирован- Значимость Оценка
ное значение
«вес»
по
критерия
критерия критерию
Итого рейтинг проекта №1 — 0,820.
Пример расчета рейтинга проекта №2
1
2
3
1.
степень соответствия проекта средняя
стратегическим направлениям
модернизации в сфере образования, тактическим установкам,
общественному заказу и потребностям государства, экономики
и общества
6
0,556
0,06
0,033
2.
степень актуальности проекта
результаты проекта оказывают
сильное влияние на ход реализации ФЦПРО на 2011—2015 годы;
все уровни образования; высокий
социально-экономический
эффект от его реализации
4
0,800
0,08
0,064
3.
степень новизны
результаты, которые будут
созданы в рамках проекта,
являются новыми и практически
востребованными
3
1,000
0,08
0,080
4.
степень влияния на цели задачи проект оказывает прямое влияние
и необходимые результаты
на ожидаемые результаты реалиФЦПРО
зации отдельного мероприятия
(подмероприятия) Программы
3
0,750
0,07
0,053
5.
степень проработанности
предложения
высокая
9
0,889
0,06
0,053
6.
комплексность подхода
средняя
5
0,444
0,05
0,022
7.
степень перспективности резу- средняя
льтатов проекта с точки зрения
обозначенного в Программе
количественного целевого результата (по охвату целевых групп,
распространенности инноваций
в регионах, различных типах ОУ
и т.д.)
6
0,556
0,06
0,033
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
31
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
32
№
п/п
1
Критерии
отбора проектов
Данные по проекту
Значение
критерия
(балл)
Нормирован- Значимость Оценка
ное значение
«вес»
по
критерия
критерия критерию
2
3
4
5
6
7
8.
оценка возможностей сопряже- низкая
ния результатов проекта с существующими либо планируемыми
к внедрению инновациями (особенно в случае с содержанием
образования — соответствие
другим образовательным
ступеням и модулям в рамках
концепций непрерывного
и вариативного образования)
3
0,222
0,04
0,009
9.
оценка социокультурных аспектов высокая
внедрения результатов проекта
и их возможных эффектов
в будущем
8
0,778
0,08
0,062
10. оценка социально-психологичес- низкая
ких аспектов внедрения результатов проекта (возможности адапта
ции с точки зрения целевых групп)
3
0,222
0,04
0,009
11. оценка последствий внедрения средняя
инновационной разработки для
людей с ограниченными возможностями, а также социально
незащищенных слоев населения
6
0,556
0,05
0,028
12. степень апробации и общестсредняя
венного признания результатов,
полученных при выполнении
проекта
5
0,444
0,08
0,036
13. оценка практической значимости средняя
результатов выполненного
проекта
5
0,444
0,07
0,031
14. степень влияния результатов
проект оказывает косвенное
проекта на индикаторы и показа- влияние более чем на один
тели Программы
индикатор или показатель хода
реализации Программы
2
0,500
0,08
0,040
15. степень соответствия стоимости стоимость предлагаемых работ
предлагаемых работ в рамках
в рамках проекта превышает
проекта рыночной стоимости
рыночную стоимость
1
0,500
0,1
0,050
Итого рейтинг проекта №2 — 0,603.
Заключение
Заключение
В основу разработанной «Методики проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011—2015
годы с целью оценки соответствия целям и задачам Программы, возможности и эффективности
достижения целевых индикаторов и показателей» заложены методы многокритериального экспертного анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов с использованием «вербально-числовых шкал», процедуры
парных сравнений рассматриваемых аспектов с последующей обработкой результатов для получения шкальных оценок их важности.
Применение таких методов позволяет рассчитать обобщенную интегральную оценку предполагаемого социально-экономического эффекта от реализации предлагаемого проекта, и по результатам сравнения сформировать рекомендации по целесообразности реализации (или отклонения)
данного проекта в рамках ФЦПРО.
В рамках методики был сформирован комплекс критериев для отбора экспертов и оценки предложений по формированию тематики проектов в рамках мероприятий Программы. Подготовлен
инструментарий для проведения экспертизы поступающих предложений по проектам.
В основу предложенного методического подхода по экспертизе предложений по проектам были
положены следующие принципы:
• «прозрачности» расчета;
• универсальности применения;
• комплексности подхода;
• доступности, простоты применения;
• открытости, адаптируемости к меняющимся экономическим условиям и нормативноправовой базе;
• обоснованности, подтвержденной использованием расчетных показателей из официальных
источников информации.
Благодаря универсальности подхода настоящая Методика может использоваться не только для
экспертизы предложений по тематике проектов Федеральной целевой программы развития образования на 2011—2015 годы, но и других программ и проектов, заказчиком которых является
Министерство образования и науки Российской Федерации.
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
33
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
34
Список использованных источников
1. Здравомыслов А.Г. Методология и процедуры социологических исследований. — М., 1969;
2. Мацковский М.С., Ермакова О.В. Методические вопросы переработки социологической
информации // Проблемы обработки и автоматизированного поиска социологической
информации. — М., 1977. — С. 54-83.;
3. Паниотто В.И., Максименко В.С. Количественные методы в социологических исследованиях.
— Киев, 1982., Рабочая книга социолога. — М., 1983;
4. Ядов В.А. Социологическое исследование. Методология, программа, методы. — М., 1972;
5. Методические рекомендации по оценке эффективности инвестиционных проектов. Под редакцией В.В. Коссова, В.Н. Лившица, А.Г. Шахназарова. — М.:Экономика, 2000. — 421с.;
6. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Мир, 1993.— 316 с.;
7. Червоный А.А., Лукьященко В.И., Котин Л.В. Надежность сложных систем. 2-е издание, переработанное и дополненное. — М.: Машиностроение, 1976. — 287с.;
8. «Федеральная целевая программа развития образования на 2011—2015 годы». Распоряжение
Правительства РФ от 7 февраля 2011 г. № 61.
Приложения
Приложение №1
Лист опроса экспертов
для определения интегральной рейтинговой оценки эксперта
Оцените влияние приведенных в таблице критериев отбора экспертов на достоверность оценок
при экспертизе предложений по проектам для реализации в рамках ФЦПРО:
Таблица 1
№
п/п
Критерии
отбора экспертов
Шкала оценки
1.
Соответствие профильного образования эксперта несоответствие профессионального образования тематике
тематике проводимых исследований
проводимых исследований — 0 баллов,
соответствие профильного образования тематике проводимых
исследований — 1 балл,
соответствие профильного образования тематике проводимых
исследований +прохождение повышения квалификации или
стажировок по данной тематике за последние 5 лет — 2 балла
2.
Ученая степень
отсутствие ученой степени — 0 баллов,
наличие кандидатской степени — 1 балл,
наличие докторской степени — 2 балла
3.
Ученое звание
отсутствие ученого звания — 0 баллов;
Званиям доцент, профессор, член-корреспондент, академик,
почетный академик присваивается соответственно 1, 2, 3, 4, 5
баллов
4.
Должность
специалист — 1 балл,
старший специалист — 2 балла,
начальник отдела — 3 балла,
ведущий специалист — 4 балла,
начальник Департамента/Управления, Министр ОУО — 5 баллов
5.
Стаж работы
от 0 до 5 лет — 1 балл,
от 5 до 10 лет – 2 балла,
от 10 до 15 – 3 балла,
от 15 до 20 – 4 балла,
более 20 лет –5 баллов
6.
Количество публикаций по данному направлению
за последние три года
отсутствие публикаций — 0 баллов,
количество публикаций
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 — 5 баллов
7.
Цитируемость эксперта
отсутствие цитируемости — 0 баллов,
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 — 5 баллов
8.
Компетентностный уровень экспертной оценки
интегральная бальная оценка.
Определяется по результатам проведенных экспертиз
9.
Количество сформированных экспертных
заключений
отсутствие сформированных экспертных заключений — 0 баллов,
от 1 до 5 — 1 балл,
от 5 до 10 — 2 балла,
от 10 до 15 — 3 балла,
от 15 до 20 — 4 балла,
более 20 — 5 баллов
10. Квалификация эксперта
оценивается по наличию международных, др. сертификатов
в области экспертной деятельности:
отсутствие сертификатов — 0 баллов,
наличие 1 сертификата — 1 балл,
наличие более одного сертификата — 2 балла
11. Признанность эксперта
интегральная бальная оценка.
Определяется по результатам групповой оценки
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
35
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
36
Запишите в таблицу 2 результат их сравнения, выраженный числом, следующим образом:
1 — если рассматриваемые факторы имеют одинаковую важность с точки зрения их влияния
на эффективность оценки;
3 — если фактор, приведенный в строке, с точки зрения его влияния на эффективность оценки немного важнее фактора, указанного в столбце;
5 — если фактор, приведенный в строке, существенно сильнее влияет на эффективность
оценки по сравнению с фактором, указанным в столбце;
7 — если фактор, приведенный в строке, значительно сильнее влияет на эффективность
оценки по сравнению с фактором, указанным в столбце;
9 — если фактор, приведенный в строке, абсолютно сильнее влияет на эффективность оценки
по сравнению с фактором, указанным в столбце.
В случае, когда фактор, указанный в столбике важнее фактора, приведенного в строчке — указывается обратная величина, т.е. 1/3 (1/5, 1/7, 1/9, соответственно).
Эксперт может руководствоваться и более детальной классификацией результатов качественного сравнения критериев и назначать промежуточные значения, т.е. 2,4,6,8.
При расчете коэффициентов важности факторов накладывается и учитывается требование взаимного дополнения оценок, поэтому экспертом заполняется только верхняя правая от диагонали
часть матрицы.
Таблица 2
Результирующая таблица опроса экспертов
для определения коэффициентов важности предложенных критериев
1
1
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
7
8
9
10
11
1
1
1
1
1
1
1
1
1
1
1
Приложения
Пример заполнения матрицы парных сравнений факторов
В качестве примера рассмотрим следующие критерии:
а) стаж работы;
б) количество публикаций по данному направлению;
в) цитируемость эксперта.
Эксперту необходимо провести качественный сравнительный анализ степени влияния перечисленных критериев на эффективность оценки по отбору предложений по проектам для их реализации в рамках ФЦПРО и поставить соответствующие количественные значения в матрице парных сравнений.
Эксперт считает, что критерий а) с точки зрения влияния на результат оценки менее важнее критерия б). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам необходимо на пересечении строки критерия а) со столбцом критерия б) поставить оценку 1/3.
Эксперт считает, что критерий в) сильнее влияет на результаты оценки по сравнению с критерием а). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам на пересечении строки критерия а) со столбцом критерия в) эксперт ставит 1/5.
Эксперт считает, что критерий б) менее влияет на эффективность оценки по сравнению с критерием в), но не сильно, поэтому на пересечении соответствующей строки и столбца он ставит
оценку 1/3.
Окончательный вид матрицы представлен в таблице 3.
Таблица 3
Критерий
а
б
в
а
1
1/3
1/5
б
3
1
1/3
в
5
3
1
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
37
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
38
Приложение №2
Лист опроса экспертов
для определения значимости критериев для экспертизы проектов
Оцените влияние (значимость) приведенных в таблице критериев на достоверность оценок при
экспертизе предложений по проектам для реализации в рамках ФЦПРО:
Таблица 1
№
п/п
Критерии оценки
проектов ФЦПРО
Шкала оценки
1.
степень соответствия проекта стратегическим
Шкала 1..10
направлениям модернизации в сфере образования, 1 — низкая,
тактическим установкам, общественному заказу и 10 — высокая
потребностям государства, экономики и общества
2.
степень актуальности проекта
Шкала 0..5, где
5 — проект направлен на выполнение Распоряжений
и Поручений федеральных органов исполнительной власти РФ
(необходимо указать реквизиты нормативно-правовых актов);
4 — результаты проекта оказывают сильное влияние на ход реали
зации ФЦПРО на 2011—2015 годы; все уровни образования;
высокий социально-экономический эффект от его реализации;
3 — проект актуален для отдельного уровня образования; высо
кий социально-экономический эффект от его реализации;
2 — проект актуален для учреждений образования отдельного
субъекта РФ (федерального округа);
1 — проект не обладает общностью, актуален для отдельного
учреждения образования;
0 — проект не актуален
3.
степень новизны
Шкала 0..3, где
3 — результаты, которые будут созданы в рамках проекта,
являются новыми и практически востребованными;
2 — проект направлен на апробацию и внедрение результатов,
созданных ранее;
1 — проект направлен на модернизацию и доработку
результатов, созданных ранее;
0 — проект не обладает новизной
4.
степень влияния на цели задачи
и необходимые результаты ФЦПРО
Шкала 0..4, где
4 — проект оказывает прямое влияние на цели и задачи
Программы, ожидаемые конечные результаты реализации
Программы и показатели ее социально-экономической
эффективности;
3 — проект оказывает прямое влияние на ожидаемые
результаты реализации отдельного мероприятия
(подмероприятия) Программы;
2 — проект оказывает косвенное влияние на цели и задачи Программы, ожидаемые конечные результаты реализации Программы и показатели ее социально-экономической эффективности;
1 — проект оказывает косвенное влияние на ожидаемые
результаты реализации отдельного мероприятия
(подмероприятия) Программы;
0 — нет влияния
5.
степень проработанности предложения
Шкала 1..10
1 — низкая,
10 — высокая
6.
комплексность подхода
Шкала 1..10
1 – отсутствует,
10 – охватывает все этапы
Приложения
№
п/п
Критерии оценки
проектов ФЦПРО
Шкала оценки
7.
степень перспективности результатов проекта
с точки зрения обозначенного в Программе
количественного целевого результата (по охвату
целевых групп, распространенности инноваций
в регионах, различных типах ОУ и т.д.)
Шкала 1..10
1 – низкая,
10 – высокая
8.
оценка возможностей сопряжения результатов
проекта с существующими либо планируемыми
к внедрению инновациями (особенно в случае
с содержанием образования — соответствие
другим образовательным ступеням и модулям
в рамках концепций непрерывного и вариативного
образования)
Шкала 1..10
1 — низкая,
10 — высокая
9.
оценка социокультурных аспектов внедрения
результатов проекта и их возможных эффектов
в будущем
Шкала 1..10
1 — низкая,
10 — высокая
10. оценка социально-психологических аспектов
внедрения результатов проекта (возможности
адаптации с точки зрения целевых групп)
Шкала 1..10
1 — низкая,
10 — высокая
11. оценка последствий внедрения инновационной
разработки для людей с ограниченными
возможностями, а также социально
незащищенных слоев населения
Шкала 1..10
1 — низкая,
10 — высокая
12. степень апробации и общественного признания
Шкала 1..10
результатов, полученных при выполнении проекта 1 — низкая,
10 — всесторонняя апробация и общественное признание
результатов проекта
13. оценка практической значимости результатов
выполненного проекта
Шкала 1..10
1 — результаты проекта могут быть использованы для отдельного
учреждения системы образования;
10 — межотраслевое применение и/или особо важное
(стратегическое) значение для отрасли, обладает высокой
социальной значимостью. Проект ориентирован на широко
масштабное использование (внедрение)
14. степень влияния результатов проекта
на индикаторы и показатели Программы
Шкала 0..4, где
4 — проект оказывает прямое влияние более чем на один инди
катор или показатель хода реализации Программы;
3 — проект оказывает прямое влияние на один индикатор или
показатель хода реализации Программы;
2 — проект оказывает косвенное влияние более чем на один
индикатор или показатель хода реализации Программы;
1 — проект оказывает косвенное влияние на один индикатор
или показатель хода реализации Программы;
0 — нет влияния
15. степень соответствия стоимости предлагаемых
работ в рамках проекта рыночной стоимости
Шкала 0...2, где
2 — стоимость предлагаемых работ в рамках проекта соответ
ствует рыночной стоимости (отличие не более 10%);
1 — стоимость предлагаемых работ в рамках проекта
превышает рыночную стоимость (не более 30%);
0 — стоимость предлагаемых работ в рамках проекта
не соответствует рыночной стоимости (превышение более 30%)
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
39
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
40
Запишите в таблицу 2 результат их сравнения, выраженный числом, следующим образом:
1 — если рассматриваемые факторы имеют одинаковую важность с точки зрения их влияния
на эффективность оценки;
3 — если фактор, приведенный в строке, с точки зрения его влияния на эффективность оценки немного важнее фактора, указанного в столбце;
5 — если фактор, приведенный в строке, существенно сильнее влияет на эффективность
оценки по сравнению с фактором, указанным в столбце;
7 — если фактор, приведенный в строке, значительно сильнее влияет на эффективность
оценки по сравнению с фактором, указанным в столбце;
9 — если фактор, приведенный в строке, абсолютно сильнее влияет на эффективность оценки
по сравнению с фактором, указанным в столбце.
В случае, когда фактор, указанный в столбике важнее фактора, приведенного в строчке — указывается обратная величина, т.е. 1/3 (1/5, 1/7, 1/9, соответственно).
Эксперт может руководствоваться и более детальной классификацией результатов качественного сравнения критериев и назначать промежуточные значения, т.е. 2,4,6,8.
При расчете коэффициентов важности факторов накладывается и учитывается требование взаимного дополнения оценок, поэтому экспертом заполняется только верхняя правая от диагонали
часть матрицы.
Таблица 2
Результирующая таблица опроса экспертов
для определения коэффициентов важности предложенных критериев
1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
2
3
4
5
6
7
8
9
10
11
12
13
14
15
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Приложения
Пример заполнения матрицы парных сравнений факторов
В качестве примера рассмотрим следующие критерии:
а) степень проработанности предложения;
б) комплексность подхода;
в) степень влияния на цели задачи и необходимые результаты ФЦПРО.
Эксперту необходимо провести качественный сравнительный анализ степени влияния перечисленных критериев на оценку предложений по проектам для их реализации в рамках ФЦПРО
и поставить соответствующие количественные значения в матрице парных сравнений.
Эксперт считает, что критерий а) с точки зрения влияния на результат оценки менее важнее критерия б). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам необходимо на пересечении строки критерия а) со столбцом критерия б) поставить оценку 1/3.
Эксперт считает, что критерий в) сильнее влияет на процессы совершенствования системы образования по сравнению с критерием а). В соответствии с рекомендациями по приведению
качественных оценок к количественным оценкам на пересечении строки критерия а) со столбцом критерия в) эксперт ставит 1/5.
Эксперт считает, что критерий б) менее влияет на эффективность оценки по сравнению с критерием в), но не сильно, поэтому на пересечении соответствующей строки и столбца он ставит
оценку 1/3.
Окончательный вид матрицы представлен в таблице 3.
Таблица 3
Критерий
а
б
в
а
1
1/3
1/5
б
3
1
1/3
в
5
3
1
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
41
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
42
Приложение №3
Экспертное заключение
о соответствии предложений по проекту целям и задачам ФЦПРО
на 2011—2015 годы
А) Общие сведения
наименование проекта:
указывается название проекта в соответствии с представленной аннотацией
задача ФЦПРО:
указывается наименование задачи в соответствии с ФЦПРО
на 2011—2015 годы
мероприятие ФЦПРО:
указывается наименование мероприятия в соответствии
с ФЦПРО на 2011—2015 годы
подмероприятие:
указывается наименование подмероприятия в соответствии
с ФЦПРО на 2011—2015 годы
уровень образования:
указываются уровни образования (дошкольное, общее, профессиональное — НПО, СПО, ВПО, ДПО), на которые проект
оказывает влияние
направление модернизации:
указываются направления модернизации в сфере образования (контент, информатизация, управление, кадры, инфраструктура, международная деятельность, экономика в образовании и др.), на которые проект оказывает влияние
цель(и) проекта:
указываются цель(и) проекта в соответствии с представленной аннотацией
задача(и) проекта
указываются задача(и) проекта в соответствии с представленной аннотацией
ожидаемые результаты:
в соответствии с представленной аннотацией кратко указываются основные ожидаемые результаты выполнения проекта
индикаторы и показатели
в соответствии с представленной аннотацией указываются
ФЦПРО, на которые оказывает индикаторы и показатели ФЦПРО, на которые оказывает влиявлияние проект
ние проект
Приложения
Б) Экспертная оценка предложения
актуальность
указывается экспертная оценка актуальности проекта:
5 — проект направлен на выполнение Распоряжений и Поручений федеральных органов исполнительной власти РФ
(необходимо указать реквизиты нормативно-правовых
актов);
4 — результаты проекта оказывают сильное влияние на ход
реализации ФЦПРО на 2011—2015 годы; все уровни образования; высокий социально-экономический эффект от
его реализации;
3 — проект актуален для отдельного уровня образования;
высокий социально-экономический эффект от его реализации;
2 — проект актуален для учреждений образования отдельного субъекта РФ (федерального округа);
1 — проект не обладает общностью, актуален для отдельного учреждения образования;
0 — проект не актуален (указать мотивированное пояснение данной оценки, например, работы, предусмотренные
в рамках предложения по проекту, уже выполняются в рамках контракта «название»)
новизна
указывается экспертная оценка новизны ожидаемых результатов проекта:
3 — результаты (перечислить), которые будут созданы
в рамках проекта, являются новыми и практически востребованными;
2 — проект направлен на апробацию и внедрение результатов (перечислить), созданных ранее;
1 — проект направлен на модернизацию и доработку результатов (перечислить), созданных ранее;
0 — проект не обладает новизной (указать мотивированное
пояснение данной оценки, например, результаты, предусмотренные в рамках предложения по проекту, уже созданы в рамках контракта «название»)
влияние на цели задач и необходимые результаты ФЦПРО
выбрать из вариантов:
- прямое влияние на следующие цели (перечислить),
- косвенное влияние на следующие цели (перечислить),
- нет влияния
выбрать из вариантов:
соответствие тематическим
целевым установкам и специфи- соответствует,
ке мероприятий этапа ФЦПРО
- не соответствует
соответствие актуальным
потребностям модернизации
системы образования
выбрать из вариантов:
- соответствует (указать направление модернизации),
- не соответствует
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
43
Методика проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной
целевой программы развития образования на 2011—2015 годы с целью оценки соответствия целям и задачам
Программы, возможности и эффективности достижения целевых индикаторов и показателей
44
В) Вывод
Проект соответствует (не соответствует) целям и задачам ФЦПРО, тематическим целевым установкам и специфике мероприятий ФЦПРО, актуальным потребностям модернизации системы
образования; обладает (не обладает) актуальностью и новизной.
Целесообразно обеспечить его реализацию (отклонить возможность его реализации) в рамках
Федеральной целевой программы развития образования на 2011—2015 годы в 2011 году.
Руководитель
Специализированной организации _______________ (ФИО).
«____» _______________ 201__ г.