Проблемы разработки национальной методологии

Проблемы разработки
национальной методологии
ранжирования для российских
вузов
Ларионова Марина Владимировна (НФПК)
Проект «Разработка и апробация методологии рейтингования
образовательных учреждений профессионального
образования»
2011-2013 гг.
Содержание
I.
II.
III.
IV.
Разработка модельной методологии
рейтингования высших учебных заведений
Разработка инструментария для апробации
модельной методологии рейтингования высших
учебных заведений
Дилеммы модельной методологии
рейтингования высших учебных заведений
Следующие шаги
2
I. Разработка модельной методологии
рейтингования высших учебных заведений
Основные принципы методологии:
1.
2.
3.
4.
5.
6.
7.
Методология должна служить источником надежной объективной
информации о качестве деятельности университета и положении
того или иного вуза среди остальных национальных вузов;
Методология должна учитывать многообразие российской
системы высшего образования и их функций;
Методология должна являться инструментом поддержки
потребителей образовательных услуг, позволяя через
представление легко интерпретируемой информации
ориентироваться в широком разнообразии вузов и предлагаемых
ими услуг;
Методология должна учитывать разнообразие потребителей услуг
российского высшего образования;
Методология должна вносить вклад в повышение качества
деятельности и конкурентоспособности вузов;
Методология должна содействовать интеграции вузов в
глобальное образовательное и исследовательское пространство,
поскольку положение в рейтингах является важным сигналом
конкурентоспособности;
Методология должна являться источником надежных данных для
глобальных и региональных рейтингов.
3
Миссия и цели модельной
методологии рейтингования
Миссия:
предоставление надежной и объективной информации о деятельности
российских вузов на основе многомерного ранжирования для
удовлетворения информационных потребностей различных групп
пользователей услуг высшего образования с учетом разнообразия
российской системы высшего профессионального образования
Цели:
• Оценка высших учебных заведений по пяти выделенным функциям
(направлениям деятельности) вузов
• Формирование базы данных о состоянии и развитии российской
системы высшего профессионального образования с учетом его
разнообразия с возможностью построения ранжирований и
рейтингов вузов по отдельно заданным параметрам
• Разработка инструмента транспарентности и внешней оценки
качества высших учебных заведений в России
• Содействие развитию российской системы высшего образования
через создание информационной и аналитической основы для
бенчмаркинга (выявления лучших практик) и стимулирования спроса
на услуги высшего образования в стране
4
Оценочные плоскости модельной
методологии рейтингования
группы вузов
группы
пользователей
Научно-исследовательская деятельность
Обучение/преподавание
Международная деятельность
Трансфер знаний
Взаимодействие с регионом
5
Методология сопоставительного анализа
3 уровня анализа
• 1 уровень: Сопоставление методологий рейтингования
по общим параметрам, выделенным для анализа
• 2 уровень: Сопоставление методологий рейтингования с
Берлинским принципам ранжирования высших учебных
заведений и критериями оценки методологий
рейтингования «Правил аудита рейтингов» (приняты в
мае 2011 международной экспертной группой по
определению рейтингов университетов IREG
совместно с ЮНЕСКО, ОЭСР и ВБ)
• 3 уровень: Соотнесение результатов сопоставительного
анализа 1 и 2 уровней с возможностями, потребностями
и задачами развития системы ВО в РФ
6
Типы анализируемых методологий (19)
7
Понятия и термины
• Одномерное ранжирование — отражает вертикальное разнообразие
учреждений высшего образования с помощью различных индикаторов
оценки в одном агрегированном показателе. Чаще всего представлено в
широко распространенных сегодня таблицах лиг.
• Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от
получившего наивысшую оценку к получившему оценку наименьшую.
Каждому объекту ранжирования в таблице лиг присваивается порядковый
номер на основании позиции, занимаемой в ряду.
• Многомерное ранжирование не стремиться соединить оценку
образовательной и исследовательской деятельности вузов в одном
агрегированном показателе. Ориентировано на разнообразные
потребности разных категорий пользователей.
• Классификация – система распределения объектов по группам на основе
их характеристик. Отражает горизонтальное разнообразие, где различия
между категориями не основано на принципах порядковой шкалы.
Позволяет представить разнообразие учреждений высшего образования в
полной мере
van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a new transparency tool for higher
education and research // Higher Education Management and Policy. 2010. Vol. 22/3.
8
Параметры анализа и оценки основных
рейтингов
1. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или
ориентирован на оценку отдельных характеристик).
2. Целевые группы
3. Предметные области рейтинга ( как структурируются предметные области).
4. Регионы охвата и/или распространения (в зависимости от типа рейтинга).
5. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и
аспирантура).
6. Методология построения рейтинга:
- ключевые принципы, лежащие в основе рейтингования;
- система индикаторов, веса;
- инструментарий (ключевые процедуры сбора данных, например, использование
вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий
стейкхолдеров, либо проведение экспертных интервью);
- обработка полученных данных;
- трансформация полученных данных в рейтинг (квантификация полученных данных,
измерение и придание полученному результату численного значения).
7. Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры
университетов, ранжированный список университетов).
8. Ключевые проблемы, связанные с использованием индикаторов (критика, дискуссионность).
9. Репутация рейтинга (степень доверия к рейтингу).
9
Глобальные одномерные ранжирования:
несбалансированность показателей
Репутационная оценка научноисследовательской деятельности
– 18%
Доход от исследований
(взвешенный) – 6%
Кол-во статей на одного ППС и
одного исследователя – 6%
Смешение в
сторону оценки
научноисследовательс
кой
деятельности, в
совокупности с
индикатором
цитирования:
60%
Глобальный рейтинг THE - Thomson Reuters:
система индикаторов и весов
2,5%
7,5%
30,0%
30,0%
30,0%
Экономическая активность/ Инновации
Международная деятельность - ППС, студенты, исслдеования
Преподавание/ условия обучения
Исследования - объем, доход, репутация
Цитиирование - научное влияние
Доля иностранных ппс
в общей численности ППС
– 2,5%
Доля иностранных
студентов в общей
численности студентов –
2,5%
Доля публикаций ППС в
научной периодике в
соавторстве с
иностранным автором в
общей количестве
публикаций ППС
университета за год – 2,5%
Репутационная оценка
преподавания – 15%
Кол-во присуждаемых
степеней PhD в расчете на
одного ППС – 6%
Соотношение принятых
студентов к кол-ву ППС
университета – 4,5%
Доход на одного ППС – 2,25%
Соотношение присужденных
докторских степеней к
бакалаврам – 2,25%
10
Глобальные одномерные ранжирования:
несбалансированность показателей
Смещение в
сторону оценки
академической
репутации и
уровня
цитирования: в
совокупности
60%
Глобальный рейтинг QS:
Система индикаторов и весов
5%
5%
20%
40%
20%
10%
Академическая репутация
Academic reputation
Деловая репутация
Employer reputation
Уровень научного цитирования по ППС
Citation per faculty
Соотношение количества ППС и студентов
Faculty Student Ratio
Доля иностранных студентов
International Student Ratio
Доля иностранных ППС
International Faculty Ratio
11
Национальные одномерные ранжирования:
несбалансированность показателей?
Национальный рейтинг Guardian:
Система индикаторов и весов
10%
15%
10%
15%
5%
Смешение в
сторону оценки
качества
преподавания и
обучения
15%
15%
15%
Удовлетворенность преподаванием (данные национального опроса студентов)
Удовлетворенность оцениванием и обратной связью с препдавателями (данные
национального опроса студентов)
Общая удовлетворенность студентов процессом обучения
Динамика роста академической успеваемости
Соотношение студентов к ППС
Затратарты на студента
Вступительный (проходной балл) в университет
Перспективы трудоустройства
12
Национальные одномерные ранжирования:
несбалансированность показателей?
Национальный рейтинг Times
1
1,5
1
1,5
1
1
Смешение в
сторону оценки
качества
преподавания и
обучения
1
1
Общая удовлетворенность студентов
Качество проводимых научных исследований
Уровень подготовки абитуриентов
Соотношение количества ППС и студентов
Доля студентов, завершивших обучение
Доля студентов, закончивших университет с отличием
Уровень подготовки абитуриентов
Перспективы трудоустройства
13
Основные проблемы одномерных ранжирований
•
•
•
•
•
Проблема надежности: Опора на репутационные оценки определяет недоверие к
процедурам проведения глобальных, международных или общенациональных
опросов, построения выборочной совокупности, к получаемым результатам
Проблема релевантности: Чаще используются индикаторы ресурсов, но не
результатов деятельности вузов. Некоторые показатели вызывают сомнение
относительно их способности определять и оценивать качество университетов
(например, индикаторы, отражающие доходы университетов, или индикатор
соотношения численности студентов и преподавателей для оценки качества
обучения в университете, или индикатор влияния научного цитирования для оценки
качества университетских исследований)
Проблема методологии: Веса, присвоенные индикаторам вызывают критику,
особенно, в части индикаторов международной деятельности. Веса индикаторов
интернационализации необоснованно занижены, несмотря на то, что
интернационализация является ключевой характеристикой университетов «мирового
уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за
недостаточную научную обоснованность
Проблема доступности данных: В случае отсутствия данных по индикаторам, не
имеющим высокого веса, университетам, не предоставившим информацию,
приписываются минимальные значения, чтобы все равно учесть их в рейтинге
Проблема информативности: одномерные ранжирования не оценивают всего
многообразия вузов; из всех функций вузов чаще всего оцениваются только функции
обучения/преподавания и научно-исследовательской деятельности. В результате
потребитель получает ограниченную информацию о деятельности вузов
14
Развитие систем ранжирования университетов
Отражать
институцион
альное
многообрази
е
Эгалитаризм
массификация
Обеспечение
качества
Подотчетность
Элитизм
Высокое качество
Рейтингование
Гибридные
формы
Ориентирова
ться на
потребителе
й услуг
Отражать
регионально
е
разнообрази
е
Отражать
разнообрази
е
предметных
областей
Два подхода
Современные системы
Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology
and Impacts on Global Higher Education. Springer, 2011. P.14.
Направления будущего
развития
15
Региональные/ национальные многомерные
ранжирования: The СНЕ Rankings
•
CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года
•
CHE предлагает четыре системы ранжирования, отличающихся между собой как по
целевой аудитории (категории пользователей), так и по набору показателей
•
CHE не производит ранжирование университета в целом – оценка производится
только по отдельным предметам или по предметным областям
•
CHE не опирается на единый комплексный показатель – при ранжировании
используется несколько показателей, позволяющих осуществить многомерную
оценку учебного заведения (направления: преподавательский потенциал вуза,
инфраструктура, интернационализация, учет вузом потребностей рынка труда,
развитость исследовательской деятельности и т.д. )
•
CHE формирует группы университетов по результатам ранжирований «верхнюю»,
«среднюю» или «нижнюю». Группы отражают степень оценки по отдельному
показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из
групп ранжирование не производится, а университеты располагаются внутри группы
по отношению друг к другу в алфавитном порядке.
16
Региональные/ национальные многомерные
ранжирования: The СНЕ Rankings
Ранжирование
Университетов
Целевая группа:
студенты и
университеты
Индикаторы:
1.Обучение и
преподавание
2.Инфраструктура
3.Интернацинализация
4.Ориентация на
рынок труда
5.Репутационная
оценка ВУЗа
6.Исследовательская
деятельность
7.Город и университет
Ранжирование
исследовательских
программ
Целевая группа:
исследователи,
университеты,
ведущие
исследовательскую
деятельность
Индикаторы:
1.Внешнее
финансирование за
три года.
2.Публикации
3.Изобретения/патент
ы
4.Присуждение
степеней
Ранжирование
программ для магистров
и докторов
Рейтинг учебных заведений
по уровню подготовки
выпускников к рынку труда
Целевая группа:
соискатели магистерской и
докторской степени
Индикаторы:
1.Библиометрический
критерий
2.Наличие выдающихся
ученых (лауреаты
Нобелевской премии,
прими Филдса, премия
Кёрбера)
3.Количество проектов по
программе Мари Кюри
4.Студенческая
мобильность
5.Преподавательская
мобильность
6.Участие в программе
Эрасмус Мундус
7.Получение грантов
Европейского Совета
Целевая группа:
студенты программ
профессионального
бакалавриата,
работодатели, учебные
заведения
Индикаторы:
1.Практикоориентированные навыки
2.Соцальные компетенции
3.Практический опыт
работы
4.Интернационализация
17
Региональные/ национальные многомерные
ранжирования The СНЕ Rankings :
характеристики качества
• Сбалансированность показателей:
Отказ от использования агрегированного индикатора при ранжировании обеспечивает
сбалансированность оценки качества деятельности университетов, обеспечивает
сравнение университетов по набору разных индикаторов
• Сбор данных:
70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн
анкетирования и материалов самооценки, что повышает риск фальсификации
данных, тем не менее,
все полученные данные проходят процедуру аудита на достоверность и надежность и
пересылаются учебным заведениям для окончательного утверждения
в случае подозрения в фальсификации, учебное заведение исключается из
ранжирования
• Надежность и релевантность показателей
Методология ранжирования обновляется постоянно: увеличивается использование
количественных данных, снижается использование оценочных и репутационных
данных
• Интерактивность и транспарентность
Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется
возможность выбора одного индикатора или группы индикаторов для сравнения
университетов.
Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений
находится в открытом доступе.
18
2й уровень: Критерии IREG и веса основных и
стандартных критериев
№
п/п
Критерии
Веса
ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД
1.
Цель ранжирования и (ключевые) целевые группы должны быть 2
четко определены
2.
Ранжирование должно
высшего образования
3.
Ранжирование
должно
уточнять
экономический
и
исторический
образовательных систем.
отражать
разнообразие
институтов 2
языковой,
культурный, 1
контекст
оцениваемых
МЕТОДОЛОГИЯ
4.
Индикаторы, выбираемые для ранжирования, должны быть 2
релевантными и валидными.
5.
Качество деятельности институтов высшего образования – 1
понятие многомерное и многоаспектное и часто является
отражением восприятия наблюдателя. Хорошее ранжирование
должно сочетать различные точки зрения
6.
Всегда, когда это возможно, предпочтительнее использовать для 1
ранжирования оценку результатов деятельности вузов, нежели 19
оценку исходных параметров.
Критерии IREG и веса основных и
стандартных критериев
7.
Рейтинги должны содержать подробную информацию о
применяемой методологии, и должны быть с этой точки
зрения транспарентными.
2
8.
Если ранжирование использует комплексные индикаторы, то должны
быть опубликованы веса отдельных индикаторов. При
проведении ранжирования в течение продолжительного периода
не должно происходить частого изменения весов индикаторов.
Если такие изменения происходят, то для этого должны быть
методологические или концептуальные обоснования.
2
9.
Данные, используемые в ранжированиях, должны быть получены из
авторитетных, проверяемых, доступных контролю источников или
собраны с соблюдением надлежащих процедур и
профессиональных правил сбора данных для эмпирических
исследований.
2
10.
Базовая методика должна оставаться постоянной, насколько это
возможно.
1
11.
Ранжирование должно быть доступно для пользователей в течение
года либо в печатном виде, либо интерактивно.
1
12.
Публикация ранжирования должна содержать описание методов и
индикаторов, используемых при ранжировании учебных
заведений.
1
13.
Опубликованное ранжирование должно содержать информацию о
баллах для каждого отдельного индикатора, используемых для
расчета комплексного индикатора.
2
20
Критерии IREG и веса основных и стандартных
критериев
ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ
15.
Ранжирования должны быть составлены таким образом, чтобы 1
исключить или значительным образом сократить ошибки,
вызванные ранжированием
16.
Ранжирования должны обладать механизмом реагирования на 2
запросы заведений высшего образования участвующих в
ранжировании
17.
Опубликованное в печати или в электронном
ранжирование должно содержать контактный адрес
виде 1
ОБЕСПЕЧЕНИЕ КАЧЕСТВА
18.
При ранжировании необходимо обеспечить качество самих 2
процедур ранжирования.
19.
Внутренние процедуры обеспечения качества ранжирования 1
должны быть задокументированы.
20.
Необходимо осуществлять организационные
повышения доверия к результатам ранжирования
МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ
меры
для 2
180
21
Шкала оценки методологий относительно
критериев IREG
0 – критерий не применим к методологии/нет данных
1 – методология не соответствует критерию
2 – методология частично соответствует критерию
3 – методология полностью соответствует критерию
22
Оценка методологий относительно критериев IREG
23
Ограничения методологий, удовлетворяющих
критериям IREG (на примере U-multirank, CHE
University)
•
•
•
•
•
•
•
Ресурсоемкость
Недостаточность сопоставимых данных по деятельности
различных университетов
Сложность применяемых индикаторов и процедур их сбора
Сложность обеспечения объективной оценки при
использовании данных опросов
Сложности обработки больших объемов данных
Сложность соблюдения надежности и качества процедур
сбора данных при больших объемах
Проблема охвата всех предметных областей
24
3 уровень: Оценка относительно задач развития
национальной системы высшего образования
Анализ наиболее часто используемых количественных индикаторов для
модельной методологии ранжирования
o Выявление схожих/повторяющихся/наиболее часто используемых и
значимых индикаторов;
o Оценка на основе международного опыта использования индикаторов;
o Распределение количественных индикаторов по направлениям:
научно-исследовательская деятельность – 17
обучение и преподавание -14
международная деятельность – 5
трансфер знаний – 8
взаимодействие с регионом – 6
трудоустройство выпускников - 4
o Анализ доступности и возможности сбора данных;
o Критическая оценка по критериям: значимости с точки зрения задач
развития системы ВО РФ, надежности, доступности, релевантности,
соответствия критериям IREG
25
Процедура экспертной оценки индикаторов
результатов деятельности вузов
Цель:
 Оценить выявленные количественные индикаторы для модельной
методологии ранжирования
 Определить ключевые количественные индикаторы для
апробации модельной методологии ранжирования
Процедура:
 Оценка относительно пяти критериев: значимости с точки зрения
задач развития системы ВО РФ, надежности, доступности,
релевантности, соответствия критериям IREG
 17 экспертов - представителей российских вузов, СМИ, кадровых
агентств
 3 раунда количественной и качественной оценки
Результат:
 Перечень количественных индикаторов для модельной
методологии
 Рекомендации по включению количественных индикаторов в
модельную методологию ранжирования
26
Логическая рамка для оценки применимости выделенных индикаторов
для российской методологии ранжирования вузов
Параметр
Индикатор
Значимость с
т.з. задач
развития
системы ВО в
РФ
Надежность
Доступнос
ть
Релевантност
ь
Соответствие
критериям
IREG
Оценка
значимости
для включения
в методологию
Научная деятельность. Input
indicators
Научная деятельность. Output
indicators
Обучение/преподавание. Input
indicators
Обучение/преподавание. Output
indicators
Международная направленность .
Input indicators
Международная направленность.
Output indicators
Трудоустройство/заработная
плата
Обмен знаниями. Input indicators
Обмен знаниями. Output
indicators
Взаимодействие с регионом.
Input indicators
Взаимодействие с регионом.
Output indicators
Гендерный баланс
Профиль студента
27
4 группы индикаторов сформированы на
основании экспертных оценок
Группа ‘A’ «Ядро»
Индикаторы удовлетворяют критериям:

значимости для развития системы высшего образования,

релевантности для модельной методологии ранжирования

надежности, доступности, релевантности
Некоторые индикаторы были включены в Группу ‘A’ на основании рекомендаций экспертов,
несмотря на неполное соответствие всем обозначенным выше критериям
Группа ‘B’
Индикаторы удовлетворяют критериям:

значимости для развития системы высшего образования

релевантности для модельной методологии ранжирования
Но не соответствуют критериям:

надежности, доступности, релевантности
Группа ‘C’
Индикаторы не удовлетворяют критериям:

значимости для развития системы высшего образования,

релевантности для модельной методологии ранжирования

надежности, доступности, релевантности
Группа ‘D’
Индикаторы, дополнительно предложены экспертами для включения в методологию
ранжирования
28
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Научно-исследовательская деятельность
1. Доля затрат на исследования от общих расходов вуза
в предыдущем финансовом году (группа “A”)
2. Доля ППС с ученой степенью кандидата или доктора
наук (группа “A”)
3. Количество цитирований на одного ППС (эквивалент
полной занятости) (РИНЦ) (группа “A”)
4. Количество цитирований на одного ППС (эквивалент
полной занятости) (Scopus, Web of Knowledge) (группа
“A”)
5. Количество цитирований на одну статью (группа“A”)
6. Нормализованный показатель цитирования с учетом
предметной области (группа “A”)
29
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Научно-исследовательская деятельность (продолжение)
7. Количество публикаций на одного ППС (эквивалент полной
занятости) (Scopus, Web of Science) (группа “A”)
8. Количество публикаций на одного ППС (эквивалент полной
занятости) (РИНЦ) (группа “A”)
9. Доля доходов вуза от научных исследований в предыдущем
финансовом году (группа “A”), в том числе от:
фундаментальных исследований
прикладных исследований
10. Количество выигранных вузом грантов /сумма выигранных вузом
грантов (РГНФ, РФФИ, Фонд Бортника) в предыдущем финансовом
году (группа “A”)
11. Доля бакалавров очной формы обучения, участвующих в
выполнении научных исследований и разработок с оплатой труда,
от общего количества бакалавров очной формы обучения в
предыдущем учебном году (группа “B”)
30
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Обучение/ преподавание
1. Затраты на оборудование и инфраструктуру (для обеспечения
обучения) в предыдущем учебном году (группа “A”)
2. Доля образовательных программ, прошедших международную
аккредитацию (аккредитацию должно осуществлять агентство с
международно-признанной репутацией) (группа “A”)
3. Доля программ, на которые были приняты студенты с высоким
баллом ЕГЭ (оценка качества абитуриентов) в предыдущем
учебном году (группа “D”)
4. Доля абитуриентов – победителей Всероссийской олимпиады
школьников в предыдущем учебном году (группа “D”)
5. Доля студентов, получивших престижные стипендии (стипендия
Президента РФ, стипендия Губернатора субъекта РФ, стипендия
Мэра, стипендия Фонда Потанина), от всей численности студентов
вуза в предыдущем финансовом году (группа “D”)
31
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Обучение/ преподавание
6. Доля выпускников, трудоустроившихся после окончания
университета в течение 1 года по специальности/направлению
обучения (группа “B”)
7. Доля выпускников, поступивших на программы аспирантуры в
предыдущем учебном году (группа “D”)
8. Соотношение численности приема студентов магистратуры к
численности приема студентов бакалавриата (группа “D”)
9. Доля студентов магистратуры, закончивших бакалавриат в других
вузах, от общей численности приема студентов магистратуры
(группа “D”)
10. Доля молодых штатных ППС (до 35 лет, эквивалент полной
занятости), получивших престижные национальные гранты и премии,
от всей численности молодых штатных ППС (премии Президента РФ,
премии губернатора, Фонда Потанина) (группа “D”)
11. Доля преподавателей (эквивалент полной занятости), являющихся
действительными членами и членами-корреспондентами Академии
наук РФ (группа “D”)
32
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Международная деятельность
1.
Доля иностранных студентов в общей численности студентов
(эквивалент полной занятости) (группа “A”)
2.
Количество международных исследовательских грантов,
полученных в предыдущем финансовом году (группа “A”)
3.
Доля доходов из иностранных источников в общих доходах вуза
(преподавание, научная деятельность, контракты с зарубежными
предприятиями) в предыдущем финансовом году (группа “A”)
4.
Доля нагрузки иностранных ППС, приведенная к штатной нагрузке
ППС (эквивалент полной занятости) в предыдущем учебном году
(группа “D”)
5.
Доля студентов вуза, участвующих в программах обмена в
течение предыдущего учебного года (группа “D”)
6.
Доля аспирантов прошедших стажировки в зарубежных
университетах в течение предыдущего учебного года (группа “D”)
33
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Международная деятельность
7. Доля ППС (эквивалент полной занятости)
приглашенных для чтения лекций в зарубежные
университеты в течение предыдущего учебного года
(группа “D”)
8. Доля преподавателей (эквивалент полной занятости),
обладающих дипломами PhD зарубежных вузов
(группа “D”)
9. Доля программ, разработанных совместно с
зарубежными партнерами (группа “D”)
10. Доля студентов, обучающихся по программам,
разработанных совместно с зарубежными партнерами
(группа “D”)
34
Перечень количественных индикаторов,
полученных в результате экспертных оценок
Трансфер знаний
1. Доля внебюджетного финансирования в доходах вуза в
предыдущем финансовом году (группа “A”), в том числе:
от образовательной деятельности
от научно-исследовательской деятельности
1. Доход от продажи продуктов интеллектуальной
собственности (группа “D”)
2. Количество поставленных на бухгалтерский учет объектов
интеллектуальной собственности (группа “A”)
3. Число образовательных программ, реализованных вузом по
заказу сторонних организаций в течение предыдущего
учебного года (группа “D”)
4. Количество специалистов из сторонних организаций,
прошедших повышение квалификации или
профессиональную переподготовку в вузе в течение
предыдущего учебного года (группа “D”)
35
Перечень количественных индикаторов,
полученных на основе экспертных оценок
Взаимодействие с регионом/отраслью
1. Доля доходов из местных/региональных
источников/отрасли в предыдущем финансовом году
(группа “A”)
2. Доля студентов, участвующих в стажировках, в
региональных организациях/отрасли в предыдущем
учебном году (группа “A”)
3. Количество контрактов на исследования,
заключенные с региональными партнерами в
предыдущем финансовом году (группа “B”)
36
II. Разработка инструментария для апробации
модельной методологии рейтингования высших
учебных заведений
o Кодировка (40 исходных индикаторов до and 65
после процедуры тестирования)
o Декомпозиция исходных индикаторов (86
субиндикаторов)
o Определение субиндикаторов, общих для
некоторых индикаторов
o Формирование 6 семантических блоков из 86
(74+12) субиндикаторов
o Формула построения исходного индикатора на
основе значений отдельных субиндикаторов
37
Структура инструментария для апробации
модельной методологии рейтингования
6 семантических блоков
o Профайл вуза
o Студенты и аспиранты
o ППС, НС и другой персонал
o Образовательные программы
o Библиометрия
o Бюджет
38
Тестирование модельной методологии
рейтингования российский вузов
Цель:
o
моделирование процесса заполнения опросника
o
выявление специфики восприятия индикаторов разными группами вузов
o
корректировка формулировок индикаторов
o
получение информации о доступности данных по индикаторам в разных
университетах
o
корректировка инструментария для апробации
o
доработка методологических комментариев к инструментарию
Участники: вузы, входящие в экспертную группу проекта (УрФУ, СВФУ, СПбГПУ,
СПбГУ, ТПУ, ТГУ, НИУ ВШЭ, МГПУ, РОСНОУ)
Процедура:
o
Передача опросника вузам, представленным в экспертной группе проекта
o
Заполнение опросника вузами с привлечением соответствующих
подразделений
o
Сбор и обработка материалов тестирования
o
Анализ полученных данных и комментариев экспертов
Результат:
Инструментарий, протестированный разными видовыми группами вузов, с точки
зрения восприятия индикаторов и трудностей сбора необходимой информации
39
Построение выборочной совокупности для
апробации модельной методологии
рейтингования
Цель:
Сформировать выборку вузов, составляющую ~ 10% от общего
количества вузов России
При отборе вузов учитывается:
 разнообразие категорий и видовых групп вузов РФ
 Региональное разнообразие
 современные тенденции развития системы ВО в РФ
 мнение участников экспертной группы проекта
Результат: 148 отобранных высших учебных заведений
40
Структура выборочной совокупности для
апробации модельной методологии
рейтингования
Выборочную совокупность составили следующие группы вузов:
o Ведущие вузы РФ (МГУ, СПбГУ),
o Федеральные университеты (9 университетов),
o Национальные исследовательские университеты (29 вузов),
o Вузы-победители проекта конкурсной поддержки программ
стратегического развития государственных образовательных
учреждений высшего образования (54 вуза),
o Вузы из категории университетов, предлагающих лучшие
образовательные программы (данные каталога «Лучшие
образовательные программы инновационной России 2011 2012») (42 вуза).
o Вузы, дополнительно рекомендованные экспертной группой
проекта (10 вузов из числа негосударственных)
o Вузы, выразившие желание принять участие в апробации (3
вуз)
41
Структура выборочной совокупности для апробации
модельной методологии рейтингования
Федеральный
округ \ Тип вузов
Классиче
ские
Инженер
нотехничес
кие
Гуманита
рнопедагоги
ческие
Экономи
ческие и
юридиче
ские
Медици
нские
1
Дальневосточный
6
2
2
Приволжский
9
12
3
2
1
3
Северо-Западный
7
8
3
3
1
4
Северо-Кавказский
5
1
1
5
Сибирский
5
7
4
6
Уральский
3
3
7
Центральный
9
17
8
Южный
3
4
ИТОГО
47
54
Сельскох
озяйстве
нные
1
9
2
19
29
21
7
3
2
1
1
8
ИТОГО
22
7
5
2
2
1
17
7
1
40
10
4
148
42
IV. Дилеммы модельной методологии
рейтингования российских вузов
1. Дифференцированность российской
2.
3.
4.
5.
системы высшего образования
Неравнозначная релевантность
индикаторов для разных типов вузов
Агрегирование и взвешивание
индикаторов
Общие принципы методологии
Формат представления результатов
43
Дифференцированность российской
системы высшего образования
Возможные подходы:
o Включить все видовые группы вузов, несмотря на их
разнообразие;
o ограничить охват методологии ранжирования и не учитывать вузы
культуры и искусства, физической культуры и спорта,
негосударственные и муниципальные вузы;
При анализе данных возможно:
o сравнивать вузы между собой внутри отдельных видовых групп:
 по отдельным направлениям,
 по заданным индикаторам;
 с помощью агрегированного показателя;
o сравнивать все вузы по отдельным направлениям деятельности;
o сравнивать вузы по всем направлениям с помощью одного
агрегированного показателя;
o сравнивать вузы по заданным индикаторам
44
Релевантность индикаторов
Основная проблема для методологии:
Не все индикаторы в полной мере одинаково релевантны для разных
видовых групп российских вузов
При дальнейшей доработке методологии ранжирования возможно:
o использовать весь набор выработанных индикаторов для всех
видовых групп вузов;
o выделить «ядро» индикаторов, релевантных для всех российских
вузов, одновременно выделить индикаторы, специфичные для
отдельных групп вузов;
При анализе данных возможно:
o сравнивать все вузы по всему набору индикаторов
o сравнивать все вузы по отдельному набору индикаторов (общих и
специфичных)
o сравнивать отдельные группы вузов по всему набору индикаторов;
o сравнивать отдельные группы вузов по отдельному набору
индикаторов (tailored)
45
Агрегирование и взвешивание индикаторов
Основные проблемы для методологии:
o Большое количество исходных индикаторов, дифференциация
вузов ведет широкому разбросу оценок и осложняют процедуру
взвешивания.
При дальнейшей доработке методологии ранжирования возможно:
o увеличить число экспертов, привлекаемых к взвешиванию, до
получения статистически значимых результатов экспертных оценок
o усложнить процедуру взвешивания для выработки отдельных
систем весов как для отдельных групп вузов, так и для отдельных
направлений оценки качества
o производить процедуру агрегирования только для однородных или
близких друг другу индикаторов в каждом отдельном направлении
оценки
При анализе данных возможно:
o проводить сравнение по агрегированным индикаторам для
отдельных направлений оценки
o проводить сравнение по агрегированным индикаторам для
отдельных групп вузов
46
Общие принципы методологии
Основная проблема для методологии:
o Опора на количественные индикаторы ограничивает
методологию в части получения данных об
удовлетворенности студентов/ сотрудников вузов/
работодателей качеством работы российских вузов
При дальнейшей доработке методологии ранжирования
возможно:
o отказаться от использования репутационных
исследований
o дополнить методологию репутационными
исследованиями для студентов, сотрудников и
преподавателей, работодателей
47
Формат представления данных
Основная проблема для методологии:
o Для обеспечения требований качества к методологии
рейтингования необходимо обеспечить транспарентность
и интерактивность результатов методологии
При дальнейшей доработке методологии ранжирования
необходимо определить в какой форме будут
представлены результаты методологии:
o В электронном формате в виде отдельного сайта
национальной методологии рейтингования высших
учебных заведений
o В печатном формате на страницах одного из печатных
отечественных СМИ
o В виде сочетания электронного и печатного форматов
48
V. Следующие шаги:
o Апробация проекта модельной методологии
o
o
рейтингования вузов
Проведение общественных и экспертных
обсуждений результатов апробации
Проведение консультаций по результатам
апробации методологии с российскими
заинтересованными сторонами и
Международной экспертной группой по
определению рейтингов университетов IREG
49
Спасибо за внимание!
НФПК
www.ntf.ru
Центр международных сопоставительных исследований
ИМОМС НИУ ВШЭ
www.iori.hse.ru
50