Слайд 1 - Разработка и апробация методологии рейтингования

Основные результаты анализа российских подходов
(методологий и индикаторов) к оценке работы высших
учебных заведений
Анализ проводился:
• С целью выявления основных методик и индикаторов,
используемых на современном этапе в рамках оценки
работы высших учебных заведений, позволяющих
обеспечить формирование условий для реализации целей
развития системы высшего образования в Российской
Федерации.
• На основе специально разработанной Методологии
• Включал два основных направления
– анализ отечественных методологий оценки российских высших
учебных заведений;
– анализ индикаторов, которые используются в рамках
методологий оценки российских высших учебных заведений
2
В рамках анализа отечественных методологий оценки российских высших
учебных заведений:
1. Были описаны (с учетом хронологии их появления) все имеющиеся в
открытом доступе методологии и индикаторы оценки (исследований
направленных на те, или иные аспекты оценки деятельности высших
учебных заведений)).
В основу описания была положена следующая логическая рамка:
–
Название исследования.
–
Фокус исследования (миссия, цель, задачи, учитывает ли многообразие вузов, или ориентировано на оценку отдельных
характеристик).
–
Целевые группы:
•
•
–
–
–
–
–
–
–
–
Статус (кем учреждено, проводится ли независимыми агентствами или государственными структурами).
Периодичность/ частота проведения исследования (ежегодно или один раз в несколько лет, или проч.).
Основные требования к участникам исследования.
Активность участия университетов (вузов) в исследовании.
Предметные области оценки (исследования).
Регионы охвата и распространения.
Уровни образования, которые затрагивает исследование.
Методология построения исследования:
•
•
•
•
•
–
–
–
основные потребители (абитуриенты, учащиеся, родители, преподаватели вузов);
широкая аудитория (другие вузы, работодатели, СМИ, отдельные министерства и ведомства, НПО и НКО,
экспертное сообщество).
ключевые принципы, лежащие в основе исследования;
система показателей, индикаторы, веса;
инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или
разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных
интервью);
обработка полученных данных;
трансформация полученных данных в форматы представления (рейтинг, рэнкинги) (квантификация полученных
данных, измерение и придание полученному результату численного значения).
Результаты исследования.
Ключевые проблемы, связанные с использованием индикаторов (критика, дискуссионность).
Репутация исследования (степень доверия к результатам исследования).
3
В результате мы увидели:
– что в развитии данного направления за последние годы
можно выделить три основных этапа:
• вторая половина 90-х – начало 2000-х годов – исследования и
рейтинги Журнала «Карьера»;
• 2001 - 2006 годы - исследования и рейтинги Федерального агентства
по образованию (на основе сбора статистической информации). С
2007 года составление рейтинга прекратилось (было заменено
мониторингом деятельности образовательных учреждений высшего
профессионального образования – основные информационные
материалы по итогам мониторинга представлены за 2008 год);
• с 2007 года до настоящего времени – различные исследования
деятельности ВУЗов, реализуемые различными заинтересованными
игроками» (МО РФ, независимые рейтинговые агентства, крупные
федеральные СМИ) в поисках новых подходов к оценке по этому
направлению
4
Основными продуктами этой группы являются:
1. Результаты исследований Независимого
рейтингового агентства в сфере
образования (НРА) РейтОР и ИНТЕРФАКСА
(http://univer-rating.ru). Например:
– Рейтинг вузов по вхождению их выпускников в
элиту государственного управления (2009)
– Результаты мониторинга стоимости образования в
московских ВУЗах (2009)
– Национальный рейтинг университетов (2009, 2010
– выборка 201о года: 104 университета и 71
педвуз)
5
Основными продуктами этой группы являются:
2. Результаты исследований Федерального
портала «Российское образование»
(http://www.edu.ru/abitur/act.61/index.php):
– Рейтинг государственных ВУЗов по
специальностям и направлениям подготовки на
основе баллов ЕГЭ 2010 (дата обновления - 18 мая
2011 года)
– Рейтинг государственных ВУЗов по укрупненным
группам направлений подготовки
(специальностей) на основе баллов ЕГЭ 2010 (дата
обновления - 19 мая 2011 года)
6
Основными продуктами этой группы являются:
3. Результаты исследований, реализуемых в рамках
совместного проекта «Социальный навигатор» НИУ
ВШЭ и РИА Новости по заказу Общественной
палаты (http://ria.ru/ratings/). Например:
– Результаты исследования качества приема в российские
государственные ВУЗы 2010, 2011 (результаты 2010 года,
опубликованы как Рейтинг русской версии журнала Forbes)
– Результаты мониторинга прозрачности сайтов ВУЗов для
абитуриентов 2010, 2011 (государственные,
негосударственные, магистратура, бакалавриат)
– «Рейтинг» (совокупность рэнкингов) научной и
публикационной активности государственных ВУЗов
– Рейтинг архитектурной доступности российских вузов для
студентов-инвалидов
– Какой ВУЗ выбрать: индикатор ваших возможностей
(мультирэнкинговый информационный ресурс для
абитуриентов – самый популярный ресурс этого лета)
7
В результате мы увидели:
- что на данных момент это поле развивается не системно –
новые исследования формируются по мере возникновения
интереса (актуализации) к этой тематике и часто не
возобновляются (не повторяются) ввиду своей затратности (так
как проведение качественных исследований на основе
актуальных данных на всей совокупности выборки требует
наличия временных, организационных и финансовых ресурсов,
кадрового потенциала, обладающего необходимыми
квалификациями);
- что основным предметом всех, из описанных нами
исследований, являются – отечественные высшие учебные
заведения - и только отдельные наблюдения обращаются к
направлениям обучения (например, Рейтинги SuperJob и
«Результаты качества приема в российские вузы» РИА Новости
и НИУ ВШЭ; при этом программы обучения и уровни обучения
(бакалавриат, магистратура), как правило, не рассматриваются
8
В результате мы увидели:
- что поле реализуемых сегодня исследований ориентированных на те, или
иные аспекты оценки деятельности высших учебных заведений оценок
сегодня весьма обширно и представлено методологиями и критериями
различными:
– по своей целевой направленности (четко выделяются исследования,
реализуемые для нужд и в рамках системы образования и исследования,
инициируемые внешними заказчиками (работодатели, СМИ) и направленные на
удовлетворение информационных запросов широкой группы непрофессионалов;
– по своему характеру (условно все описанные нами исследования можно
разделить на разовые (которые были проведены только однажды и не получили
своего повторения или развития); мониторинговые (реализуемые на регулярной
основе); рейтинговые (предполагающие не только сбор и представление
информации по заданным индикаторам, но и оценку полученных значений в
отношении избранных эталонов)
Это дает нам основание, говорить об отсутствии сегодня отечественных
методологий, направленных на комплексную оценку деятельности всех
российских вузов
9
В рамках анализа отечественных методологий оценки российских высших
учебных заведений:
2. На основе сделанного описания была проведена группировка
методологий в рамках двух выделенных нами трендов
развития отечественной системы внешней оценки качества
образования и выделены методологии, которые могут быть
отнесены к подходам, реализуемым в рамках
внутриведомственной оценки деятельности вузов, и
методологии, которые могут быть отнесены к подходам,
реализуемым в рамках независимой (реализуемой вне системы)
образования оценки деятельности высших учебных заведений
10
В результате мы увидели:
- что основная доля исследований (83% от общего числа
описанных) приходится на внешние (реализуемые вне системы
образования) наблюдения:
17%
83%
исследования, реализуемая в рамках внутреведомственной оценки
исследования, реализуемые в рамках внешней оценки
11
В рамках анализа отечественных методологий оценки российских высших
учебных заведений:
3. Из группы внешних наблюдений и независимых исследований, были выделены:
•
методологии разовых (реализованных только однажды) исследований;
•
методологии мониторинговых исследований;
•
методологии собственно оценочных исследований или рейтингов.
При этом при реализации этого этапа анализа, мы опирались на понимание того:
•
что к разовым исследованиям могут быть отнесены те наблюдения, которые были проведены
только однажды и больше не повторялись, и которые были обращены к вопросам изучения
(исследования) ситуации, но не оценки деятельности отечественных вузов (то есть фактически
ранжированные статистические таблицы и рэнкинги по форме своего представления);
•
что к мониторинговым исследованиям, могут быть отнесены наблюдения реализованные на
периодической основе (в течении какого периода времени), и которые были обращены к
вопросам изучения (исследования) ситуации, но не оценки деятельности отечественных вузов
(то есть фактически ранжированные статистические таблицы и рэнкинги по форме своего
представления);
•
что к рейтинговым исследованиям могут быть отнесены только те исследования, которые в
рамках своих методологий реализуют оценочные механизмы и обладают следующими
обязательными характеристиками:
–
–
–
–
наличием однозначно понимаемой всеми методологии, которая основывается, как правило, на
оценочных эталонах (формализованных каким либо способом норм или ключевых для этой системы
значений) – фактически рейтинг вводит систему эталонов в рамках оценки развития определенной
системы;
открытостью и доступностью индикаторов и данных, используемых в рамках этой оценки;
регулярностью своего представления – в регулярности представления заложен основной механизм
латентного влияния на систему, в целях развития которой формируется рейтинг;
полной сопоставимостью используемых индикаторов во времени по группам равнозначных объектов. 12
В результате мы увидели:
- что только 10 (33% от числа представленных в этой группе) из
30 описанных нами методологий, отнесенных нами к группе
внешней исследований, могут быть позиционированы как
рейтинги:
20%
33%
47%
разовые исследования
мониторинговые исследования
рейтинговые исследования
13
В рамках анализа отечественных методологий оценки российских высших
учебных заведений:
4. Был проведен сопоставительный анализ выделенной нами
группы рейтинговых методологий в контексте
международных подходов
(на основе критериев IREG и с учетом Берлинских принципов
ранжирования высших учебных заведений)
14
В результате мы увидели:
- что ни одна из рассматриваемых методологий рейтингования не
соответствует полностью критериям IREG
60
3
50
2,5
40
2
30
1,5
20
1
10
0,5
0
0
Рейтинг лучших вузов
России
Деловой рейтинг
Рейтинг ведущих
Национальный
Национальный
Национальный
Национальный
Студенческий рейтинг Рейтинг научной и
Рейтинг вузов по
высшего
российских вузов
рейтинг
рейтинг юридических
рейтинг
рейтинг
ВУЗов России,
публикационной
доступности зданий
образования
благотворительного
классических
вузов (юридических
классических
педагогических,
основанный на
активности
для м алом обильных
фонда В. Потанина
университетов (2009
факультетов
университетов и
гум анитарных и
аноним ных опросах
российских вузов
групп населения
лингвистических
студентов
год)
университетов) - 2009 педагогических вузов
год
TOTAL
(2010 год)
вузов в 2010 году
MEAN
15
В результате мы увидели:
- наиболее проблемными зонами для всех методологий являются:
– транспарентность (информационная прозрачность) и оперативность организации обратной
связи;
– вопросы обеспечения качества представляемой информации
3,5
3
2,5
2
1,5
1
0,5
0
1
2
Цели
3
4
5
6
7
8
9
10
11
Методология
12
13
14
15
16
17
18
Транспарентность
19
20
Обеспечение
качества
16
В результате мы увидели:
- что наблюдается наименьшее соответствие по следующим критериям:
- Качество деятельности институтов высшего образования – понятие
многомерное и многоаспектное и часто является отражением
восприятия наблюдателя. Хорошее ранжирование должно сочетать
различные точки зрения
- Всегда, когда это возможно, предпочтительнее использовать для
ранжирования оценку результатов деятельности вузов, нежели оценку
исходных параметров
- Опубликованное ранжирование должно содержать информацию о
баллах для каждого отдельного индикатора, используемых для расчета
комплексного индикатора
- Ранжирования должны предоставлять пользователям некоторую
возможность принимать собственные решения относительно
релевантности и весов индикаторов
17
В рамках анализа индикаторов, которые используются в рамках методологий
оценки российских высших учебных заведений:
Был проведен сопоставительный анализ всех индикаторов, используемых в рамках
описанных нами методологий
Мы увидели, что фактически все поле используемых показателей делиться:
– на четыре основные группы (показатели «входа», показатели условий реализации
образовательного процесса в вузах, показатели прямых результатов, показатели отсроченных
(во времени) результатов). При этом в рамках внутриведомственных исследований и оценок,
как правило используются показатели условий реализации образовательного процесса в вузах
и показатели прямых результатов (причем первая группа индикаторов здесь доминирует), в
рамках внешних оценок - показатели «входа» и показатели отсроченных (во времени)
результатов. Полагаем, что данная ситуация связана с целевыми установками данных групп
оценок, изначально ориентированных на разные целевые группы;
– на количественные и качественные показатели. При этом для исследований в рамках
внутриведомственной оценки характерно использование количественных показателей (на
основе которых уже формируются качественные значения и оценки), а в рамках внешних
оценок – как правило, только качественных индикаторов в оценочных значениях (что не
позволяет потребителю/читателю видеть как формируются эти значения и следовательно, как
на них можно влиять);
– на индикаторы которые формируются на основе статистических данных, на основе
статистических данных, обеспеченных высоким уровнем личной ответственности (ФГСН,
данные за подписью ответственного лица) и которые получаются на основе экспертных
оценок. Надо отметить, что, в этой связи, все рассмотренные нами подходы, стремятся к
использованию максимально объективных данных, но получается это не всегда.
18
Таким образом, основные результаты анализа говорят о том:
что сегодня нет ни одного
отечественного рейтинга:
– который был бы комплексным по своему
характеру;
– полностью удовлетворял бы международным
требованиям к такого рода материалам
19
Полагаем, что данная ситуация определяется:
• Понимаем того, что для различных целевых групп нужны
различные информационные ресурсы (и различные формы их
представления с возможностью встраивания в современные
коммуникационные устройства)
Поэтому не может единого комплексного рейтинга в равной степени
ориентированного на все заинтересованные группы (один и тот же
показатель может быть с разным знаком для разных потребителей.
Например, наполняемость групп,- для органов управления (чем больше
студентов в группе, тем лучше) - это эффективность использования
ресурсов. Для абитуриентов и их родителей лучше наоборот (речь идет
о внимании к студентам со стороны преподавателя)
• Необходимостью проведения внешней оценки – «больной не может
сам себе ставить диагноз»
• Необходимостью использования однозначно понимаемых всеми
методик (максимально объективных, исключающих возможность
влияния оценщика на результаты, включающих однозначно понимаемые
и трактуемые критерии)
• Необходимостью использования только достоверных источников
информации (проблема формирования и ведения многолетних баз
данных, содержащих информацию о самом широком спектре вопросов
20
деятельности ВУЗа)
Полагаем, что в рамках разработки модельной методологии
необходимо учесть
• возможность формирования единых требований ко всем продуктов
и материалов, определяемых как «рейтинги»
• возможность развития мультирэнкингового подхода в оценке
деятельности всех ВУЗов (формирование комплексных
информационных ресурсов на основе совокупности рэнкингов по
отдельным показателям оценки по различным группам ВУЗов).
Полагаем, что за счет этого:
– будет решена проблема обеспечения сопоставимости ВУЗов
при оценке;
– будет обеспечиваться направленность на различные целевые
группы пользователей.
• возможность формирования рейтингов на внешних площадках (в
условиях обеспечения доступа к статистической информации по
вузам)
21