Методика рейтингово анализа

Методика рейтингово анализа
На современном этапе качество образования выступает главным конкурентным преимуществом
образовательных учреждений (ОУ). Устойчивые результаты образовательной деятельности, состояние
учебно-воспитательного процесса являются результатом просчитанного управления всей совокупности
образовательной деятельности учреждения на основе значительного числа показателей, характеризующих
образовательный потенциал, использование ресурсов, образовательные результаты и т. д. Число показателей,
используемых для характеристики состояния и деятельности учебного заведения, очень велико. Причем
показатели могут иметь уровень по сравнению с установленным критерием, могут расти или уменьшаться,
поэтому трудно дать реальную оценку состояния. При различном поведении показателей значение имеет
количественное измерение состояния на основе рейтинговой оценки.
Слово "рейтинг" обозначает выстраивание некоторых единиц в определенном порядке в
соответствии с заранее установленными правилами и критериями. Цель создания рейтинговой системы
результативности деятельности образовательного учреждения - дать оценку эффективности работы всей
школы по обеспечению качества образования, определение факторов положительно и отрицательно
влияющих на формирование основных итоговых показателей работы школы. Такая оценка базируется на
комплексном, многофакторном анализе мониторинговых исследований деятельности образовательного
учреждения.
Задачи рейтинга:

определение, выработка критериев и комплекса показателей, способствующих отслеживанию
эффективности деятельности ОУ;

выявление позитивных и негативных тенденций в работе ОУ

выявление ОУ, добивающихся лучших результатов в образовательной деятельности

отслеживание динамики изменения результатов каждого ОУ как в целом, так и по блокам

создание базы данных для формирования целостного представления о развитии образования в районе,
регионе.
В анализе деятельности учреждений рейтингование позволяет расположить подобранные
определенным образом учреждения в одном ряду на основании значений некоторых показателей их
деятельности. Сравнение учреждения с родственными ему дает возможность определить его место среди
конкурентов, т.е. приписать ему определенную значимость (ранг) среди других учреждений.
Ранжирование учреждений по совокупности показателей их деятельности состоит из нескольких
этапов.
Этап 1. Выбор показателей, по которым будет осуществляться ранжирование.
Этап 2. Подбор учреждений для ранжирования.
Если целью анализа является определение места учреждения среди своих конкурентов в выбранном
направлении, для ранжирования выбираются родственные учреждения (сош, оош. нош) именно этого
направления.
Этап 3. Выбор коэффициентов, по которым производится сравнение выбранных учреждений.
При этом учитываются следующие требования:

итоговые коэффициенты должны быть максимально информативными и давать целостную картину
устойчивости состояния ОУ

весовые коэффициенты должны иметь одинаковую направленность (положительную корреляцию, т. е.
рост коэффициента означает улучшение состояния учреждения)

для всех показателей должны быть указаны числовые нормативы минимального удовлетворительного
уровня или диапазона изменений

коэффициенты рассчитываются только по данным публичной статистической отчетности

коэффициенты должны давать возможность проводить рейтинговую оценку ОУ (района) как в
пространстве (т. е. в сравнении с другими учреждениями), так и во времени (за ряд периодов).
Выбор коэффициентов следует дополнить определением важности (веса) каждого из выбранных
показателей для данного ОУ (района) и выборки в целом. В соответствии с экспертным суждением
аналитика, всем коэффициентам, входящим в рейтинговый набор, можно присвоить некоторые веса. Обычно
они выбираются в долях единицы, поэтому сумма значений всех весов должна быть равна 1 или 100%.
Этап 4. Непосредственное проведение процедуры рейтингования методом суммы мест и (или)
таксонометрическим методом (см. Приложение).
Таксонометрическим методом ранжирования является сравнение с эталонной организацией, имеющей
лучшее значение по всем показателям. В этом случае эталоном сравнения являются не субъективные
предположения аналитиков в виде нормы, критерия, а сложившиеся в реальной ситуации наиболее высокие
результаты.
В общем виде алгоритм сравнительной рейтинговой оценки может быть представлен в виде
следующих операций:
1.
Исходные данные представляются в виде матрицы (aij), т. е. таблицы, где по строкам записаны
номера показателей (i=1, 2, 3, …n), а по столбцам – номера организации (j=1, 2, 3, …m).
2.
По каждому показателю находится максимальное значение и заносится в столбец условной
эталонной организации (m+1).
3.
Исходные показатели матрицы стандартизируются в отношении соответствующего показателя
эталонной организации по формуле:
(aif )
,
xij 
(max aij )
где xij – стандартизированные показатели j-й организации.
4.
Для каждого учреждения значение его рейтинговой оценки определяется по формуле:
Ri  (1  x1i ) 2  (1  x2i ) 2  .....  (1  xni ) 2
где Rj – рейтинговая оценка для j-ого ОУ; x1j, x2j, …, xnj – стандартизированные показатели j-ого ОУ.
Образовательные учреждения (районы) упорядочиваются (ранжируются) в порядке убывания рейтинговой
оценки. Наивысший рейтинг имеет учреждение (район) с минимальным значением R. Для применения
данного алгоритма на практике никаких ограничений количества сравниваемых показателей и объектов не
предусмотрено.
Алгоритм получения рейтинговой оценки может быть модифицирован. Например, можно использовать одну
из нижеследующих формул:
Ri  a1i  a2i  .....  ani
*
2
2
2
(1)
Ri  k1a1i  k 2 a2i  .....  k n ani
**
Ri
***
2
2
 k1 (1  x1i ) 2  k2 (1  x2i ) 2  .....  kn (1  xni ) 2
2
(2)
(3)
где k1, k2, …, kn - весовые коэффициенты показателей, назначаемые экспертом.
Формула (1) определяет рейтинговую оценку для j – й организации по максимальному удалению от
начала координат, а не по минимальному отклонению от организации–эталона. Это значит, что наивысший
рейтинг имеет ОУ, у которого суммарный результат по всем однонаправленным показателям выше, чем у
остальных.
Формула (2) является модификацией формулы (1). Она учитывает значимость показателей, определяемую
экспертным путем. Необходимость введения весовых коэффициентов для отдельных показателей появляется
при
дифференциации
оценки
в
соответствии
с
потребностями
пользователей.
Формула (3) является аналогичной модификацией основной формулы расчета рейтинга. Она учитывает
значимость отдельных показателей при расчете рейтинговой оценки по отношению к ОУ–эталону.
Достоинства методики рейтинговой оценки состояния образовательного учреждения (района):
Во-первых, предлагаемые методики базируются на комплексном, многофакторном подходе к оценке
такого сложного явления, как состояние образовательной деятельности (ОД) учреждения.
Во-вторых, рейтинговая оценка состояния ОД осуществляется на основе данных публичной
отчетности. Для ее получения используются важнейшие показатели ОД, применяемые на практике.
В-третьих, рейтинговая оценка является сравнительной. Она учитывает реальные достижения всех
участников образовательной системы.
В-четвертых, для получения рейтинговой оценки используется гибкий вычислительный алгоритм,
реализующий возможности математической модели сравнительной комплексной оценки деятельности ОУ.
Данные могут быть расширены за счет включения в базу дополнительных показателей из форм
статистической отчетности, из справок, других источников. Особенностью предлагаемой системы показателей
является то, что почти все они имеют одинаковую направленность. Это означает, что чем выше уровень
показателя или чем выше темп его роста, тем лучше состояние оцениваемого ОУ (района). Поэтому при
расширении предлагаемой системы за счет включения новых показателей необходимо следить, чтобы это
условие не нарушалось.
Методики рейтингового анализа
Приложение
Ранжирование методом суммы мест
показатель
Уровень здоровья обучающихся
Образовательный уровень
родителей
Образовательный уровень
педагогов
Квалификационный уровень
педагогов
Повышение квалификации
педагогов
Уровень информатизации
Эффективность ЗСД
Результаты по алгебре 9кл.
Результаты по рус. яз. 9кл.
ЕГЭ русский яз.
ЕГЭ математика
Результаты олимпиад
Доля медалистов
ИТОГ
Районный
уровень
Школьный
уровень
динамика
Место
в рейтинге
Ранжирование таксонометрическим методом
Школьный
показатель
Эталонный
показатель
Стандартизированный
показатель
Место
в рейтинге