Индикаторы оценки качества образования
advertisement
Индикаторы оценки качества образования Агранович Марк Львович, руководитель Центра мониторинга и статистики образования Министерства образования и науки Российской Федерации, Кондрашов Павел Евгеньевич, заместитель руководителя Федеральной службы по надзору в сфере образования и науки Индикаторы и показатели*, количественно характеризующие состояние системы, цели и задачи ее развития и позволяющие оценить уровень достижения поставленных целей и степень решения задач, стоят сегодня в центре внимания органов управления различных уровней. Индикаторы и показатели — центральный вопрос при формировании программ, стратегий и концепций, обосновании бюджетов различных уровней. Иногда, конечно, увлечение индикаторами приобретает характер моды и в некоторых методических документах всерьез рекомендуется ставить только те цели, уровень достижения которых можно измерить количественно. Но в целом новое направление в системе российского управления бюджетной сферой соответствует уже сложившимся тенденциям в практике ведущих стран. Количественные индикаторы и адекватные им методологии расчета и анализа позволяют: перейти от суждений и мнений к обоснованной оценке состояния и развития системы — от отдельного ученика до сектора в целом; сформировать инструмент оценки, контроля и стимулирования органов управления всех уровней — от министерства до школы; создать содержательную основу для общественного диалога по поводу образовательной политики и реформ. ______________________________ * В данной статье термины «индикатор» и «показатель» используются как синонимы и понимаются как расчетные (относительные, удельные и т.п.) величины, дающие количественную оценку той или иной характеристике системы образования. Тенденции, кардинально меняющие ситуацию В управлении образованием в целом и качеством образования в частности в последние годы все более явственно проявляются две тенденции, которые, на наш взгляд, кардинально меняют ситуацию и выводят анализ и управление образовательными системами на принципиально новый качественный уровень. Первая тенденция — развитие количественного анализа, основанного на данных образовательной статистики, внешней оценки образовательных достижений, обработки результатов социологических исследований. Это позволяет перейти от суждений и мнений к обоснованному сравнительному анализу, прогнозу, выявлению взаимосвязи и зависимостей различных факторов, влияющих на результаты функционирования образовательных систем, педагогической и управленческой деятельности. Вторая тенденция — постепенное смещение приоритетов в управлении образованием с процесса на результат. Это выражается в развитии программного и проектного подходов в управлении образованием, внедрении методов бюджетирования, ориентированного на результат. Вариативность образовательных программ и разнообразие образовательных технологий, заложенные еще в начале 90-х годов, проявились сегодня в понимании того, что схожие результаты могут быть достигнуты разными путями, выбор оптимального пути зависит от многих индивидуальных характеристик конкретной образовательной системы и тотальная регламентация процесса не всегда лучший способ управления. Принципиальный толчок к усилению этих тенденций, которые, заметим, лежат в русле общемировых изменений в управлении образованием, дал эксперимент по введению единого государственного экзамена. ЕГЭ, кардинально изменивший технологию оценки образовательных достижений учащихся, обеспечил не только принципиально новую возможность проведения сопоставительных оценок учебных достижений учащихся в образовательных учреждениях, различных муниципальных и региональных образовательных системах, но и создал базу для объективной сравнительной оценки самих образовательных систем по характеристикам качества, доступности и эффективности. Не менее важной предпосылкой перехода управления образованием на качественно новый уровень стало развитие статистики образования как инструмента анализа и информационного обеспечения принятия решений. Цикл работ, выполненных в рамках проекта Национального фонда подготовки кадров «Реформа системы образования», финансировавшегося за счет средств займа Всемирного банка*, и работы, выполненные в рамках Федеральной программы развития образования**, участие России в международных программах по образовательной статистике позволили создать базу для нового понимания роли статистики как важного аналитического инструмента в анализе и управлении образованием, осуществить переход от сбора данных к информационному обеспечению принятия решений на основе образовательных индикаторов. Все вышеперечисленное позволило сформулировать и в значительной степени реализовать практически новый подход на основе индикаторов и информационно-аналитического обеспечения принятия управленческих решений к оценке качества образования на региональном и муниципальном уровне. В предлагаемой вниманию читателей статье изложены некоторые результаты работы по созданию и экспериментальной проверке методики управления качеством образования на региональном и муниципальном уровнях, выполненной экспертами и консультантами Межрегиональной ассоциации мониторинга и статистики образования при участии специалистов из пятнадцати субъектов России: Республики Карелия, Республики Марий Эл, Чувашской Республики, Хабаровского и Красноярского краев, Владимирской, Воронежской, Ивановской, Костромской, Московской, Ростовской, Тверской, Челябинской, Ярославской областей и Ханты-Мансийского автономного округа. Работа выполнена в 2006 г. по заказу Федеральной службы по надзору в сфере образования и науки в рамках Федеральной целевой программы развития образования. __________________________ * «Разработка системы выявления информационных потребностей основных потребителей статистической информации, включая программу статистических исследований»; «Разработка общих требований к российской системе статистики образования на основе международного опыта»; «Разработка макетов для ежегодных докладов о состоянии и результатах деятельности системы образования на федеральном, региональном и субрегиональном уровнях и отчетов общеобразовательных учреждений» и др. ** Разработка технологии перерасчета данных российской статистики общего образования в показатели международных статистических наблюдений в области образования UNESCO, OECD (WEI, INES и др.), подготовка и выпуск аналитического статистического сборника результатов международных сравнительных исследований по актуальным проблемам модернизации российского образования; подготовка сопоставительного доклада «Российское образование в контексте международных показателей»; разработка инструментария мониторинга муниципальных систем образования на основе статистических данных; создание системы оценки реализации основных направлений развития образования на региональном уровне на основе современных информационных технологий и др. Управление качеством образования как управление системой Понятие «качество образования» не имеет общепринятого определения. Это вполне естественно, если учесть, что различные группы потребителей вкладывают в него свой смысл, а исследователи трактуют в зависимости от задачи исследования. Тем не менее можно выделить два основных подхода к понятию качества: • в первом случае оно рассматривается, в смысле соответствия стандарту, и как качество условий процесса обучения; • во втором случае — трактуется как соответствие требованиям и ожиданиям внешних заказчиков и потребителей. Для целей управления качеством образования в рамках территориальных (региональных, муниципальных) образовательных систем представляется целесообразным объединить эти два подхода и рассматривать качество образования как уровень решения комплекса образовательных задач, включающего: учебные результаты, социализацию выпускников, в том числе овладение навыками ориентации и функционирования в современном обществе, развитие гражданского самосознания. При соблюдении нормативных требований к условиям обучения; освоении образовательного стандарта; соответствии образовательных услуг по составу, содержанию и качеству ожиданиям потребителя. Данное определение не претендует на универсальность и сформировано применительно к задаче управления качеством общего образования в рамках территориальных образовательных систем на основе системы показателей и индикаторов. Мы исходим из того, что непосредственно управлять качеством образования не представляется возможным — его повышение может быть обеспечено только опосредованно, через целенаправленное воздействие на систему, в широком смысле — на ресурсы территориальной системы образования. Соответственно и управление качеством образования в контексте настоящей статьи целесообразно рассматривать как управление территориальной системой образования для обеспечения качества. Второй момент, который необходимо отметить, — открытость системы образования. Это означает наличие факторов, влияющих на образовательные результаты, но не зависящих от самой системы управления. Анализ результатов международного исследования качества образования PISA показал, что уровень достижений российских учащихся в значительной степени определяется такими факторами, как социальная среда, социальный статус и образование родителей*. Перечисленные выше факторы относятся к внутришкольным и индивидуальным характеристикам учащихся. ___________________________ * Российская школа: от PISA-2000 к PISA-2003. — М.: Логос, 2006. Если выйти за рамки отдельного образовательного учреждения, то выясняется, что не меньшее, если не большее, влияние на уровень учебных результатов оказывает и уровень урбанизации территории, на которой расположена школа. Рис. 1. Результаты российских учащихся в зависимости от расположения образовательных учреждений* Другие исследования показывают, что уровень образовательных результатов зависит от информационно-культурной и образовательной среды: наличия музеев, библиотек, театров в пределах транспортной доступности, также, как и от наличия учебных заведений, реализующих различные образовательные программы, в том числе дополнительного образования. Уровень образовательных результатов в значительной степени зависит и от объема затрачиваемых ресурсов. Величина расходов, в свою очередь, в значительной степени определяется финансовыми возможностями территории, уровнем ее экономического развития**. __________________________ * Рассчитано по: Основные результаты международного исследования образовательных достижений учащихся ПИЗА-2003. Центр оценки качества образования ИСМО РАО, НФПК. М.: 2004 г. ** Состояние и развитие системы общего среднего образования в Российской Федерации: Национальный доклад. 2005 / М.Л. Агранович, О.Н. Кожевникова. — М.: Аспект Пресс, 2006. Таким образом, при оценке качества образования нельзя требовать одинаковых результатов от образовательных систем, находящихся в разных, причем не зависящих от них условиях и располагающих существенно разными ресурсами для развития. Общую схему управления качеством образования в территориальных образовательных системах с учетом влияния различных факторов можно представить следующим образом: Рис. 2. Общая схема управления качеством образования на региональном и муниципальном уровнях Проведенный анализ современных подходов к понятию качества образования и его оценке позволил сформировать структуру системы показателей качества образования на региональном и муниципальном уровнях для целей управления. Основные блоки системы — это показатели, характеризующие результаты образования; ресурсы и условия обучения; внешние факторы (контекстные показатели). Блок характеристик качества включает показатели, отражающие уровень учебных достижений учащихся; уровень социализации выпускников; уровень соответствия результатов и условий нормативным требованиям и запросу потребителя. Поскольку управление качеством, как уже отмечалось выше, возможно только через прямое воздействие на ресурсы, представляется необходимым включить в систему соответствующий блок показателей, отражающий характеристики ресурсов: первый — материально-техническая база, включающая здания и оборудование, информатизацию, учебные материалы и оборудование; второй — кадры; третий — финансовые средства. Характеристика ресурсов была бы не полной без еще одного подблока показателей, отражающих эффективность использования ресурсов. Каждая образовательная система существует в определенных условиях. Эти условия необходимо учитывать и при оценке системы, и при ее анализе. Отсюда возникает необходимость включения блока контекстных характеристик, охватывающего демографические показатели; социально-экономические характеристики; показатели, характеризующие научно-культурную и образовательную инфраструктуру. Все характеристики можно рассматривать в двух разрезах: а) оценка системы как единого целого, общие характеристики системы; б) оценка структурных составляющих системы и их взаимосвязи — дисперсия показателей, из которых формируются общие характеристики. К сетевым характеристикам относятся, например, такие, как дифференциация ресурсной обеспеченности или различия в результатах сдачи ЕГЭ по муниципальным образованиям (для региона) или по учебным заведениям (для муниципалитета), которые позволяют оценить справедливость распределения ресурсов и доступность качественного образования в рамках рассматриваемой системы. Учитывая разделение полномочий по уровням управления, необходимо также дифференцировать показатели по уровням: а) региональные; б) муниципальные. Перечисленные характеристики можно описать системой показателей, формирование которой и являлась одной из основных задач разработки методики оценки качества образования на основе индикаторов. Структура системы показателей может быть представлена следующим образом* (таблица 1). ___________________________ * Полностью система показателей с методологией расчета и источниками данных приведена в Методических рекомендациях по применению системы показателей и индикаторов для управления качеством образования на региональном и муниципальном уровнях. Таблица 1. Структура системы показателей качества образования на территориальном уровне для целей управления Характеристики результатов 1.1. Результаты обучения • Уровень учебных достижений • Охват полным средним образованием • Потери в системе • Повторное обучение • Уровень внеучебных достижений 1.2. Уровень социализации • Трудоустройство • Преступность • Способность к межкультурному диалогу • Уровень освоения социальных навыков и компетенций в области решения проблем 1.3. Соответствие требованиям стандартов и запросу потребителя • Уровень освоения стандарта. • Соответствие запросу родителей и учащихся. • Соблюдение нормативных требований. • Безопасность и здоровье Характеристики условий и ресурсов (объект управляющего воздействия) Индивидуальные Сетевые Состояние зданий Сменность кадров Информатизация Финансирование Наличие и доступность образовательных ресурсов общего и коллективного пользования Наличие условий подготовки к школе — система дошкольного образования для детей предшкольных возрастов Наличие условий для удовлетворения индивидуальных запросов учащихся — система дополнительного образования Индивидуальные и сетевые характеристики управления и эффективности использования ресурсов Развитие потенциала управления Использование ресурсов Контекстные показатели (показатели для анализа, сравнения и прогноза) Масштаб образовательной и культурной инфраструктуры Доля сельского населения Миграционный приток Миграционное выбытие ВРП на душу населения Собственные доходы местного бюджета на душу населения Соотношение среднедушевых доходов населения с БПМ Уровень безработицы Анализ индикаторов — сравнительный подход Методической основой разработанного подхода к использованию индикаторов для оценки качества образования является сравнительный анализ. Основными инструментами, позволяющими дать качественную оценку системе образования, являются анализ изменений показателей во времени (динамический анализ) и (или) сравнение характеристик системы с аналогичными характеристиками других образовательных систем (сопоставительный анализ). Динамический и сопоставительный анализ позволяют: • оценить систему в целом; • дать оценку результативности целенаправленного управленческого воздействия на те или иные характеристики системы; • выявить связи и зависимости результатов от ресурсов, условий и внесистемных факторов; • идентифицировать сложившиеся тенденции, модели и соотношения; • выявить отклонения от сложившихся тенденций и соотношений и на этой основе идентифицировать сильные и слабые стороны территориальной образовательной системы; • определить целевые значения индикаторов. При сопоставительном анализе (межрегиональном, межмуниципальном, межорганизационном) анализируемая система рассматривается в сравнении с другими образовательными системами, близкими по структуре и масштабам к анализируемой, или имеющими характеристики, которые представляются желательными. Сопоставительный анализ позволяет, например, выявлять наибольшие отклонения от средних значений по группам территорий (учебных заведений) как в лучшую, так и в худшую сторону для последующего анализа причин этих отклонений и принятия решений об использовании удачного опыта или разработке мер по улучшению положения в «отстающих» образовательных системах. Кроме того, показатели лучших территорий могут быть приняты в качестве целевых значений в программах и проектах различного уровня. При оценке системы образования методом сопоставительного анализа также рассматривается и динамика произошедших изменений — насколько быстро данная система по тем или иным характеристикам приближается к выбранным целевым значениям. Как уже отмечалось выше, нельзя требовать одинаковых результатов от образовательных систем, находящихся в существенно разных, причем не зависящих от них условиях и располагающих существенно разными ресурсами для развития. В предложенном подходе важную роль играет использование в сравнительном анализе контекстных показателей, которые характеризуют не саму систему образования, а социальноэкономические условия, в которых она функционирует. Это в первую очередь показатели, отражающие существенные для системы образования параметры социально-экономической среды: экономическое положение территории — валовой региональный продукт (ВРП) на душу населения, доходы бюджета (в т.ч. собственные) на душу населения в зависимости от уровня рассматриваемой системы образования (региональная или муниципальная); демографическая ситуация — возрастная структура населения, поселенческая структура (соотношение городского и сельского населения), динамика численности; структура занятости, уровень доходов населения и т.д. Для иллюстрации приведем следующий пример. Средний размер школы (средняя численность учащихся) — надежный показатель, который часто используется для оценки эффективности управления ресурсами на муниципальном уровне. Однако оценка муниципальной образовательной политики по данному показателю представляется некорректной, поскольку сельский и городской муниципалитеты имеют разные возможности по оптимизации сети. Кроме того, как уже было показано выше, тип населенного пункта, в котором расположено учебное заведение, оказывает значительное влияние на результаты обучения. Использование индикаторов в информационно-аналитическом обеспечении оценки и управления качеством образования Информационно-аналитическое обеспечение оценки и управления качеством образования на основе индикаторов и показателей с использованием количественных характеристик и оценок позволяет решить комплекс задач: во-первых, оценить состояние системы, уровень качества образования, которое она обеспечивает; во-вторых, выявить сильные и слабые стороны системы и, соответственно, определить приоритеты развития, индикаторы и их целевые значения; в-третьих, идентифицировать те факторы и условия, которые определяют сложившийся уровень качества образования и на этой основе выбрать необходимые управленческие действия для повышения качества образования. Первые две задачи решаются с помощью сопоставительного анализа индикаторов и показателей. Третья задача — выявление зависимостей между ресурсами и условиями обучения, с одной стороны, и результатами обучения, с другой стороны. Помимо указанных, использование системы показателей и индикаторов качества образования для целей управления позволяет дать оценку таким характеристикам системы, как равенство доступа к образованию одинакового качества; сформировать набор индикаторов и целевых значений для программы развития образования и раздела «Образование» в Бюджетном докладе в рамках бюджетирования, ориентированного на результат; разработать и ввести обоснованный рейтинг территориальных образовательных систем. В соответствии с предложенной методологией первый шаг в подготовке управленческих решений, направленных на повышение качества образования на региональным и муниципальном уровне, — расчет индикаторов. Данные, собранные в ходе экспериментальной проверки системы индикаторов в 15 регионах, позволили рассчитать индикаторы результатов на региональном и муниципальном уровнях. Второй шаг — выявление зависимости показателей и индикаторов для целей межрегиональных (межмуниципальных) сравнений. Анализ основных зависимостей и соотношений на массиве данных по более чем 70 регионам (по индикаторам, рассчитанным на основе ФГСН) и по 15 регионам–участникам проекта (в части показателей, данные для расчета которых отсутствуют в ФГСН) позволил выявить ряд зависимостей между результатами образования и контекстными показателями. Третий шаг — сравнение региональных/муниципальных образовательных систем по показателям результатов. Это сравнение осуществляется путем расчета отклонений значений индикаторов от теоретического значения для данного региона/муниципалитета в соответствии с установленной зависимостью индикатора от контекстных показателей; средних значений, если данный индикатор не зависит от внешних факторов. При этом некоторые индикаторы были изначально разработаны так, чтобы устранить влияние внешних факторов. Так, например, показатель криминализации молодежной среды был рассчитан как доля преступлений, совершенных несовершеннолетними или при их участии, в общем количестве преступлений, что позволило устранить влияние фактора общей криминальной обстановки на территории на подростковую преступность. Проведенные расчеты позволяют перейти к четвертому шагу — ранжированию регионов по значениям индикаторов результатов. Расчеты по 15 регионам — участникам проекта представлены в таблице 2. Таблица 2. Рейтинг регионов по группам индикаторов качества образования Регион А Б В Г Д Е Ж З И К Л М Н О П Обучение 12 4 9 2 7 10 1 6 8 5 3 13 15 14 11 Рейтинг по индикаторам результатов Социализация Соответствие требованиям 14 8 11 2 10 6 7 4 15 1 3 5 13 9 12 9 2 15 4 1 8 7 10 13 11 3 5 14 12 6 Данная таблица позволяет каждому региону определить свои сильные и слабые стороны и на этой основе уточнить приоритеты образовательной политики. Так например, регион Ж, являясь лидером по первой составляющей оценки качества образования — уровню обучения, уступает почти половине регионов по социализации выпускников и степени соответствия внешним требованиям и нормативам. Более детальное рассмотрение индикаторов региона Ж по группе «Соответствие требованиям стандартов и запросу потребителя» показывает (таблица 3), что основными проблемами региональной системы образования, обусловившими такое низкое место в рейтинге, является здоровье выпускников и большая, чем в других регионах, доля учебных заведений, не имеющих аккредитации. Таблица 3. Место региона Ж в рейтинге по отдельным показателям группы «Соответствие требованиям стандартов и запросу потребителя» Место в рейтинге по Индикатор данному индикатору Доля получивших по ЕГЭ по русскому языку в 2006 г. до 30 баллов Доля получивших по ЕГЭ по математике в 2006 г. до 35 баллов Доля учреждений, не имеющих лицензии Доля учреждений, не имеющих аккредитации Соотношение доли детей, имеющих отклонения в здоровье (с понижением остроты зрения, с дефектом речи, со сколиозом, с нарушением осанки) перед поступлением в школу, с долей детей с отклонениями в здоровье в возрасте 15 лет 13 8 3 5 11 Таким образом, можно констатировать, что относительно невысокое место региона Ж в рейтинге по группе показателей «Соответствие требованиям стандартов и запросу потребителя» обусловлено значительным количеством неуспешно сдавших ЕГЭ, в первую очередь по русскому языку, и недостаточной эффективностью здоровьесберегающих технологий в учебных заведениях. Аналогичный анализ может быть проведен в каждом регионе. Схема анализа муниципальных образовательных систем идентична. Таким образом, сравнение регионов/муниципалитетов по индикаторам результатов позволяет: определить сильные и слабые стороны региональных образовательных систем; выявить причины отставаний и на этой основе скорректировать образовательную политику и уточнить ее приоритеты. Для целей управления образованием на региональном уровне эти расчеты имеют и еще одно важное прикладное значение: сравнение муниципальных образовательных систем по показателям результатов само по себе является средством управления, поскольку посылает ясный сигнал с регионального на муниципальный уровень. Сводный рейтинг При формировании сводного рейтинга результатов (суммировании частных рейтингов по группе показателей) можно, в зависимости от приоритетов образовательной политики, менять значение отдельных составляющих и таким образом влиять на управленческие решения на муниципальном уровне. Это можно проиллюстрировать таблицей 4. Таблица 4. Сводный рейтинг региональных систем при различных приоритетах (весах) образовательной политики Сводный рейтинг Регио Равенство Приоритет Приоритет Приоритет соответствию н приорите образовательным социализации внешним требованиям тов результатам А Б В Г Д Е Ж З И К Л М Н О П 11–13 3 11–13 1 6 9 4 7 14 5 2 8 15 11–13 10 14 4 11–12 1 7 8 3 6 11–12 5 2 9 15 13 10 13 4–5 12 1 7–8 9 4–5 6 14 3 2 7–8 15 11 10 11 3 14 1–2 4 9 5 8 13 6–7 1–2 6–7 15 12 10 Из таблицы видно, что меняя значения в соответствии с приоритетами образовательной политики можно посылать разные сигналы. Например, регион Д в зависимости от приоритета образовательных результатов или соответствия требованиям и стандартам оказывается на 4-м или 7- м месте, на регион М — наоборот, на 9-м или 6-м. *** И, наконец, пятый шаг в подготовке управленческих решений на основе индикаторов — выбор путей решения имеющихся проблем. Этот шаг основан на выявлении зависимостей между ресурсами и условиями, с одной стороны, и результатами — с другой. Анализ основных зависимостей и соотношений на массиве из 70 регионов (по индикаторам, рассчитанным на основе ФГСН) и по 15 регионам — участникам проекта подтвердил возможность выявления устойчивых зависимостей результатов образования от условий и ресурсов, которые могут выступать в качестве объектов управленческого воздействия. © Журнал «Директор школы», №5, 2007
