Чернова Г.П. Использование результатов оценки качества
advertisement
Учебный курс «Использование результатов оценки учебных достижений школьников и результатов мониторинговых исследований для выработки управленческих решений на разных уровнях системы образования» 22-25 ноября 2011 года, г. Москва Использование результатов оценки качества образования на уровне региона. Кейс Чувашской Республики. Г.П. Чернова, Ректор Чувашского института образования Чувашская Республика Площадь: 18 300 км² (0,11% от РФ, 74 место в РФ) Численность: 1 251 600 чел. (0,88% от РФ, 41 место в РФ) Национальный состав Чуваши 67,69% Русские 26,53% Татары 2,77% Мордва 1,22% Украинцы 0,49% Марийцы 0,27% (по результатам переписи населения, октябрь 2010 г.) 439 ДОУ 55 тыс. детей 498 школ (47 – начальных, 131 – основных, 303 – средних, 17 – коррекционных) 127,4 тыс. детей 26 учреждений высшего (с филиалами) 97 тыс. обучающихся 27 среднего, 17 начального образования Региональная система оценки качества образования в Чувашии Система образования Чувашской Республики Органы управления образованием Образовательные программы Образовательные учреждения Индивидуальные достижения обучающихся Система оценки качества образования Чувашской Республики Мониторинг и оценка состояния и развития региональной и муниципальных образовательных систем Аттестация педагогических и руководящих кадров Лицензирование и аккредитация образовательных учреждений Заказчики и потребители информации о качестве образования Государственные структуры, органы управления образованием Личность, семья, гражданские институты Аттестация учащихся Мониторинг индивидуальных достижений учащихся и индивидуальных образовательных траекторий выпускников школ Целевые нерегулярные исследования Бизнес-структуры Логическая модель РСОКО Чувашской Республики Сформулировано порядка 70 возможных запросов внешних и внутренних пользователей об уровне индивидуальных образовательных достижений, качестве образовательных программ, территориальных образовательных систем и образовательных учреждений Перечень включает около 40 продуктов задач Например, перед муниципальным уровнем управления поставлено порядка 20 задач, разделённых на три блока: результаты, условия, эффективность Комплекс включает 80 ключевых индикаторов, для расчёта значений которых используется около 170 показателей. Распределены и закреплены зоны ответственности за показатели качества образования Основные процедуры РСОКО Чувашской Республики Статистическое наблюдение Итоговая аттестация выпускников 11 классов в форме ЕГЭ Итоговая аттестация выпускников 9 классов в форме ГИА Оценка уровня готовности к обучению в основной школе выпускников начальной школы (апробация) Мониторинг образовательных и трудовых траекторий выпускников 11 классов Аттестация учителей Мониторинг уровня образовательных достижений учащихся по учебным предметам (по заказу школ, учителей, попсоветов) Международные и федеральные исследования в области качества образования (PIRLS, TIMSS, PISA, готовность к обучению в школе и т.д.) Мониторинг реализации проектов и программ (мониторинг КПМО, Наша Новая Школа, целевые программы и т.д.) Оценка уровня удовлетворённости качеством образовательных услуг Предметные олимпиады Формируется каркас оценочных процедур, позволяющих получать информацию о ключевых характеристиках качества образования… Последовательность процедур внешней оценки качества школьного образования. Готовность Государственная итоговая аттестация выпускников Мониторинг образовательн ых и трудовых траекторий выпускников к школе 9 классов 11 классов Готовность к обучению в основной школе Единый государственн ый экзамен 11 класс Начальная школа (1-4 кл.) Основная школа (5-9 кл) Старшая школа (10-11 кл) Комплекс процедур внешней оценки должен быть дополнен внутриклассным оцениванием и внутришкольными мониторингами… Группы управленческих решений на основе результатов оценочных процедур: • Оценка и управление развитием территориальных образовательных систем – – – • Оценка и управление развитием образовательного учреждения – – – – • Аккредитация образовательного учреждения, изменение статуса. Распределение ресурсов и изменение условий организации образовательного процесса в школе. Распределение грантов Информирование населения об образовательном учреждении. Оценка, стимулирование деятельности и профессионального развития педагогических работников – – – • Распределение ресурсов и изменение условий организации образовательного процесса. Оптимизация и развитие сети, организация сетевого взаимодействия Проектирование и реализация комплекса мер по повышению качества образования через отбор позитивного опыта и организацию эффективной работы Информирование населения о состоянии системы образования. Аттестация педагогических работников. Установление стимулирующих надбавок, грантов Разработка программ повышения квалификации педагогических кадров Совершенствование содержания и методов работы с учащимися – – Программы работы с отдельными категориями учащихся (одарённые дети, дети-инвалиды, дети, испытывающие трудности в обучении). Выстраивание индивидуальных образовательных траекторий Преодоление разрыва между результатами оценочной процедуры и потребностями в информации разных групп пользователей о результатах. База результатов ЕГЭ (протоколы) Свидетельство о результатах ЕГЭ Анализ результатов ЕГЭ-2011 по Чувашской Республике. + Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. © С.А. Боченков Принятие управленческих решений на основе Качество и результатов ЕГЭ 2. Учителя, эффективность 1. Выпускники и их родители общеобразовательные управленческих учреждения решений зависит 3. Органы управления от качества образованием аналитики, лежащей в их 4. Методические основе службы 5. Родители, выбирающие школу Какая школа лучше (по результатам ЕГЭ) с позиции управления образованием? Какая школа лучше? Средний балл по русскому языку в школе А равен 62,3 балла, по математике 51,4 балла. В школе Б – русский язык – 56,3 балла, по математике – 51,0 балла… Какая школа лучше? …при этом в школе А с двумя обязательными предметами в форме ЕГЭ справились 87,2% выпускников, в школе Б – 100%... Какая школа лучше? …при этом выпускники школы А активно сдавали ЕГЭ по выбору, но успешно сдали все экзамены только 38%, в школе Б при низкой активности успешность составила 68%... Правильный выбор показателей результатов позволяет получить верное представление о сложившейся ситуации, а использование комплекса показателей позволяет увидеть объём и оттенки в организации образовательного процесса и избежать ошибочных суждений… Что мы можем увидеть за баллами результатов ЕГЭ? Индивидуальный результат → Балл по 100-балльной шкале → Средний балл (предмет, школа, регион, учитель, динамика по годам) Результат введения ЕГЭ – появление в регионе аналитических материалов, позволяющих проанализировать состояние подготовки выпускников школы и подготовить необходимые методические материалы Совокупный индивидуальный результат выпускника как получателя бюджетной услуги – оценка уровня достижения образовательного стандарта Доступность образования соответствующего качества – разница образовательных результатов между школами района, города, республики Успешность освоения отдельных дидактических единиц - профили решаемости (общие для региона, школы, класса) Оценка уровня сформированности основных компетенций Соотношение 100-балльной шкалы и уровней подготовки по учебным предметам (РФ, ЕГЭ-2011) 70 баллов Значение среднего балла ЕГЭ для сравнений результатов можно использовать только в пределах одного учебного предмета за один учебный год!!! © С.А. Боченков Уровень освоения образовательного стандарта для получения документа о полном среднем образовании и для получения профессионального образования. Динамика уровня освоения образовательного стандарта для получения профессионального образования (обязательные предметы и предметы по выбору) 2007 г. 2008 г. 2009 г. 2011 г. 94.08% 96.34% 61.49% 83.46% 94.83% 73.81% 23.03% 72.24% 2010 г. Ключевые показатели качества образовательной услуги – требуют обязательного контроля по категориям выпускников, по муниципалитетам, по типам и видам школ. 87.35% 83.14% 98.88% 99.55% 89.49% 99.26% выпускники средних (полных) школ выпускники вечерних школ 24.02% 79.12% 91.26% 76.50% Динамика уровня освоения образовательного стандарта для получения документа о среднем (полном) образовании (обязательные предметы) 2007 г. 2008 г. 2009 г. 2010 г. 2011 г. Примеры управленческих решений по результатам ЕГЭ, принимаемых на уровне региона Распределение ресурсов и изменение условий организации образовательного процесса •Обоснование оптимизации сети образовательных учреждений •Оценка эффективности деятельности муниципальных органов управления образованием в сфере их компетенции •Обоснование принятия финансово-экономических мер (в рамках нормативно-подушевого финансирования) и распределение дополнительных финансово-материальных ресурсов Проектирование и реализация комплекса мер по повышению качества образования через отбор позитивного опыта и организацию эффективной работы •Выявление и распространение позитивного опыта учителей и школ, достигающих высоких результатов в обучении учащихся •Выявление и распространение эффективного опыта организации сетевого взаимодействия •Определение и разработка актуальных методических проблем. Формирование запроса на содержание курсов повышения квалификации учителей Публикация информации по ЕГЭ в СМИ и профессиональной литературе, как средство внеадминистративного управления качеством образования •Статистические данные по абсолютной и качественной успеваемости выпускников по каждой школе, территории и в целом по региону •Результаты выпускников по разным типам и видам образовательных учреждений •Данные по учителям, подготовившим наибольшее количество выпускников, получивших высокие баллы за ЕГЭ по учебному предмету Примеры нормативных документов: Указ Президента ЧР от 25.02.2003 «О дополнительных мерах по обеспечению реструктуризации сети ОУ Постановление Кабинета Министров ЧР от 15.05.2006 № 123 «Об утверждении правил нормативного бюджетного финансирования в сфере образования в Чувашской Республике» Указ Президента ЧР от 05.10.2005 № 101 "О дополнительных мерах по поддержке инноваций и развитию инновационного, творческого и духовного потенциала системы образования в Чувашской Республике» Указ Президента ЧР от 19.05.2007 № 39 «О дополнительных мерах государственной поддержки системы образования в Чувашской Республике» Закон Чувашской Республики от 19.07.2007 № 45 «Об упорядочении оплаты труда работников государственных учреждений Чувашской Республики» Постановление Кабинета Министров ЧР от 25.09.2007 № 237 «О Порядке формирования системы оплаты труда и стимулирования педагогических и руководящих работников государственных общеобразовательных учреждений Чувашской Республики, участвующих во внедрении комплексного проекта модернизации образования в Чувашской Республике» Распоряжение Кабинета Министров ЧР от 23.04.2007 N 118-р «Об утверждении основных направлений реализации комплексного проекта модернизации образования в Чувашской Республике» Постановление Кабинета Министров ЧР 25.09.2008 № 293 «О республиканских целевых программах в сфере образования в Чувашской Республике» Указ Президента ЧР от 21.03.2008 № 25 «О Стратегии развития образования в Чувашской Республике до 2040 года» Постановление Кабинета Министров ЧР от 12.07.2011 № 252-р «О Комплексе мер по модернизации общего образования Чувашской Республики в 2011 году» ... Оптимизация сети образовательных учреждений Задачи: Обеспечение полноты предоставляемых сетью услуг с учетом их территориальной доступности Повышение адекватности образовательных услуг сетевых элементов потребностям учащихся разного возраста Рационализация использования ресурсов Модернизация экономических механизмов Новая система оплаты труда Основные задачи: установление механизма связи заработной платы с качеством, результативностью труда; повышение стимулирующих функций оплаты труда; нормирование и оплата всех видов деятельности учителя; участие в распределении стимулирующей части ФОТ школьных советов; повышение качества жизни и социального статуса учителей. НСОТ Эффекты: Повышение качества обучения, обеспечивающего высокую социализацию и конкурентоспособность выпускников. Создание дополнительной мотивации для профессионального роста педагогов. Повышение эффективности вложения бюджетных средств. Повышение открытости системы образования. Конкурентоспособность отрасли в привлечении кадров. Распределение стимулирующей части ФОТ в зависимости от эффективности и результативности работы: Поощрения за качественную и результативную работу Критерии для педагогов - Достижение учащимися высоких показателей в сравнении с предыдущим периодом, стабильность и рост качества обучения; - Инновационная деятельность, экспериментальная работа, разработка и внедрение авторских программ, выполнение программ углубленного обучения, предпрофильного и профильного обучения и т.д. - Подготовка призеров конкурсов, олимпиад и т.д. - Применение здоровьесберегающих технологий и т.д. Ежемесячные надбавки за государственные награды, ученые степени Критерии для руководителей -Качественные и количественные показатели деятельности школы - Создание комфортных условий для осуществления качественного учебновоспитательного процесса; - Обеспеченность ОУ высококвалифицированными и перспективными кадрами; - Эффективность управленческой деятельности и т.д. 18 Цель системы повышения квалификации - дать учителю именно то, что необходимо для достижения учащимися всех видов результатов Использование результатов оценки качества образования в повышении квалификации Результаты международных исследований TIMSS (4, 8 кл.), PISA (15летн.шк.) Результаты ГИА, ЕГЭ Результаты национальных исследований качества образования и др. Формирование культуры оценочной деятельности педагога в системе повышения квалификации РАЗРАБОТКА НОВЫХ ПРОГРАММ, МОДУЛЕЙ ОРГАНИЗАЦИЯ ПРОБЛЕМНЫХ СЕМИНАРОВ, КОНСУЛЬТАЦИЙ ПЕРСОНИФИЦИРОВАННОЕ ОБУЧЕНИЕ Проектная технология управления качеством образовательных услуг Формирование системы оценки качества образования на региональном, муниципальном и уровне образовательного учреждения. Совершенствование системы подготовки учащихся к ЕГЭ и ГИА по физике. Современные подходы к контролю эффективности обучения иностранным языкам Технологии эффективной подготовки к ЕГЭ. Задачи трудных тем единого государственного экзамена. Система подготовки к единому государственному экзамену. Критериальный подход к оцениванию учебных достижений учащихся. Общая схема аттестации педагогических кадров ЗАЧЕМ НУЖНА ОЦЕНКА ПРЕДМЕТНОЙ КОМПЕТЕНЦИИ ПЕДАГОГА? Оценить предметную компетентность педагога (степень владения преподаваемым предметом) как потенциала для соответствующих образовательных достижений его учеников Оценить готовность педагога к основной форме итоговой аттестации выпускников – ЕГЭ (работа со спецификацией, с бланками, с заданиями разного типа и уровня) Сориентировать педагога на требования образовательного стандарта для выпускника – формирование единства требований и единого образовательного пространства Результаты оценочной процедуры – информационная основа для принятия управленческих решений в системе образования вообще и в организации переподготовки педагогических кадров в частности Сравнительный анализ результатов ЕГЭ учащихся и ЕГЭ педагогов Предметная компетентность учителя определяет предметную компетентность его ученика. Проблема может быть либо в знании материала, либо в умении его передать… Примеры управленческих решений по результатам ЕГЭ (и влияющих на результаты ЕГЭ), принимаемых на школьном уровне ПРИМЕР ФОРМУЛИРОВКИ ПРОБЛЕМЫ ПОДГОТОВКИ К ЕГЭ (МБОУ «школа А г. Чебоксары»): При подготовке к ЕГЭ школы сталкиваются с проблемами различного характера: • организационного (недостаточно четко выстроен алгоритм деятельности педагогического коллектива при подготовке к ЕГЭ); • • методического (несоответствие применяемых ПРИМЕР РАЗДЕЛЕНИЯ ЗОН ОТВЕТСТВЕННОСТИ ЗА ОРГАНИЗАЦИЮ ПОДГОТОВКИ К ЕГЭ (МБОУ «школа А г. Чебоксары»): • Директор школы – работа с педагогическим советом, принятие нормативно-правовой базы); • методическим советом и методобъединениями учителей, мониторинг, организационные вопросы учебно-методических комплексов задачам ЕГЭ, необходимость изменения структуры урока и форм обучения); • психологического (недостаточная психологическая • Психолог – психологическая подготовка учащихся (стратегия и тактика подготовки к экзамену, саморегуляция, самоконтроль, тестовая искушённость) подготовка учителей, выпускников и их родителей). Решение этих проблем требует: изменения в содержании управленческой деятельности администрации школы, разработку системы подготовки к ЕГЭ. Зам.директора по УВР - работа с научно- Учитель – педагогические технологии, методика, система внутриклассного оценивания • Учащийся - знать уровень требований и критерии оценивания по учебным предметам; уметь рефлексировать свою деятельность по подготовке к экзамену, осознанно выбрать учебные предметы для сдачи ЕГЭ. Примеры управленческих решений по результатам ЕГЭ, принимаемых на уровне школы: • • • Показатели ЕГЭ используются при распределении стимулирующей части оплаты труда учителя. Показатели ЕГЭ учитываются при распределении учебной нагрузки учителей, распределении и закреплении классов, где будет преподавать учитель (сильный или слабый класс, базовый или профильный уровень изучения предмета). Показатели ЕГЭ учитываются при определении профиля школы. Принимается решение о достаточности кадрового обеспечения заявленного профиля или необходимости его компенсации приглашёнными специалистами, другими формами организации образовательного процесса. • • • Сравнивая уровень требований ЕГЭ корректируются требования учителя, его представления об образовательном стандарте по предмету. Сравнивая школьные отметки (текущая отметка) и результатов ЕГЭ (внешняя оценка) делается вывод об адекватности оценочной деятельности на уровне учителя и образовательного учреждения. По результатам ЕГЭ определяются зоны затруднений учащихся по каждому разделу содержания предмета. Принимаются меры рекомендательного или компенсаторного характера. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ: определение фактического профиля школы Востребованность учебных предметов. Доля выпускников, сдававших ЕГЭ по предмету школа А школа Б школа В школа Г Качество подготовки. Доля выпускников, показавших отличный уровень усвоения материала (входят в 10% лучших результатов по РФ) по предметам английский язык 84.38% английский язык информатика обществознание информатика 71.88% 76.60% физика история 33.33% 53.70% обществознание 54.35% 50.00% физика история 57.14% химия биология химия Школа А не обеспечивает качества подготовки по востребованным предметам (биология, химия). Школа Б обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. Школа В кроме физике обеспечивает высокий уровень практически по всем предметам. Школа Г многопрофильная и обеспечивает высокий уровень подготовки по всем предметам. биология © С.А. Боченков Оценка уровня сформированности компетенций у учащихся школы по результатам ЕГЭ: КОМПЕТЕНЦИЯ Лингвистическая компетенция Языковая компетенция Коммуникативная компетенция Лингвистическая (знания о системе языка, владение основными языковыми понятиями) СОДЕРЖАТЕЛЬНЫЕ РАЗДЕЛЫ Морфология Синтаксис Речеведение Словообразование ЗАДАНИЯ В КИМАХ А11, А12, В2 А9, А10, В3-В6 А7, А8, В7, В8 В1 Орфоэпия Орфография Языковая (владение Пунктуация основными языкоКультура речи выми нормами) Грамматические нормы Речевые нормы Построение текста Понимание содержания текста Понимание лексики текста Комментарий к Коммуникативная сформулированной проблеме (речевые умения) исходного текста Отражение позиции автора исходного текста Выражение своего мнения Выразительность речи А1 А13-А19, К7 А20-А26, К8 А2-А6 К9 К10-12 А27, К5 А28, А29, К1 А30 К2 К3 К4 К6 © С.А. Боченков Как оценивать результаты школ? Информация внутри системы образования для стимулирования лучших и поддержки находящихся в сложных условиях Школа на фоне аналогичных школ Школа на фоне всех школ региона Информация для внешних пользователей, для выбора школы Оценка уровня образовательных достижений учащихся. Проводится в форме бланкового тестирования по отдельным классам и предметам с последующим анализом результатов под задачи управления качеством образования: УСЛОВИЯ ОРГАНИЗАЦИИ И ПРОВЕДЕНИЯ: Цель – входной, промежуточный или репетиционный контроль, оценка уровня индивидуальных образовательных достижений и уровня обученности группы учащихся. Тестирование на бланках, аналогичных бланкам ЕГЭ с проверкой результатов по технологии ЕГЭ. Спецификационный принцип составления КИМов, единый подход к составлению спецификаций, соответствие требованиям ЕГЭ, ГИА - 9, стандартам по предметам, равноценность вариантов, критериальный способ проверки развёрнутых ответов (части С) Результаты предоставляются заказчику в виде индивидуальных распечаток результатов на каждого участника и аналитического материала по результатам тестирования группы учащихся; Результаты могут быть использованы для разных задач в зависимости от заказчика и масштаба (охвата) исследования, перечня предметов и возрастов; – оценка уровня готовности учащихся класса, школы, муниципалитета к государственной итоговой аттестации в форме ЕГЭ (или ГИА 9 класс) по определённому предмету (репетиционный экзамен); – оценка уровня индивидуальных учебных достижений; – выявление проблемных зон в усвоении отдельных дидактических единиц; – соответствие системы внешней и внутренней оценки, применяемой учителем; – соответствие требований учителя и образовательного стандарта при возникновении конфликтной ситуации; – как отдельные формы внешней оценки уровня обученности учащихся в системе внутришкольного контроля; Регламент возможных последействий - работа по результатам тренировочного тестирования: – разбор демоверсии и всех вариантов – разбор решаемости с распределением пройденных и не пройденных тем – выделение успешности решения заданий намеченного минимума – мониторинг индивидуальной динамики учащихся – разбор критериев проверки части С и подготовка рекомендаций для учащихся на их основе © С.А. Боченков Риски использования показателей качества образования Некорректность сравнения по годам (по ряду показателей). Невозможность оценить динамику индивидуальных достижений о ряду показателей. Использование в комплексном анализе без учета социальноэкономического, культурного, информационного контекста (экзаменационное тестирование проводится без параллельного обследования этих факторов). Принятие управленческих решений только по результатам ЕГЭ, без серьезного контекстного анализа (НСОТ, аттестация педагогов, финансирование). Применение линейных рейтингов образовательных учреждений, муниципалитетов, регионов, выстроенных на одном из показателей ЕГЭ. Организация образовательного процесса, ориентированного на результаты ЕГЭ («натаскивание» на ЕГЭ). Об использовании результатов оценочных процедур для подготовки и принятия управленческих решений: • Для того, чтобы управленческие решения принимались на основе результатов оценочных процедур нужна своевременная, доступная и качественная аналитика. • Комплекс показателей результатов должен охватывать результаты комплекса оценочных процедур, позволяющих измерить разные характеристики качества образования на разных этапах обучения. Необходимо использование единой для системы образования системы информативных индикаторов, отражающих разные характеристики измеряемых результатов. • Управленческие решения должны основываться на показателях, адекватно и всесторонне отражающих ситуацию в системе образования и динамику условий и результатов. Использование ложных индикаторов приводит в неверным управленческим решениям. • Среди управленческих решений больший эффект имеют решения, принимаемые в школе. Они должны быть направлены на оптимизацию образовательного процесса и приняты из рефлексивной позиции его организаторов и участников. • … • Любая по-настоящему сложная проблема имеет простое и ясное …неверное решение
