назначение и ключевые элементы

СЕМИНАР
«Развитие национальных систем оценки качества школьного образования в
международном контексте»
6 ноября 2014 года, г. Астана
Система оценки качества образования:
назначение и ключевые элементы
В.А. Болотов
президент Евразийской ассоциации оценки качества
образования, академик РАО, д.п.н.
.
КЛЮЧЕВЫЕ ВОПРОСЫ
•
•
•
Какие бывают виды программ оценки
качества образования?
Каковы их возможности, ограничения и
взаимосвязь?
Какие факторы определяют качество системы
ОКО?
ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ
Эффективные системы оценки качества образования
это
системы,
которые
предоставляют
информацию
надлежащего
качества
и
в
необходимом количестве для того, чтобы
удовлетворить информационные потребности всех
заинтересованных групп и тех, кто принимает
решения с целью повышения качества обучения
учащихся.
ЦЕЛИ СИСТЕМЫ ОКО
1) Определение прогресса в обучении конкретного школьника.
2) Сертификация выпускников (подтверждение завершения
обучения).
3) Селекция – отбор для продолжения обучения или получения
рабочего места.
4) «Оценка» результатов деятельности педагогов.
5) Оценка деятельности образовательных учреждений и
систем.
6) Оценка деятельности национальной образовательной
системы.
Программы оценки образовательных достижений –
необходимый набор для эффективной системы ОКО
Виды программ
оценки
учебные
задания
наблюдения
тесты
вопросы
Оценка на уровне
класса
Государственные
экзамены
Выпускные Вступительные
Мониторинговые
исследования
Национальные
мониторинги
Международные
сравнительные
исследования
ОЦЕНКА НА УРОВНЕ КЛАССА
Цель: Поддержать прогресс ученика. Помочь учителям и
учащимся в совершенствовании процесса преподавания и
учения.
Как учится ученик и как лучше его обучать? Каковы
сильные стороны конкретного ученика и как их можно
развить? В чём ученик испытывает трудности и как
они могут быть преодолены?
ОЦЕНКА НА УРОВНЕ КЛАССА
Оценка на уровне класса – процесс поиска и интерпретации достоверных
данных, которые ученики и их учителя используют для того, чтобы решить, где
обучаемые находятся в процессе своего учения, куда им необходимо двигаться
дальше и как сделать это наилучшим образом (программа Assessment for
Learning, Великобритания).
Используемые методы – учебные задания, вопросы, наблюдения,
собеседования с учителем, самооценка учащегося, оценка учащихся друг
другом и т.п.
Оценка в целях обучения направлена на признание всех образовательных
достижений учащихся.
ГОСУДАРСТВЕННЫЕ ЭКЗАМЕНЫ
Выпускной экзамен
Цель: Сертификация учащихся
Как осваивает государственный образовательный
/образовательную программу конкретный учащийся?
стандарт
Вступительный экзамен
Цель: Селекция/отбор для продолжения образования
(например, при поступлении в Вуз)
Кто из учащихся может продолжать обучение на следующей
ступени образования?
ЭКЗАМЕН – измерение с высокими ставками
Пример Китая.
http://blog.oneclass.com/10-images-chinese-entrance-exam-process-need-check/#prettyPhoto
Национальные/региональные мониторинги
Цель: Выяснить, насколько эффективно работает система
образования.
Насколько
эффективно
учащиеся
овладевают
знаниями и навыками в системе образования? Какие
достижения
демонстрируют
представители
различных групп учащихся? Какие факторы оказывают
влияние на результаты обучения?
Национальные/региональные мониторинги
Главная задача - получение данных, позволяющих судить о том, в
какой
мере
достигаются
цели,
предусмотренные
государственным стандартом.
В рамках Н/РМ изучаются факторы, негативно или позитивно
влияющие на учебные достижения. Такая информация
необходима для разработки политики на различных уровнях
образования.
Проводится: 1 раз в 3-5 лет, по нескольким предметам, на основе
выборки учащихся, используются тесты и вопросники
Основные отличия экзаменов и мониторингов
Характеристики
Цель
Периодичность
Продолжительность
Участники
Охват учебного
плана
Национальные
мониторинги
Экзамены
Оценка работы системы, выработка
политики и мониторинг тенденций
Сертификация и отбор
Раз в 2-5 лет по конкретному
предмету
Ежегодно
1-2 дня
До нескольких недель
Выборка или все ученики данного
класса или возраста
Все участники
Ограничивается несколькими
предметами
Охватывает несколько
предметов
Основные отличия экзаменов и мониторингов
Характеристики
Национальные
мониторинги
Экзамены
Обычно тест с множест. выбором и
кратким ответом
Обычно эссе и тест с множест.
выбором
Обычно да, анкеты
Редко
Незначительное
Сильное (обучение под тест)
Возможные
последствия
Низкие ставки
Высокие ставки
Мониторинг
тенденций
Да
Нет
Формат
Сбор доп.
информации
Влияние на уч.
процесс
Основные пользователи результатов
ЭКЗАМЕНОВ
МОНИТОРИНГОВ
Ученики
Родители
Учителя
Администрация
школ
…
Администраторы и
управленцы
Государственные деятели
Учителя
Представители системы
подготовки и ПК учителей
СМИ
…
ТАБЛИЦА С ХАРАКТЕРИСТИКАМИ МОНИТОРИНГОВ
Характеристики
А. Цели
Описание
Для достижения каких целей будет использоваться
мониторинг
В. Ключевые вопросы
На какие вопросы вы планируете получить ответы с
использованием результатов мониторинга.
С. Участники
Характеристика выборки (популяции) мониторинга.
D. Что оценивается
Какие образовательные результаты подлежат оценке.
E. Инструментарий
Состав инструментария (тесты, анкеты и т.п.) и его
характеристика.
F. Кто проводит (организации) Организации отвечающие за подготовку, проведение,
анализ и представление результатов.
ТАБЛИЦА С ХАРАКТЕРИСТИКАМИ МОНИТОРИНГОВ
Характеристики
Содержание
G.
Представление В каком виде будут представляться результаты целевым
результатов
группам (перечень информационных продуктов).
H. Виды решений
Какие виды решения на разных уровнях (школа,
муниципалитете, регион) могут приниматься
I. Кто принимает решения
Субъекты принятие решений.
J. Кто использует результаты Кто может использовать результаты и для каких целей.
K. Доп. информация (риски, Какие риски и проблемы при проведении мониторинга и
проблемы,…)
использования результатов можно прогнозировать
(имеют место).
Международные сравнительные исследования
Цель: Сравнение достижений своих учащихся с достижениями
учащихся других стран.
Какой уровень учебных достижений в конкретных областях
знаний показывают учащиеся страны в сравнении с учащимися
других стран? Что школьные системы других стран «делают
лучше»? Как изменяются результаты с течением времени?
МСИ становятся причиной пересмотра национального учебного
плана, введения новых стандартов, изменения программ
подготовки учителей и т.п.
Международные сравнительные исследования
Международная Ассоциация по
оценке образовательных
достижений - IEA
• TIMSS (1995, 1999, 2003,
2007, 2008, 2011, 2015 годы)
• PIRLS (1991, 2001, 2006, 2011
годы)
• ICCS (1999, 2000, 2008 годы)
• TEDS (2008 год)
• ICILS (2012)
Организация экономического
сотрудничества и развития
– OECD
• PISA (2000, 2003, 2006,
2009, 2012, 2015 годы)
• TALIS (2008, 2013 год)
ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ КАЧЕСТВО
СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ФАКТОРЫ/ПАРАМЕТРЫ КАЧЕСТВА
Три основных фактора, которые обуславливают качество
системы оценивания:
• благоприятная внешняя среда
• координация и согласованность с элементами
образовательной системы
• технология
(AERA, APA, & NCME, 1999; Darling-Hammond & Wentworth, 2010)
БЛАГОПРИЯТНАЯ СРЕДА
Благоприятная внешняя среда связана с более
широким
контекстом,
в
котором
происходит
оценивание, и с тем, насколько такой контекст
способствует и помогает проведению оценивания.
БЛАГОПРИЯТНАЯ СРЕДА
Факторы, влияющие на способность стабильно и эффективно
заниматься оцениванием
Политика
Финансовые
ресурсы
Кадры
Организационные
ресурсы
БЛАГОПРИЯТНАЯ СРЕДА
Политика
Финансовые
ресурсы
Кадры
Организационные
ресурсы
• Законодательные
и
политические приоритеты
изложены в официальных
документах
• Построена на прозрачных
процедурах
• Обеспечивает принятие
ключевых решений
• Четко описывает роли и
обязанности всех субъектов
БЛАГОПРИЯТНАЯ СРЕДА
Политика
Финансовые
ресурсы
Кадры
Организационные
ресурсы
• Наличие
стабильных
объемов
и
источников
финансирования
• Покрывает затраты на
основные мероприятия, а
также на научнотехнологическую
деятельность
БЛАГОПРИЯТНАЯ СРЕДА
Политика
Финансовые
ресурсы
Кадры
Организационные
ресурсы
• Стабильные, с высоким
статусом и авторитетом
• Необходимая материальнотехническая инфраструктура
• Надлежащий баланс между
самостоятельностью и
отчетностью
БЛАГОПРИЯТНАЯ СРЕДА
Политика
Финансовые
ресурсы
Кадры
Организационные
ресурсы
• Персонал для выполнения
основных функций
- имеется в достаточном
количестве,
- стабильный,
- квалифицированный
• Наличие системы подготовки
кадров (соответствующие
программы в вузах, учебные курсы,
ознакомительные семинары и т.п.)
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Координация и согласованность с образовательной
системой показывает, насколько система оценивания
взаимоувязана с остальными компонентами системы
образования.
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Включает связь оценочных мероприятий с целями обучения,
стандартами и учебным планом, учебниками и методическими
материалами, профессиональным развитием учителя.
Учебный план
Проф.
развитие учителя
Учебники
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Учебный план
Проф.
развитие
учителя
Учебники
Насколько задания тестов
соответствуют
целям
и
содержанию
обучения,
детализированным
в
стандарте
и
учебной
программе
Связь между ожиданиями (что
ученики должны освоить) и
реалиями (что осваивают в
действительности)
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Учебный план
Проф.
развитие
учителя
Учебники
Насколько оцениваемые
у школьников знания и
навыки
соответствуют
содержанию
учебной
литературы и могут быть
сформированы
с
её
помощью
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Учебный план
Проф.
развитие
учителя
Учебники
Различные
учебные
мероприятия и учебные
ресурсы по подготовке и
повышению
квалификации учителя в
области использования
данных
оценки
или
организации собственных
оценочных мероприятий
ТЕХНОЛОГИЯ
Технология относится к психометрическому качеству
инструментария, процессов и процедур, применяемых
при оценочной работе.
ТЕХНОЛОГИЯ
Технология важна, т.к. если оценивание ненадежное в части
дизайна, проведения, анализа, использования, то его результаты
повлекут некорректные решения в отношении обучения учащихся
и качества системы
Дизайн
Применение
Администрирование
Анализ результатов
ТЕХНОЛОГИЯ
Дизайн
Применение
Администрирование
Анализ
результатов
Дизайн теста лежит в основе
получения
надёжных
и
достоверных данных.
Дизайн строится в соответствии с
психометрическими
стандартами.
Дизайн
включает:
подготовку
спецификации, разработку и экспертизу
тестов и вопросников, претестирование
и подготовку итоговых вариантов
измерителей
ТЕХНОЛОГИЯ
Дизайн
Применение
Администрирование
Анализ
результатов
Процедура проведения должна
быть:
- прозрачна для внешних субъектов
и понятна исполнителям
- хорошо регламентирована
- обеспечивать информационную
безопасность
- осуществляться подготовленными
специалистами
ТЕХНОЛОГИЯ
Дизайн
Применение
Администрирование
Анализ
результатов
Анализ и интерпретация данных
проводится в соответствии
- с установленными стандартами
и
надёжными
методиками
статистического анализа
- с вопросами, на которые
должна дать ответа оценка
с
учётом
факторов,
оказывающих
влияние
на
результаты (если это возможно)
ТЕХНОЛОГИЯ
Дизайн
Применение
Администрирование
Анализ
результатов
Грамотное
использование
результатов
оценки
поможет
избежать
некорректных
решений в отношении
учащихся
школ
и
системы образования
РАМКА И ИНДИКАТОРЫ ДЛЯ СИСТЕМЫ ОКО
Виды программ оценки
Ключевые параметры
эффективной системы
оценивания
Факторы/
параметры
качества
Внутриклассное
оценивание
Экзамены
Крупномасшт.
оценивание
(мониторинги)
Благоприятная среда
Политика
Финансовые ресурсы
Организационные структуры
Человеческие ресурсы
Согласованность с
системой
Учебный план
Учебники и методические материалы
Подготовка и повышение квалификации учителей
Технология
Дизайн
Администрирование
Анализ
Применение
СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
РОССИЙСКОЙ ФЕДЕРАЦИИ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
Процедуры оценки учебных достижений в РФ
Экзамен
выпускной
Единый
государственный
экзамен,
11 класс
Основной гос.
экзамен,
9 класс
Экзамен
Вступительный в
вуз
Единый
государственный
экзамен,
11 класс
Национальные
мониторинги
В стадии апробации:
Готовность к обучению в начальной
школе (1 класс)
Оценка
качества
начального
образования (4 класс)
Оценка
качества
основного
образования (9 класс)
Исследование
ИКТ-компетентности
учащихся (9 класс)
Оценка качества математического
образования (5-7 классы)
Международ.
срав. исследов.
PISA, TIMSS,
PIRLS, ICCS, …
РАЗВИТИЕ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА
ОБРАЗОВАНИЯ
Международные
исследования + ЕГЭ
Международные
исследования
Международные
исследования + ЕГЭ +
мониторинговые
исследования
ОСОКО завтра
ГОСУДАРСТВЕННАЯ ПРОГРАММА РОССИЙСКОЙ ФЕДЕРАЦИИ
«РАЗВИТИЕ ОБРАЗОВАНИЯ» на 2013-2020 годы
В общем образовании планируются следующие мероприятия:
• Подготовка кадров в области оценки качества образования.
• Разработка и экспертиза контрольно-измерительных материалов.
• Участие в международных исследованиях качества образования.
• Проведение федеральных и региональных мониторингов качества
образования и социализации.
• Независимые оценки с участием общества (общественные рейтинги, соц.
навигаторы, учёт мнения потребителей, привлечение негосударственных
организаций и независимых экспертов).
Организации системы ОКО
Федеральный уровень
Министерство образования и науки РФ
Региональный уровень
Орган управления
образованием субъекта РФ
Центр оценки качества
образования
Региональная служба по
контролю и надзору
Кадры системы ОКО
Специалисты
• Разработчики измерительных материалов (сотрудники ФИПИ и внешние
эксперты)
• Специалисты по проведению, обработке данных, подготовке аналитики (ФЦТ,
РЦОКО, РАО)
Программы подготовки
• НИУ ВШЭ «Измерения в психологии и образовании»
• МВШСЭН «Менеджмент в сфере образования», «Управление обр. системами
на основе данных»
• Томский политехнический университет «Пед. измерения»
• РАО, краткосрочные мероприятия Российского тренингового центра
Согласованность с системой
Разработка измерительных материалов для государственных
экзаменов,
мониторингов
обучения
разрабатываются
в
соответствии с требованиями федерального государственного
образовательного стандарта (ФГОС).
Система ОКО слабо согласована с системой подготовки и
повышении квалификации учителя.
• В проф. стандарте педагога отсутствует блок по оценочной
компетенции
• В системе ПК практически нет образовательных программ/ модулей
для педагогов и управленцев в области использования данных оценки
и организации оценивания.
Технология. Пример ЕГЭ
• Использование сложной структуры измерительных материалов - задания с
множественным выбором (часть А), задания, предусматривающие краткий
ответ (часть В) и, ответы в свободной форме (часть С);
• Экзамены во всех регионах проводятся в установленные сроки;
• автоматизированное распределение участников и организаторов
по аудиториям ППЭ;
• обеспечение информационной безопасности на всех этапах;
• документирование всех процессов экзамена (фиксация точного времени
начала и окончания процедур ЕГЭ, акты приемки-передачи документов ЕГЭ и
др.).
Международные исследования
По грамотности чтения учащихся 4 класса Россия входит в тройку лидеров
вместе с Гонконгом и Финляндией (по итогам PIRLS-2011, 49 стран-участниц).
По математической и естественно научной грамотности учащихся 4 и 8 классов
Россия стабильно входит в лидирующую десятку стран (по итогам TIMSS-2011,
60 стран-участниц).
Наметилась положительна тенденции в улучшении результатов школьников в
международном исследовании PISA (о итогам PISА-2012, 65 стран-участниц; c
2009 года балл вырос на 14 по мат грамотности, на 16 баллов по чтению и на 8
баллов по естественным наукам). Россия входит в группу стран, которые
значительно повысили свои результаты по математической грамотности в
период с 2003 по 2012 годы.
Независимая система оценки качества
образования в Российской Федерации
Методические рекомендации по проведению независимой системы оценки
качества работы образовательных организаций
Независимая оценка качества образования может осуществляться в форме
рейтингов (рэнкингов), других оценочных процедур в отношении
образовательных организаций всех видов, а также образовательных программ,
в том числе с использованием методологии и результатов международных
сопоставительных исследований в области образования.
2.2. Инструменты независимой оценки качества образования
2.2.1. Рейтинги в образовании
2.2.2. Публичные доклады и другие открытые данные
2.2.3. Измерительные материалы
Использование результатов ОКО для
управлением качеством образования
На федеральном уровне:
для разработки образовательных стандартов;
для разработки примерных образовательных программ;
для разработки учебников;
для оценки эффективной работы региональных органов исполнительной
власти субъектов Российской Федерации
На региональном и школьном уровнях:
для оценки деятельности учителя (в том числе и в распределении
стимулирующей части заработной платы);
для аккредитация образовательного учреждения;
для разработки программ развития ОУ;
для оценки эффективности управления образовательной сетью;
для системы подготовки педагогических кадров и повышения
квалификации
СПАСИБО ЗА ВНИМАНИЕ!
rtc.imerae@gmail.com
WWW.RTC-EDU.RU