Система ОКО

Семинар
«Актуальные вопросы развития региональной системы оценки качества
образования»
5-6 декабря 2013 года, г. Казань
Система оценки качества образования:
роль и место в системе образования
В.А. Болотов
Научный руководитель РТЦ ИУО РАО, академик РАО, д.п.н.
И.А. Вальдман
зав. лабораторией мониторинга в образовании ИУО РАО,
директор Российского Тренингового центра ИУО РАО, к.п.н.
СИСТЕМЫ ОЦЕНКИ,
ИХ МЕСТО ИВЛИЯНИЕ
[email protected]
WWW.RTC-EDU.RU
ТЕЗАУРУС (МЕЖДУНАРОДНЫЙ ОПЫТ)
Оценивание (assessment) это процесс сбора и анализа
информации о том, что учащийся знает, понимает и
умеет, он направлен на принятие обоснованного
решения, что делать дальше в образовательном
процессе.
Система оценки представляет собой сочетание
политики, различных структур, практик и инструментов,
направленных на получение и использование
информации о результатах обучения.
ЦЕЛИ СИСТЕМЫ ОКО
1) Определение прогресса в обучении конкретного школьника.
2) Сертификация выпускников (подтверждение завершения
обучения).
3) Селекция – отбор для продолжения обучения или получения
рабочего места.
4) Оценка деятельности образовательных учреждений.
5) Оценка деятельности образовательных систем.
6) Оценка деятельности национальной образовательной системы.
ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ
Эффективные системы оценки качества образования
это
системы,
которые
предоставляют
информацию
надлежащего
качества
и
в
необходимом количестве для того, чтобы
удовлетворить информационные потребности всех
заинтересованных групп и тех, кто принимает
решения с целью повышения качества обучения
учащихся.
МЕЖДУНАРОДНЫЙ ОПЫТ
• Эффективная система оценки строится на сочетании
разнообразных методов оценки. Стандартизированное
тестирование – всего лишь один из используемых
подходов для определения качества обучения. Также
широко
используются
экспертные
оценки
и
социологические опросы.
• Процедуры оценки ориентированы на более широкие
образовательные результаты, нежели знания в рамках
учебных дисциплин.
МЕЖДУНАРОДНЫЙ ОПЫТ
• В основе оценивания результатов образования лежит
как определённая норма (когда это возможно), так и
положительная динамика изменений достижений
(индивидуальный прогресс, добавленная стоимость).
• Анализ результатов оценки учебных достижений
проводится с учётом факторов, оказывающих влияние на
эти результаты.
• Комбинация внутренней и внешней оценки– базовый
подход для оценки деятельности школы.
ПРОГРАММЫ ОЦЕНКИ
УЧЕБНЫХ ДОСТИЖЕНИЙ
[email protected]
WWW.RTC-EDU.RU
Программы оценки образовательных достижений –
необходимый набор для эффективной системы ОКО
Виды программ
оценки
учебные
задания
наблюдения
тесты
вопросы
Оценка на уровне
класса
Государственные
экзамены
Выпускные Вступительные
Мониторинговые
исследования
Национальные
мониторинги
Международные
сравнительные
исследования
ОЦЕНКА НА УРОВНЕ КЛАССА
Цель: Поддержать прогресс ученика. Помочь учителям и
учащимся в совершенствовании процесса преподавания и
учения.
Как учится ученик и как лучше его обучать? Каковы
сильные стороны конкретного ученика и как их можно
развить? В чём ученик испытывает трудности и как
они могут быть преодолены?
ОЦЕНКА НА УРОВНЕ КЛАССА
Оценка на уровне класса – процесс поиска и интерпретации достоверных
данных, которые ученики и их учителя используют для того, чтобы решить, где
обучаемые находятся в процессе своего учения, куда им необходимо двигаться
дальше и как сделать это наилучшим образом (программа Assessment for
Learning, Великобритания).
Используемые методы – учебные задания, вопросы, наблюдения,
собеседования с учителем, самооценка учащегося, оценка учащихся друг
другом и т.п.
Оценка в целях обучения направлена на признание всех образовательных
достижений учащихся.
ГОСУДАРСТВЕННЫЕ ЭКЗАМЕНЫ
Выпускной экзамен
Цель: Сертификация учащихся
Как осваивает государственный образовательный
/образовательную программу конкретный учащийся?
стандарт
Вступительный экзамен
Цель: Селекция/отбор для продолжения образования
(например, при поступлении в Вуз)
Кто из учащихся может продолжать обучение на следующей
ступени образования?
Национальные/региональные мониторинги
Цель: Выяснить, насколько эффективно работает система
образования.
Насколько
эффективно
учащиеся
овладевают
знаниями и навыками в системе образования? Какие
достижения
демонстрируют
представители
различных групп учащихся? Какие факторы оказывают
влияние на результаты обучения?
Национальные/региональные мониторинги
Главная задача - получение данных, позволяющих судить о том, в
какой
мере
достигаются
цели,
предусмотренные
государственным стандартом.
В рамках Н/РМ изучаются факторы, негативно или позитивно
влияющие на учебные достижения. Такая информация
необходима для разработки политики на различных уровнях
образования.
Проводится: 1 раз в 3-5 лет, по нескольким предметам, на основе
выборки учащихся, используются тесты и вопросники
Международные сравнительные исследования
Цель: Сравнение достижений своих учащихся с достижениями
учащихся других стран.
Какой уровень учебных достижений в конкретных областях
знаний показывают учащиеся страны в сравнении с учащимися
других стран? Что школьные системы других стран «делают
лучше»? Как изменяются результаты с течением времени?
МСИ становятся причиной пересмотра национального учебного
плана, введения новых стандартов, изменения программ
подготовки учителей и т.п.
Международные сравнительные исследования
Международная Ассоциация по
оценке образовательных
достижений - IEA
• TIMSS (1995, 1999, 2003,
2007, 2008, 2011, 2015 годы)
• PIRLS (1991, 2001, 2006, 2011
годы)
• ICCS (1999, 2000, 2008 годы)
• TEDS (2008 год)
• ICILS (2012)
Организация экономического
сотрудничества и развития
– OECD
• PISA (2000, 2003, 2006,
2009, 2011 годы)
• TALIS (2008 год)
ПИРАМИДА ОБРАЗОВАТЕЛЬНОГО ОЦЕНИВАНИЯ
Как обеспечить максимальное влияние…
Углублённые
исследования
Крупномасштабное
оценивание
(мониторинги)
Государственные экзамены
Внутриклассное оценивание
(оценка на уровне класса)
ПРИМЕР: Система ОКО в Нидерландах
Школьные
выпускные
экзамены
Инспекция
Система образования
Формирующее
оценивание
Национальные
исследования
Самооценка
школы
Итоговое
оценивание
Международные
исследования
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ
ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
[email protected]
WWW.RTC-EDU.RU
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Эффективное использование результатов оценки
зависит от ряда условий, которые следует
учитывать команде, координирующей организацию и
проведение процедуры оценки, с целью достижения
максимального влияния полученных результатов на
повышение
качества
обучения
и
выработку
образовательной политики.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
1. Стратегия ОКО – Контроль или Поддержка.
Контроль
• Для наложения санкций и раздачи поощрений
• Нет права на ошибку
• ОУ не заинтересовано в обнаружении проблем
Поддержка
• Оказание содействия ОУ и муниципалитетам в преодолении
существующих проблем
• Есть право на ошибку. Неудача – сигнал для оказания помощи.
• ОУ заинтересовано в обнаружении проблем
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
2. Поддержка заинтересованных сторон.
Крайне важно, чтобы все заинтересованные стороны
пришли к согласию относительно необходимости
проведения оценки и оказывали поддержку при её
проведении.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
3. Наличие надёжного инструментария.
Наличие надёжного инструментария, соответствующего
необходимым профессиональным стандартам, является
главным фактором получения достоверных результатов
и обеспечения доверия к ним со стороны
общественности и профессионального сообщества.
ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА
1. Определение цели тестирования и разработка спецификации
теста.
2. Разработка заданий для теста.
3. Экспертиза и доработка заданий.
4. Апробация и доработка заданий.
5. Составление теста.
6. Проведение апробации теста и обработка полученных
результатов.
7. Доработка теста и подготовка окончательного варианта.
РЕСУРСЫ: ПРИЗНАННЫЕ ПУБЛИКАЦИИ
Крокер Л., Алгина Дж. Введение в классическую и современную
теорию тестов: учебник. – М.: Логос, 2010.
Серия Всемирного банка «Национальная оценка учебных достижений»
Книга 1. Оценка образовательных достижений на национальном уровне
Книга 2. Разработка тестов и анкет для национальной оценки учебных достижений.
Книга 3. Проведение национальной оценки учебных достижений.
Книга 4. Анализ данных национальной оценки учебных достижений.
Книга 5. Сообщение и использование результатов национальной оценки учебных
достижений.
ПРИМЕР ИЗ ОБЛАСТИ РИСОВАНИЯ
100
1 %%%
2
10
Сколько
информации
мы теряем,
представляя
сложную
картину в
черно-белом
цвете?
Что не поддается
измерению?
Насколько точно
проводится
измерение?
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
4. Наличие надёжной стандартизированной процедуры
проведения оценки.
Стандартизированная процедура должна обеспечивать
информационную безопасность проведения оценки,
предотвращать
возможные
нарушения
и
фальсификацию данных, обеспечивать сопоставимость
результатов
для
всех
общеобразовательных
учреждений, чьи учащиеся принимали участие в оценке.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
5. Ориентация на информационные потребности
основных групп пользователей результатов оценки.
Соответствующая информация должна достигать
представителей
всех
заинтересованных
сторон
(разнообразные информационные продукты).
Информацию следует представлять в форме, понятной
потенциальным
пользователям
(интерпретация
результатов).
Представление информации
Информационные продукты
1. Региональный отчёт по итогам оценки.
2. Специализированный отчёт (по предмету, группе учащихся).
3. Аналитическая записка для министра.
4. Информационный буклет для родителей.
5. Пресс-релиз.
Распространение информации
1. Печатные отчёты.
2. Материалы в Интернет.
3. Статьи в СМИ.
4. Интервью.
5. Пресс-конференции, брифинги, конференции и семинары.
SIMCE (Чили). Информационные продукты
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Руководство по проведению оценки (с 1988)
Школьный отчёт (с 1988)
Национальный отчёт (с 2006)
Приложение к газете (с 1995)
Отчёт для родителей (с 2005)
Он-лайн банк заданий (с 2007)
Комплект материалов для прессы (с 2006)
Файлы данных (с 2005)
Инструментарий анализа данных (с 2007)
Геоинформационная система (с 2010)
Вебсайт www.simce.cl (since 2001)
SIMCE. Распространение информации: Механизмы, Цели,
Целевые группы, Содержание
4. Приложение к газете
Цели: Обеспечение подотчётности школ
Целевая группа: родители, широкая общественность
Содержание: (а) Средние баллы школ и средние балы по предметам и
классам.
(b) Разница между средним баллом школ и
1) средними баллами предыдущей оценки, 2) средним по стране, 3)
средними баллами школ из той же социально-эконмической группы.
Механизмы: Публикуется в национальных и региональных газетах.
Обычно эта информация распространяется вместе с рейтингами школ.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
6. Подготовка ясного итогового отчёта.
Итоговый отчёт (на уровне федерации, региона,
муниципалитета, общеобразовательного учреждения)
является наиболее важным и наиболее полезным из
всех информационных материалов, которые могут быть
подготовлены на основе данных процедуры оценки.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
7. Учёт дополнительных данных при принятии
управленческих решений по итогам оценки.
Крайне важно, чтобы при принятии решений «с
высокими ставками», такими как государственные
экзамены, аккредитация школ, аттестация педагогов и
др., выводы о качестве образования делались не только
на основе результатов процедур оценки качества
образования.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
7. Учёт дополнительных данных при принятии
управленческих решений по итогам оценки.
Невозможно принимать «сложные» решения на основании данных одного
вида
«Простые» решения
• Итоговая государственная аттестация по предмету.
• Как учителю и школе организовать работу «над ошибками»
Более «сложные» решения
• Выбор профиля обучения в старшей школе
«Сложные» решения
• Оценка качества работы учителя
• Оценка эффективности работы школы
МАТРИЦА ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
A. Программы оценки
Экзамены
Выпускные экзамены
Вступительные экзамены
Крупно-масштабные
исследования
Международные исследования
Национальные/региональные
мониторинги
Оценка на уровне школы
Внутриклассное оценивание
Внутришкольные мониторинги
Другие программы
Самооценка школы
…
B. Виды решений
C. Кто принимает
решения?
D. Кто использует результаты?
На ком сказываются решения?
Общероссийская система оценки
качества образовани
[email protected]
WWW.RTC-EDU.RU
Базисные вопросы ОСОКО
на примере школьного образования
1) Какие образовательные результаты демонстрируют
школьники? Какова их динамика?
2) Какой вклад в эти результаты вносит школа?
3) Какие факторы определяют качество школьного
образования?
4) Какие
оценочные
процедуры
необходимо
использовать?
5) Каким образом следует использовать результаты
оценочных процедур?
РАЗВИТИЕ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА
ОБРАЗОВАНИЯ
Система ОКО в ключевых правительственных документах:
Закон «Об образовании в Российской Федерации»
Федеральная целевая программа развития
образования
Государственная программа
«Развитие образования» на 2013-2020 гг.
Международные
исследования
1991-2013
Международные
исследования + ЕГЭ
2001-2013
Международные
исследования +
ЕГЭ (ГИА) +
мониторинговые
исследования
2014 - …
Процедуры оценки образовательных достижений в РФ
Экзамен
выпускной
Экзамен
вступительный
Национальные
мониторинги
Единый
государственный
экзамен,
11 класс
Государственная
итоговая аттестация,
9 класс
Единый
государственный
экзамен,
11 класс
В стадии апробации:
Готовность к обучению в начальной школе
(1 класс)
Оценка качества начального образования
(4 класс)
Диагностика читательской грамотности (59 классы)
Оценка ИК-компетентности учащихся (9
класс)
Международ.
срав. исследов.
PISA, TIMSS,
PIRLS, ICCS,
ICILS, …
+
ОЦЕНКА НА УРОВНЕ ШКОЛЫ
Внутриклассное оценивание
(много контроля, мало обратной связи,
«вычитательный» принцип оценивания)
Оценка индивидуального прогресса
(инициативные проекты SAM, Дельта,
мониторинг обр. достижений в нач. школе)
ОСОКО завтра
ГОСУДАРСТВЕННАЯ ПРОГРАММА РОССИЙСКОЙ ФЕДЕРАЦИИ
«РАЗВИТИЕ ОБРАЗОВАНИЯ» на 2013-2020 годы
В общем образовании планируются следующие мероприятия:
• Подготовка кадров в области оценки качества образования.
• Разработка и экспертиза контрольно-измерительных материалов.
• Участие в международных исследованиях качества образования.
• Проведение федеральных и региональных мониторингов качества
образования и социализации.
• Независимые оценки с участием общества (общественные рейтинги, соц.
навигаторы, учёт мнения потребителей, привлечение негосударственных
организаций и независимых экспертов).
ОСОКО завтра. Оценка образовательных достижений
Государственные
экзамены
Национальные
мониторинги
Международ.
срав. исследов.
Единый
государственный
экзамен,
11 класс
Государственная
итоговая аттестация,
9 класс
Готовность к обучению в начальной школе (1 класс)
Централизованный
мониторинг
образовательных
достижений учащихся начальной и основной школы (4, 6, 8
классы)
Мониторинг готовности учащихся основной школы (9 класс)
к выбору образовательной и профессиональной траектории
Мониторинг социализации молодёжи в возрасте 16 лет.
PISA, TIMSS, PIRLS,
ICCS, ICILS,
TALIS, ECES
+
ОЦЕНКА НА УРОВНЕ ШКОЛЫ
Внутриклассное оценивание (разнообразные
инструменты, критериальное оценивание,
«накопительный» принцип оценивания)
Оценка индивидуального прогресса
ОСОКО завтра. Процедуры ОКО: экзамены и мониторинги
ЦМОД – Централизованный мониторинг обр. достижений в соответствии с ФГОС
М1 – мониторинг готовности (9 кл.), М2 – мониторинг социализации (16-летние)
Готовность
к школе
ЦМОД
ЕГЭ
ГИА
М1
1
2
3
PIRLS
TIMSS
4
5
6
7
TIMSS
ICCS
ICILS
8
9
10
PISA
11
М2
Штрихи к «идеальному» портрету федерального
мониторинга образовательных достижений школьников
• Инструментарий. Стандартизированные измерительные материалы и анкеты
для сбора контекстных данных.
• Охват. Репрезентативные федеральная и региональные выборки.
• Участники. Учащиеся 4, 6, 8 классов.
• Периодичность. 1 раз в 3-5 лет.
• Содержание оценки. личностные, метапредметные, предметные результаты
(по математике, русскому языку постоянно и ряду других предметов
периодически).
• Использование результатов. Для оценки результатов деятельности
образовательных систем и принятия управленческих решений на разных
уровнях системы образования. Без последствий для школ и учителей.
Ближайшая тактическая задача по введению
мониторингов качества образования в России
Необходимо обеспечить переход от конкурсных и проектных
механизмов (ФЦПРО) в организации оценочных процедур к их
стабильному
проведению
уполномоченными
профессиональным организациями.
Конкурсные механизмы финансирования позволили разработать и
апробировать некоторые образцы инструментария мониторинга.
Для создания системы федеральных мониторингов и ведения их в
практику на постоянной основе необходимо вводить работы по
проведению конкретных мониторингов в функционал конкретных
организаций.
Оценка деятельности общеобразовательных
организаций
1.
Независимая система оценки качества работы
организаций, оказывающих социальные услуги.
Постановление Правительства РФ от 30.03.2013 №286
Приказ Минтруда РФ от 24.05.2013 №217
2. Самообследование
организации.
(самооценка)
образовательной
Приказ Министерства образования и науки РФ от 14 июня 2013 г. № 462
Ваши вопросы
[email protected]
WWW.RTC-EDU.RU