статья Мамонтовой о мониторинге достижений

Автор: Мамонтова М.Ю.
Мониторинг качества учебных достижений учащихся
начальной школы на основе технологии массового
тестирования и статистических методов контроля и
управления качеством
Среда, 04 Май 2011 Написано Мамонтова М.Ю.
Автор статьи знакомит российского читателя с инновационным проектом,
позволившим усовершенствовать систему управления качеством
общеобразовательной подготовки учащихся начальной школы на школьном и
муниципальном уровне путем внедрения технологии мониторинга на основе
массового тестирования и статистических методов контроля и управления
качеством. Автор раскрывает задачи, на решение которых направлена
инновация, критерии оценивания результатов и содержание проекта.
Author of the article introduces an innovative project which allowes to improve the
quality management system of general education elementary school students at the
school and municipal level through the introduction of monitoring technology on the
basis of mass testing and statistical methods and quality management. The author
reveals the problem addressed by the innovation, the criteria for evaluating results and
the content of the project.
Журнал: "Инновационные проекты и программы в образовании" №2/2011
Раздел: ФГОС второго поколения, стр. 14-17
Мамонтова М.Ю.
Мониторинг качества учебных достижений
учащихся начальной школы на основе
технологии массового тестирования и
статистических методов контроля и
управления качеством
Как совершенствовать систему управления
качеством общеобразовательной подготовки
учащихся начальной школы на школьном и
муниципальном уровне?
Цель инновации: совершенствование системы управления качеством
общеобразовательной подготовки учащихся начальной школы на школьном и
муниципальном уровне путем внедрения технологии мониторинга на основе
массового тестирования и статистических методов контроля и управления
качеством.
Задачи, на решение которых направлена инновация:
1. Разработка технологии мониторинга качества учебных достижений учащихся
начальных
классов
на
трех
уровнях
–
индивидуальном
(учащийся),
институциональном (школа, класс) и муниципальном.
2. Разработка
статистических
процедур
изучения
влияния
школьных
и
учительских факторов на качество учебных достижений учащихся.
3. Разработка и реализация программы поэтапной апробации и внедрения
технологии мониторинга в образовательных учреждениях и муниципальном
органе управления образованием.
4. Разработка и апробация процедур статистической обработки результатов
мониторинга с целью оценки состояния результатов обучения младших
школьников,
выявления
тенденций
изменения
качества
подготовки
школьников, выявления проблем в качестве обучения и прогнозирования
качества результатов.
5. Разработка форм представления результатов мониторинга и типовых схем
принятия решений об изменениях в учебном процессе и планировании
качества на основе информации о факторах, оказавших влияние на
результаты обучения школьников, для учителя, заместителя руководителя
образовательного учреждения, специалиста органа управления образования
по вопросам качества, методистов.
6. Повышение
проекта
квалификации
(учителя
образовательных
педагогических
начальных
учреждений,
классов,
работников
школ-
заместители
специалисты
органа
участниц
руководителей
управления
образованием, методисты) по вопросам управления качеством образования
(освоение современных методов оценивания результатов обучения –
тестирование, мониторинг; современных подходов к управлению качеством
образования – аттестация, мониторинг, бенчмаркинг и т.п.).
Результаты инновации:
{mosregread}Реализация
инновационного проекта позволила усовершенствовать
систему оценки качества образования на институциональном и муниципальном
уровнях за счет:
1. внедрения в систему внутришкольного контроля и муниципальную систему
оценки качества технологии мониторинга на единой информационной основе
и использовании статистических методов контроля и управления качеством;
2. внедрения в процедуры принятия управленческих решений статистических
методов изучения влияния школьных и учительских факторов на качество
учебных достижений учащихся;
3. внедрения процедур статистической обработки результатов мониторинга,
позволяющих систематически оценивать состояние результатов обучения
младших школьников, выявлять тенденции изменения качества подготовки
школьников, выявлять проблемы в качестве обучения и прогнозировать
качество результатов;
4. внедрения
наглядных
и
удобных
форм
представления
результатов
мониторинга и типовых схем принятия решений об изменениях в учебном
процессе и планировании качества для учителя, заместителя руководителя
образовательного учреждения, специалиста органа управления образования
по вопросам качества, методистов;
5. повышения уровня контрольно-аналитической деятельности педагогических
работников, освоивших новые методы оценивания результатов обучения
(тестирование),
современные
методы
информационного
обеспечения
управления качеством образования (мониторинг), простые статистические
методы контроля и совершенствования деятельности.
Критерии оценивания результатов инновации:
1. увеличение доли учителей начальных классов, использующих в своей
практике современные методы оценивания результатов обучения;
2. создание
в
образовательных
учреждениях
аналитических
групп
по
проблемам контроля и управления качеством обучения (аналог «кружков
качества» на предприятиях), включающих учителей начальной и основной
школы, методистов;
3. создание
в
муниципалитете
сообществ
школ
и
учителей
в
целях
совершенствования собственной деятельности на основе выявления лучшего
опыта (постепенное внедрение технологии бенчмаркинга);
4. использование
в
школах
результатов
систематических
массовых
обследований школьников для планирования качества общеобразовательной
подготовки школьников, для организации классов при переходе в основное
звено школы.{/mosregread}
Содержание инновации
В последнее десятилетие в российском образовании значительное внимание
уделяется
проблемам
качества
обучения
школьников.
Интенсивно
разрабатываются теоретические и методологические основы оценки и управления
качеством. Образовательные учреждения включаются в процессы разработки и
внедрения систем менеджмента качества на основе международных стандартов
ISO1.
Развитие российской системы оценки качества образования в последние годы во
многом связано с внедрением технологии массовых обследований. Примером
тому может быть единый государственный экзамен, государственная итоговая
аттестация выпускников основной школы, массовое тестирование студентов
профессиональных учебных заведений (федеральный Интернет-экзамен в сфере
профессионального образования). По итогам таких обследований формируются
огромные массивы данных, на основе которых практики осуществляют мониторинг
состояния объектов управления – результатов обучения, учебного процесса и
условий, в которых этот процесс осуществляется. Как показывает анализ
публикаций, посвященных теории и практике подобных исследований, особое
внимание авторы уделяют, в основном, решению задач фиксирования состояния
исследуемых объектов в заданные моменты времени и определения отклонений
этих состояний от определенных заранее норм и эталонов. Задачи
сравнительного анализа в целях выявления лучшего опыта педагогов и
образовательных учреждений, в целях прогнозирования и планирования
качества практически не ставятся и не решаются.
{mosregread}Массовые
обследования
в
форме
тестирования
проводятся
преимущественно в основной и старшей школе. В начальном звене школы
тестовые технологии еще не нашли широкого применения. Вместе с тем, в
условиях введения федеральных государственных стандартов нового поколения
такие обследования становятся актуальными.
Интеграция технологий педагогического тестирования с современными
информационно-коммуникационными технологиями и статистическими методами
контроля качества значительно расширяет возможности использования массовых
обследований школьников в системах оценки качества учебных достижений.
Особенно востребованными становятся системы мониторинга качества обучения,
охватывающие различные уровни управления учебным процессом – учительский,
институциональный (школьный), муниципальный. К преимуществам таких систем
следует отнести единые теоретические и технологические подходы к разработке и
использованию инструментария массового обследования2. Разрабатывается
единая для всех школ система показателей качества результата обучения,
учебного процесса и условий, используются централизованно разработанные
контрольно-измерительные материалы и процедуры тестирования, сбора и
статистической обработки данных на основе систематически пополняемой базы
данных. Мониторинг обеспечивает информационную преемственность между
уровнями управления образовательным процессом, сопоставимость и
сравнимость получаемых данных, повышая объективность информации,
используемой в управлении и, как следствие, степень управляемости
педагогических систем и т.д.
В рамках данного проекта решается задача совершенствования системы контроля
качества учебных достижений учащихся начальных классов в школе и
муниципалитете путем внедрения современных тестовых технологий оценивания,
современных информационных технологий управления (мониторинг) и
статистических методов контроля и управления качеством.
Проект был реализован в 2005-2010 годах в двух муниципальных образованиях
Свердловской области – в Новоуральском городском округе и Чкаловском районе
г.Екатеринбурга. В массовом эксперименте приняли участие практически все
учителя начальных классов и все учащиеся начальной ступени 41
образовательного учреждения.
Под мониторингом качества учебных достижений понимается комплексная
система наблюдения за состоянием и изменениями результатов обучения, их
оценки и прогноза. Объектами мониторинга являются учебные достижения
обучающихся, учебный процесс и условия, в которых этот процесс
осуществляется.
Для описания состояния объектов мониторинга использован квалиметрический
подход. Качество объектов в квалиметрии рассматривается как совокупность
характеристик
объекта,
позволяющих
удовлетворять
предполагаемые
потребности. Планируемое качество результатов обучения представлено в
государственном образовательном стандарте и программах обучения в виде
требований к подготовке учащихся. Планируемое качество рассматривается нами
как совокупность задач, решать которые должен уметь учащийся на
определенном этапе обучения. Качество результата обучения также
представлено совокупностью задач, которые смог решить учащийся в ходе
проверки.
Важным компонентом мониторинга являются нормы качества, представленные в
государственных образовательных стандартах программах обучения в начальной
школе. Критерием оценивания является степень соответствия целям, задачам,
требованиям, нормам.
Первичные данные о результатах обучения получаются в ходе массового
тестирования, проводимого в конце учебного года в каждой параллели учащихся
по основным дисциплинам во всех школах муниципалитета одновременно.
Для описания качества результата обучения на разных уровнях используются
разные модели, отражающие количественную и содержательную стороны
результата.
Индивидуальный результат обучения представлен разными показателями профилем результатов решения всех задач теста, сырым тестовым баллом,
относительным тестовым баллом, стандартизированным показателем положения
индивидуального результата относительно среднего показателя по классу, школе
и муниципалитету. Также определяется уровень подготовки учащегося,
характеризуемый совокупностью задач, которые учащиеся с данным уровнем
способны решить. Разные уровни подготовки учащихся характеризуются разными
«наборами» задач и структурой знаний. Для оценки качества результата строится
таксономическая шкала. Индивидуальный результат относится к одному из
квалитаксонов, характеризуемых разными совокупностями задач и определенным
типом структуры знаний.{/mosregread}
Для описания и оценки результатов проверки для класса, параллели используется
средний балл, и распределение учащихся по уровням подготовки
(квалитаксонам). Аналогичные показатели используются для характеристики
результатов обучения школы. Важно, что при описании результатов каждой
школы и каждого класса выделяются группы школ и классов (а вместе с ними и
учителей), результаты которых сопоставимы, статистически значимо выше и ниже
результатов конкретной школы и класса. Группы школ и классов со сходными
результатами подвергаются анализу – выявляется сходство и различие в
качестве учебного процесса и условий, приводящие к качественно различным
результатам обучения.
Качество учебного процесса представлено системой методов, средств и приемов,
используемых учителем при обучении учащихся конкретного класса по конкретной
дисциплине (математика, русский язык, чтение). Для изучения качества учебного
процесса и условий используются специально разработанные анкеты для
учителя. Условия представлены рядом характеристик учебного заведения (вид,
кадровый потенциал, материально-технические условия и др.). В ходе
совместного статистического анализа данных тестирования и анкетирования
изучается влияние разных факторов на качество результата обучения. Для
изучения влияния различных факторов на качество результатов обучения
используются стохастические модель и методы структурно-типологического
анализа. Результаты анализа позволяют сформировать типовые варианты
управленческих решений об изменениях в учебном процессе.
По итогам нескольких этапов мониторинга определяются тенденции в изменениях
качества подготовки учащихся разных классов и школ. Выделяются группы школ и
классов с разными тенденциями – стабильный рост качества (увеличение доли
учащихся в верхних квалитаксонах в течение нескольких лет наблюдения),
стабильное ухудшение качества (увеличение доли учащихся в нижних
квалитаксонах), неизменный уровень качества (сохранение распределения
учащихся по квалитаксонам), нестабильное качество. Выявленные тенденции
также соотносятся с характеристиками учебного процесса и условий и позволяют
делать прогнозы относительно качества результатов.
Учет характера управляющих воздействий различных факторов на результат
позволяет формировать «типовые» управленческие решения относительно
управления качеством результата обучения, учебного процесса и условий.
Наряду с оценочной функцией мониторинг выполняет ряд других функций контрольно-наблюдательную, прогностическую, информационную и социальную.
Контрольно-наблюдательная функция мониторинга связана с контролем за
реализацией прав граждан на получение качественного образования в
соответствии с требованиями ГОС, прогностическая – с возможностью строить
прогнозы относительно качества результатов с учетом комплекса факторов и
знания закономерностей их влияния на качество, информационная – с созданием
единой базы данных мониторинга и организацией доступа к ней различных
субъектов мониторинговой деятельности, социальная – с предоставлением
информации различным участникам учебного процесса, заинтересованным в
информации о качестве предоставляемых образовательным учреждением
образовательных услуг.
{mosregread}За
время реализации проекта в 2005-2010 годах разработана технология
проведения мониторинга качества учебных достижений учащихся начальных
классов на уровне муниципального органа управления образованием (тесты для
массового обследования учащихся по дисциплинам федерального компонента
базисного учебного плана - русскому языку, математике и чтению,
организационная схема проведения мониторинга, электронные формы сбора
первичных данных), разработана и поэтапно реализована программа мониторинга
в образовательных учреждениях и МОУО. Проведены массовые обследования
учащихся 1-4 классов по математике, русскому языку и чтению. В массовом
исследовании сочетаются два экспериментальных плана – лонгитюдный
(наблюдение за достижениями одной и той же выборки учащихся на протяжении
всего времени обучения в начальной школе) и срезовый (сравнительное
исследование качества подготовки учащихся в разные годы и на одних и тех же
параллелях).
Реализация инновационного проекта позволила усовершенствовать систему
оценки качества образования на институциональном и муниципальном уровнях за
счет:

внедрения в систему внутришкольного контроля и муниципальную систему оценки
качества
технологии
мониторинга
на
единой
информационной
основе
и
использовании статистических методов контроля и управления качеством;

внедрения в процедуры принятия управленческих решений статистических
методов изучения влияния школьных и учительских факторов на качество
учебных достижений учащихся;

внедрения
процедур
позволяющих
статистической
систематически
обработки
оценивать
результатов
состояние
мониторинга,
результатов
обучения
младших школьников, выявлять тенденции изменения качества подготовки
школьников, выявлять проблемы в качестве обучения и прогнозировать качество
результатов;

внедрения наглядных и удобных форм представления результатов мониторинга и
типовых схем принятия решений об изменениях в учебном процессе и
планировании качества для учителя, заместителя руководителя образовательного
учреждения, специалиста органа управления образования по вопросам качества,
методистов;

повышения
уровня
контрольно-аналитической
работников,
освоивших
новые
методы
деятельности
оценивания
педагогических
результатов
обучения
(тестирование), современные методы информационного обеспечения управления
качеством образования (мониторинг), простые статистические методы контроля и
совершенствования деятельности.
Основная форма представления результатов мониторинга – ежегодные
аналитические записки (доклады) о состоянии, тенденциях, проблемах и
прогнозах качества результатов обучения.{/mosregread}
Основными пользователями информации являются лица, принимающие решения
на разных уровнях управления системой образования, родители, учащиеся,
общественность.
В целях повышения эффективности инновационной деятельности учителей школ
и специалистов МОУО по внедрению технологии мониторинга качества учебных
достижений во внутришкольную и муниципальную системы оценки были
проведены курсы повышения квалификации педагогических работников школучастниц проекта (учителя начальных классов, заместители руководителей ОУ) по
образовательной программе «Педагогическое тестирование в системе оценки и
управления качеством образования». Развитию квалиметрической культуры
учителей и управленцев способствовало усвоение теоретических основ
педагогического тестирования, методики разработки и применения педагогических
тестов, освоение методов статистической обработки данных тестирования и
систематическое применение знаний и умений в практической деятельности.
Внедрение технологии мониторинга качества учебных достижений на основе
тестовых технологий позволяет оптимизировать контрольно-аналитическую
деятельность учителя, заместителя руководителя образовательного учреждения
по учебной работе, специалиста органа управления образования по вопросам
качества. Оптимизация осуществляется за счет использования единых
содержательных и технологических подходов, создания и систематического
пополнения единой базы данных результатов тестирования.
Предложенный вариант технологии позволяет успешно решить все задачи
мониторинга – систематически оценивать состояние подготовки учащихся по
предметам (промежуточная аттестация в конце года на уровне муниципалитета),
выявлять отклонения в подготовке учащихся от заданных норм и эталонов,
устанавливать причины отклонений (как положительных, так и нежелательных),
соотнося результаты с характеристиками учебного процесса. На основе данных,
получаемых в ходе систематических массовых обследований учащихся,
становится возможным выявление факторов, оказывающих значимое влияние на
качество подготовки школьников, выявление тенденций в работе школы и ее
результатах, а также статистическое прогнозирование результатов обучения
школьников.
В ходе реализации проекта в образовательных учреждениях увеличилось число
учителей начальных классов, использующих в своей практике современные
методы оценивания результатов обучения. По итогам регулярно проводимых в
ходе реализации проекта опросов учителей и заместителей руководителей
образовательных учреждений выявлено, что из 210 учителей, принявших участие
в проекте, 157 учителей к завершению проекта научились разрабатывать
неформальные педагогические тесты для текущего и тематического контроля
знаний учащихся, освоили технологии компьютерного тестирования учащихся с
использованием Интернет-технологии SaaS, осознали целесообразность
использования результатов массового обследования при планировании качества
будущих результатов обучения с помощью прогностических таблиц качества,
освоили современные методы совершенствования деятельности на основе
результатов статистического анализа.
Осуществление проекта привело к созданию в ряде образовательных учреждений
аналитических групп (такие группы функционируют сегодня во всех школах г.
Новоуральска) по проблемам контроля и управления качеством обучения (аналог
«кружков качества» на предприятиях), включающих учителей начальной и
основной школы, методистов.
Результаты мониторинга стали использовать в школах при решении проблем,
связанных с преемственностью обучения по линии дошкольные ОУ- начальная
школа – основная школа. Информация, получаемая в ходе мониторинга,
позволяет спланировать проведение адаптационных периодов с учетом
индивидуальных данных, формировать классы с учетом особенностей детей при
переходе из начальной школы в основную. Регулярное обсуждение результатов
мониторинга на семинарах и совещаниях привело к созданию в муниципалитете
сообществ школ и учителей в целях совершенствования собственной
деятельности на основе выявления лучшего опыта (постепенное внедрение
технологии бенчмаркинга). В практику работы школы стал входить анализ
результатов собственной деятельности в сравнении с результатами других школ.
Использование в школах результатов систематических массовых обследований
школьников способствует принятию более точных управленческих решений при
анализе результатов обучения и планировании качества общеобразовательной
подготовки младших школьников.
Проект, запланированный в начале как терминальный, изменил свой статус – стал
рассматриваться муниципалитетами как развивающийся. В настоящее время
ведется работа по подготовке и реализации аналогичных проектов для основной и
старшей школы.
Опыт внедрения в систему управления качеством общеобразовательной
подготовки учащихся технологии мониторинга на основе массового тестирования
и статистических методов контроля и управления качеством представляет
интерес для других муниципалитетов.
ЛИТЕРАТУРА
1. Бабий Е.А. Инновации сегодня – стандарт завтра // Муниципальное
образование: инновации и эксперимент. – 2010. – №5.
2. Белянина B.C. Инновационные формы организации методической работы в
развивающейся школе // Муниципальное образование: инновации и
эксперимент. – 2009. – №2.
3. Воровщиков С.Г. Внутришкольная система развития учебно-познавательной
компетентности учащихся // Муниципальное образование: инновации и
эксперимент. – 2010. – №1.
4. Гальковская И.В. Создание инновационной образовательной среды,
обеспечивающей развитие способностей обучающихся ко всем формам
продуктивной деятельности // Муниципальное образование: инновации и
эксперимент. – 2010. – №5.
5. Загвязинский В.И. Актуальные проблемы и перспективы развития
образовательной системы России // Муниципальное образование: инновации
и эксперимент. – 2010. – №5.
1
Белянина B.C. Инновационные формы организации методической работы
в развивающейся школе // Муниципальное образование: инновации и
эксперимент. – 2009. – №2.
2Загвязинский
В.И. Актуальные проблемы и перспек- тивы развития
образовательной системы России // Муниципальное образование:
инновации и эксперимент. – 2010. – №5.