Проект 09.03-002-п-Ф-192

Проект 09.03-002-п-Ф-192
Научно-исследовательская работа
«РАЗРАБОТКА СТРУКТУРЫ И МЕТОДИКИ
ФОРМИРОВАНИЯ ЕДИНОГО ФЕДЕРАЛЬНОГО БАНКА
ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ ДЛЯ ПРОЦЕДУР
КОНТРОЛЯ И ОЦЕНКИ КАЧЕСТВА ВЫСШЕГО И
СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ»
проводимая в рамках Задачи 3 Мероприятия 9
Подмероприятия 9.3 Федеральной целевой программы
развития образования на 2011-2015 годы
Цель проекта
Цель проекта - совершенствование процедур оценки
качества высшего и среднего профессионального
образования путем создания концепции и прототипа
единого федерального банка измерительных материалов
для комплексного обеспечения процедур оценки качества
ВПО и СПО.
Задачи проекта
1.
2.
3.
4.
5.
6.
7.
8.
Анализ практики использования измерительных материалов для
процедур контроля и оценки качества ВПО и СПО на федеральном и
региональном уровнях
Разработка типовых моделей проведения измерительных процедур
по оценке качества ВПО и СПО на основе единого федерального
банка измерительных материалов
Разработка типовых спецификаций КИМ для оценки качества ВПО и
СПО на основе единого федерального банка измерительных
материалов
Разработка моделей мониторинга и анализа на федеральном и
региональном уровнях результатов измерительных процедур по
оценке качества ВПО и СПО на основе единого федерального банка
измерительных материалов
Разработка концепции единого федерального банка измерительных
материалов для оценки качества ВПО и СПО
Разработка прототипа единого федерального банка измерительных
материалов для процедур оценки качества ВПО и СПО
Апробация концепции и прототипа единого федерального банка
измерительных материалов для процедур оценки качества ВПО и
СПО
Доработка концепции и прототипа единого федерального банка
измерительных материалов для оценки качества ВПО и СПО.
В рамках этапа I.1 анализ практики
использования измерительных материалов для
процедур контроля и оценки качества ВПО и
СПО на федеральном и региональном уровнях
• Проанализирована практика использования измерительных
материалов для процедур контроля и оценки качества
образования на федеральном и региональном уровнях в
системе высшего профессионального образования.
• Проведен анализ практики использования измерительных
материалов для процедур контроля и оценки качества
образования на федеральном и региональном уровнях в
системе среднего профессионального образования.
I.1.1. Анализ практики использования
измерительных материалов для процедур контроля и
оценки качества образования на федеральном и
региональном уровнях в системе высшего
профессионального образования.
•
•
•
Были проанализированы процедуры контроля и оценки качества
образования, проводимые в рамках осуществления
государственного контроля качества ВПО на федеральном и
региональном уровнях
Проведен анализ:
• нормативно-правовых аспектов проведения процедур контроля
и оценки качества ВПО;
• организационно-технологических моделей проведения процедур
контроля и оценки качества ВПО;
• практики использования контрольных измерительных
материалов (КИМ) для проведения процедур контроля и оценки
качества ВПО, в том числе, документы, регламентирующие
содержание и порядок разработки КИМ, практика разработки
КИМ на основе банков заданий;
• методики обработки, анализа и мониторинга результатов
процедур контроля и оценки качества ВПО;
Выделены достоинства и недостатки анализируемых процедур
контроля и оценки качества ВПО с учетом особенностей проведения
процедур для разных направлений подготовки специалистов ВПО.
I.1.2. Анализ практики использования
измерительных материалов для процедур контроля и
оценки качества образования на федеральном и
региональном уровнях в системе среднего
профессионального образования.
• Проанализированы процедуры контроля и оценки качества
образования, проводимые в рамках осуществления государственного
контроля качества СПО на федеральном и региональном уровнях
• Были проанализированы:
• нормативно-правовые аспекты проведения процедур контроля и
оценки качества СПО;
• организационно-технологические модели проведения процедур
контроля и оценки качества ВПО;
• практика использования контрольных измерительных
материалов (КИМ) для проведения процедур контроля и оценки
качества СПО, в том числе, документы, регламентирующие
содержание и порядок разработки КИМ, практика разработки
КИМ на основе банков заданий;
• методики обработки, анализа и мониторинга результатов
процедур контроля и оценки качества СПО;
• Выделены достоинства и недостатки анализируемых процедур
контроля и оценки качества СПО с учетом особенностей проведения
процедур для разных направлений подготовки специалистов СПО.
В рамках этапа I.2 Разработка типовых моделей
проведения измерительных процедур по оценке
качества ВПО и СПО на основе единого
федерального банка измерительных материалов
В частности были разработаны:
• Описание научно-методических подходов к оценке качества ВПО и
СПО на основе единого федерального банка измерительных
материалов
• Типовые регламенты процедур оценки качества ВПО и СПО на
основе единого федерального банка измерительных материалов.
I.2.1. Разработка научно-методических подходов к
оценке качества ВПО и СПО на основе единого
федерального банка измерительных материалов.
В ходе проведения исследований были разработаны научно-методические
подходы к оценке качества ВПО и СПО на основе единого федерального банка
измерительных материалов. Описание каждого из подходов включает:
• описание категорий участников процедур оценки качества ВПО и СПО (не
менее 3 категорий – испытуемые, организаторы в аудитории, организаторы
процедуры в целом);
• описание порядка действий участников процедур оценки качества ВПО и
СПО для каждой из категорий участников;
• описание общего порядка проведения процедур оценки качества ВПО и СПО;
• описание технологии проведения процедур оценки качества ВПО и СПО.
Было описано не менее 3 различных регламентов – для оценки состояния
системы образования, для оценки учреждения ВПО или СПО, для оценки
индивидуальных достижений обучающихся.
Типовые регламенты оценки качества ВПО и СПО были разработаны в
соответствии с научно-методическими подходами к оценке качества ВПО и СПО,
разработанными в соответствии с п. I.2.1.
Типовые регламенты оценки качества ВПО и СПО разработаны в соответствии
с законодательством Российской Федерации, в том числе, в соответствии с
нормативными актами.
I.2.2. Разработка типовых регламентов процедур
оценки качества ВПО и СПО на основе единого
федерального банка измерительных материалов
В разделе представлены 3 типовых регламента процедур оценки
качества ВПО и СПО, которые были разработаны в соответствии с
научно-методическими подходами к оценке качества ВПО и СПО,
разработанными в соответствии с разделом I.2.1.
Каждый типовой регламент процедур оценки качества ВПО и СПО
включает:
• описание категорий участников процедур оценки качества ВПО и
СПО, в том числе испытуемых, организаторов в аудитории,
организаторов процедуры в целом;
• описание порядка действий участников процедур оценки качества
ВПО и СПО для каждой из категорий участников;
• описание общего порядка проведения процедур оценки качества
ВПО и СПО;
• описание технологии проведения процедур оценки качества ВПО и
СПО.
В рамках этапа I.3 Разработка типовых структур КИМ
для оценки качества ВПО и СПО на основе единого
федерального банка измерительных материалов
Были разработаны:
• типовые кодификаторы КИМ для оценки качества ВПО и СПО
• типовые спецификации КИМ для оценки качества ВПО и СПО на
основе единого федерального банка измерительных материалов
I.3.1. Разработка типовых кодификаторов КИМ для
оценки качества ВПО и СПО
• Представленные в документе типовые кодификаторы сформированы
на основе требований Федеральных государственных
образовательных стандартов высшего и среднего
профессионального образования и могут служить основой
разработки спецификаций КИМ для оценки качества среднего и
высшего профессионального образования.
• Всего представлены материалы для разработки спецификаций КИМ
по 10 дисциплинам высшего профессионального образования и 8
дисциплинам среднего профессионального образования.
I.3.2. Разработка типовых спецификаций КИМ для
оценки качества ВПО и СПО на основе единого
федерального банка измерительных материалов
В разделе представлены типовые спецификации для разработки КИМ
по 10 дисциплинам высшего профессионального образования и 8
дисциплинам среднего профессионального образования. Они были
подготовлены на основе разработанных типовых кодификаторов
элементов содержания и требований к результатам освоения
соответствующих дисциплин
I.4 Разработка моделей мониторинга и анализа на
федеральном и региональном уровнях результатов
измерительных процедур по оценке качества ВПО и
СПО на основе единого федерального банка
измерительных материалов
В рамках исследования разработаны:
• алгоритмы обработки и представления результатов измерительных
процедур по оценке качества ВПО и СПО на основе единого
федерального банка измерительных материалов;
• регламенты мониторинга и анализа результатов измерительных
процедур по оценке качества ВПО и СПО на основе единого
федерального банка измерительных материалов.
I.4.1. Разработка алгоритмов обработки и
представления результатов измерительных
процедур по оценке качества ВПО и СПО на основе
единого федерального банка измерительных
материалов
• В рамках данного этапа были описаны алгоритмы обработки
результатов, формы статистических отчетов для мониторинга и
анализа результатов.
• Описаны 4 группы форм статистических отчетов:
• для оценки состояния системы образования,
• для оценки учреждения ВПО или СПО,
• для оценки индивидуальных достижений обучающихся,
• для использования при разработке КИМ на основе единого
федерального банка измерительных материалов).
• Разработаны модели представления форм статистики на
региональном и федеральном уровнях, позволяющая автономно
проводить анализ и мониторинг результатов группам пользователей,
описанным в п. I.2.1.
• В формах статистических отчетов выделены оцениваемые
параметры, описаны типовые критерии оценивания в соответствии с
подходами к интерпретации результатов процедур оценки качества
ВПО и СПО, описанными в п. I.2.1.
• Информация о результатах оценивания визуализирована при
представлении форм статистики.
• Представлено более 30 статистических форм.
I.4.2.Разработка регламентов мониторинга и анализа
результатов измерительных процедур по оценке
качества ВПО и СПО на основе единого
федерального банка измерительных материалов
•
•
•
Представлены четыре типовых регламента мониторинга и анализа
результатов измерительных процедур по оценке качества образования на
основе единого федерального банка измерительных материалов:
• для оценки состояния системы образования,
• для оценки образовательных учреждений,
• для оценки индивидуальных достижений обучающихся,
• для формирования КИМ на основе единого федерального банка
измерительных материалов.
Регламенты разработаны с учетом алгоритмов обработки и представления
результатов измерительных процедур по оценке качества ВПО и СПО на
основе единого федерального банка измерительных материалов.
Каждый регламент включает:
• общие положения, в том числе описание целей и задач анализа и
мониторинга результатов измерительных процедур по оценке качества
образования на основе единого федерального банка измерительных
материалов;
• описание групп пользователей, осуществляющих анализ и мониторинг
результатов;
• описание порядка доступа групп пользователей к информационным
ресурсам;
• рекомендации для групп пользователей.
В рамках этапа I.5 Разработка концепции единого
федерального банка измерительных материалов для
оценки качества ВПО и СПО
Разработаны:
• методика использования единого федерального банка
измерительных материалов для процедур контроля и оценки
качества ВПО и СПО;
• техническое задание на разработку единого федерального банка
измерительных материалов для процедур контроля и оценки
качества ВПО и СПО.
I.5.1. Разработка методики использования единого
федерального банка измерительных материалов для
процедур контроля и оценки качества ВПО и СПО
Представлена методика использования единого федерального банка измерительных
материалов для процедур контроля и оценки качества образования. Она была разработана
в соответствии с:
• описанием научно-методических подходов к оценке качества ВПО и СПО на основе
единого федерального банка измерительных материалов;
• описанием регламентов процедур оценки качества ВПО и СПО на основе единого
федерального банка измерительных материалов;
• описанием типовых структур проверяемых элементов для оценки качества обучающихся
в ОУ ВПО и СПО;
• описанием типовых спецификаций КИМ для оценки качества ВПО и СПО на основе
единого федерального банка измерительных материалов;
• описанием алгоритмов обработки результатов, форм статистических отчетов для
мониторинга и анализа результатов;
• описанием регламентов мониторинга и анализа результатов измерительных процедур по
оценке качества образования на основе единого федерального банка измерительных
материалов.
Описание методики использования единого федерального банка измерительных
материалов для контроля и оценки качества образования включает:
• описание групп пользователей, работающих с единым федеральным банком;
• описание основных операций, выполняемых с использованием единого федерального
банка, в том числе, операций хранения базы измерительных материалов, компоновки
КИМ, обеспечения проведения процедур оценки качества образования, хранения,
анализа и мониторинга результатов процедур оценки качества образования;
• описание информационных потоков и типов данных, используемых при выполнении
основных операций;
• описание технических требований к оборудованию и каналам связи при использовании
единого федерального банка измерительных материалов.
I.5.2. Разработка технического задания на
разработку единого федерального банка
измерительных материалов для процедур контроля и
оценки качества ВПО и СПО
• Техническое задание на разработку единого федерального банка
измерительных материалов для процедур контроля и оценки
качества образования было разработано в соответствии с
концепцией, разработанной в соответствии с п. I.5.1. и требованиями
ГОСТ 34.602-89. Проектная документация разрабатывалась с учетом
требований РД 50-34.698-90.
• Техническое задание описывает программный комплекс,
реализующий все элементы методики использования единого
федерального банка, разработанной в соответствии с п. I.5.1.
• В состав Технического задания в развернутом виде включены
основные аспекты разработки единого федерального банка
измерительных материалов для процедур контроля и оценки
качества образования, в т.ч. требования к функциональным
характеристикам, техническим средствам, требования к
совместимости и другие требования.
• Техническое задание на разработку единого федерального банка
измерительных материалов для процедур контроля и оценки
качества образования было направлено на утверждение в
Рособрнадзор
В рамках этапа I.6 Разработка прототипа единого
федерального банка измерительных материалов для
процедур оценки качества ВПО и СПО
Разработаны:
• прототип программного комплекса единого федерального банка
измерительных материалов для процедур контроля и оценки
качества ВПО и СПО
• контент прототипа программного комплекса единого федерального
банка измерительных материалов для процедур контроля и оценки
качества ВПО и СПО
I.6.1.Разработка прототипа программного комплекса
единого федерального банка измерительных
материалов для процедур контроля и оценки
качества ВПО и СПО
•
•
В автоматизированной системе единого федерального банка измерительных
материалов для процедур контроля и оценки качества образования
предусмотрены следующие функции:
• хранение отдельных тестовых заданий и сопроводительных материалов
к ним – ответов и решений, критериев оценивания, текстовых
документов и графических элементов – в привязке к пунктам
структурированного перечня (кодификатора);
• хранение текстовых и числовых параметров каждого тестового задания
(тестологических характеристик);
• компоновка комплектов тестовых заданий (экзаменационных вариантов)
в соответствии со спецификацией;
• печать экзаменационных вариантов;
• автоматизированное обновление тестологических характеристик
тестовых заданий на основании данных о результатах тестирования;
• поиск тестовых заданий по пунктам кодификатора и тестологическим
характеристикам.
Документация на автоматизированную систему единого федерального банка
измерительных материалов для процедур контроля и оценки качества
образования разработана в соответствии с перечнем наименований
документов, определенном в техническом задании и требованиями РД 5034.698-90 и ГОСТ 34.201.
1.6.2. Разработка контента прототипа программного
комплекса единого федерального банка
измерительных материалов для процедур контроля и
оценки качества ВПО и СПО
• Контент (наполнение) прототипа программного комплекса единого
федерального банка измерительных материалов представляет собой
набор отдельных заданий и сопроводительных материалов к ним:
ответы и решения, критерии оценивания;
• Измерительные материалы равномерно распределены по разделам
кодификаторов (п. I.3.1) и позволяет компоновку не менее 4
экзаменационных вариантов в соответствии с каждой из 6 типовых
спецификаций, разработанных в соответствии с п. I.3.2.
I.7 Апробация концепции и прототипа единого
федерального банка измерительных материалов для
процедур оценки качества ВПО и СПО
• Разработка инструктивно-методических материалов и компоновка
КИМ для проведения апробации
• Проведение процедур оценки качества ВПО и СПО в апробационном
режиме
I.7.1. Разработка инструктивно-методических
материалов и компоновка КИМ для проведения
апробации
• КИМ сформированы с использованием механизмов компоновки
экзаменационных вариантов, обеспечиваемых прототипом
программного комплекса единого федерального банка;
• сформировано по 4 варианта КИМ в соответствии с каждой из 6
типовых спецификаций (всего 24 варианта КИМ);
• составлен план апробации и инструктивные материалы для всех
участников апробации, включающие: цели апробации; перечень
функций и компонентов единого федерального банка измерительных
материалов для процедур контроля и оценки качества образования,
подлежащих апробации; условия проведения апробации; порядок
действий пользователей единого федерального банка
измерительных материалов для процедур контроля и оценки
качества образования, участвующих в апробации; порядок
регистрации результатов апробации и выявленных недостатков;
указание о форме представления результатов апробации.
I.7.2. Проведение процедур оценки качества ВПО и
СПО в апробационном режиме
В апробации концепции и прототипа единого федерального банка
измерительных материалов для процедур оценки качества ВПО и СПО
приняли участие образовательные учреждения высшего и среднего
профессионального образования из 10 субъектов РФ(Краснодарский
край, Красноярский край, Курганская область, Москва, Новосибирская
область, Омская область, Пермский край, Ростовская область,
Самарская область, Томская область;
В том числе: 11 учреждений ВПО и 12 учреждений СПО.
Общее количество участников – 413 в системе ВПО и 363 в системе
СПО.
На основе анализа замечаний и предложений, полученных от
учреждений ВПО и СПО, участвовавших в апробации, составлен
перечень предложений по доработке прототипа ЕФБИМ и методики
использования ЕФБИМ, включенные в настоящий перечень.
Заключительный этап I.8 Доработка концепции и
прототипа единого федерального банка
измерительных материалов для процедур оценки
качества ВПО и СПО
Предусматривал доработку:
• методики использования единого федерального банка
измерительных материалов для процедур контроля и оценки
качества ВПО и СПО;
• прототипа единого федерального банка измерительных материалов
для процедур контроля и оценки качества ВПО и СПО.
I.8.1. Доработка методики использования единого
федерального банка измерительных материалов для
процедур контроля и оценки качества ВПО и СПО
По результатам апробации была проведена доработка методики
использования единого федерального банка измерительных
материалов для процедур контроля и оценки качества ВПО и СПО.
I.8.2. Доработка прототипа единого федерального
банка измерительных материалов для процедур
контроля и оценки качества ВПО и СПО
По результатам апробации концепции и прототипа единого
федерального банка измерительных материалов для процедур оценки
качества ВПО и СПО, проводившейся в субъектах РФ, был составлен
перечень предложений по доработке.
На основании перечня предложений по доработке была произведена
доработка прототипа ЕФБИМ.
Изменения коснулись описания функций при использовании ЕФБИМ, в
состав которых включено проведение апробации тестовых заданий и
вариантов КИМ.
Изменения внесены:
• в программные коды прототипа ЕФБИМ;
• в документацию на прототип ЕФБИМ.