Булатова У.А. Технология разработки измерительных

Семинар
«Мониторинговые исследования и их место в управлении образованием»
22-23 ноября 2012 года, г. Томск
СЕССИЯ 3
Технология разработки
измерительных материалов
Булатова Устинья Анатольевна
Старший научный сотрудник,
Кандидат биологических наук
Измерительные материалы
- это комплексные работы , состоящие из системы
заданий, и комплекта документов, определяющих
процедуру проведения, технологии обработки и
анализа результатов, предназначенные для
измерения уровня обученности или любых других
результатов образовательной деятельности.
Измерительные материалы
- 43 комплекта измерителей по 14 предметам:
русский язык (5, 6, 7, 8, 10)
математика (5, 6, 7, 8, 10)
география (6, 7, 8, 10)
физика (7, 8, 10)
биология (7, 8, 10)
химия (8, 10)
история (7, 8, 10)
обществознание (8, 10)
иностранные языки (5, 6, 7, 8, 10)
информатика (10)
ОБЖ (8) и другие…
- более 100 оригинальных вариантов в год
Измерительные материалы
Рабочие группы
(коллектив педагогов
по каждому предмету,
разработчики, эксперты)
Квалифицированные Тестологи
Измерительные
материалы
ОУ, участвующие
в апробации измерителей
и оценочных
мероприятиях
Сотрудники ЦОКО
(куратор,
тех. поддержка)
Разработка измерительных материалов
- осуществляется творческой рабочей группой
(ЦОКО организует деятельность рабочих групп)
Рабочая группа является открытой, в её состав входят:
- куратор (сотрудник ЦОКО, орг.-метод. обеспечение)
- руководитель рабочей группы
- разработчики
- эксперты
- тестологи
- все заинтересованные педагоги
Рабочие группы
Деятельность регламентирована двумя документами*:
1. Положение о рабочих группах
2. Порядок разработки и экспертизы измерительных
материалов
* Эти документы разработаны специалистами ЦОКО и утверждены Экспертным советом
ТОИПКРО
Учителя → → → → → → → Разработчики
Измерительные материалы
Виды контроля
Входной
Итоговый
Рубежный (Промежуточный)
Цикл разработки
измерительных материалов
Кодификатор
элементов
содержания
Кодификатор
умений
(требований)
Спецификация
Измерительные материалы
задание
задание
задание
задание
задание
задание
Измерительные материалы
Руководитель
рабочей группы
Предметная
экспертиза
Предметная
экспертиза
Тестологическая
экспертиза
Доработка измерителей и АПРОБАЦИЯ
Выверка заданий,
утверждение итоговых измерительных
материалов и шкалы
Разработчик
(Авторсоставитель)
Схемы разработки
Разработка измерителя
Разработка измерителя
Тестологическая экспертиза
Предметная экспертиза
Доработка измерителя
Доработка измерителя
Тестологическая экспертиза
Предметная экспертиза
Доработка измерителя
Тестологическая экспертиза
Доработка измерителя и апробация
Доработка измерителя и апробация
Экспертиза
Предметная
- содержание
- соответствие
спецификации
- трудность
- валидность
- параллельность
- дидактические единицы
- время выполнения
заданий
Тестологическая
- соответствие
тестологическим
правилам
- отсутствие громоздких
формулировок
- лаконичные
формулировки
- подбор дистракторов
Фасетная разработка
- по одному исходному оригинальному варианту
разрабатывается
несколько
параллельных
вариантов
- позволяет производить 4 варианта и более
из
одного
оригинального
задания
разрабатывается фасетный набор заданий
Измерительные материалы
Кодификатор элементов содержания
Кодификатор требований (умений)
-за основу были взяты кодификаторы ФИПИ, составленные на основе Обязательного минимума
содержания основных образовательных программ и Требований к уровню подготовки выпускников
основной и средней (полной) школы.
Спецификация
Измерительная работа (задания)
Ключи (ответы)
СПЕЦИФИКАЦИЯ
контрольных измерительных материалов для проведения регионального мониторинга
1. Назначение работы
2. Содержание итоговой работы
3. Характеристика структуры и содержания экзаменационной работы
Таблица 1. Распределение заданий по частям работы
Число
заданий
Максимальный
балл
Тип заданий
16
16
Задания с выбором ответа
8
16
Задания с кратким ответом на основе текста
24
32
4. Время выполнения работы
5. Дополнительные материалы и оборудование
6. Система оценивания отдельных заданий и работы в целом
7. План работы
План работы
№№
задания
Код и
наименование
раздела
Код и наименование
контролируемого элемента
содержания
Код
(и наименование)
контролируемого
умения
Максимальный
бал за
выполнение
задания
1
6. Эволюция
живой природы
6.3. Сходство человека с животными
и отличия от них. Биологическая
природа и социальная сущность
человека.
1.1
2.4
1
2
2. Клетка –
живая система
2.2 Строение клетки. Основные части
и органоиды клетки, их функции.
1.1
4.5
5.4
1
3
3. Организм –
живая система
3.1 Организм – единое целое.
Одноклеточные и многоклеточные
организмы. Ткани, органы, системы
органов многоклеточных животных и
растительных организмов.
1.1
4.5
6
2
Обсуждение и использование
результатов в разработке
- на заседаниях рабочих групп сразу после проведения
оценочных мероприятий (веера ответов, решаемость,
дистракторный анализ)
- на ежегодном региональном семинаре с участием
педагогов области, муниципальных координаторов и
руководителей ОУ
Решаемость
Часть
1
Задание
Макс.
балл
Вариант 1
Вариант 2
Вариант Все
Всего: 1956 чел.
Всего: 1890 чел.
Всего: 3846 чел.
Получили
больше нуля,
человек
Решаемость
задания,
%
Получили
больше нуля,
человек
Решаемость
задания,
%
Получили
больше нуля,
человек
Решаемость
задания,
%
1
1
1209
61,81
1178
62,33
2387
62,06
2
1
1073
54,86
1119
59,21
2192
56,99
3
1
1666
85,17
1658
87,72
3324
86,43
4
1
1121
57,31
1047
55,4
2168
56,37
5
1
1388
70,96
1370
72,49
2758
71,71
6
1
1515
77,45
1454
76,93
2969
77,2
7
1
1648
84,25
1594
84,34
3242
84,3
Веер ответов
Часть
Задание
1
1 (2)
2
20 (2)
Ответ
Балл за
ответ
Кол-во чел.
1
1
1317
2
0
298
3
0
195
4
0
122
холодный
2
1433
прохладный
2
71
0
65
холодны
2
1
холодныйпрохладный
2
1
горячий
0
16
холодрый
2
1
Спасибо за внимание
Булатова Устинья Анатольевна
кандидат биологических наук,
старший научный сотрудник ЦОКО ТОИПКРО
ust@ege.tomsk.ru
8 (38 22) 42 01 65
rtc.imerae@gmail.com
WWW.RTC-EDU.RU