Начальное образование», предмет «Русский язык»

Аналитические материалы по результатам апробации аттестационных
педагогических измерительных материалов, специальность «Начальное
образование», предмет «Русский язык» (руководитель группы разработчиков
Матвеева М.А. г. Пенза).
Внутренняя валидность
аттестационных педагогических измерительных материалов.
В апробации контрольно-измерительных материалов по русскому языку
участвовали студенты Пензенского многопрофильного педагогического колледжа, в
общей сложности 20 человек.
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМов по русскому языку состоит из трех разделов: «КИМ –
программы», «КИМ – задания, представленные в логике проведения урока», «КИМ
– инструменты оценки». Каждый раздел КИМ состоит из трех уровней,
отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный,
конструктивный.
предложенных
Задания репродуктивного уровня предполагают выбор из
двух
вариантов
однозначно
верного
решения.
Задания
рефлексивного уровня направлены на нахождение верного решения из 3-4
вариантов,
причем каждый комплект вариативен (содержит разное количество
верных и неправильных решений, в том числе фрагмент–дистрактор, который
задаче соответствует формально). Задания конструктивного уровня предполагают
проверку применения умений на практике – самостоятельного выполнения задания
КИМ.
Цель первого раздела «КИМ – программы» - оценить знание студентами
требований Федерального государственного образовательного стандарта начального
общего
образования
к
результатам
освоения
основной
образовательной
программы начального общего образования и к рабочим программам отдельных
учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 100% участников.
2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 70% участников; выполнили
задание более чем на 50% баллов – 15% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 90% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 25% участников; выполнили задание
более чем на 50% баллов – 5% участников; выполнили задание неверно (0 баллов) –
5% участников. Типичные ошибки и недочеты при выполнении данного уровня:
- отсутствие знаний по классификации УУД;
- формальное указание универсальных учебных действий;
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
90%
70%
25%
максимальным 100%
Выполнили более чем на 50% баллов
0%
15%
5%
Выполнили неверно – 0 баллов
0%
0%
5%
Цель раздела 2 «КИМ – задания, представленные в логике проведения урока»
- оценить глубину понимания студентами способов формирования универсальных
учебных действий в заданиях уроков различного типа (постановки учебной задачи;
поиска общего способа действия и моделирования; контроля; оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
поставленной
задаче
формирования
УУД,
и
аргументировать свой выбор.
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 65%
участников; выполнили задание более чем на 50% баллов – 20% участников;
выполнили задание неверно (0 баллов) – 0% участников.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (13 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 40% участников; выполнили задание
неверно (0 баллов) – 0% участников. При выполнении заданий данного уровня
студенты не учитывали наличие фрагмента–дистрактора (провокации), что говорит
о недостаточной сформированности у них рефлексивного контроля.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 80% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 5% участников; выполнили задание
неверно (0 баллов) – 35% участников. Наиболее трудными для выполнения
оказались задания из этапов моделирования, контроля и оценки уроков (в
сконструированных студентами заданиях функции контроля и оценки лежат на
учителе, что блокирует формирование соответствующих УУД у учащихся; либо
задания направлены на уровень усвоения знаний: рефлексивный контроль –
«применять полученные знания»).
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
100%
80%
0%
0%
максимальным 65%
Выполнили более чем на 50% баллов
20%
40%
5%
Выполнили неверно – 0 баллов
0%
0%
35%
Раздел 3
«КИМ – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую; насколько включает учащихся в самостоятельную
оценочную деятельность.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД).
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (4 балла) – 35% участников;
выполнили задание более чем на 50% баллов – еще 40% участников; выполнили
задание неверно (0 баллов) – 5% участников. Типичные ошибки и недочеты при
выполнении данного уровня: отсутствие аргументации выбора.
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 90% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 25% участников;
выполнили задание более чем на 50% баллов – еще 15% участников; выполнили
задание неверно (0 баллов) – 10% участников. Типичные ошибки и недочеты при
выполнении данного уровня: прежде всего, неверное определение формируемого на
уроке
универсального
учебного
действия;
часто
вместо
метапредметного
определяется предметный результат, что ведет к неправильному выбору карточки.
Несколько студентов не аргументируют свой выбор, хотя он сделан верно.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 55% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
0% участников; выполнили задание неверно (0 баллов) – 45% участников. Типичные
ошибки и недочеты при выполнении данного уровня: студенты не могут определить
формируемое универсальное учебное действие; не понимают, что такое инструмент
оценки сформированности УУД; инструмент оценки направлен на оценивание ЗУН.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
90%
55%
25%
0%
максимальным 35%
Выполнили более чем на 50% баллов
40%
15%
0%
Выполнили неверно – 0 баллов
5%
10%
45%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМы-программы»).
Гораздо
более
сложными
оказались
задания,
ориентированные на практические умения (раздел «КИМы-задания»). И совершенно
незначительный процент справился с конструированием контрольно-оценочных
инструментов для универсальных учебных действий. На настоящий момент это
наиболее актуальная проблема введения ФГОС.
Внешняя валидность
аттестационных педагогических измерительных материалов.
Заключение о внешней валидности аттестационных материалов можно
сделать, сравнивая успеваемость студентов по методике преподавания русского
языка с результатами выполнения КИМов, т.е. определяя меру соответствия
тестовых оценок уровню теоретической и практической подготовки выпускников,
их общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС :
- участники, набравшие максимальное количество баллов (42 и 41) успевают
на «отлично»;
- участники, выполнившие все разделы КИМов с результатами 40-35 баллов,
успевают на «4» и «5» (60% - «5», 40% - «4»);
- участники, выполнившие все разделы КИМов с результатами 34-20 баллов,
успевают на «4» и «3» (20% - «3», 80% - «4»);
-
участники,
выполнившие
задания
на
19-13
баллов,
успевают
на
«удовлетворительно».
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 85% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
служит одним из показателей надежности КИМов. Как пример, в таблице
приведены результаты нескольких студентов:
КИМы-программы
КИМы-задания
КИМы-инструменты
оценки
1урове
нь
(max
3балла
2урове
нь
(max
4б)
3урове
нь
(max
4б)
1урове
нь
(max
10б)
2урове
нь
(max
13б)
3урове
нь
(max
16б)
1урове
нь
(max
4б)
2урове
нь
(max
3б)
3урове
нь
(max
4б)
Полторацкая
Ю.
100%
100%
Более
50%
100%
Более
50%
Более
50%
100%
100%
Более
50%
Смолянинова
Е.
Более
50%
Менее
50%
0%
Более
50%
Менее
50%
0%
Менее
50%
Менее
50%
0%
Полякова М.
100%
50%
Не
присту
пила
100%
Более
50%
Не
присту
пила
Более
50%
Менее
50%
Не
присту
пила
Не все студенты приступили к выполнению заданий разного уровня
сложности. Это обусловлено, возможно, большим объемом заданий
(либо
недостаточным временем на их выполнение); а также свидетельствует о надежности
контрольно-измерительных
материалов
(нарастающей
трудности
репродуктивного к конструктивному уровню).
КИМы -
КИМы - задания
КИМы –
от
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Приступили к
выполнению
Репродуктивный уровень
программы
инструменты оценки
100%
100%
90%
100%
100%
80%
100%
90%
55%