Стандартизированные формы оценки качества учебных

Стандартизированные формы
оценки качества учебных
достижений учащихся
Автор: Кандидат исторических наук, доцент
Кишенкова Ольга Викторовна
Условия повышения объективности оценки качества
образования
•
•
•
•
•
Становление принципиально новой образовательной
системы, задающей необходимость пересмотра всей
системы образования
Формирование национальной системы обеспечения
качества образования;
Разработка и совершенствование государственных
образовательных стандартов;
Реализация в штатном режиме Единого
государственного экзамена;
Внедрение в учебный процесс новых образовательных
технологий
Актуальность разработки стандартизированных
КИМ по курсам духовно-нравственной
направленности, ОРКСЭ
•
•
•
формирование общекультурной и гражданской
идентичности учащихся, обеспечивающих социальную
консолидацию в условиях культурного, этнического и
религиозного разнообразия российского общества.
необходимость сохранения единого образовательного
пространства, преемственности ступеней
образовательной системы
возрастание требований к коммуникационному
взаимодействию и толерантности членов
поликультурного общества, степени ответственности и
свободе личностного выбора, самоактуализацией.
Актуальность применения стандартизированных
КИМ (контрольно-измерительных материалов)
•
•
•
•
Позволяют объективно оценивать результаты;
Разрабатываюся единые для всех, что обеспечивает
унифицированные требования;
Соответствуют компетентностным методам преподавания
учебных дисциплин.
Тест становится не только механизмом контроля, но и способом
освоения предметных умений, знаний, навыков, освоения
опыта самостоятельного решения познавательных и
практических задач, позволяет педагогу организовать
совместную с учащимися познавательную деятельность, не
давая знания в готовом виде, а отыскивая их вместе в
учениками, процессе решения обучающих заданий.
Система курсов духовно-нравственного цикла
•
•
•
Основы религиозных культур и светской этики (4-5
классы) в составе модулей: Основы мировых
религиозных культур; Основы православной культуры,
Основы исламской культуры, Основы буддистской
культуры; Основы иудаистской культуры; Основы
светской этики;
Курсы в основной и старшей школе по выбору
(элективы):
Религиоведение, История мировых религий, Основы
духовно-нравственной культуры народов России,
Основы мировых религий и т.д.
Основы понятийного аппарата
предметной тестологии
•
•
•
•
Тест – набор заданий, составленный с целью проверки
определенных знаний, умений и навыков.
Прежде чем составить тест, нужно четко определить
объект проверки, что именно хочет проверить учитель.
Пример:
Проверить знание учащимися священных мест
основных мировых религий:
Примеры заданий
В каком из арабских городов находится главное культовое
сооружение мусульман – Кааба?
• 1) Медина; 2) Шарджа; 3) Мекка; 4) Агадир.
Главная святыня христиан – Гроб господень находится в
1) Назарете; 2) Вифлееме; 3) Натании; 4) Иерусалиме.
В каком из городов древней Иудеи, по преданию, родился
Иисус Христос?
1) Вифлееме; 2) Назарете; 3) Иерусалиме; 4) Галате.
Укажите священное место, где Моисею были явлены
священные заповеди иудеев.
1) Синай; 2) Фаюм; 3) Сидон; 4) Вавилон.
Классификация тестов по
целям:
• Входные (стартовая диагностика);
• Формирующие (в системе текущей
диагностики и освоения предметных
знаний и умений);
• Рубежные диагностические;
• Итоговые.
Специфика стартовой диагностики по
ОРКСЭ
• Отсутствует предыдущий этап обучения, можно
опираться только на знания и умения школьников,
полученные в ходе семейного воспитания и
образования, приобщения их к духовным традициям
своего народа;
• Носит мониторинговый характер и призвана выявить
первичные знания, представления учащихся по
курсу;
• Оценивание имеет качественный характер, тестовые
баллы не переводится на пятибалльную систему
оценок
Примеры заданий для стартовой диагностики
Какую религию исповедует большинство жителей России?
1) христианство; 2) ислам; 3) буддизм; 4) иудаизм.
В какой исторический период начинается утверждение ислама на
территории Северного Кавказа?
1) VII-VIII вв. 2) X-XI вв. 3) XIII-XIV вв. 4) XIX в.
Как называется священный для мусульман месяц, в течение которого
правоверные не должны принимать пищу и воду в дневное время?
1) Рамадан; 2) Умма; 3) Никях; 4) Джихад.
Культовое сооружение для мусульман, в котором совершается
богослужение называется
1) Дацан; 2) Минарет; 3) Мечеть; 4) Церковь
Примеры заданий для стартовой диагностики
Что из названного запрещено для правоверных мусульман?
1) употреблять спиртное; 2) курить кальян;
3) заниматься спортом; 4) употреблять в пищу птицу.
Как называется посещение мусульманами священных мест в арабских
городах Мекка и Медина?
1) Сура; 2) Фатиха; 3) Хадж; 4) Кааба.
Священная для мусульман книга, содержащая основы вероучения – это
1) Библия; 2) Коран; 3) Евангелие; 4) Пятикнижие.
Основателем ислама, пророком, открывшим правоверным Священный
Коран был
1) Али; 2) Мухаммед; 3) Муса; 4) Иса.
Особенности текущего, формирующего
тестирования
Текущее, формирующее тестирование может применяться
на каждом уроке.
Способы применения:
• в начале урока в качестве мотивации, введения в тему;
• в течение урока в ходе совместного решения с
учениками познавательной задачи;
• в конце урока в целях проведения первичного
закрепления, рефлексии изученного;
• в качестве домашнего задания для школьников, в том
числе задания по самостоятельной формулировке
тестовых заданий по изученной теме самими
учащимися.
Пример формирующего задания
Прочитайте фрагмент текста, каждое предложение которого
обозначено буквой:
• (А) Что означает слово «Бог» в русском языке и в других языках
славянского происхождения? (Б) Слово «Бог» родственно
санскритскому bhaga, что значит «одаряющий, наделяющий», в
свою очередь происходящему от bhagas — «достояние», «счастье».
(В) Слово «богатство» тоже родственно слову «Бог». (Г) В этом
выражено представление о Боге как полноте бытия, как
всесовершенстве и блаженстве, которые, однако, не остаются
внутри божества, но изливаются на мир, на людей, на всё живое.
(Д) Бог, согласно религии, одаряет, наделяет нас своей полнотой,
своим богатством.
Задания к тексту
Какое предложение отражает основную мысль фрагмента? Укажите
цифру, под которой отмечено буквенное обозначение этого
предложения.
1) А; 2) Г ; 3) Б; 4) В.
Укажите религиозную истину, в которой содержится осмысление
взаимосвязи, взаимозависимости между Богом и человеком.
1) признание Бога в качестве творца, создателя всего сущего в этом мире
2) убеждение в том, что человек способен к общению с Богом и вступает с
Ним в личностные отношения посредством этого общения
3) восприятие Бога как неизменного идеала добра, истины, красоты
4) признание постулата о совершенной, вечной жизни, отрицание
конечности человеческого существования
Пример формирующего задания
Важным элементом любой религии является вера.
Сущность ее заключается в том, что:
1) религиозные истины обязательно нуждаются в системе
рационально подобранных доказательств
2) необходимо постоянно подтверждать достоверность
религиозных истин экспериментами
3) существует уверенность в том, что не дано видеть и
познавать непосредственно, предполагается свободное
согласие человека с основами религиозных истин
4) вера непосредственно основывается на обобщении и
осмыслении практического жизненного опыта
Пример формирующего задания
Многие религии исходят из постулата о том, что человек – вершина
божественного творения, принципиально отличающаяся от других
существ и форм жизни. Так сказано об этом в Библии (Ветхом
Завете):
«И сказал Бог: сотворим человека по образу Нашему и по подобию
Нашему, и да владычествуют они над рыбами морскими, и над
птицами небесными, и над зверями, и над скотом, и над всею
землю, и над всеми гадами, пресмыкающимися по земле. И
сотворил Бог человека по образу Своему, по образу Божию
сотворил его; мужчину и женщину сотворил их… И стало так. И
увидел Бог всё, что Он создал, и вот, хорошо весьма. И был вечер, и
было утро: день шестой».
Задание к тексту:
В чем заключается главный смысл библейского толкования духовной
сущности человека?
1) Человек по своей природе относится к миру живых существ, а
посему подчиняется действию тех же закономерностей, что и
животные.
2) Человек сотворен по образу и подобию Божию, в нем содержится
божественная искра.
3) Человек не одинок в этом мире, его всюду окружает одушевленное, с
которым он генетически связан.
4) Человеческая сущность временна, он всего лишь часть процесса
вечного перерождения, характерного для мироздания.
Особенности рубежной диагностики
•
•
•
•
•
•
Рубежная диагностика проводится по мере изучения блока
предметных тем, к примеру, один раз полугодие;
В тест включаются элементы содержания, вызывающие
наибольшие проблемы у школьников;
Целесообразно включение заданий, плохо выполненных учащимися
в прошлые годы, для выявления динамики трудностей;
Треть включаемых в тест заданий разрабатываются на
повышенный уровень сложности, рассчитанный на выполнение не
менее 50% учащихся;
Тест является важным инструментом для определения уровня
качества знаний, то есть группы детей, успевающих по предмету на
«хорошо» и «отлично»;
При анализе результатов тестирования важно выявить характер
различий между уровнями подготовки учеников, какие именно
элементы содержания, какие умения и в каком объеме осваиваются
этими группами учащихся.
Разновидности тестов для
итогового контроля
• нормативно-ориентированные
(предназначенные для
дифференциации обучаемых по
уровню учебных достижений);
• критериально-ориентированные
(предназначенные для определения
уровня учебных достижений
относительно некоторого критерия)
Классификация тестов по содержанию
проверяемого материала
• Гомогенные тесты
•
(предназначены для контроля знаний по одной учебной
дисциплине);
• Гетерогенные тесты
•
(создаются по комплексу учебных дисциплин, как
метапредметные, для отработки общих учебных умений
и навыков)
Объекты проверки в системе тестового
контроля и диагностики
Традиционное понимание того что проверяется:
Знания. Умения. Навыки.
Однако в предметной тестологии эти понятия конкретизируются в
набор требований.
требования:
• усвоение понятийного аппарата изучаемой дисциплины;
• знание специфических фактов, событий, явлений;
• умение объяснять, обобщать, сравнивать, систематизировать
изученный материал;
• умение работать с информацией, помещенной на разных
носителях и т.д.
Этапы организации тестового
контроля
•
•
•
•
•
•
•
формулирование цели тестового контроля;
определение объема проверяемого содержания и
планирование содержания работы;
определение структуры теста (числа заданий, формы
заданий, уровня сложности заданий);
отбор или разработка тестовых заданий, их экспертная
оценка;
составление вариантов тестовой работы;
определение оценочной шкалы;
составление таблицы ответов и критериев оценивания.
Основные требования к
качеству тестов по ОРКСЭ
•
•
•
•
•
•
соответствие содержанию программе курса;
охват требований, предъявляемых к учащимся основной школы,
заложенных в ФГОС;
соответствие задачам формирования духовно-нравственной
культуры подрастающего поколения, принципам толерантности,
поликонфессиональности, гражданской идентичности;
выделение в первую очередь общекультурных аспектов, связей
религиозных традиций с укоренившимися в укладе жизни народа
обыкновениями, праздниками, бытом;
соответствие заданий возрастным особенностям учащихся;
отображение подходов и принципов, заложенных в
компетентостной парадигме образования.
Основной инструментарий для
создания предметного теста
•
•
•
•
•
•
•
Спецификация
Особый документ, который составляется для
проведения каждого теста.
Структура спецификации:
характеристика целей и задач проводимого
тестирования;
указание учебных программ, учебно-методических
комплектов, на основе которых разрабатывается тест;
подробное описание структуры и содержания теста,
количества включенных заданий, типа заданий, уровня
сложности;
указание времени выполнения теста
Пример составления целей тестирования
для стартовой диагностики
•
•
•
•
•
Выявление уровня остаточных знаний по предмету за
предшествующий год /этап обучения;
Проведение первичной диагностики класса в начале
учебного года;
Выявление характерных проблем и трудностей в
усвоении общеучебных и предметных умений
учащихся;
Выявление пробелов в уровне освоения основных
предметных тем с последующей корректировкой
тематического учебного плана;
Ознакомление учащихся с форматами заданий,
использующихся во внешних независимых
обследованиях (при аттестации и аккредитации ОУ, в
процессе проведения внешних мониторингов и т.д.).
Кодификатор как элемент формирования теста
•
•
•
кодификатор – перечень проверяемых знаний, умений и
навыков.
Кодификатор 1 содержит перечень КЭС
(контролируемых элементов содержания),
структурированных по тематическим разделам, блокам.
Составляется на основе перечня дидактических единиц,
содержащихся в документах Федерального
образовательного стандарта (2004 г.) или примерных
программах (ФГОС).
Кодификатор 2 формируется на основе обязательных
требований к подготовке выпускников, перечня
сформулированных в них познавательных умений.
Кодификатор КЭС для модуля «Основы мировых
религиозных культур»
№
Контролируемый элемент содержания (КЭС)
1.
Основы религиоведения
1.1
Духовные традиции и ценности российского народа.
1.2
Религия как форма культуры
1.3
Связь религии и искусства
2.
Исторические этапы развития религий
2.1
Возникновение религий. Древнейшие религиозные верования.
2.2
Становление мировых религий. Буддизм, христианство, ислам.
3.
Духовные основы религий
3.1
Священные книги. Веды, Авеста, Трипитака.
3.2
Священные книги: Библия, Тора, Евангелие, Коран
Кодификатор КЭС (продолжение)
№
Контролируемые элементы содержания
3.3
3.4
Особенности конфессиональной организации у христиан, мусульман и буддистов.
Церковь. Умма. Сангха.
Человек в системе ценностей мировых религий
3.5
Культовые сооружения и их особенности в различных религиях
3.6
Изобразительное искусство в мировых религиозных культурах
3.7
3.4
Нравственные категории и религиозные ценности. Моральный кодекс мировых
религий.
Особенности конфессиональной организации у христиан, мусульман и буддистов.
Церковь. Умма. Сангха.
Человек в системе ценностей мировых религий
3.5
Культовые сооружения и их особенности в различных религиях
3.6
Изобразительное искусство в мировых религиозных культурах
3.3
Кодификатор КЭС (продолжение)
№
Контролируемые элементы содержания
4.
Формирование конфессионального мира России
4.1
Христианизация Руси. Формирование Русской православной церкви.
4.2
Распространение ислама в России
4.3
Буддизм в России
4.4
Иудаизм в России
5.
Особенности религиозного культа традиционных конфессий России
5.1
Религиозные ритуалы, обычаи, обряды.
5.2
Паломничества и святыни.
5.3
Религиозные праздники и календари
Пример 1
Найдите причину, согласно которой в буддистском календаре
установился 12-ти летний «цикл животных».
1) Буддистские верования основаны на совпадении циклов годов и
количества месяцев в году.
2) Согласно буддистскому вероучению, только 12 животных пришли
проститься с Буддой перед его уходом и нирвану, и им было
даровано управление годами.
3) «12» - священное число у буддистов, по их мнению, именно за этот
период происходит качественное перерождение человека.
4) Колесо Перерождений (Сансара) содержит, согласно буддистской
традиции, 12 сегментов.
Согласно составленному нами кодификатору, данное задание соответсвует позиции 5.3, а
проверяемое умение можно определить как «распознавание характерных черт, признаков
изучаемых явлений».
Пример 2
Главная святыня для мусульман, священный черный
камень Кааба, располагается в арабском городе
1) Мекка
2) Багдад
3) Медина
4) Агадир
Согласно составленному нами кодификатору, данное
задание соответсвует позиции 5.2, а проверяемое
умение можно определить как «распознавание
характерных черт, признаков изучаемых явлений».
Пример 3
Каким термином мусульмане называют важнейшее для них
паломничество в Мекку, для поклонения
расположенным там святыням ислама?
1) суфия
2) умма
3) рамадан
4) хадж
Согласно составленному нами кодификатору, данное
задание соответсвует позиции 5.2, а проверяемое
умение можно определить как «распознавание смысла
основных понятий, операции с понятиями».
Основные типы и виды заданий,
применяемые в тестовой диагностике
• Задания образуют три больших
группы:
• – с выбором ответа (часть 1);
• – с кратким ответом (часть 2);
• – с развернутым ответом (часть 3).
Характеристика заданий с выбором ответа
Задания могут быть сформулированы как в виде части предложения, к которому
необходимо подобрать единственно возможное продолжение, так и в виде
вопроса, на который следует отыскать ответ.
В этой части теста учащимся предстоит продемонстрировать следующие
логические приемы и умения:
• найти, распознать и выявить различные смысловые аспекты ведущих понятий
курса;
• определить сходные и различные позиции между близкими понятиями,
явлениями;
• выявить ведущие, характерные черты и признаки изучаемых фактов, понятий
и явлений;
• обобщить приведенный ряд объектов;
• конкретизировать отдельными конкретными примерами более общие
положения и т.д.
Достоинства заданий с выбором ответа
1) Проверка максимального широкого спектра контролируемых элементов
содержания;
2) Проверка понимания учебного материала на уровне узнавания, выбора,
контекстного распознавания, что позволяет охватить максимальное
количество учеников класса;
3) Большая степень объективности и точности, так как большинство
подобных заданий исключают элемент разночтений, их формулировки,
как правило, максимально точны и понятны ученикам;
4) Валидность и надежность обеспечивается на этапе разработки задания и
апробации;
5) Возможность независимой от педагога компьютерной обработки
результатов тестирования.
Трудности при разработке заданий с
выбором ответа
•
•
•
•
•
Необходима точная, четкая и лаконичная формулировка
задания:
Все позиции ответов (дистракторов) должны быть
подобраны по одному логическому основанию;
Недопустимы совпадения слов в формулировке
задания и дистракторах;
Дистракторы должны быть примерно одной длины,
недопустимо, чтобы правильный ответ был длиннее
или короче остальных и т.д.;
Необходимо отбраковывать задания, выполняемые на
пороге угадывания (25-30%)
Пример 1
Первичная проповедь христианства на Руси, согласно
религиозной традиции, связана с подвижнической
деятельностью
1) братьев Кирилла и Мефодия
2) апостола Андрея Первозванного
3) митрополита Иллариона
4) отца Иоанна Златоуста
Пример 2
В черте еврейской оседлости действовали выборные
органы местного самоуправления, главы которых,
также как и раввины, утверждались губернатором. Этот
орган именовался
1) хедер
2) иешив
3) кагал
4) сход
Пример 3
Три мировых религии, в той или иной степени опирающиеся на
Библию, различает отношение к личности Иисуса Христа, ее
трактовка. Так, в исламе
1) предусматривается установление вечного царствия Христа после второго
пришествия
2) исповедуется Иисус Христос в качестве сына Божия, распятого за грехи
всего человечества, воскресшего и грядущего во втором пришествии
своем судить живых и мертвых
3) Иисус (Иса) воспринимается в качестве одного из великих пророков,
спасение же верующего заключается в следовании основам своей веры
4) ожидается пришествие Христа как идеального, посланного Богом царя и
потомка Давида, связанного с ним избавления и спасения иудейского
народа и наступления всеобщего мира
Характеристика заданий с кратким ответом
Задания с кратким ответом (часть 2) обычно представлены в тестах в
различных формах:
•
•
•
•
•
•
сравнение ряда явлений, изучаемых объектов, выявление общих и
различных признаков;
исключение лишнего термина из логического ряда терминов, имеющих
отношение к определенному явлению, процессу;
установление соответствия между позициями, расположенными в двух
столбцах;
выбор нескольких правильных ответов из списка;
распознавание фактов и оценочных суждений, фактов и мнений,
суждений и аргументов;
работа с информацией, представленной в виде статистической таблицы
или диаграммы с выбором нескольких правильных ответов из списка.
Достоинства заданий с кратким ответом:
1) Возможность использования данной модели заданий не только для
воспроизведения готовых знаний, но и для их применения в
измененных условиях;
2) Способность данных заданий выявить степень того, насколько
ученик осмыслил и понимает изученный им материал;
3) Возможность с помощью данных заданий не только проверять, но и
формировать широкий спектр практических и познавательных
умений учащихся;
4) Осуществление вклада в развитие приемов логического
мышления;
5) Значительно снижается вероятность угадывания и подсказки.
Недостатки заданий с кратким ответом:
•
•
1) Для их выполнения требуется значительное время,
обычно не менее 3-5 минут;
2) С помощью таких заданий невозможно проверить
большое колическо элементов содержания.
Общие правила формирования теста
•
•
•
•
•
•
•
Первые позиции в тесте должны занимать наиболее легкие задания,
сложное задание может снизить готовность ребенка решить тест;
Задания должны различаться между собой по стилю, формату,
проверяемому содержанию и умениям, чем разнообразнее подбор
заданий, тем интереснее ребенку будет выполнять тест;
Степень сложности заданий должна возрастать к концу теста, самые
сложные задания – последние;
Формируя задания, проследите, чтобы в тесте не было на них подсказок
в других заданиях;
Инструкции к выполнению тестовых заданий должны быть предельно
точны, корректны, понятны для ребенка;
Задания теста должны быть адекватны познавательным возможностям
учащихся, объему и характеру содержания учебной дисциплины, не
выходить за рамки основных учебно-методических комплектов,
работающих в школе.
Правила составления отдельных заданий
•
•
•
•
•
•
•
Текст задания должен быть сформулирован четко, лаконично, без лишних
слов;
В случае необходимости, допускаются отдельные пояснения и
дополнения в текст задания для расширения поля анализа для ребенка;
Все ответы в задание с выбором одного ответа из четырех должны
строиться по одному логическому основанию;
Ответы неверные (дистракторы) не могут различаться по длине с верным
ответом;
Дистракторы не могут содержать взаимоискючающую информацию;
Дистракторы должны быть однозначно неверны, но правдоподобны,
чтобы исключить возможность угадывания ребенком верного ответа;
В тексте ответов не должно быть прямых ссылок и аналогий с текстом
задания.
Основные показатели качества
тестовых заданий
•
•
•
•
•
Валидность , т.е. соответствие содержания , характера учебной
деятельности учащегося , формы задания требованиям стандарта,
которые проверяются этим заданием.
Тип задания определяется требованиями к уровню подготовки
выпускников.
Текст задания исключает двусмысленность, неясность
формулировки.
Используемые в тексте термины должны быть теми же, что и в
школьном курсе.
Уровень трудности задания, статистические характеристики
заданий должны соответствовать принятым нормам: базовый
уровень трудности – выше 60-65%, повышенный уровень – 40-60%,
высокий уровень – ниже 40%.