Технологии тестирования при оценивании СРС

Технологии тестирования при
оценивании самостоятельной
работы студентов
Мальцев Алексей Владимирович, доцент кафедры
общей психологии и психологии личности, ИСПН
E-mail: Alex.Malcev@usu.ru
Этапы развития тестовых
технологий
• Классическая теория тестов
Ф. Гальтон, Д. Кеттелл, А. Бине конец XIX в
Ч. Спирман, К. Пирсон начало XX в.
• Современная теория тестов (IRT)
Г. Раш, А. Бернбаум 60-ые гг. XX в.
• Постсовременная теория тестов
В.И. Васильев, В.В. Красильников, С.И. Плаксий, Т.Н.
Тягунова начало XXI в.
Основные различия между
этапами развития педагогических
тестов
•
•
•
•
•
Методология проверки знаний
Масштабы тестирования
Ограничения на форму заданий
Система оценивания заданий
Модель оценивания результатов
тестирования
• Шкала оценивания результатов
тестирования
Формы тестовых заданий
•
•
•
•
Закрытая
Открытая
На соответствие
На последовательность
Конструкция тестового задания
•
•
•
•
Инструкция
Текст задания
Дистракторы
Правильный ответ(ы)
Инструкция заданий закрытой
формы
• Обвести кружком номер правильного
ответа
• Выбери один правильный ответ
• В бланке ответов напишите номер
выбранного Вами правильного
ответа
Рекомендации к заданиям в закрытой форме
по М.Б. Челышковой в соответствии с
классической теорией
1) основная часть задания формируется
предельно кратко, как правило, не более одного
предложения из семи-восьми слов;
2)
все ответы к одному заданию должны быть
приблизительно одной длины;
3)
из текста задания необходимо исключить
все вербальные ассоциации, способствующие
выбору правильного ответа с помощью догадки;
4) место для правильного ответа в различных
заданиях должно меняться;
из ответов обязательно исключаются все
повторяющиеся слова путем ввода их в основной
текст заданий;
6) из числа неправильных исключаются ответы,
вытекающие один из другого;
7) основная часть задания формулируется в форме
утверждения, которое обращается в истинное или
ложное высказывание после подстановки одного из
ответов;
9) ответ на одно задание не должен служить ключом к
правильным ответам на другие задания теста, т.е. не
следует использовать дистракторы из одного
задания в качестве ответов к другим заданиям теста;
10) в основную часть задания следует включать как можно
больше слов, оставляя для ответа не более двух-трех
наиболее важных, ключевых слов для данной проблемы;
5)
11) при формулировке дистракторов не
рекомендуется использовать выражения «ни один
из перечисленных», «все перечисленные» и т.п.,
так как они способствуют угадыванию
правильного ответа;
12) все дистракторы к каждому заданию должны
быть равновероятно привлекательны,
правдоподобны и рядоположены;
13) все ответы должны быть параллельными по
конструкции и грамматически согласованными с
основной частью задания теста.
Разнообразие заданий закрытой
формы
1. Принципы подбора дистракторов
2. Общее число ответов
3. Задания на отрицание
Принцип подбора
дистракторов
•
•
•
•
•
Альтернативы
Противоположности
Классификации
Кумуляции
Сочетания
Принцип альтернативы
Обвести кружком номер правильного ответа
ПЛАЗМИДА ИМЕЕТ ЛИНЕЙНУЮ ФОРМУ
Ответ: 2.
1)
да
2)
нет
Принцип
противоположности
Обвести кружком номер правильного ответа
БУКВЫ е, и, ю. я ДЕЛАЮТ СОГЛАСНЫЕ
1)
мягкими
2)
твердыми
Ответ: 1.
Принцип классификации
Обвести кружком номер правильного ответа
ПЛАЗМИДА ИМЕЕТ ФОРМУ
1) линейную
2) кольцевую
3) спиральную
4) многоугольную
Ответ: 2.
Принцип кумуляции
Обвести кружком номер правильного ответа
КОЭФФИЦИЕНТ ДЕТЕРМИНАЦИИ МОЖЕТ ИМЕТЬ ЗНАК
1) положительный
2) положительный и отрицательный
3) положительный, отрицательный и неопределенный
Ответ: 2.
Принцип сочетания
Обвести кружком номер правильного ответа
ОСЕННИЕ МЕСЯЦЫ ГОДА
1) сентябрь, октябрь, декабрь
2) октябрь, ноябрь, январь
3) сентябрь, октябрь, ноябрь
4) октябрь, ноябрь, январь
Ответ: 3.
ЗАДАНИЕ С ОТРИЦАНИЕМ
Обведите номер неправильного ответа
К ЧИСЛУ ДОСТОИНСТВ ПЕЧАТИ КАК СРЕДСТВА
МАССОВОЙ ИНФОРМАЦИИ НЕ ОТНОСИТСЯ
ВОЗМОЖНОСТЬ
…
1) непосредственной интерактивности
2) быстрого ознакомления со всем материалом номера
3) отложенного чтения
4) восприятия информации в индивидуальном темпе
Ответ 1.
Угадывание в заданиях с
разным числом ответов
•
•
•
•
•
•
Два ответа (50% угадывания)
Три ответа (33 % угадывания)
Четыре ответа (25% угадывания)
Пять ответов (20 % угадывания)
Шесть ответов (16 % угадывания)
Семь ответов (14 % угадывания)
Задания закрытой формы в
современной теории тестов
• Задания с несколькими правильными
ответами
• Задание с наиболее правильным
ответом
• Задания ситуации (с дополнительной
информацией к заданию)
Задание с несколькими
правильными ответами
Обвести кружком номера правильных ответов
Удвоенная согласная пишется в словах
1)
2)
3)
4)
и_ люстрированный
жу_жание
режи_серский
гусин_ый
Ответ: 1,2,3.
Задание ЕГЭ по биологии 2011 г.
В заданиях В1–В3 выберите три верных ответа из шести.
Запишите цифры, соответствующие выбранным ответам, в
таблицу, а затем получившуюся последовательность цифр
перенесите в бланк ответов №1 без пробелов и каких-либо
дополнительных символов.
Укажите особенности модификационной изменчивости.
1) возникает внезапно
2) проявляется у отдельных особей вида
3) изменения обусловлены нормой реакции
4) проявляется сходно у всех особей вида
5) носит адаптивный характер
6) передаётся потомству
Ответ:3, 4, 5.
Задание с наиболее правильным
ответом
Обведите кружком номер наиболее правильного ответа
К основным видам деятельности ученика
относятся
1)
общение, игра, учение, труд
2) учение и труд
3) восприятие, общение, учение, труд
4) игра, учение, труд.
Ответ: 2.
Задание ситуация
Выберите один наиболее правильный ответ из числа
предложенных
На некоторой реке имеется промышленное
предприятие по добыче пресноводных моллюсков.
Известняк добывают в верхнем течении реки.
Никаких других минералов, являющихся источниками
карбонатов в данной области не обнаружено.
Если весь известняк в данной области будет добыт, то
вероятное последствие этого будет следующим:
1) число моллюсков увеличится, из-за отсутствия вредных
веществ
2) численность моллюсков уменьшится из-за отсутствия
необходимых минеральных веществ в реке
3) изменение кислотности в реке вызовет гибель живых части
живых организмов
4) раковины моллюсков станут более мягкими
Ответ 3.
Задания открытой формы
• Дополнение (краткий ответ) классическая теория тестов
• Свободное изложение (развернутый
ответ) - современная теория тестов
Рекомендации к заданиям с кратким ответом
по М.Б. Челышковой
1. Дополнение должно быть только одно и
обозначается многоточием.
2. Дополнения лучше ставить в конце задания или
как можно ближе к концу.
3. Текст задания должен обладать предельно
простой синтаксической конструкцией.
4. Задание начинается с ключевого слова,
определяющего дополнение.
5. В тексте задания не должно быть повторов и
двойного отрицания
Дополнить
Первый президент СССР … .
Ответ: Горбачев, Михаил, мужчина … .
Фамилия первого президента СССР … .
Ответ: Горбачев (однозначно)
Дополнить
Операция вычисления
производной называется
…
Дополнить
Самое глубокое озеро земного
шара …
Дополнить
Самое глубокое озеро земного
шара называется …
Задание части В ЕГЭ по
математике 2011 г.
Ответом к заданиям этой части (В1-В12) является целое число или
конечная десятичная дробь. Ответ следует записать в бланк
ответов №1 справа от номера соответствующего задания,
начиная с первой клеточки, без пробелов. Каждую цифру, знак минус
и запятую пишите в отдельной клеточке в соответствии с
приведенными в бланке образцами. Единицы измерения писать не
нужно.
В1 Билет на автобус стоит 15 рублей. Какое максимальное число билетов
можно будет купить на 100 рублей после повышения цены билета на 20%?
Ответ: 5
Современная теория тестов
• Задания открытой формы с кратким
ответом, содержащие дополнительную
информацию
Прочтите отрывок из сочинения современного историка
и укажите, о какой династии идёт речь.
«Так трагически и бесславно закончилось короткое
правление этой династии… на русском престоле. На долю
этой династии выпали тяжёлые испытания. Им досталась в
наследство разорённая, бедная страна. Системный кризис,
охвативший всю страну, усугубляемый голодом первых лет
XVII века, показал всю хрупкость власти, которая отошла от
методов управления Ивана IV. И без того неэффективная и
громоздкая система управления Российским государством
начала давать серьёзные сбои. Разбойничьи шайки
наводнили страну, на дорогах было небезопасно. После
смерти царя страна ушла в пучину смуты и безвременья».
Ответ: __________________
Задания с развернутым ответом
различаются:
• по максимальному баллу за
выполнение
• степенью строгости алгоритма проверки
Содержание верного ответа
Балл
Скорость выбирания веревки равна сумме модулей скоростей
конькобежцев относительно Земли: u = v1 + v2.
1
Обоснован и записан закон сохранения импульса: m1v1 – m2v2
= 0.
Получен правильный ответ в общем виде v2 = m1u/(m1 + m2).
1
Проведены математические расчеты, приводящие к
правильному числовому ответу: v2 = 0,57 м/с.
1
Ответ неправильный или отсутствует
0
Максимальный балл
1
4
.
Два конькобежца: первый массой m1 = 80 кг, второй массой m2 = 60 кг,
держась за концы длинного натянутого шнура, неподвижно стоят на льду
один против другого. Затем первый начинает выбирать веревку со
скоростью 1 м/с. С какой по модулю скоростью будет двигаться по льду
второй конькобежец?
Одна из развивающихся стран ввозила из индустриальных держав на свою
территорию для захоронения радиоактивные отходы, которые сбрасывали в
контейнерах в океан. Независимые эксперты установили, что такой способ
захоронения вскоре приведет к радиоактивному загрязнению существенной
части мирового океана. В рамках каких из глобальных проблем современности
можно рассматривать эти события? Аргументируйте свой ответ.
Балл
Содержание верного ответа
.
В ответе должны присутствовать следующие позиции:
1) названа проблема, связанная с экологическим кризисом
2) названа проблема, связанная с взаимоотношениями между развитыми и
развивающимися странами
3) дана аргументация, обосновывающая связь описанного факта с проблемами
В ответе присутствуют три указанных элемента
3
В ответе присутствуют два указанных элемента
2
В ответе присутствует один из указанных элементов
1
Ответ неправильный или отсутствует
0
Максимальный балл
3
Критерии оценивания выполнения заданий с развернутым
ответом Единый государственный экзамен, 2010 г.
БИОЛОГИЯ, 11 класс.
C1 Ферменты теряют свою активность при повышении уровня радиации.
Объясните, почему.
Ответ:
Баллы
Содержание верного ответа и указания к оцениванию
(допускаются иные формулировки ответа, не искажающие его смысла)
Элементы ответа:
1) по химической природе все ферменты – белки;
2) при повышении уровня радиации происходит денатурация и
изменяется структура белка-фермента, а, следовательно, его
функция.
2
Ответ включает 2 названных выше элемента, не содержит
биологических ошибок
2
Ответ включает 1 из названных выше элементов, ИЛИ ответ
включает 2 названных выше элемента, но содержит негрубые
биологические ошибки
1
Ответ неправильный
0
Максимальный балл
2
ЗАДАНИЯ НА СООТВЕТСВИЕ
• ОДНОЗНАЧНОЕ (классическая теория
тестов)
• МНОГОЗНАЧНОЕ (современная теория
тестов)
Рекомендации к заданиям на соответствие в
соответствии с классической теорией тетсов
1. Группы объектов, между которыми
устанавливается соответствие, должны быть
разного размера, предпочтительно, чтобы одна
была больше другой в два раза.
2. Соответствие между объектами групп должно быть
однозначным.
3. Каждая из групп объектов может иметь
обозначение
Установите соответствие
Методика Исследуемая функция
1) Срисовывание образов А) Мышление
2) Сравнение понятий
Б) Воображение
3) Повторение цифр
В) Сенсомоторика
Г) Память
Д) Внимание
Ответ: 1В, 2А, 3Г
В заданиях В4–В6 к каждому элементу первого столбца подберите соответствующий
элемент второго и запишите в таблицу выбранные цифры под соответствующими
буквами, а затем получившуюся последовательность цифр перенесите в бланк
ответов № 1 без пробелов и каких-либо дополнительных символов.
Установите соответствие
ПРИЗНАК ОРГАНИЗМА
ЦАРСТВО
A) оболочка клеток содержит хитин
Б) клетки содержат хлоропласты
В) в клетках накапливается гликоген
Г) размножаются с помощью мицелия
Д) имеют автотрофный тип питания
E) в экосистеме выполняют роль редуцентов
1) Грибы
2) Растения
А
Б
1
В
2
Г
1
Д
1
Е
2
1
Задания на
последовательность
• Однозначная последовательность
классическая теория тестов
• Многозначная последовательность
современная теория тестов
Рекомендации к заданиям на последовательность по М.Б.
Челышковой в соответствии с классической теорией
тестов
1. Последовательность устанавливаемых
объектов должна быть однозначной, не
рекомендуется составлять
последовательность, требующую повторения
одного из объектов.
2. В основном тексте задания должно быть
указание на направление
последовательности.
Установить правильную последовательность
Пищевая цепь:
А) лягушка
Б) ёж
В) голый слизень
Г) капуста
Ответ: ГВАБ
В заданиях В7 и В8 установите правильную последовательность
биологических процессов, явлений, практических действий.
Запишите в таблицу соответствующие им цифры, а затем
получившуюся последовательность цифр перенесите в бланк
ответов № 1 без пробелов и каких-либо дополнительных
символов.
Кровеносные сосуды в порядке уменьшения в них
скорости движения крови
1) верхняя полая вена
2) аорта
3) плечевая артерия
4) капилляры
2
3
1
4
Уровневый подход в разработке
тестовых заданий
• Таксономия Б. Блума
• Уровни умений (ЕГЭ)
• Уровни знаний и умений (классификация
ЛАТ)
• Уровни образовательных целей (В.П.
Симонов)
• Уровни образовательных целей (В.П.
Беспалько)
Таксономия Блума
Когнитивная область
•
•
•
•
•
•
Знание (Knowledge)
Понимание (Comprehension)
Применение (Application)
Анализ (Analysis)
Синтез (Synthesis)
Оценка (Evalution)
Знание
• узнавание и воспроизведение информации
• знание фактов, событий и сведений
• знание крупных обобщений
• владение конкретным материалом
Понимание
n понимание информации переданной другими
словами
n понимание смысл
n перевод знаний из одной формы в другую
n
интерпретация
фактов,
сравнение,
противопоставление
n упорядочение, группировка , указание причин
n предсказание последствий
Применение
» использование информации
» перенос информации из одной формы в другую
» использование методов, положений и теорий в
стандартной ситуации, возможно измененной
» решение проблем,
используя соответствующие
знания и умения
Анализ
• рассмотрение нестандартных примеров;
• собирание частей;
• использование методов, положений и теорий в
не стандартной, (новой) ситуации;
• распознавание составляющих;
• выделение скрытого значения
Синтез
n использование старых идей
для
создания новых
n обобщение из данных фактов
n установление связи между знаниями из
разных областей
n предсказание, выведение заключений
Оценка
n
n
n
n
n
сравнение и распознавание идей
оценка значимости представленных теорий
делать аргументированный выбор
подтверждать значимость доказательств
распознавать субъективизм
Знание
ЖАНР ПРОИЗВЕДЕНИЯ "СЛОВО О
ПОЛКУ ИГОРЕВЕ "
1) летопись
2) сказание
3) баллада
4) лиро-эпическая поэма
Понимание
Обвести кружком номер правильного ответа
Действие, которое можно отнести к обработке
информации
1) просмотр фильма
2) фотографирование
3) решение задачи по математике
4) разговор по телефону
Понимание
Обвести кружком номер правильного ответа
ЕСЛИ В ТРЕУГОЛЬНИКЕ MNP
угол
N=90 градусов, P = a, ТО MN / NP
РАВНО
1) cos a
2) ctg a
3) tg a
4) sin a
Понимание
Обвести кружком номер правильного ответа
ЛОГИЧЕСКАЯ ФУНКЦИЯ,
СООТВЕТСТВУЮЩАЯ ВЫРАЖЕНИЮ А + В
1) И
2) НЕ
3) ИЛИ
4) ИЛИ-НЕ
Применение
Дополните
В зрительном зале 120 мест. На
спектакль было продано 30 билетов. Не
продано осталось … билетов.
Применение
Обвести кружком номер правильного ответа
Слово с неправильным ударением:
1) звонит
2) красивее
3) щавель
Ответ 2.
Применение
Обвести кружком номер правильного ответа
КИСЛОТНОСТЬ ПОЧВЫ ПОВЫШАЕТСЯ
ИСПОЛЬЗОВАНИИ В КАЧЕСТВЕ УДОБРЕНИЯ
1) (NH4)2SO4
2) KCl
3) NaNO3
4) NH4OH
Ответ 1.
ПРИ
Применение
Обвести кружком номер правильного ответа
Слово ясный является противоположным по
смыслу слову:
1) отчётливый
2) явный
3) тусклый
Ответ 3.
Применение
Обвести кружком номер правильного ответа
ЗАПЯТУЮ В ПРЕДЛОЖЕНИИ Запах
белой сирени (1) нагретой солнцем
(2) наполнял вагоны. НУЖНО
ПОСТАВИТЬ
1) только в 1
2) в 1 и во 2
3) только во 2
4) ни в 1 и не во 2
Ответ: 2.
Анализ
Обвести кружком номер правильного ответа
Третье лишнее слово:
1) сочувствие
2) безмолвствовать
3) нравственный
Анализ
Обвести кружком номер правильного ответа
В каком случае грамматический признак
слова определен НЕВЕРНО:
1) высочайший - прилагательное превосходной
степени
2) простыня - существительное 1-го склонения
3) убежал - глагол несовершенного вида
4) никто - отрицательное местоимение
Анализ
Обвести кружком номер наиболее правильного ответа
Очистили область леса, чтобы разработать поле для
хозяйственных целей.
Эффект, который является наиболее серьезным
последствием этого изменения
1) увеличение стока грунтовых вод с этой области
2) повышение солености весенних ручьев после таяния снега
3) усиление потока поверхностных вод весной
4) произойдет засоление верхних почвенных горизонтов за счет
более глубоких слоев почвы
Ответ: 1.
Синтез
Обвести кружком номер наиболее правильного ответа
Загрязнение воздуха происходит сильнее всего при
метеорологических условиях, связанных со смешением
воздушных масс, вызываемых инверсией температур. В
момент инверсии, воздух над областью загрязнения
оказывается в ловушке и не может переноситься ветром.
Причина, по которой инверсия может происходить в
безветренный день:
1) воздух над городом прогрелся и находится над слоем холодного
воздуха
2) воздух над городом холодный, а ниже его слой теплого воздуха
3) появляется плотное облако, задерживающее солнечные лучи в
летние месяцы
3) имеется несколько слоев горячего и холодного воздуха над
городом
Ответ:
Оценка
Обвести кружком номер наиболее правильного ответа
Ученые Калифорнийского университета сообщили, что два
вещества, полученные из нефти с помощью очистки чесноком,
в концентрации две части на миллион уничтожают личинки
москитов. Можно предположить, что теперь все дело только за
промышленным производством этих веществ, безобидных для
человека
По этому поводу эколог мог бы сделать заключение, что:
1) потенциальная токсичность этих веществ для человека и других
живых организмов должна быть точно установлена
2) эти вещества получены из естественных продуктов и потому
никаких специальных испытаний их не требуется
3) их высокое преимущество в сравнении инсектицидами того же
назначения делает дальнейшие испытания ненужной тратой денег
4) потенциальную токсичность этих соединений необходимо
определить для тех животных, которые не потребляют чеснок
Оценка
Обвести кружком номер наиболее правильного ответа
Ведущие ученые в мира полагают, что Земля - близка к новому
Ледниковому периоду. Действительно, известно, что увеличение
облачности вызывает уменьшение солнечного света, падающего
на Землю и что след газов, оставляемых, высоко летящим
самолетом, иногда обращается в облако.
Предположите, что Вы научный сотрудник комитета по охране
природы. На основе выше указанных утверждений
авторитетных ученых, выберите то решение правительства,
которое Вы были бы согласны поддерживать:
1) запретить использование всех сверхзвуковых самолетов в стране
2) передать решение этого вопроса в подкомиссию научных
экспертов, для дальнейшего изучения
3) разрешить введение нового самолета, но установить непрерывный
контроль за уровнем загрязнения атмосферы
4) разрешить использование самолета, с ограничением скорости и
высоты полета
Этапы разработки теста
1. Определение целей тестирования.
2. Отбор содержания учебного материала.
3. Составление спецификации и плана теста и
их экспертиза.
4. Составление тестовых заданий и их
экспертиза.
Цели тестирования
1. Установления уровня обучения заданным
критериям.
2. Дифференциация обучаемых по уровню
подготовки.
3. Смешанная цель, объединяющая первую и
вторую.
Отбор содержания учебного
материала в соответствии с
1. Уровнем значимости.
2. Целями тестирования.
3. Требованиями нормативных и методических
документов.
Составление спецификации
Спецификация – методический документ,
описывающий содержание теста.
Основания для структуризации теста:
Форма заданий
Уровень проверяемых знаний
Расчет времени для теста:
классическая теория: на 1 задание 0,5-1 мин.
современная теория: на 1 задание 2-5 мин.
Система оценки тестирования – сумма
баллов, набранных за выполнение заданий
Составление заданий
1. В соответствии с вышеизложенными
рекомендациями.
2. Отдавать предпочтение заданиям закрытой
формы.
3. Использование готовых заданий,
отредактированных в соответствии с
рекомендациями.
3. Использовать дихотемическую систему
оценивания заданий 0 – 1 (правильно-не
правильно).
4. По итогам тестирования проводить
дистракторный анализ.