Тестовое задание

Тесты как способ
независимой оценки
знаний и компетенций
студентов
Денисова Диана Аркадьевна
к.т.н., директор ЦТ,
доцент кафедры «ОиТФ»
1
К ИСТОРИИ ВОПРОСА
Гальтон (Galton F.; 1882-1911) ввел в теорию тестирования
три фундаментальных принципа:
1. Применение серии одинаковых испытаний к
большому количеству испытуемых.
2. Статистическая обработка результатов.
3. Выделение эталонов оценки.
1947 г. США: создана
тестирования в образовании.
общегосударственная
служба
В России тесты достижений использовались до 1936 г. и с
70-х гг.
2
ПРОБЛЕМЫ
Многие из уже созданных и использующихся тестов
существенно отличаются по качеству: обнаруживаются
серьезные ошибки как
в отдельных элементах тестовых
заданиях, так и при построении теста в целом.
Недостаточное количество систематизированных руководств по
разработке тестов достижений.
В апреле 2000 года издан приказ о сертификации
качества педагогических тестовых материалов и
создан Координационный совет Минобразования РФ
по вопросам сертификации качества тестовых
материалов.
3
МЕСТО ТЕСТИРОВАНИЯ
В ПЕДАГОГИЧЕСКОЙ ПРАКТИКЕ
1. Школьные учреждения и связанные с ними структуры.
2. Высшие учебные заведения и техникумы.
•
•
•
Стимулируют разработку стандартизированных процедур
контроля за достижениями учащихся три фактора:
появление различных типов учебных заведений (лицеев,
гимназий, колледжей и так далее), обучение в которых
проводится по экспериментальным и авторским учебным
планам и программам;
появление ГОС;
отбор абитуриентов.
4
ТЕСТ: ПОНЯТИЕ,
ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ
Житейское понимание: «проба, проверка, испытание».
Научное понимание «фиксированное по времени, стандартное
испытание служащее для установления количественных и
качественных различий по некоторым признакам между людьми
или группами людей.
ХАРАКТЕРИСТИКИ ТЕСТА:
1. Краток по времени.
2. Действует прицельно.
3. Возможно сравнение результатов различных людей и
сравнение результатов одного человека во времени.
5
Основания для классификации тестов
•
•
•
•
по наличию и отсутствию правильного ответа;
по принципу их конструирования;
по характеру ответов на задания;
…
Классификация тестов (по предмету психодиагностики)
•
•
•
•
•
•
•
тесты диагностики состояний;
тесты диагностики общих способностей;
тесты диагностики специальных способностей;
ТЕСТЫ УЧЕБНЫХ ДОСТИЖЕНИЙ (ТД);
тесты диагностики черт личности;
тесты диагностики мотивации;
…
6
ТЕСТЫ ДОСТИЖЕНИЙ: НАЗНАЧЕНИЕ, ВИДЫ
НАЗНАЧЕНИЕ ТД:
– диагностируют достигнутый уровень знаний, умений и
навыков;
– оценивают, что человек знает и что умеет делать к настоящему
времени;
– проводятся по итогам обучения.
ВИДЫ ТД:
1. Широкоориентированные.
2. По конкретным учебным предметам.
3. По конкретным темам и комплексам тем.
7
Широкоориентированные ТД
Рассчитаны на:
продолжительное время обучения;
универсальные области обучения.
Позволяют смотреть, как развивается учащийся.
Например, тесты на:
– понимание научных принципов;
– понимание прочитанного;
– логическое мышление.
8
Тесты достижений по конкретным учебным
предметам
Ориентированы на целостные курсы обучения в школе, вузе.
Помогают оценить знания конкретных учащихся, качество
обучения.
Тесты достижений по конкретным темам и
комплексам тем
Позволяют оценивать знания и отслеживать их динамику.
Как правило, создаются и
преподающими данные дисциплины.
проводятся
педагогами,
9
Характеристики тестов
Надежность теста
точность и устойчивость процедуры измерения, ее
независимость от случайных варьирующих факторов.
Признаки надежности теста:
• измеряет некое качество;
• делает это устойчиво во времени;
• позволяет сравнивать результаты испытуемых.
Факторы, снижающие надежность теста:
1. Внешние.
2. Внутренние.
3. Социально-информационные.
коэффициент надежности < или = 0,7-0,8.
10
Валидность теста
характеристика теста, указывающая на его способность
измерять именно то, для чего он предназначен.
Валидность ≤ Надежности
Причина неравенства
•
Надежный тест измеряет
некое качество.
•
•
•
•
•
Валидный тест измеряет
качество, которое мы хотим
измерить.
Критерии валидизации
мнение педагогов;
академические оценки;
результаты контрольных проверок;
показатели в профессиональной сфере.
11
Дискриминативность
способность теста дифференцировать испытуемых по
изучаемому признаку.
Репрезентативность
свойство
выборочной
совокупности
представлять
характеристики генеральной совокупности.
Длительность
Оптимальное время тестирования – время от начала
процедуры до момента наступления утомления.
Рекомендации:
1. Время не более 60 минут
2. Длина теста не более 60-70 заданий.
3. Первая половина дня.
4. Середина недели.
12
Измерительные шкалы
(для оценки и сравнения результатов тестирования)
В педагогическом измерении чаще всего используются:
• Процентильная шкала
• Шкала интервалов
Процентильная шкала
Характеризует
испытуемых.
относительное
положение
Процентиль — процент испытуемых из выборки
стандартизации, которые получили равный или более
низкий балл, чем балл данного испытуемого.
13
Шкалы интервалов
Позволяют
точно
оценить
уровень
развития
диагностируемого качества каждого испытуемого в сравнении с
данной группой.
Пример: шкала IQ : М = 100 и σ = 15;
•
•
Любые
тестовые
заключения
при
использовании
статистических тестовых норм являются относительными.
Они зависят от той выборки, на которой производилась
стандартизация теста.
Пример: если тест проходил стандартизацию на
студентах, то перед его применением на школьниках
следует вначале произвести РЕСТАНДАРТИЗАЦИЮ.
14
Нормативно-ориентированные и
критериально-ориентированные тесты
Нормативно-ориентированный тест
Ранжирует испытуемых по уровню знаний.
Цель: упорядочение испытуемых по уровню подготовленности.
Критериально-ориентированный тест
Выявляет факт усвоения испытуемым данного материала.
Цель: выяснить, знает ли испытуемый стандартный материал.
15
ПРИНЦИПЫ РАЗРАБОТКИ
ТЕСТОВЫХ ЗАДАНИЙ
Эффективным является такой тест, который «лучше, чем другие
тесты, измеряет знания студентов интересующего уровня
подготовленности, с меньшим числом заданий, качественнее,
быстрее, и все это - по возможности одновременно».
В.С. Аванесов
По В.C. Аванесову задание в тестовой форме это педагогическое
средство, отвечающее следующим требованиям:
1. Цель.
2. Краткость.
3. Технологичность.
4. Логическая форма высказывания.
5. Определенность места для ответов.
6. Одинаковость правил оценки ответов.
7. Правильность расположения элементов задания.
8. Одинаковость инструкции для всех испытуемых.
9. Адекватность инструкции форме и содержанию задания. 16
ВАЖНО!
• Следует различать задания в тестовой форме и тестовые
задания.
• Только после статистической проверки задание в тестовой
форме может стать тестовым заданием.
• Тест состоит не из заданий в тестовой форме, не из вопросов
и задач, а только из тестовых заданий!
Тестовое задание – это составная единица теста,
отвечающая требованиям к заданиям в тестовой форме и,
кроме того, статистическим требованиям:
1. известной трудности
2. дифференцирующей способности
3. положительной
корреляции
баллов
задания
с баллами по всему тесту, а также другим математикостатистическим требованиям.
17
Вопросы, которые должен решить автор
при разработке теста:
•
•
•
•
Каково должно быть содержание тестовых заданий?
Как правильно сконструировать тестовые задания?
Как правильно составить из тестовых заданий тесты?
Как
убедиться
в
валидности,
надежности,
дискриминативности
тестов
и
при
необходимости
скорректировать их?
Этапы подготовки банка ТЗ
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Определение структуры учебной дисциплины.
Отбор содержания учебного материала.
Формулировка тестовых заданий.
Экспертиза качества ТЗ.
Определение целей тестирования.
Конструирование технологической матрицы и ее экспертиза.
Построение выборки для предварительного испытания теста.
Апробация теста и изучение результатов.
Стандартизация теста.
18
Подготовка учебных материалов для публикации.
Определение структуры учебной дисциплины
и отбор учебного материала
• Содержание тестовых заданий для контроля усвоения
знаний по конкретной дисциплине определяется в первую
очередь рабочей программой дисциплины, которая в свою
очередь составляется в соответствии с государственным
образовательным стандартом (ГОС ВПО или ФГОС
ВПО).
• Авторы – разработчики теста (преподаватели) должны
определить наиболее существенные, ключевые понятия и
определения курса, для проверки понимания которых и
будут далее сформулированы тестовые задания.
19
1.
2.
Проведение анализа требований ГОС (ФГОС) по
дисциплине, выбранной для разработки АПИМ. Для этого
необходимо выделить раздел содержания дисциплины (как
правило, 6-12 разделов – дидактических единиц (ДЕ)). Для
отсроченного (остаточного) контроля выбираются те ДЕ,
которые применяются для освоения последующих
дисциплин учебного плана.
Выделение
числа
важнейших
тем
в
каждой
дидактической единице ГОС, по которым верно
выполненные задания свидетельствуют об освоении
каждой ДЕ. Следует ограничить число таких тем для ДЕ в
пределах 3-7. Как правило, в АПИМ включается одно
задание по каждой выбранной теме.
20
Утверждение
(административно)
перечня
ДЕ
дисциплин, подлежащих контролю при аттестации
данной образовательной программы учебного заведения.
4. Определение минимальной степени освоения при
обученности каждой ДЕ дисциплины и соответствующего
уровня деятельности при контроле в соответствии с ГОС
(ФГОС) по специальности (направлению подготовки).
3.
ВАЖНО!
• Дидактическая единица ГОС (ФГОС) – это логически
завершенная часть рассматриваемого материала дисциплины.
• Тема тестового задания в тематической структуре теста – это
совокупность тестовых заданий одного блока учебного
материала.
• На одну тему предоставляются тестовые задания в
зависимости от объема темы и количества испытуемых (как
21
правило, – одно задание но каждую тему).
Первый этап разработки БТЗ
позволяет:
1. создать структуру дисциплины в целом, которая
представлена в виде совокупности дидактических единиц;
2. разбить
дидактические
единицы
на
отдельные
пункты/параграфы изучения материала дисциплины, в
соответствии
с
которыми
необходимо
создать
тематические тестовые задания.
После определения содержания тестирования для
конструирования тестовых заданий рекомендуется
составить технологическую матрицу теста.
22
Технологическая матрица БТЗ:
• представляет в компактной форме информацию о структуре
БТЗ, составных дидактических единицах, видах используемых
интеллектуальных действий при выполнении определенного
количества тестовых заданий;
• может быть построена с разной степенью детализации;
• может быть разработана как по всему содержанию
дисциплины, так и по отдельным, наиболее крупным темам
или нескольким логически связанным темам дисциплины.
Вид
технологической
матрицы
БТЗ
выбирается
разработчиком БТЗ самостоятельно, но в ней должны быть
отражены контролируемые дидактические единицы, их
содержание, т.е. название и количество тестовых заданий, виды
проверяемых интеллектуальных действий.
Перед тем как приступить к конструированию тестовых
заданий, полезно сделать список объектов контроля: основных
понятий, фактов, принципов, условий работы чего-то и т.п.
23
Технологическая матрица БТЗ дисциплины
«Современные средства оценивания результатов обучения»
24
Конструирование тестовых заданий
В тестах учебных достижений выделяют следующие формы
тестовых заданий:
•
закрытая (в том числе задания с несколькими вариантами
выбора и альтернативные задания);
•
открытая;
•
на установление соответствия;
•
на установление правильной последовательности.
Выбор формы ТЗ зависит прежде всего от цели тестирования,
содержания теста, технических возможностей, а также
уровня подготовленности преподавателя в области теории и
методики тестового контроля знаний.
25
Задание в закрытой форме
- задание, к которому дается список ответов.
*Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят
из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ»,
26
сентябрь 2006.
Задание в открытой форме
- требует ответа, сформулированного самим обучаемым
(подразделяются на задания со свободным (т. е.
произвольным) ответом и на задания с ограничениями на
ответ).
Примеры возможных ограничений:
• ограничение по количеству слов в ответе (рекомендуется не
более двух) или ограничение длины поля ввода;
• ограничение по характеру вводимой информации (численная
или текстовая);
• ограничения в формате ввода ответа (например, указание, с
какой точностью должна быть введена десятичная дробь или
как вводить символы, отсутствующие на клавиатуре).
Все ограничения вводятся с единственной целью:
чтобы тестирующая программа могла сравнить ответ
испытуемого с хранящимся в ее памяти правильным ответом
27
и выявить их соответствие или несоответствие.
Задание на установление соответствия
- задания, в которых объектам одной группы надо
поставить в соответствие объекты другой группы.
*Пример задания, выполненного в конструкторе АСТ-тест, взят из презентации
директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.
28
Задание на упорядочение (на установление
правильной последовательности)
- задания, в которых требуется определить порядок следования
предложенных объектов (символов, слов, формул, рисунков).
*Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят
из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ»,
29
сентябрь 2006.
ВАЖНО!
• Одни и те же задания могут быть представлены в различных
формах. Следует выбирать ту из них, в которой вопрос
формулируется более кратко и понятно, а вероятность
угадывания правильных ответов меньше.
• Если задания в различных формах выглядят в равной степени
эффективными, то выберите из них тот тип, который менее
всего представлен в тесте.
30
I. Требования к названию БТЗ
Для всех курсов одной дисциплины - единый БТЗ.
Название БТЗ совпадает с названием дисциплины по ГОС.
В исключительных случаях (различные требования по
ГОС):
допускается формирование разных БТЗ для курсов одной
дисциплины, название может совпадать с названием курса.
Пример:
Общая физика
Отечественная история
II. Требования к названию теста
Название теста формируется в соответствии со следующими
правилами:
пишется название курса, запятая, пробел, тест или АКР,
запятая, пробел, модуль№.
Пример:
Отечественная история, тест, модуль2
Физика1/3, АКР, модуль7
31
III. Требования к структуре БТЗ
Структура БТЗ формируется в соответствии со структурой
дидактических единиц.
Если руководитель дисциплины предлагает иную структуру, то
данное изменение должно быть обосновано.
Рекомендуемое количество уровней в структуре БТЗ – четыре.
Пример: дисциплина «Общая физика»
№
ДЕ
1
Механика
Наименование
дидактической единицы ГОС
2
Молекулярная (статистическая) физика и термодинамика
3
Электричество и магнетизм
4
Механические и электромагнитные колебания и волны
5
Волновая и квантовая оптика
6
Квантовая физика, физика атома
7
Элементы ядерной физики и физики элементарных частиц
32
Перечень дидактических единиц по дисциплинам со структурой до
второго уровня для каждой специальности представлен на
официальном сайте ФЭПО: http://www.fepo.ru
Название ДЕ
№ ДЕ
Тема задания
Общая физика
Механика
1
Кинематика поступательного и вращательного движения
2
Динамика точки и поступательного движения твердого
тела
3
Динамика вращательного движения твердого тела
4
Работа. Энергия. Закон сохранения механической энергии
5
Законы сохранения момента импульса и энергии
6
Элементы специальной теории относительности
Отечественная история
Теория и
методология
исторической
науки
1
Функции истории
2
Методы изучения истории
3
Методология истории
4
Историография истории
33
Где можно взять информацию
по дидактическим единицам дисциплины?
сайт http://www.fepo.ru
Раздел «МЕТОДИЧЕСКАЯ ПОДДЕРЖКА» –
подраздел «тестовые материалы»
34
Содержание государственных образовательных
стандартов, структуры АПИМ и демо-варианты
35
Выбрать шифр направления
подготовки/специальности и дисциплину – нажать
кнопку «Вывести содержание ГОС, структуру
АПИМ и демо-вариант»
36
37
ВАЖНО!
• Официально утвержденных Министерством образования
стандартных требований к составлению тестовых заданий на
сегодняшний день нет.
• Приведенные ниже требования носят рекомендательный
характер.
Требования к составлению тестовых заданий
1.
2.
3.
4.
Тестовое задание (ТЗ) должно быть представлено в
форме краткого суждения, сформулированного четким
языком и исключающего неоднозначность заключения
тестируемого на требования тестового утверждения.
Содержание задания должно отвечать требованиям ГОС.
Все варианты ответов должны быть грамматически
согласованы с основной частью задания.
Избегайте вводных слов и предложений, а также таких
слов как «иногда», «никогда», «всегда», «часто»,
«каждый» и т.п., в которых обычно
содержится
38
двусмысленность или противоречие.
Тестовое задание не должно содержать повторов,
двойных отрицаний и сленга. Не следует использовать
отрицание (тестироваться должны позитивные знания!).
6. В тестовом задании не должно отображаться
субъективное мнение или понимание отдельного автора.
7. Формулировка тестового задания должна быть выражена
в повествовательной форме, в форме логического
высказывания (вопрос исключается).
8. В формулировке ТЗ не должно быть повелительного
наклонения (выберите, вычислите, укажите и т.д.)
Чем лаконичнее задание, тем лучше оно воспринимается.
Пример:
 Выберите из перечисленного ниже списка факторы,
влияющие на … :
 Факторы, влияющие на … :.
9. Ответ на поставленный вопрос не должен зависеть от
предыдущих ответов студента.
10.Формулировки заданий и ответов должны быть краткими,
ясными и не содержать прямых или скрытых подсказок. 39
5.
11. Форма ТЗ должна быть узнаваемой и не требовать
дополнительных пояснений по способу ввода тестируемым
заключения.
12. Требования к заданиям закрытого типа:
•
Не должно быть заведомо ложных, а также явно
выделяющихся, обособленных ответов.
•
Лучше «длинный» вопрос и «короткие» ответы, чем
наоборот.
•
Количество дистракторов в задании должно находится в
пределах от 4 до 6.
•
Недопустимы ответы типа: все вышеперечисленное верно,
все указанные ответы неверны и т.д.
13. Задание должно быть составлено с учетом того, что среднее
время его предъявления на экране составляет 2-3 минуты
(максимум – 5 минут), из которых на ответ отводится около
одной минуты.
40
Рекомендации по назначению нормы трудности
тестовых заданий (Попов Д.И., МГУП, Москва)
Наиболее простой формой ТЗ считается закрытая форма.
Самая сложная форма ТЗ - на упорядочение и на соответствие.
Назначение нормы трудности можно осуществлять, исходя из
принадлежности ТЗ основному и дополнительному материалам
(уровень значимости ТЗ).
Норма трудности ТЗ может оцениваться с учетом количества
используемых формул, правил, аксиом и т.д., необходимых для
поиска правильного решения.
Увеличение количества дистракторов также влияет на
увеличение нормы трудности ТЗ.
К простым относят ТЗ:
• направленное на «опознание» какого-то объекта или на
проверку «знания-знакомства».
• направленное на выбор одного варианта ответа из многих с
помощью знания всего одного концепта (формулы, правила,
аксиомы и т.д.).
• открытого типа, направленное на выявление знания
41
определения односложного базового термина.
К среднему уровню сложности относят ТЗ:
•
направленное на применение усвоенных ранее знаний в
типовых ситуациях (т.е. в тех ситуациях, с которыми знаком
испытуемый) или на проверку «знаний воспроизведения
копии».
по выбору подмножества правильных вариантов из заданного
множества дистракторов.
•
К высокому уровню сложности относят ТЗ:
•
•
направленное на применение усвоенных знаний и умений в
нестандартных условиях (т.е. в условиях, ранее не знакомых
испытуемому) или на проверку «знаний умения и
применения».
требующие применения рассуждений в форме дедуктивного,
индуктивного вывода и аналогии, причем для получения
окончательного
ответа
необходима
некоторая
последовательность умозаключения (несколько концептов).
42
Рекомендуемая литература
1.
2.
3.
4.
5.
6.
7.
8.
Аванесов В.С. Формы тестовых заданий. — М.: МИСиС, 1991.
Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к
программно-дидактическим
тестовым
материалам
и
технологиям
компьютерного
тестирования.
—
М.:
Издательство МГУП, 2005.
Клайн П. Справочное руководство по конструированию тестов.
Киев: ПАН-ЛТД, 1994.
Майоров А.Н. Теория и практика создания тестов для системы
образования. — М., "Интеллект-центр", 2001.
Переверзев В.Ю. Технология разработки тестовых заданий:
справочное руководство. – М.: Е-Медиа, 2005. - 265с.
Романов А. Н., Торопцов В.С., Григорович Д.Б. Технология
дистанционного обучения в системе заочного экономического
образования. — М.: ЮНИТИ-ДАНА, 2000.
Требования к оформлению тестовых заданий для включения в
банки контрольных тестов по учебным дисциплинам ГОС
ВПО. – Барнаул : БГПУ, 2007. – 24с.
Шапкин В.В. Диагностика обученности с применением
тестирования: Учебное пособие для слушателей курса
43
повышения квалификации - СПб.: ГОУ ИПК СПО, 2007. - 84 с.
*Пример взят из презентации «Разработка тестовых
материалов для Федерального Интернет-экзамена в сфере
профессионального образования (ФЭПО)» зам. начальника
отдела педагогических измерений ФГУ «Росаккредагентство»
А.В.Капустина, Москва, 15.10.2010
44
*Пример взят из презентации «Разработка тестовых
материалов для Федерального Интернет-экзамена в сфере
профессионального образования (ФЭПО)» зам. начальника
отдела педагогических измерений ФГУ «Росаккредагентство»
А.В.Капустина, Москва, 15.10.2010
45