Тестовое Задание

Технологии тестирования в
высшем образовании
Зырянов И.В.
Директор
Центра оценки качества
образования
e-mail [email protected]
1
тел. (3852) 36-63-91
Инновационные методы в образовании
Факторы при принятии решения о внедрении
инновационных технологий в учебный процесс:
• Структурирование учебного курса
• Слабые места, где традиционные педагогические
методы уже не обеспечивают полноту учебного
процесса.
2
Инновационные методы в образовании
Педагогический контроль – выявление, измерение и
оценка знаний, умений и навыков студентов.
• Традиционные методы педагогического контроля:
экзамены, зачеты (письменные и устные), опрос,
контрольные работы, рефераты, коллоквиумы, отчеты,
курсовые и дипломные работы и т.д.
• Новые методы педагогического контроля: системы
тестовой диагностики, модульно-рейтинговые
методики, кейсы.
3
Преимущества и недостатки традиционных и
тестовых методик контроля
Традиционные методики контроля
• (-) субъективность
(-) узкая шкала оценки (студенты слабо дифференцированы по
знаниями)
• (+) личный опыт преподавателя при прямого контакте со студентом
•
•
•
•
•
•
•
•
Тестовые системы контроля
(+) объективная оценка, обоснованная общепринятым эталоном,
(+) индивидуальный подход к студенту, равноправие студентов
(+) повышение ответственности студента, его самостоятельности,
исключение недобросовестности при тестировании
(+) экономия времени преподавателя, студента
(+) широкая сфера применения результатов
(+) обратная связь
(+) тестовые методики стимулируют постоянную работу студента
(-) трудность создания теста
4
Тестирование в учебном процессе
Применение тестовой технологии не имеет
самодовлеющего значения и, безусловно,
должно сочетаться с другими формами контроля
студентов.
Преимущество тестов в том, что они позволяют
проверять элементарные знания студентов,
являющиеся необходимой базой обучения в
любой дисциплине
5
Виды тестового контроля
Вступительный
(входной)
Текущий
конкурс:
отбор, отсев
классификация, рейтинг
Промежуточный
аттестация
(рубежный, поэтапный)
Итоговый
гос. аттестация
(аттестационный)
6
ШКАЛА. ВЕДОМОСТЬ.
7
РАСПРЕДЕЛЕНИЕ СТУДЕНТОВ ВУЗА ПО
КОЛИЧЕСТВУ РЕШЕННЫХ ЗАДАНИЙ
Менеджмент (организации)
ВУЗ 1
Управление персоналом
ВУЗ 2
0,4
0,4
0,3
0,3
0,2
0,2
0,1
0,1
0
10
20
30
40
50
60
70
80
90 100
0
10
20
30
40
50
ВУЗ 3
0,4
0,3
0,2
0,2
0,1
0,1
0
10 20 30 40 50 60 70 80 90 100
процент решенных заданий
70
80
90 100
ВУЗ 3
0,4
0,3
60
0
10
20
30
40
50
60
70
80
90 100
процент решенных заданий
8
021100 "Юриспруденция" - Конституционное (государственное)
право России
1
0,9
0,8
доля успеха
0,7
0,6
0,5
Проверяемое
образовательное
учреждение
0,4
0,3
0,2
0,1
0
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
образовательные учреждения
9
021100, 521400 - Юриспруденция
КОНСТИТУЦИОННОЕ ПРАВО РФ 116, 3628,
1
1
0,8
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
10
20
30
40
50
ТРУДОВОЕ ПРАВО 106, 2923,
60
70
80
0
90 100
30
1
0,8
0,6
0,2
30
40
50
60
40
50
60
70
70
80
90 100
средний балл решенных заданий
80
90 100
41
0,6
0,2
20
30
0,8
0,4
10
20
1
0,4
0
10
УГОЛОВНОЕ ПРАВО 91, 2435,
доля вузов
доля вузов
25 ГРАЖДАНСКОЕ ПРОЦЕССУАЛЬНОЕ ПРАВО 94, 2435, 48
0
10
20
30
40
50
60
70
80
90 100
средний балл решенных заданий
10
ВУЗ №32. 060400 – Финансы и кредит. Дисциплина - ИНВЕСТИЦИИ
45
40
35
30
25
20
15
10
5
0
Раздел 1
Раздел 2
Раздел 3
Раздел 4
Раздел 5
Раздел 6
Раздел 7
Раздел 1. Экономическая сущность и значение инвестиций.
Раздел 2. Оценка инвестиционных качеств и эффективности финансовых инвестиций.
Раздел 3. Формирование и управление инвестиционным портфелем.
Раздел 4. Источники финансирования капитальных вложений предприятий.
Раздел 5. Организация проектирования и подрядных отношений в строительстве
Раздел 6. Финансирование и кредитование капвложений
Раздел 7. Новые формы финансирования и кредитования капитальных вложений 11
Системы тестового контроля
• Итоговый
(срез знаний, ведомость)
• Входной – Рубежный
(прогресс студента)
• Входной – Тематический – Рубежный
(тематическое освоение предмета)
• Адаптивный
(оценка уровня знаний студента)
12
Адаптивное тестирование
ШКАЛА
12
I этап
II этап
11
КЛАССИФИКАЦИЯ АТТЕСТАЦИЯ
10
Самотестирование
9
Исходный балл
Реальный балл 8
7
БТЗ
Фонд ТЗ
6
различной
заданной
5
трудности
трудности
ОБЪЕКТЫ
ОБРАЗЫ
ИСПЫТУЕМЫЕ
4
{отл.+
{отличников},
Оценка
+хор.+
{хорошистов},
3
+поср.}
{посредств.}
2
113
5
4
3
2
Оценка результатов тестирования. Шкалирование
• Правильный ответ = +1,
не правильный = 0
Сумма = количество баллов
• Правильный ответ = +1,
не правильный = -1
Сумма = количество баллов (+/-)
• % освоенных дидактических единиц (ДЕ)
показатель в рамках специальности
14
ШКАЛА ОЦЕНКИ
5+
5
54+
4
43+
3
32+
2
2-
12
11
10
9
8
7
6
5
4
3
2
1
Превосходно
Отлично
Почти отлично
Более чем хорошо
Хорошо
Недостаточно хорошо
Более чем удовлетворительно
Удовлетворительно
Малоудовлетворительно
Более чем неудовлетворительно
Неудовлетворительно
15
Нет знаний
Классификации тестов
• По методологии:
нормативно-ориентированные и критериальноориентированные
• По содержанию:
гомогенные и гетерогенные
• По форме:
бланковые и компьютерные, «быстротест»
• По целям:
вступительные, текущие, промежуточной и
итоговой аттестации
• «Неправильные тесты»
16
Технологии тестирования
• Интернет-экзамен (ФЭПО)
• Система тестирования АлтГУ (технология АСТ)
17
Интернет-экзамен
Цели: аттестационный контроль
Возможности: контроль остаточных
знаний (соответствие ГОС)
Результат:
преподаватель: контроль усвоения
материала в соответствии с ГОС
кафедра: качество преподавания курса
вуз: качество подготовки по кафедрам
18
Интернет-экзамен
Идея
В целях оказания помощи вузам при создании систем
управления качеством подготовки специалистов на
основе независимой внешней оценки Национальное
аккредитационное агентство в сфере образования
проводит эксперимент по введению Федерального
экзамена в сфере высшего профессионального
образования (ФЭПО). Содержанием эксперимента
является
проведение
компьютерного
Интернеттестирования в части внешней оценки уровня подготовки
студентов на соответствие требованиям государственных
образовательных стандартов
19
Интернет-экзамен
Принципы ФЭПО:
• принцип добровольности участия вузов
• принцип полного доверия вузам по
вопросам соблюдения технологии
проведения экзамена
• проведение экзамена в единое время по
единым измерительным материалам
• два режима проведения экзамена: on-line
off-line
20
Идея проекта: режим on-line
• В одно и то же время студенты
проходят Единое тестирование в
системе ТестЭкзаменатор в среде
Интернет
WWW.FEPO.RU
INTERNET
пароли студентов
• По окончании экзамена студенты
получают оценки (% правильно
выполненных заданий)
• Преподаватель получает рейтинглист (на именной странице вуза на
сайте)
21
Идея проекта: режим off-line
• На именной странице вуза на сайте
выставляется зашифрованный пул заданий
WWW.FEPO.RU
• В одно и то же время студенты проходят
тестирование в системе ТестЭкзаменатор
INTERNET
Локальный
сервер вуза
• По окончании тестирования ответы студентов
передаются для обработки
• Результаты после обработки в
Росаккредагентстве появляются на сайте (на
именной странице вуза)
пароли студентов
программа тестирования
БД тестов
22
Окно программного модуля
Тест-Экзаменатор
23
Использование
критериально-ориентированных тестов (АПИМ)
100
51
49
Нормативноориентированное
тестирование
«ГОС»
Критериальноориентированное
тестирование
24
Результаты тестирования студентов
по основным образовательным программам вуза
Выводы по освоению дисциплины
«+» Дисциплина освоена, если не менее 50 % студентов,
принимавших участие в Интернет-экзамене, освоили 100 %
ДЕ дисциплины.
«−/+» Дисциплина освоена условно, если не менее 50 %
студентов, принимавших участие в Интернет-экзамене,
освоили не менее 70 % всех ДЕ дисциплины.
«−» Дисциплина не освоена, если более 50 % студентов,
принимавших участие в Интернет-экзамене, освоили
менее 70 % всех ДЕ дисциплины.
« * » Выводы о соответствии качества подготовки студентов
данной ООП требованиям ГОС по дисциплине являются
статистически незначимыми ( контингент менее 10 чел.)
25
Представление результатов:
Рейтинг-лист студентов
26
Представление результатов:
Показатели выполнения требований ГОС для
ООП вуза
Цикл
дисциплин
(V часов)
Дисциплина
Количество студентов,
принявших участие
(V часов, отведенных
в Интернет - тестировании
на изучение дисц.)
Наименование и код ООП вуза
ЕН (1600)
ЕН (1600)
ЕН (1600)
67
Информатика (200)
КСЕ (-)
29
Математика (600)
79
Отечественная
42
история (-)
48
Философия (-)
Наименование и код ООП вуза
25%
93%
87%
Информатика (200)
Математика (700)
Физика (300)
Отечественная
история (-)
Философия (-)
63
69
50
38%
80%
24%
37
81%
67
58%
ГСЭ (1260)
ГСЭ (1260)
ЕН (1600)
ЕН (1600)
ЕН (1600)
ГСЭ (1260)
ГСЭ (1260)
Процент
студентов,
освоивших все ДЕ
79%
48%
27
Структурирование информации о результатах
Интернет-экзамена для пользователей различного
уровня
Обобщенные результаты освоения требований ГОС;
Мониторинг результатов тестирования
Рособрнадзор
Ректорат
Сравнение показателей освоения требований ГОС с
другими вузами
Деканат
Показатели освоения требований ГОС для
ООП по профилям подготовки
Кафедра
Преподаватель
Студент
Показатели освоения требований ГОС;
Показатели освоения ДЕ дисциплин
Показатели освоения ДЕ дисциплин;
Коэффициенты решаемости заданий по темам
Рейтинговый показатель в группе,
специальности, вузе, группе вузов
28
Дисциплины Интернет-экзамена
(декабрь 2008 – январь 2009 г.)
ОПД ВПО
Экономический
профиль
Макроэкономика
Деньги, кредит,
банки
Теория государства
и права
Страхование
Уголовное право
Экономическая
теория
Гражданский
процесс
Конституционное
право
Микроэкономика
Национальная
экономика
Мировая
экономика
Менеджмент
Маркетинг
Бухгалтерский учет
Статистика
Эконометрика
Финансы и кредит
Экономика
организации
Юридический
профиль
Международное
право
Гражданское
право
Криминалистика
Административное
право
Трудовое
право
Экологическое
право
Технический
профиль
Метрология,
стандартизация
и сертификация
Теплотехника
Электроника и
электротехника
Детали машин
Теоретическая
механика
Теоретические основы
электротехники,
основы теории цепей
Начертательная
геометрия.
Инженерная
графика
Материаловедение.
ТКМ
Теория механизмов
и машин
Теория автоматического
управления
Сопротивление
материалов
29
Дисциплины Интернет-экзамена
(декабрь 2008 – январь 2009 г.)
ОПД ВПО
Педагогический
профиль
Педагогика
Психология
Безопасность
жизнедеятельности
Возрастная
анатомия
и физиология
Сельскохозяйственный
профиль
Строительный
профиль
Ботаника
Инженерная геология
Физиология растений
Защита растений
Механика грунтов
Инженерная геодезия
Микробиология
Основы медицинских
знания и здорового
образа жизни
Основы специальной
педагогики и
психологии
30
Дисциплины Интернет-экзамена
(декабрь 2008 – январь 2009 г.)
ОПД СПО
Педагогический
профиль
Экономический
профиль
Технический
профиль
Педагогика
Менеджмент
Инженерная графика
Психология
Маркетинг
Безопасность
жизнедеятельности
Статистика
Юридический
профиль
Правовое обеспечение
Материаловедение
31
Возможности ФЭПО для преподавателя
• Использование Интернет-экзамена в
учебном процессе (контроль остаточных
знаний, проверка базовых знаний)
• Участие в разработке АПИМ
• Экспертиза АПИМ
www.fepo.ru
32
Система тестирования АлтГУ
• Цель: мониторинг качества образования
Возможности: тематический, рубежный,
итоговый контроль
Результат: помощь педагогу в оценке
уровня обученности; информация для
кафедры об успеваемости студентов
33
Система тестирования вуза
Администратор
Студенты
Конструктор
тестов
Генерация
теста
SWAP
БТЗ
Администратор
Сервер
Студенты
34
 Состав системы
•
•
•
Конструктор тестов
SWAP – программа обмена данными
Converter
Комплекс программ для проведения и сопровождения
процедуры тестирования:
•
•
•
АСТ- Server
АСТ-Administrator
АСТ-Player
35
 Состав системы
•
•
•
Конструктор тестов - предназначен для создания и наполнения Накопителя
тестовых заданий и формирования семейства тестов на его основе.
SWAP – программа обмена данными между накопителем тестовых заданий
и документами WinWord, Excel и в текстовом формате
Конвертер - для конвертации исходных тестовых файлов .ast в формат .asd,
который используется серверной частью системы тестирования AST-Test.
,с возможностью внесения изменений в OLE-обьекты (формулы,текст).
Комплекс программ для проведения и сопровождения процедуры тестирования.
•
АСТ- Сервер - назначение
•
АСТ-Администратор - Test_Administrator предназначена для удаленной
организации тестирования и получения
статистического анализа результатов.
•
АСТ-Плеер - Программа AST-Test_Player
предназначена для проведения тестирования посредством
подключения к удаленной базе тестов, находящейся
на другом компьютере - сервере.
36
Банк тестовых заданий – основа
любого теста
• Количество тестовых заданий
не менее 200
• Качество ТЗ:
- составленные по правилам
- разнообразие форм ТЗ
- задания различной нормы трудности
• Алгоритм тестирования
последовательный, по сложности, случайный выбор, адаптивный
• Рекомендации по разработке БТЗ
37
Банк тестовых заданий – основа
любого теста
• Структура банка тестовых заданий
соответствует структуре курса
• Соответствие ГОС
• Глубина структуры:
раздел - тема - подтема
• Тезаурус
38
Технология формирования тестов
Семейство тестов
Тест_1
Тест_2
МАСТЕР ТЗ
Тест_...
Тест_n
ГЕНЕРАТОР ТЕСТОВ
Банк тестовых заданий
39
40
Формы тестовых заданий
• Закрытые
единичный выбор
множественный выбор
• Открытые
• На соответствие
• На упорядочивание
41
ФОРМЫ ЗАДАНИЙ
42
Закрытая форма тестового задания
Z={, S, mc, ml }
ГРАФИК ФУНКЦИИ y(x) = -|x + 2|
43
Закрытая форма тестового задания
44
Закрытая форма тестового задания
45
Открытая форма тестового задания
Z={, S, mc, ml }
46
Открытая форма тестового задания
47
Тестовое задание на упорядочивание
Z={, S, mc, ml }
48
Тестовое задание на соответствие
Предъявленное ПДТЗ
Выполненное ПДТЗ
Соответствие интеграла формуле его Соответствие интеграла формуле его
вычисления:
вычисления:
1
x
e
 dx
ln x +C
1
sin x +C
2
3
 sin xdx
x
a
 dx
C
2
-cosx + C
3
a
x
ln a
ex  C
x
e
 dx
1
sin x +C
 sin xdx
x
a
 dx
ln x +C
3
ax
2
-cosx + C
ln a
C
ex  C
49
Тестовое задание на соответствие
50
МЕТОДОЛОГИЯ.
СИСТЕМА ПРАВИЛ
Форма
Тестовое
Задание
Различающая способность
Содержательность
Логичность
Содержание
Время
Анализ
Синтез
51
Тестовое задание
• Однозначность
• Требования заключения
Вопрос
Задача
Определение
Доказательство
Высказывание
СУЖДЕНИЕ
АКСИОМЫ
52
Тестовое суждение
ГИПОТЕЗЫ
•
•
•
•
•
•
•
Краткость (один существенный признак)
Время формирования заключения ≤ 1 мин
Свернутость
Целостность восприятия
Трудоемкость
Форма
Композиция
53
УРОВНИ ЗНАЧИМОСТИ
ТЕСТОВЫХ УТВЕРЖДЕНИЙ
2. Краткое
тестовое
утверждение
1. Тестовая
Ситуация
СУЖДЕНИЕ
3. ГЦТУ
(ЭФТК)
КОМПОЗИЦИЯ
КРАТКОСТЬ
ФОРМА
ПРЕДСТАВЛЕНИЯ
ФОРМЫ
МЫШЛЕНИЯ
54
Возрастание ценности
тестовых заданий
Базовые компоненты
Факторы
Содержание
Форма
Форма
мышления
Существенный
Смысл
Значение
Адресат
Краткость
признак
Представление
ПДТЗ
Композиция
Различающая
способность
Целостность
восприятия
Тектоническая
ясность
Пропорциональность
Цветовое единство
Масштабность
ТС
Эстетичность
Шрифт
КТУ
ГЦТУ
55
ЭТАПЫ СОЗДАНИЯ БТЗ
1
ВЫБОР РЕЗУЛЬТАТА ПРОВЕРКИ
2
СТРУКТУРИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА
3
СОЗДАНИЕ СТРУКТУРЫ БТЗ
4
СПЕЦИФИКАЦИЯ ТЕСТОВЫХ ЗАДАНИЙ
5
РАЗРАБОТКА КОМПОЗИЦИИ ТЕСТА
56
ЭТАПЫ СОЗДАНИЯ БТЗ
6
ЭКСПЕРТИЗА БТЗ И ЗАДАНИЙ
7
КОРРЕКЦИЯ БТЗ
8
ОРГАНИЗАЦИЯ БАНКА ТЕСТОВЫХ ЗАДАНИЙ
9
КОРРЕКЦИЯ ТЕСТОВЫХ ЗАДАНИЙ
10
ПРЕДВАРИТЕЛЬНОЕ ШКАЛИРОВАНИЕ
57
ЭТАПЫ СОЗДАНИЯ БТЗ
11
ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНОГО ТЕСТИРОВАНИЯ
12
КОРРЕКЦИЯ ПОКАЗАТЕЛЕЙ БТЗ и ШКАЛЫ ОЦЕНИВАНИЯ
13
СЕРТИФИКАЦИЯ БТЗ
58
Тренды
• Экспертиза банков тестовых заданий
• Проведение тестирования студентов по Вашим
банкам тестовых заданий
• Семинары по созданию банков тестовых
заданий
• Конкурс на лучший банк тестовых заданий
59
Центр оценки качества
образования
(в презентации использованы материалы семинаров АСТ-центра и Росаккредагентства)
www.coko.asu.ru
[email protected]
тел. 36-63-91
60