opentest.com.ua

Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ
КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ
СТУДЕНТОВ В ВЫСШЕМ
УЧЕБНОМ ЗАВЕДЕНИИ
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
1
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
Цели и задачи
Цель - обобщение опыта применения системы
компьютерного тестирования знаний студентов по
различным дисциплинам в ХНУРЭ.
Рассматриваемые вопросы
1. Тестирование как способ контроля знаний.
2. Тестовые задания.
3. Контроль знаний, умений, навыков .
4. Технология проведения тестирований.
5. Оценивание знаний.
6. Статистические результаты тестирований.
7. Тестовый центр ХНУРЭ.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
2
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
1.1 Тестирование как форма контроля знаний
Тестирование - это способ (технология)
определения уровня знаний и умений студентов с
помощью специальных тестовых заданий.
Формы тестовых заданий :
 вопросы (однозначные ответы);
 контрольные задачи (контроль процесса решения).
Характеристики процесса тестирования :
 дидактические (составление тестов);
 технологические (организация тестирования);
 технические (инструментальные средства).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
3
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
1.2 Организационные формы тестирования
 Бланковое

достоинства : простота, надежность, мобильность ;

недостатки : дороговизна подготовки, сложность перестройки,
необходимость спец.персонала.
 Аппаратное

Необходимость разработки специального оборудования .
 Компьютерное

тестирование (обработка) на стороне клиента ;

тестирование (обработка) на стороне сервера
(клиент-серверные системы тестирования).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
4
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
1.3 Компьютерные (клиент-серверные)
системы тестирования
 Преимущества




массовое применение ;
минимальный технический персонал;
автоматизация получения результата;
конфиденциальность результатов.
 Компьютерная система тестирования OpenTEST
Бесплатные программные инструментальные средства
•
СУБД MySQL ;
• Язык серверных сценариев PHP ;
• Язык текстовой разметки HTML ;
•
Язык клиентских сценариев JavaScript .
:
Мультиязычнй интерфейс (русский, украинский, английский).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
5
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.1 Тестовые задания вопросного типа.
Типы вопросов
 Вопросы закрытого типа

выбор одного из нескольких ;

выбор нескольких из нескольких

установка соответствия.
 Вопросы открытого типа

свободноконструируемый ответ (ввод в поле ответа) ;

расставить, переместить и т.д.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
6
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.2 Структура выборочного вопроса
 Описание ситуации.
В этой части вопроса могут присутствовать текст, рисунки, графики,
анимации и т.д. Эта часть вопроса не является обязательной, но все
же рекомендуется ее применять, так как одна и та же ситуация может
быть основой для множества однотипных вопросов.
 Текст вопроса.
Он должен быть сформулирован четко, и не содержать двузначных
формулировок. Текст вопроса достаточно часто может быть совмещен
с описанием ситуации.
 Варианты ответов.
В Web-интерфейсе выборочные варианты ответов на вопросы
реализуются через radio-button ("выбор одного из нескольких") или
check-box ("выбор нескольких из нескольких"). Визуально они
различимы, поэтому обучаемый всегда может определить, какой тип
вопроса ему предложен. Порядок следования вариантов ответов в
исходном задании теста абсолютно несущественен (при выдаче
тестов происходит случайное перемешивание порядка следования
вариантов ответов).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
7
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.3 Типы выборочных вопросов в
системе OpenTEST
 Внешний вид вопроса типа «один из нескольких» в Web-
интерфейсе системы OpenTEST.
 Внешний вид вопроса типа «один из нескольких» в Web-
интерфейсе системы OpenTEST.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
8
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.4 Формы представления тестовой
информации
 Модель предметной области :
«Тема» - «Подтема» - «Вопросы темы»
 Представление тестовой информации :

XML-формат;

doc-формат.
 Способы ввода тестовой информации :

через Web-интерфейс непосредственно в БД;

через имитатор Web-интерфейса с конвертированием его в
XML-формат;

из doc-файла с конвертированием его в XML-формат;

из XML-файла (импортирование теста);.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
9
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.5 Формат представления тестового docфайла
Представление вопросов в doc-файле в форме таблицы
Тема : Алгебраические уравнения
Подтема : Уровень 1
Вопрос :
3
 2 x  5  3
Решить уравнение





-1;
0;
11;
16;
-11.
Тест
Т
В1
A
A
A+
A
A
В1
A
A
A
A
A+
Алгебраические уравнения
Уровень 1
Решить уравнение 3  2 x  5  3
-1
0
11
16
-11
Решить уравнение
-2
2
2
(; )
(;2)
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
( x  2) 2  2  x
10
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.6 Внешний вид теста в базе данных
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
11
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
2.7 Нормирование длины тестов в
системе OpenTEST
 Под тематической единицей принято понимать совокупность всех
видов
учебной
нагрузки
(лекции,
практические
занятия,
лабораторные работы, самостоятельная работа), необходимые для
изучения определенной темы. Рекомендуемая минимальная длина
тематической единицы – 7 часов.
Объем учебной Тематические
Длина
Общее количество
дисциплины в
единицы
сеанса вопросов в тесте (M)
кредитах
(темы)
тестирова
(минимальное
(54 часа)
на кредит
ния
колич.)
До 2-х кредитов
8-10
10-15
100 - 150
2-3 кредита
включительно
Свыше 3-х
кредитов
7-8
15-20
150 - 200
5-7
20-30
200 - 300
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
12
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.1 Уровень сложности вопросов
В теории приобретения знаний выделяют три
уровня усвоения знаний :
 узнавание (запоминание);
 заучивание (понимание, применение);
 актуализация (синтез новых понятий, комплексное
применение умений и навыков).
Разные уровни (сложности) вопросов проверяют разные
аспекты познавательной деятельности обучаемых.
Для точного оценивания уровня знаний, умений и навыков
авторам теста было бы целесообразно разделять тесты по
целевым установкам, например, "Физика_механика (знания)",
"Матанализ_пределы (умения)" .
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
13
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.2 Пример вопросов на узнавание
(запоминание)
Данный уровень сложности вопросов позволяет
определить на сколько тестируемый знаком с материалом
определенной предметной области. Такие вопросы проверяют
исключительно уровень знаний тестируемого.
На какой свет светофора следует переходить улицу :
Красный ;
Желтый;
Зеленый.
Какова область значений функции Y = x2 :
Y – больше / равно нуля (Y >= 0);
Y – меньше нуля (Y < 0);
Y – все действительные числа.
В каком году был основан город Харьков :
1554;
1645;
1654.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
14
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.3 Пример вопросов на применение
(понимание)
При использовании вопросов данного уровня
сложности более глубоко проверяются знания и простейшие
умения. Главное в ответе на такой вопрос - это умение
правильно применять определенную формулу (закон,
нормативный акт, пункта правил и т.д.) к описанной ситуации.
Сколько электроэнергии потребит элетролампа мощностью
100 ватт :за 30 минут :
3 Квт-ч ;
0.3 Квт-ч ;
0.03 Квт-ч ;
0.05 Квт-ч ;
Сколько существует булевых функций от трех переменных :
8 ;
16;
256;
 бесконечное множество ;
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
15
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.4 Примеры вопросов на синтез новых
понятий (умения и навыки)
При использовании вопросов данного уровня
сложности более глубоко проверяются умения и навыки в
решении типовых практических задач в данной предметной
области. Обычно для ответа на такой вопрос необходимо
применить
несколько
формул
в
определенной
последовательности или выбрать правильные начальные
условия для применения некоторых формул (законов), знать и
уметь использовать основные физические и математические
константы.
Как соотносятся между собой величины чисел eπ и πe :
 eπ > πe ;
 eπ < πe ;
 eπ = πe.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
16
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.4 Примеры вопросов на синтез новых
понятий (продолжение)
Дан фрагмент программного кода на языке С
#include <iostream>
void main() {
struct S{char c; S * next;} A = {'a', 0}, B={'b', &A},
C={'c', &B}
D={'d', &C}, *p = &D;
for (int i=0; i<2 && p; i++) p=p->next;
std::cout << p->c;}
Какая буква будет выведена на консоль.
 'a';
 'b';
 'c';
 'd'.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
17
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.5 Математические вопросы. Умения и
навыки
Решить уравнение
2 x  4  x  x  12
•2;
• 6 ;
• 16,
•8;
• 12 .
Применение свободноконструируемх ответов в математических
задачах ограничено !
Решить уравнение Cos 2x + Sin 2x = Cos x + Sin x
ответ { π/6 + 2/3 πn; 2πk } имеет достаточно много форм представления, в
частности " π " может быть заменено на "180", или на запись "180
градусов". Периодичность ответов для тригонометрических уравнений
также может быть представлена многими способами.
Математические символы типа “  ”, “ ”, “  ”, “  ” с клавиатуры
в Web-интерфейсе не вводятся.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
18
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
3.5 Математические вопросы с задержкой
появления ответов
• Появление текста вопроса;
• Нажатие кнопки «Ответ готов»;
• Выбор ответа за 10 – 15 секунд (настраивается).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
19
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
4.1 Технология процесса тестирования
• Составитель (автор) тестов
Выполняет тематическую разбивку предметной области, выбирает типы
применяемых вопросов, группирует вопросы по уровням сложности и
предлагает варианты шкалы оценивания.
• Оператор ввода тестов
Является специалистом в области XML-формата и модуля “Студия
тестов” OpenTEST.Оператор должен уметь вводить тест во всех режимах.
• Организатор тестирования
Определяет цели и задачи тестирования, устанавливает параметры
сеанса тестирования и способ оценивания.
• Оператор проведения тестирования
Проводит тестирование непосредственно в машинном зале .
• Инженер по знаниям
Анализирует статистические результаты тестирований по заказам
преподавателей.
• Администратор системы
Выполняет инсталяцию и системы OpenTEST и устанавливает права
доступа разным категориям пользователей.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
20
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
4.2 Общая структура системы OpenTEST.
Web-интерфейс
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
21
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
5.1 Оценивание в системе OpenTEST.
Границы диапазонов шкалы оценивания
N
Bi – фактически набранный балл за ответ { 0 –1}
Bimax – максимально возможный балл за ответ { 1 }
i 1
*100 % N – число вопросов в сеансе
B=
max
 Bi
B – оценка за сеанс в процентах (диапазон 0 -100%)
 Вi
k 1 



C k  A  1  A 
100 %

D  1







1
 m  для вопроса типа "1 из N"
A   2 p 1
 m
 для вопроса типа " m из N"
 2 1
Ck – верхние границы k-го интервала
k – номер интервала 1<k<D
D – диапазон (балльность) шкалы оценивания
А – частота «угадывания» в выборочном вопросе
m – общее число вариантов ответов («выбор»)
p – число правильных вариантов («несколько»)
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
22
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
5.2 Пример шкалы оценивания с
вопросами равной альтернативности
 Пусть D=5, N=20, m=4 для всех вопросов.
При этом С1=25%, С2=44%, С3=63%,
С4=82%, С5=100%
*

25
44
63
82 100%
 B<C1 - неоцениваемый диапазон,
соответствующий зоне «угадывания»
B=75%, оценка «хорошо»
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
23
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
5.3 Установка авторской шкалы оценивания
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
24
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
6.1 Форма выдачи результатов тестирования
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
25
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
6.2 Норма шкалы оценивания
 Распределение
количества
тестируемых
по
шкале
оценивания соответствует нормальному (Пуассоновскому)
закону распределения с заметно выраженным максимумом в
середине шкалы оценивания.
Пример распределения оценок
группы тестируемых по
пятибалльной шкале оценивания.
 Максимальное значение количества оценок называется
«норма шкалы оценивания» и характеризует сложность теста
относительно группы тестируемых.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
26
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
6.3 Результаты тестирования по
дисциплине «Дискретная математика»
Группа СКС-03-1
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
27
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
7.1 Тестовий центр ХНУРЕ
Метою діяльності тестового центру є використання
та розвиток технологій комп’ютерного тестування знань в
навчальному процесі ХНУРЕ.
Основними функціями ТЦ відповідно до головної мети є:
• організація та координація робіт у галузі створення та
впровадження єдиної системи комп’ютерного тестування знань в
Університеті;
• розробка та затвердження нормативної бази з питань
комп’ютерного тестування;
• підтримка працездатності єдиного університетського серверу
комп’ютерного тестування;
• проведення консультацій та навчання з викладачами та
співробітниками Університету;
• проведення експертизи тестових завдань.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
28
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
7.2 Нормативне забезпечення процесу
тестування в ХНУРЭ
Положення про комп'ютерне тестування знань і
вмінь в ХНУРЕ
•
•
•
•
•
•
Статус заходв тестування (поточне, підсумкове, контрольне);
Тестовий центр при Центрі технологій дистанційного навчання;
Технології та формати підготовки тестовмх завдань;
Процедури проведення експертизи тестових завдань;
Порядок підготовки та проведення тестувань;
Інтерпретація результатів тестувань.
Позитивні результати підсумкового тестування є підставою для
отримання
студентом
заліку або
позитивної
оцінки
("задовільно") при диференційованих формах підсумкового
контролю (модульний іспит, письмовий іспит та інші).
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
29
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
7.2 Технічне та організаційне забезпечення
процесу тестування в ХНУРЕ
• Тестовий сервер при Центрі технологій дистанційного навчання;
• Комп’ютерна система тестування знань OpenTEST
(локальні інсталяції OpenTEST не підтримуються Тестовим центром);
• Сайт opentest.com.ua ;
• Технічна підтримка тестових заходів на рівні мережевої
інфраструктури ХНУРЕ;
• Відповідальні на кафедрах за проведення тестових заходів
(на першому етапі виступають в ролі організаторів тестувань).
Офіцйними є результати тестувать, як отримані на тестовому
сервері ЦТДН з використанням тестів, як пройшли експертизу у
відповідності з процедурою, зазначеною в “Положенні . . . “.
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
30
Шкиль А.С Межвузовский семинар 21 и 22 октября 2004г.
Выводы
 Компьютерная системе тестирования OpenTEST
показала свою эффективность для контроля знаний
умений и навыков студентов ХНУРЭ по различным
дисциплинам.
 Неоднократные попытки студентов «обойти»
систему тестирования или «взломать» базу данных
OpenTEST оказались безуспешными.
 Базовая
версия
системы
OpenTEST
распространяется
Центром
технологий
дистанционного обучения ХНУРЭ бесплатно. Вся
информация имеется на сайте opentest.com.ua.
Приглашаем все ВУЗы Украины к
сотрудничеству !
Test Center of Kharkov National University of Radioеlectronics,
E-mail : opentest@opentest.com.ua, phone 7021 326
31