Критерии оптимальности автоматизированных систем

«Оптимизированные АСКЗ – путь к совершенствованию обучения»
Критерии оптимальности автоматизированных систем
контроля знаний
Москва, 2008
Оглавление
Введение .......................................................................................................................................................................... 3
Дерево технологического процесса ИПС типа тест ........................................................................................ 4
Функциональная схема работы ИПС типа тест ............................................................................................... 4
Mirax Test ......................................................................................................................................................................... 6
Редактор (LocalEditor.exe) .................................................................................................................................. 6
Сценарий диалога по созданию БЗ вопросов по темам ............................................................................... 7
Тест (Testing.exe)................................................................................................................................................. 8
Сценарий диалога с тестируемым ................................................................................................................. 9
Схема работы Mirax Test .................................................................................................................................. 10
Схема данных Mirax Test ................................................................................................................................. 13
Дерево диалога при создании (Mirax Test) ..................................................................................................... 14
Дерево диалога при пользовании (Mirax Test) ............................................................................................... 14
Easy Test Creator ............................................................................................................................................................ 15
Сценарий диалога Easy Test Creator ................................................................................................................ 18
Создатель: ...................................................................................................................................................... 18
Пользователь: ................................................................................................................................................ 19
Дерево диалога при создании (Easy Test Creator) .......................................................................................... 20
Дерево диалога при пользовании (Easy Test Creator) .................................................................................... 20
Критерии оптимальности ............................................................................................................................................. 21
Заключение .................................................................................................................................................................... 23
Литература ..................................................................................................................................................................... 24
-2-
Введение
В связи с развитием информационных технологий в настоящее время возрос интерес к
дистанционному обучению. Среди проблем дистанционного образования особое место занимает
проблема автоматизации контроля знаний. Контроль знаний или тестирование – это процесс,
проводимый с целью определения уровня знаний.
Тестирования будут рассмотрены как смоделированные процессы контроля знаний,
осуществляемые при помощи различных конструктивных методов.
Существует множество программ для проведения тестирования. Примерами таких программ
могут служить:
 Ассистент II v1.02 – программа контроля знаний учащихся;
 EASYTEST (простые тесты v1.1) – интегрированная инструментальная среда для
разработки тестовых заданий и проведения тестовых контрольных работ. Простое и
удобное в работе инструментальное средство для преподавателей различных учебных
заведений. ПС "Простые тесты" расcчитаны на работу в локальной сети. Обеспечивает
автоматизированный сбор информации о результатах тестирования. Имеет встроенную
систему анализа результатов. Имеются две локализации - для школ и для Вузов и
ССУЗов;
 EXAM3_44 (экзаменатор v3.44) – для проведения контрольных, экзаменов и тестовых
работ;
 KONTR1_0 ("Контроль знаний" v1.0) – инструментальная система "Контроль знаний"
для создания систем тестирования знаний - это универсальный программнометодический комплекс автоматизации разработки, экспертизы и использования
тестовых заданий для контроля знаний и обучения по любым предметам;
 QUICKEX. Система Quick Exam,является универсальным инструментом для создания
электронных экзаменов, практически для всех сфер деятельности человека. Она
предназначена для применения в учебных заведениях, любого уровня и
профессиональной направленности, в воинских частях, организациях и предприятиях
любой форм собственности, т.е. где требуется контроль знаний. Quick Exam
обеспечивает быстрое создание и проведение экзамена, регистрацию экзаменуемых,
оценку правильности ответов на вопросы, сохранение результатов в базе данных.
Система обеспечивает требуемый вывод данных с целью дальнейшего анализа по
множеству параметрам, необходимых для расчета элементов статистики и улучшения
преподавания, а также накопления результатов экзаменов;
 Mirax Test - программа профессионального тестирования.
Любой тест – это информационно-поисковая система (ИПС). ИПС предназначена для
отыскания в каком-то множестве документов тех, которые посвящены указанной в информационном
запросе теме или содержат необходимые сведения. Процесс поиска осуществляется путем
сопоставления поисковых образов документов с поисковым образом запроса. При полном или
частичным совпадении образов документ считается соответствующим запросу и выдается
пользователю. Общий вид ИПС можно представить следующим образом:
-3-
ИПС
Вопрос
пользователя
поиск
ответ
Дерево технологического процесса ИПС типа тест
ИПС тест
Вопрос от
ИПС
Ответ
пользователя
Анализ
ответа
Ответ от ИПС
(истина/ложь)
Функциональная схема работы ИПС типа тест
Тест
F1 (функция
создателя)
База
знаний
F2 (функция
пользователя)
Тезаурус
Вопрос
Ответ
пользователя
Программа
ответов, анализа и
выдачи вопросов
по теме
Результат
Общий
результат
-4-
Основой каждого теста является база знаний (БЗ) или база вопросов, с помощью которых
осуществляется диалог с пользователем. Диалог в интерактивном режиме может иметь вид:
 вопрос-ответ (задания альтернативных ответов);
 шаблон (задания свободного изложения, задания-дополнения);
 меню (задания множественного выбора, задания на восстановление соответствия,
задания на установление правильной последовательности).
Перед пользователем стоит задача выбора программы, посредством которой будет реализован
тест. Рассмотрим подробнее работу Mirax Test, в качестве сравнения с Mirax Test опишем Easy Test
Creator; определим, как же выбрать наиболее оптимальную программу и по каким параметрам нужно
принимать решение.
-5-
Mirax Test
Mirax Test включает в себя как редактор тестов (LocalEditor.exe), так и программу
тестирования (Testing.exe), содержащую профессиональные, логические и IQ тесты. Редактор
позволяет создавать собственные тесты и редактировать тесты, включенные в стандартную поставку.
Все созданные с помощью редактора тесты распознаются всеми версиям Mirax Test. Любой тест
может содержать неограниченное число вопросов с различными вариантами ответов, на любой
вопрос может быть добавлено изображение. Удобство и простота интерфейса редактора значительно
облегчат создание собственных тестов.
Редактор (LocalEditor.exe)
Работа с редактором подразумевает ввод вопросов и ответов к ним с отмеченным верным(-и).
Mirax позволяет создавать вопросы двух типов:
 задания альтернативных ответов;
 задания множественного выбора.
-6-
Сценарий диалога по созданию БЗ вопросов по темам
Создатель
(А1)
Меню
(А)
Ответ
(В)
Добавление
ответа
(R)
Файл
(D)
Действия
(E)
Помощь
(F)
Новый
(G)
Добавить вопрос
(H)
Сайт Mirax
Software
(I)
Текст ответа
(U)
Загрузить
(J)
Изменить вопрос
(K)
Информация
(L)
Правильный
ответ
(V)
Сохранить
(M)
Удалить вопрос
(N)
О программе
(O)
Сохранить как
(P)
Выход
(Q)
-7-
Изменение
ответа
(S)
Изображение
(С)
Удаление ответа
(T)
Открыть
(W)
Сохранить как
(X)
Удалить
(Y)
Тест (Testing.exe)
С помощью данного приложения запускается ранее созданное тестирование через LocalEditor.exe.
-8-
Сценарий диалога с тестируемым
Пользователь
(А)
Сведения о
тестируемом
(B)
Характеристики
теста
(C)
Фамилия
(E)
Профтест
(I)
Имя
(F)
Тест на
память
(слова)
(J)
Отчество
(G)
Тест на
память
(числа)
(K)
Максимальное
количество
вопросов
(N)
Максимальное
общее время
(O)
Максимальное
время вопрос
(P)
Сведения
(H)
Начать
тестирование
(D)
Старт
(Q)
Вопрос 1
(R)
Ответ(-ы) на
вопрос 1
(S)
...Вопрос N
(T)
IQ
(L)
...Ответ на
вопрос N
(U)
Задачи
(M)
Результаты
тестирования
(V)
-9-
Схема работы Mirax Test
Начало
Установка
A
Главное
меню
1. Создатель
2.Пользователь
3.Выход
Выбор
режима
1
Создатель
3
2
Пользователь
Среда работы
создателя
1
Конец
Среда пользователя
2
-10-
1
Редактор
теста
A1
Выбор
режима
Меню
1.
2.
3.
4.
Выбор
режима
1. Меню
2. Ответ
3. Изображение
4. Конец
Удалить ответ
Изменить ответ
Добавить ответ
Конец
1. Действия
2. Файл
3. Помощь
4. Конец
Действия
Выбор
режима
Добавить вопрос
Ответ
Выбор
режима
Файл
1.
2.
3.
4.
Изображение
Удалить ответ
Помощь
Изменить ответ
Добавить ответ
Выбор
режима
A1
Добавить вопрос
Изменить вопрос
Удалить вопрос
Конец
1. Новый
2. Загрузить
3. Сохранить
4. Сохранить как
5. Конец
Выбор
режима
Новый
Текст ответа
A1
Выбрать
правильный
ответ
Сохранить как
Изменить вопрос
A1
Загрузить
A1
Удалить вопрос
Сохранить
A1
-11-
A1
1. Текст ответа
2. Выбрать
правильный ответ
3. Конец
А
1. Удалить изображение
2. Сохранить изображение
3. Открыть изображение
4. Конец
Выбор
режима
Открыть
изображение
Сохранить
изображение
Удалить
изображение
A1
2
Тест
1. Сведения о тестируемом
2. Характеристики теста
3. Начать тестирование
4. Конец
А2
Выбор
режима
Сведения о
тестируемом
Начать
тестирование
Характеристики
теста
Старт
А2
1. Профтест
2. Тест на память
(слова)
3. Тест на память
(числа)
4. IQ
5. Задачи
6. Конец
Выбор
режима
Вопрос 1
Профтест
Тест на память
(слова)
Тест на память
(числа)
IQ
Ответ на
вопрос 1
...
Вопрос N
Ответ на
вопрос N
Задачи
Результаты
тестирования
А2
А
-12-
А
Схема данных Mirax Test
Тестируемый
Тестирующий
Ввод
вопроса
Ответ
1
Вопрос 1
Ответ
2
Вопрос 2
Ответ
N
Вопрос N
База
ответов
Обработка
ответов
Результат
-13-
База
вопросов
Дерево диалога при создании (Mirax Test)
A1
Z
A
B
D
G
J
E
M
P
Q
H
F
K
N
I
R
L
O
U
C
S
T
W
X
Y
V
- РЕДАКТОР
Z
Дерево диалога при пользовании (Mirax Test)
Z
A
B
E
F
C
G
H
I
N
Z
O
J
K
P
D
L
M
Q
R
- ТЕСТ
-14-
S
T
U
V
Easy Test Creator
В качестве примера для сравнения с Mirax Test возьмем тестирование Easy Test Creator. В
отличие от Mirax Test, который представляет собой две отдельные программы LocalEditor.exe и
Testing.exe, программа Easy Test Creator едина и совмещает в себе одновременно и редактор, и тест.
-15-
-16-
-17-
Сценарий диалога Easy Test Creator
Создатель:
Менеджер
тестов (B)
Создатель
(D)
Запустить
тест (E)
Новый тест
(O)
Редактировать
тест (P)
А
Выбор теста
(Q)
Выбор теста
(F)
Меню (G)
Инструкция
(H)
Инструкция
(S)
Окно теста (T)
Тест (L)
Вопрос (M)
Редактор
форм (R)
А
По
умолчанию
(U)
Ответ (N)
Закрыть (V)
Информация
(I)
О программе..
(J)
Выход (K)
А
Основные
свойства (W)
Тип теста (X)
Таймер (Y)
Титульная
информация
(Z)
Данные теста
(E1)
Ввод/Вывод
текста
(вопроса/
ответов) (H1)
Результат
тестирования
(F1)
Сообщение о
результате
(K1)
Реакция на
события (I1)
Помощь (G1)
Схема (L1)
Сохранить..
(M1)
Закрыть (N1)
Вставка
объекта (J1)
Надписи к
кнопкам (A1)
Мультимедия
(B1)
Оптимизация
записи (C1)
Инструкция
(D1)
-18-
Файл (Z1)
Помощь (Y1)
Пользователь:
Менеджер
тестов (B)
Пользователь
(С)
Запустить
тест (E)
Новый тест
(O)
Редактировать
тест (P)
А
Выбор теста
(Q)
Выбор теста
(F)
Меню (G)
Инструкция
(H)
Инструкция
(S)
Окно теста (T)
Тест (L)
Вопрос (M)
Редактор
форм (R)
А
Ответ (N)
По
умолчанию
(U)
Закрыть (V)
Информация
(I)
О программе..
(J)
Выход (K)
А
Основные
свойства (W)
Тип теста (X)
Таймер (Y)
Титульная
информация
(Z)
Данные теста
(E1)
Ввод/Вывод
текста
(вопроса/
ответов) (H1)
Результат
тестирования
(F1)
Сообщение о
результате
(K1)
Реакция на
события (I1)
Помощь (G1)
Схема (L1)
Сохранить..
(M1)
Закрыть (N1)
Вставка
объекта (J1)
Надписи к
кнопкам (A1)
Мультимедия
(B1)
Оптимизация
записи (C1)
Инструкция
(D1)
-19-
Файл (Z1)
Помощь (Y1)
Дерево диалога при создании (Easy Test Creator)
B
D
E
O
F
G
W
L
E1
H1
I1
P
F1
J1
G1
K1
L1
M1
W
N1
R
Q
E1
S
F1
G1
L1
T
Z1
U
M1
Y1
V
N1
X, Y, Z, A1, B1, C1, D1
H
I
J
K
M
N
H1
I1
J1
K1
X, Y, Z, A1, B1, C1, D1
Дерево диалога при пользовании (Easy Test Creator)
B
C
E
O
F
G
W
L
E1
H1
I1
P
F1
J1
K1
G1
L1
M1
W
N1
Q
E1
F1
X, Y, Z, A1, B1, C1, D1
H
I
J
K
M
N
H1
I1
J1
X, Y, Z, A1, B1, C1, D1
-20-
R
K1
S
G1
L1
T
M1
Z1
U
V
N1
Y1
Критерии оптимальности
Как уже было сказано в начале, существует множество программ, которые осуществляют
контроль знаний. При выборе программу оценивают по сложности. Сложность программы
разделяют на два понятия: структурная сложность и функциональная сложность.
Структурную сложность отображают деревья диалога. Следует отметить, что большинство
программ этого направления не особенно отличаются друг от друга по своей структуре (это было
показано на примере деревьев Mirax Test и Easy Test Creator). Следовательно, главным критерием
оценки становится функциональная сложность.
Функциональную сложность программы определяют:

по среде реализации;

по объему занимаемой памяти;

по совместимости с другим ПО;

по взаимодействию программы с пользователем (интерфейс);

по скорости обработки данных, время реализации (зависит от характера
запросов и их количества);

количество единовременно выполняемых программ.
Оценивая Mirax Test по функциональным признакам, можно выделить следующие
преимущества и недостатки как со стороны тестирующего, так и со стороны тестируемого лиц.
Преимущества со стороны тестирующего лица:
 удобное взаимодействие пользователя с программой («дружелюбный интерфейс»);
 возможность ограничить время на прохождение теста;
 возможность ограничить количество вопросов;
 возможность корректировки вопросов и ответов;
 возможность добавления изображений;
 возможность сортировки вопросов и ответов по алфавиту;
 выдача вопросов в произвольном порядке.
Недостатки со стороны тестирующего лица:
 размещение вопросов только двух типов;
 отсутствие защиты результатов;
 отсутствует навигация по вопросам;
 нет взаимодействия с текстовыми редакторами;
 некорректная выдача результатов – процент правильно выполненных заданий
рассчитывается не от общего числа вопросов, а от количества отвеченных;
 нет проверки орфографии;
 не предусмотрено предупреждение, что среди ответов не выбран верный.
Преимущества со стороны тестируемого лица:
 удобное взаимодействие пользователя с программой («дружелюбный интерфейс»);
 возможность окончить тестирование в любое время;
 возможность просмотра результатов с анализом ответов.
Недостатки со стороны тестируемого лица:
 отсутствие навигации по вопросам;
 нет личных настроек пользователь (например, размера шрифта);
 отсутствие счетчика на оставшееся время.
Преимущества и недостатки Easy Test Creator со стороны тестирующего и тестируемого лиц:
Преимущества со стороны тестирующего лица:
 наличие таких настроек как: свои подписи к кнопкам ответов, оптимизация записи,
настройка мультимедиа;
-21-






разнообразие видов вопросов, доступных для размещения;
возможность корректировки вопросов и ответов;
возможность ограничить время на прохождение теста;
выдача вопросов в произвольном порядке.
возможность добавления изображений;
возможность добавления пометки, выдача сообщения, при выдаче определенного
результата;
Недостатки со стороны тестирующего лица:
 неудобное взаимодействие с программой (интерфейс);
 результаты тестирований не сохраняются;
 нет взаимодействия с текстовыми редакторами;
 нет проверки орфографии;
Преимущества со стороны тестируемого лица:
 информация о тесте доступна в любой момент времени;
 настройки пользователя;
 просмотр инструкции во время прохождения тестирования;
 возможность окончить тестирование в любое время;
 наличие счетчика на прохождение тестирования;
Недостатки со стороны тестируемого лица:
 результаты тестирований не сохраняются;
 неудобное взаимодействие с программой (интерфейс);
 отсутствие навигации по вопросам;
На основе положений, определяющих функциональную сложность в общем, проведя анализ
преимуществ и недостатков тестовых программ Mirax Test и Easy Test Creator, можно выделить
следующие критерии оптимальности автоматизированных систем контроля знаний:

уровень сложности темы – выбор сложности тем, используемых в
тестировании;

виды вопросов;

безопасность БЗ – главный критерий для тестирующего лица. В данном
критерии именно Mirax Test является наиболее защищенным, т.к. в нем заключены две
программы: для корректировки теста и для его запуска. Иными словами, без необходимого
ПО тестируемый не сможет просмотреть вопросы, тогда как в Easy Test Creator этот пункт не
принят во внимание и как редактор, так и запуск соединены в одну программу без каких-либо
ограничений в использовании;

защита результатов - в Mirax Test этот критерий не учтен, но легко устраним
посредством специальных возможностей ОС (таких как запретить доступ к папке с
результатами), в то время как Easy Test Creator не предусматривает сохранение результатов;

дополнительные возможности (настройки пользователя, помощь);

среда реализации;

объем занимаемой памяти;

совместимость с другим ПО;

взаимодействие программы с пользователем (интерфейс) – главный
критерий для тестируемого лица. Mirax, в отличии от Easy Test Creator является довольно
простым в использовании и освоении, не требует прочтения инструкции перед запуском, т.е.
данная программа создана таким образом, чтобы быть понятной для любого пользователя;

скорость обработки данных, время реализации;

количество одновременно подключенных тестируемых;

скорость анализа вопроса.
-22-
Заключение
Выделенные критерии оптимальности автоматизированных систем контроля знаний позволят
пользователю (тестирующему лицу) отобрать из множества специализирующихся в данной области
программ ту, которая будет отвечать всем требованиям конкретной сферы и места реализации
тестирования. Хорошо представленный тест даст возможность осуществить контроль и как можно
точнее выявить недостатки в знаниях тестируемого, которые в свою очередь отметят темы в
предмете, на которых при разъяснения материала необходимо акцентировать внимание. Значит,
основная задача оптимизированных АСКЗ совершенствовать систему обучения.
-23-
Литература
1. «Теория экономических информационных систем», Мишенин А.И. Изд. «Финансы и
статистика», 2007 г.;
2. http://ru.wikipedia.org – свободная электронная библиотека;
3. «Теория систем и системный анализ», Данелян Т.Я. Изд. «МЭСИ» М., 2004;
4. ГОСТ 19.701-90 «Схемы алгоритмов, программ, данных и систем. Условные обозначения и
правила выполнения»;
-24-