Известия ЮФУ. Технические науки ...

Известия ЮФУ. Технические науки
Тематический выпуск
Pisarenko Veronika Igorevna
Taganrog Institute of Technology – Federal State-Owned Educational Establishment of
Higher Vocational Education “Southern Federal University”.
Е-mail: kvv@itt.net.ru.
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: +78634371496.
УДК 681.3
В.В. Марков, М.В. Луцан
ОРГАНИЗАЦИЯ ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ НА ОСНОВЕ
НЕЧЁТКОЙ МОДЕЛИ ЭКЗАМЕНАТОРА*
Рассматриваются проблемы построения системы тестового контроля знаний на
основе модели экзаменатора, обладающей признаками нечёткости. Предлагается организация и принципы алгоритмической реализации подсистемы компьютерного тестирования, базирующиеся на нечёткой модели экзаменатора, а также метод оценки правильности ответов тестируемого на основе анализа соприкасающихся подпоследовательностей
лексем (шинглов).
Система тестового контроля; нечёткая модель экзаменатора; соприкасающихся
подпоследовательности лексем; шинглы.
V.V. Markov, M.V. Lutsan
ORGANIZING OF TESTING KNOWLEDGE CONTROL BASED ON FUZZY
EXAMINER’S MODEL
In the article are considered Problems of designing of knowledge control system based on
the examiner’s model with fuzzy properties. Organization and principles of algorithmic realization
of computer testing subsystem based on fuzzy examiner’s model are being offered, and also technique of answer correct evaluation based on the analyzing of contiguous subsequences of tokens
(shingles) is being offered too.
Testing control system; fuzzy examiner’s model; contiguous subsequences of tokens; shingles.
Введение. Современные тенденции развития и модернизации в области образования, в том числе и переход на кредитно-модульную систему организации
учебного процесса, требуют широкого включения в процесс обучения информационных технологий и делают необходимой разработку эффективных средств
контроля знаний и оценки робастности системы обучения. С этой точки зрения
становится оправданным широкое использования компьютерных тестов как инструментария оценки качества освоения учебного материала. При всем том ценном
и положительном, что может дать компьютерное тестирование, нельзя забывать,
что оно не является панацеей, не заменяет и не отменяет признанные технологии
обучения и контроля. Стоит отметить, что, обладая целым набором серьезных недостатков, тесты, тем не менее, сегодня являются наиболее объективным и алгоритмизируемым способом педагогических измерений[1,5].
Применение традиционных компьютерных тестов предлагает несколько типовых вариантов формирования ответов на контрольные вопросы (открытые и
закрытые вопросы, вопросы на соответствие или определение последовательности). Оценка ответов при этом, в большинстве случаев, независимо от типа
вопроса и стратегии формирования ответа, реализуется с помощью двухпози*
Работа выполнена при поддержке: РФФИ (грант № 10-07-00538, г/б № 2.1.2.1652).
242
Раздел VII. Проблемы образования
ционной логики. Однако обеспечение высокой робастности процесса обучения
предполагает понимание систематики и общих закономерностей изучаемой дисциплины. Для проверки наличия этих знаний необходимо использовать вопросы,
формулировка ответов на которые предполагает неформальную семантику.
Но использование в компьютерных тестах, построенных на этой основе вопросов,
зачастую, невозможно из-за трудностей однозначного оценивания ответов на них.
Структура неформализованных вопросов (и ответов на них) не допускает применения двузначной логики и более обоснованным в этом случае является использование для оценки ответов обучаемого вербальных шкал и аппарата нечеткой логики. В силу изложенного выше вопросы алгоритмизации и построения систем
тестового контроля знаний с использованием нечеткой модели экзаменатора, которым и посвящена настоящая работа, представляют определенный интерес.
Организация адаптивного тестирования. Тестирование и диагностика
знаний и умений производятся посредством опроса обучаемого. Каждый вопрос
(тестовое задание) связан с определенными элементами знаний и/или умений. Организация тестирования без элементов адаптации (нeaдaптивный или безусловный
контроль, или контроль с безусловной остановкой [2]) подразумевает, что тестовые задания связаны друг с другом, как правило, в рамках контролируемого и оцениваемого объёма учебного материала. Однако эти связи опосредованы, они достаточно глубокие и не явные. При этом формулирование тестовых заданий, как
уже отмечалось выше, направлена на извлечение лишь известных фактов и правил.
В процессе отработки теста реализуется заранее заданный порядок предъявления
тестовых заданий. Этот порядок фиксирован и не зависит от того, как отвечает
обучаемый. Процесс контроля предполагает, что обучаемый должен отвечать на
все задания. Этот метод контроля, который используется повсеместно, при любой
(произвольной) форме организации заданий для контроля и не предусматривает
мониторинга текущего состояния процесса контроля.
Учет текущего состояния процесса контроля предполагает изменение стратегии предъявления тестовых заданий: выбор следующего задания из множества
доступных на данном шаге тестирования зависит от ответа на предыдущее задание. Тестовый контроль с такой организацией приобретает свойства aдaптации и
может быть назван условным [2] в том смысле, что процесс тестирования здесь
заканчивается при достижении тестируемым конкретного состояния, достигаемого
при определённых условиях. На каждое контрольное задание (тестовое задание,
тест в целом, экзаменационный билет, задание на контрольную работу и др.) может быть несколько возможных реакций тестируемых и, соответственно, выводов,
которые после этого делает экзаменатор. Например, тестируемый «не знает элементов знаний», «не владеет определёнными практическими навыками» (при диагностике), «владеет предметом на оценку «отлично», «владеет предметом на
оценку «хорошо» (при тестировании). Такие выводы называют гипотезами [3].
Конкретные действия тестируемого всегда подтверждают или опровергают ту
или иную гипотезу. При тестировании обычно используется некоторая дискретная
шкала размером N. Каждому значению этой шкалы сопоставляется соответствующая гипотеза (при любом N гипотеза H1 – это «неудовлетворительные знания и
умения»). Каждой гипотезе соответствует множество симптомов – некоторых событий, вызванных действиями (ответами) тестируемого, влияющих на подтверждение данной гипотезы. При этом существенно, что эти события констатируются и
оцениваются экзаменатором (его роль играет компьютерная система). В общем
случае, в каждую гипотезу симптом входит с некоторым весом, характеризующим
его вклад в гипотезу. Симптомы вырабатываются (устанавливаются, задаются,
определяются) экзаменатором в результате анализа решения задач (в широком
смысле), а тестируемый, на основе имеющихся знаний и опыта, придает им значе-
243
Известия ЮФУ. Технические науки
Тематический выпуск
ния, причем, решение тестируемым одной задачи может позволить ему означить
несколько симптомов. Для проведения контроля необходимо составить множество
задач, и это множество должно быть валидным по содержанию [3]. Это значит, что
контролю подвергаются все необходимые элементы знаний и умения. Каждая задача определяет свой набор знаний и умений, с помощью которых она должна
быть решена. Этот набор называют спектром задачи, а количество знаний и умений в спектре – его шириной. Понятно, что чем сложнее задача, тем шире будет её
спектр. Но ширина спектра одной задачи недостаточна для контроля темы, необходима система, или направленная совокупность задач. Таким образом, локальная
фактическая предметная модель тестируемого (в данном случае, операционная)
задает необходимый спектр совокупности задач. Для диагностики, которая проводится по отдельным темам и разделам курса, перечень знаний и умений должен
быть полным, т.е. локальная фактическая предметная модель обучаемого должна
соответствовать необходимой части базовой модели.
Моделирование системы тестирования. Центральными понятиями для организации системы контроля являются множества вопросов Q в контролируемых темах T, ответов на вопросы A, симптомов C и гипотез H. Экзаменатор, сформулировав цель контроля, на основании предметной модели обучаемого определяет гипотезы, затем симптомы, подтверждающие эти гипотезы, и задачи (вопросы), решение которых позволит обучаемым означивать симптомы. Модель экзаменатора может быть представлена в виде множества заданий с определенными на этом множестве отношениями. Следует сразу заметить, что правила составления заданий не
содержат ограничений. При этом экзаменатор, помимо задания, формулирует и
ожидаемый правильный ответ на него. В дальнейшем этот ответ считается эталонным и вывод о том, в какой степени ответ тестируемого является верным, производится на основании оценки соответствия эталонного и полученного ответов. Помимо этого, выявление степени соответствия эталонного и полученного ответов, по
сути, определяет тактику дальнейшего продолжения тестирования. Таким образом,
модель экзаменатора (рис. 1) строится исходя из следующих посылок.
Тест на основе предметной модели обучаемого разбивается на темы:
= {T }, k = 1, m .
1. В каждой теме формируется множество базовых вопросов, обеспечивающих необходимую и достаточную ширину спектра темы T => = {Q }, i = 1, p
формулируются эталонные ответы на них A э = f (Q ), i = 1, p.
2. Определяется размерность шкалы гипотез по каждому базовому вопросу и
формулируется содержание самих гипотез: Tk Æ N, N = {Nkr| r – натуральное число}, ∀Nkm Æ Hkm .
3. В соответствии с заданным способом выявляются степени соответствия
ответа тестируемого АiT на i-ый базовый вопрос k-ой темы с эталонным
ответом AiЭ на этот вопрос ρ и их числовые границы, означивающие соответствующие симптомы.
4. В зависимости от подтверждаемой гипотезы, тестируемому предлагается
наводящий, дополнительный либо уточняющий вопрос (Aн, Ад, Ау), или
следующий вопрос темы. Оценка степени соответствия ответа тестируемого по первым трём типам вопросов подтверждает одну из двух гипотез
– «верно» (Н+) или «неверно» (Н-) и определяет маршрут дальнейшего хода тестирования.
Значимости подтвержденных гипотез по результатам контроля отдельных
вопросов являются частными вкладами в общую оценку результата тестирования в
целом.
244
Раздел VII. Проблемы образования
Рис. 1. Модель тестирования (экзаменатора)
Реализация модели тестирования. Компьютерная реализация описанной
выше модели может быть представлена алгоритмом, приведённым ниже:
1. Задание множеств тем T, множеств вопросов (базовых и дополнительных)
для каждой темы Q и эталонных ответов на них, размерности шкалы гипотез N и границ подтверждения определённой гипотезы Г.
2. i=1, j=1.
3. Выбор и предъявление тестируемому неиспользованного базового вопроса
Qi из множества вопросов темы Тj.
4. Отметка Tj и Qi , как уже использованных.
5. Определение типа вопроса (базовый или дополнительный). Для базового
вопроса переход к п. 6, для дополнительного – к п. 8.
6. Получение ответа тестируемого и определение степени соответствия ρi
этого ответа эталонному ответу на базовый вопрос Qi. Если рассчитанная
степень соответствия означивает симптом гипотезы верного ответа, то занести значение ρi в массив оценок ответов. В случае означивания другой
гипотезы переход к п. 8.
245
Известия ЮФУ. Технические науки
Тематический выпуск
7. Если в множестве базовых вопросов по теме есть непомеченные, то i=i+1
и переход к п. 3. Если все вопросы помечены, то i=1, j=j+1. Если все темы
помечены, переход к п. 10; иначе – к п. 3.
8. В зависимости от принятой гипотезы выбор и предъявление тестируемому
вопроса Qik, где k = 1,2,3 определяет тип вопроса (1 – наводящий,
2 – уточняющий или 3 – дополнительный).
9. Получение ответа тестируемого и определение степени соответствия ответа тестируемого эталонному ответу на дополнительный вопрос Qik. Для
всех вариантов результатов расчета, кроме случая правильного ответа на
наводящий вопрос, занести значение ρik в массив оценок ответов и переход к п. 7. В противном случае переход к п. 6.
10. Формирование оценки тестирования, как средневзвешенной величины на
множестве оценок отдельных вопросов и вывод результата.
Ключевым моментом предложенного алгоритма является реализуемая методика сравнения ответов, полученных от тестируемого и эталонных. Для этой
цели предлагается использовать известный в рерайтинге аппарат обнаружения
схожести текстов, базирующийся на формировании и последующем сравнении
соприкасающихся подпоследовательностей лексем (так называемых, шинглов)
[4]. При определенном значении схожести ответов, рассчитываемом эвристически, можно говорить о подтверждении симптомов той или иной гипотезы, определяющей степень правильности ответа тестируемого. Для обеспечения расчета
оценки схожести, текст ответа (как полученного, так и эталонного) разбивается на
фрагменты заданной величины d (по количеству слов) и устанавливается степень
перекрытия выделенных фрагментов g (рис. 2).
Рис. 1. Длина и перекрытие фрагментов текста
На основе разбиения текста ответа на фрагменты с заданной степенью перекрытия фрагментов рассчитываются и формируются множества контрольных сумм
фрагментов текста (шинглов) полученного и эталонного ответов:
( , )
– множество контрольных сумм фрагментов текста (шинглов)
Э
в результате анализа эталонного ответа;
( , )
– множество контрольных сумм фрагментов текста (шинглов)
в результате анализа полученного ответа;
= 1, – количество слов во фрагменте, где n – количество слов в ответе;
= 1, – величина наложения фрагментов текста.
Сформированные множества позволяют с использованием эмпирической
формулы рассчитать степень соответствия эталонному ответу ρ:
Т
( , )
=
( , )
Э
∩ ( , )
Т
Э
∪ ( , )
Т
.
(1)
При преодолении некоторого процентного значения степени соответствия p
можно утверждать, что экзаменующийся подтвердил гипотезу Hn, которая соответствует диапазону процентов [Hn, Hn+1), где n – количество гипотез.
246
Раздел VII. Проблемы образования
Алгоритм оценки степени соответствия полученного ответа эталонному на
основе анализа соприкасающихся подпоследовательностей лексем (шинглов) формулируется следующим образом:
1. Выравнивание и приведение текстов эталонного и полученного ответов к
каноническому виду.
2. Задание параметров d и g.
3. Расчёт числа шинглов в эталонном (p) и полученном ответах (t).
4. i =1, M = 0, U = p + t.
5. l =1.
6. Если Si(Аэ) = Sl(Aт), M = M + 1, U = U - 1 и переход к п. 7, иначе переход к
п. 9.
7. Если l ≥ t, то переход к п. 8, иначе l = l+1 и переход к п. 6.
8. Если i < p, то i = i+1, и переход к п. 5, иначе к п. 18.
9. Задание параметров d’ = 1, g’ = 0.
10. Определение z и y - числа слов в i-м фрагменте эталонного и полученного
ответов.
11. M`=0, j=1.
12. m=1.
13. Если Sj(Аэ) = Sm(Aт), то M` = M`+1 и переход к п. 14, иначе переход к
п. 16.
14. Если m ≥ y, то переход к п. 15, иначе m = m+1 и переход к п. 13.
15. Если j < z, то j = j+1, и переход к п. 12, иначе к п. 17.
16. Если Аjэ и Amт не синонимы, то переход к п.14, иначе M` = M` + 1 и переход к п. 15.
17. Если M` < z, то переход к п. 7, иначе M = M+1 и переход к п. 7.
18. Расчет степени соответствия эталонного и полученного ответов p.
Следует отметить, что предложенный алгоритм даёт удовлетворительные результаты при расхождении длины текстов эталонного и полученного ответов не
более, чем на 20 %.
Заключение. Предложенная в работе организация и принципы алгоритмической реализации подсистемы компьютерного тестирования, базирующиеся на нечёткой модели экзаменатора, позволяют симулировать поведение реального экзаменатора средствами компьютерных технологий, что обеспечивает повышение
качество и эффективность оценки знаний и расширяет возможности применения
компьютерного тестирования по сравнению с существующими системами тестового контроля. Использованный в работе подход к определению правильности
ответов тестируемого, не применяя сложный и громоздкий аппарат семантического анализа, позволяет определять тактику проведения тестового опроса и с высокой долей уверенности судить об уровне знаний тестируемого.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. – М.: Информационно-издательский дом «Филинъ», 2003. – 616 с.
2. Петрушин В.А. Экспертно-обучающие системы. – К.: Наукова Думка, 1992. – 264 с.
3. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или Основы
современной дидактики высшей школы. – Донецк: Изд-во ДОУ, 2002. – 504 с.
4. Алгоритм шинглов : поиск нечетких дубликатов текста [Электронный ресурс]. – Режим
доступа: http://www.codeisart.ru/python-shingles-algorithm/ (дата обращения: 17.04.2010)
5. Кравченко Ю.А. Создание учебного проекта как основа образовательного процесса в
малых группах // Открытое образование 6(77)/2009. Научно-практический журнал.
– М.: CAPITALPRESS, 2009. – С. 26-33.
247
Известия ЮФУ. Технические науки
Тематический выпуск
Марков Владимир Васильевич
Технологический
институт
федерального
государственного
автономного
образовательного учреждения высшего профессионального образования «Южный
федеральный университет» в г. Таганроге.
E-mail: v_v_mar@mail.ru.
347928, г. Таганрог, пер. Некрасовский, 44.
Тел.: 88634371651.
Луцан Максим Васильевич
E-mail: maxim.lutsan@gmail.com.
Markov Vladimir Vasilyevich
Taganrog Institute of Technology – Federal State-Owned Educational Establishment of
Higher Vocational Education “Southern Federal University”.
E-mail: v_v_mar@mail.ru.
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: +78634371651.
Lutsan Maxim Vasilyevich
E-mail: maxim.lutsan@gmail.com.
УДК 681.518:004.85
О.И. Овчаренко, Е.А. Плаксиенко
ИСПОЛЬЗОВАНИЕ ТРЕНИНГ-МОДУЛЕЙ И БИБЛИОТЕК СЦЕНАРИЕВ
В ОБУЧАЮЩИХ СИСТЕМАХ
Предложены подходы, повышающие эффективность использования обучающих систем. Даются рекомендации по использованию новых компонент в обучающих системах.
Информационные технологии; обучающие системы.
O.I. Ovcharenko, E.A. Plaksienko
USING THE TRAINING MODULES AND SCRIPT LIBRARIES
IN EDUCATIONAL SYSTEMS
In this paper, an approach that increase the effective use of educational systems. The recommendations on the use of new components in the educational systems.
Iinformation technology; educational systems.
В настоящее время одним из основных условий перехода к инновационной
экономике является наличие квалифицированных специалистов, владеющих современными информационными технологиями и умеющих ориентироваться в
современном информационном обществе.
Сегодня все больше предприятий (в том числе и в Ростовской области) переходит на использование систем электронного документооборота (СЭД). Специфика использования таких систем такова, что они автоматизирует деятельность не
только делопроизводственных служб (секретариатов, канцелярий и др.), но и всех
сотрудников организации, работающих с документами. А это значит, что внедрение таких систем на предприятии обязывает большое количество должностных
лиц уметь работать с безбумажным документооборотом.
В связи с этим актуальной становится задача подготовки специалистов современного уровня, знающих информационные технологии и владеющих кроме
248