Нечеткая модель выбора тестовых заданий для аттестации
advertisement
№ 4/2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова vestnik.mgup.ru УДК 004.023 НЕЧЕТКАЯ МОДЕЛЬ ВЫБОРА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ АТТЕСТАЦИИ ПЕРСОНАЛА ПОЛИГРАФИЧЕСКИХ ПРЕДПРИЯТИЙ Попов Дмитрий Иванович д.т.н., профессор, зав. кафедрой ИиИТ Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А popov@hi-edu.ru Якубовский Кирилл Игоревич ст. преподаватель кафедры ИиИТ Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А yakk2005@mail.ru Демидов Дмитрий Григорьевич к.т.н., доцент кафедры ИиИТ Московский государственный университет печати имени Ивана Федорова 127550 Россия, г. Москва, ул. Прянишникова, д. 2А demidov@hi-edu.ru Аннотация. В работе рассматривается нечеткая модель выбора тестовых заданий на основе «рейтинга слушателя» и стратегии его обучения при аттестации персонала полиграфических предприятий. Приводится процесс создания и настройки модели, а также ее поверхность. Предложенный подход может применяться в автоматизированных системах оценки знаний персонала полиграфических предприятий. Ключевые слова: нечеткая модель Мамдани, нечеткая логика, тестирование, аттестация персонала, электронное обучение, дистанционные образовательные технологии. В настоящее время роль тестирования, как формы оценки полученных знаний и успеваемости персонала предприятий, приобретает особую актуальность при любой форме обучения. В связи с переходом на федеральные образовательные стандарты третьего поколения количество аудиторной нагрузки для слушателей сокращается, а количество самостоятельной работы увеличивается. Кроме этого с присоединением России к Болонской конвенции и переходом на двухуровневую систему изменяется парадигма обучения и взаимодействие преподавателя со студентом, результативность обучения которого оценивается в зачетных единицах (кредитах), которые привязаны к номинальной шкале оценивания (часто, к 100-балльной). Для проведения промежуточного и итогового контроля оптимальным вариантом является использование систем тестирования, как наиболее простого и быстрого способа аттестации персонала полиграфических предприятий. Суть процесса тестирования, в общем виде, состоит в том, что каждому из слушателей задается одинаковое количество вопросов, выбранных случайным образом из банка тестовых заданий (БТЗ), а затем, исходя из правильности ответов на них, рассчитывается итоговый балл за сеанс тестирования. Объем качественного БТЗ не должен быть менее 1000 тестовых заданий (ТЗ) [2]. Не редкой является ситуация, когда при случайной выборке тестовых заданий слушателю предлагается некоторое количество вопросов, на которые он не может дать ответ и/или ответы не являются полными, но уровень знания учебного материала и успеваемость в целом является достаточно высокими. В результате итоговая оценка будет занижена. Другая ситуация заключается в том, что при попадании в случайную выборку большого количества вопросов, ответы на которые слушателю известны, результат тестирования будет завышен. Таким образом, при использовании случайного выбора тестовых заданий в процесс тестирования включается удачливость обучаемого, и результаты тестирования могут быть не всегда корректными. Как правило, число «неудачных» случайных выборок является небольшим, но зачастую именно они влияют на пограничные оценки, когда стоит вопрос о выборе между «отлично» или «хорошо», «хорошо» или «удовлетворительно» [1]. Другой принцип выбора ТЗ используется в адаптивном тестировании, при котором обучаемому предлагаются вопросы в зависимости от различных параметров: текущего балла и результата ответа на предыдущее задание [2], интегральной оценки [1], рейтинга [3], сложности ТЗ и других. В основу большинства адаптивных систем тестирования положен принцип «черного ящика» с обратной связью, которая влияет -1- № 4/2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова на входные сигналы исходя из сигнала на выходе. Реализация же «черного ящика» может быть различна в зависимости от того, в каком контексте рассматриваются процессы обучения и тестирования. При определении задачи обучения, как задачи управления, адаптация может заключаться либо в изменении параметров управляющего устройства (параметрическая адаптация), либо в изменении структуры объекта управления (эволюционная адаптация), для достижения максимальной сходимости модели [4,5]. Если рассматривать адаптивное тестирование в точки зрения нечетких множеств и логики, то в зависимости от используемых типов нечетких моделей и математического аппарата реализация принципа «черного ящика» может быть различной. В монографии [2] предлагается модель адаптивного тестирования на основе лингвистических переменных и нечетких множеств. Указанная модель основывается на задании экспертами предметной области функций принадлежности нечетких переменных, описывающих результат тестирования. Адаптация в этой модели и выбор тестовых заданий осуществляется по уровневому принципу, т.е. в зависимости от результата ответа на текущее задание слушателю предлагается задания более высокого или низкого уровня сложности. При этом сложность ТЗ и, соответственно, количество уровней сложности также задается экспертным путем. К недостаткам принципа выбора тестовых заданий в указанной модели являются: недостаточная точность определения сложности тестовых заданий; нарушение принципа разбиения единицы, вследствие использования гауссовых функций принадлежности с бесконечным носителем; отсутствие обоснования выбора метода центра площади для дефаззификации – процесса интерпретация результата тестирования, который проводится на основании лингвистических переменных, их функций принадлежности, которые также задаются экспертами; В работе [1] представляется нечеткая модель выбора тестовых заданий на основании рейтинга, который включает в себя всю успеваемость обучаемого. Примененная параметрическая и структурная адаптация при расчете рейтинга слушателя, позволяет с большей точностью интерпретировать результативность обучения, а ранжирование студентов по категориям – заранее примерно определить необходимую сложность тестовых заданий. Недостатками данной модели являются: использование экспертных оценок для определения функций принадлежности лингвистических переменных; vestnik.mgup.ru использование лингвистических переменных вместо нечетких чисел, использование которых упростило бы процесс моделирования; отсутствие зависимости сложности тестовых заданий от рейтинга, которые имеют различные размерности. Таким образом, можно сделать вывод о том, что основными параметрами, влияющими на выбор тестовых заданий при адаптивном тестировании, являются: сложность ТЗ; результат ответа на предыдущее ТЗ; оценка результативности обучения персонала в целом. Основной интерес представляет первый параметр, т.к. от способа его определения и интеллектуализации его уточнения во многом зависит точность модели. Как правило, сложность ТЗ задает автор БТЗ, и при этом, с одной стороны, ему легче определить сложность каждого тестового задания по номинальной шкале, задающей значения лингвистической переменной «трудность ТЗ». Например: «очень сложное», «сложное», «не трудное», «легкое», «очень легкое». С другой стороны, для точности определения параметров и простоты работы с ними предпочтительней выбирать числовые номинальные шкалы, например, от 0 до 100. С точки зрения структуры нечеткой модели метод фаззификации (тип функций принадлежности входных параметров) влияет на интерпретацию входных значений системы тестирования. На рис. 1. Представлена простейшая нечеткая модель Мамдани вида SISO (от англ. Single Input – Single Output – один вход – один выход). Не зависимо от типа (Мамдани, Сугено, Ягера и др.) структура нечеткой модели состоит из трех основных блоков: фаззификация, вывод и дефаззификация [6]. На этапе фаззификации происходит интерпретация значения входного параметра 𝑥1∗ (рис. 2, а) с использованием функций принадлежности A1 , результатом которой является степень принадлежности 𝜇𝐴1 (𝑥1∗ ) (рис. 2, б). Данное значение передается в блок вывода, в котором содержаться: база правил, механизмы вывода и функции принадлежности выходного параметра. В модели Мамдани вывод основывается на нечетких импликациях, простейший вид которых имеет вид [6]: ЕСЛИ (𝑥 = 𝐴) ТО (𝑥 = 𝐵) (1) где (𝑥 = 𝐴) – условие или антецедент, а (𝑥 = 𝐵) – заключение или консеквент. В данном представлении импликации 𝐴, 𝐵 – это нечеткие множества с областями определения 𝑋, 𝑌 соответственно. Задаются эти множества своими функциями принадлежности 𝜇𝐴 (𝑥), 𝜇𝐵 (𝑦). -2- № 4/2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА ISSN ON-LINE: 2409-6652 © Московский государственный университет печати имени Ивана Федорова 𝑥𝑖 Фаззификация Функции принадлежности входных параметров Вывод База правил, механизмы вывода, функции принадлежности выходного параметра 𝜇𝐴𝑖 (𝑥𝑖∗ ) vestnik.mgup.ru Дефаззификация Механизмы дефаззификации 𝜇рез (𝑦) 𝑦∗ Рис. 1. Структура нечеткой модели 𝜇(𝑥1 ) 𝑥1∗ 0 𝐴1 𝜇𝐴1 (𝑥1∗ ) 𝑥1 а 𝑥1 𝜇(𝑦) 𝐶1 𝐶2 𝐶3 𝑥1∗ б 𝜇рез (𝑦) в 𝑦 𝑦∗ 0 𝑦 𝑦 ∗ г Рис. 2. Процесс нечетного моделирования. а – интерпретация значения входного параметра, б – степень принадлежности, в – функция принадлежности выходного параметра, г – значение выходного параметра Исходя из значения степени принадлежности 𝜇𝐴1 (𝑥1∗ ), активизируется некоторое количество правил, т.е. их антецеденты будут истинными. В результате, исходя из выбранного механизма вывода (MAXMIN, MAX-PROD, SUM-MIN, SUM-PROD) и используемых t-норм и s-норм, формируется функция принадлежности выходного параметра 𝜇рез (𝑦) (рис. 2, в). Далее по полученной функции принадлежности вычисляется значение выходного параметра 𝑦 ∗ (рис. 2, в, г). Для этого может быть использован один из «классических» методов: среднего максимума, первого максимума, последнего максимума, центра тяжести, центра сумм, высот. В зависимости от выбранного метода будет изменяться значение выходного параметра, т.к. каждый из предложенных методов обладает своей спецификой применения, а также своими достоинствами и недостатками. Выбор оптимального метода деффазификации происходит на этапе обучения нечеткой модели, целью которой является минимизация отклонения результата логического вывода от экспериментальных данных. Обучение модели, как правило, рассматривается как задача нелинейной оптимизации [7]. Таким образом, исходя из недостатков, описанных ранее адаптивных моделей выбора ТЗ, предлагается новая нечеткая модель выбора ТЗ, имеющая тип Мамдани и вид MiSO (от англ. Multiple Input – Single Output – Много входов – Один выход). На вход предлагаемой нечеткой модели подаются два четких числовых значения: 𝑟 ∗ входного параметра 𝑟 – рейтинг слушателя [3] и 𝑏 ∗ входного параметра 𝑏 – ответ на тестовое задание [2]. Рейтинг слушателя будет определять испытуемого в терминах успеваемости: двоечник, троечник, хорошист, отличник. Второй входной параметр будет определять степень ответа на предоставленное тестовое задание: ответил, не полностью ответил, не ответил. На этапе фаззификации вычисляются степени принадлежности этих значений указанным входным нечеткими множествами 𝐴𝑖 – «Категория слушателя» с областью определения 𝑅 ∶ 0 ≤ 𝑟 ≤ 100 и 𝐵𝑗 – «Ответ на вопрос» с областью определения 𝐵 ∶ 0 ≤ 𝑏 ≤ 1 соответственно. Функции принадлежности нечеткому множеству «Категория слушателя» представлены в рис. 3, где 𝐴1 = двоечник, 𝐴2 = троечник, 𝐴3 = хорошист, 𝐴4 = отличник. 𝜇(𝑟) 0 𝐴3 𝐴2 𝐴1 𝐴4 10 𝑟 0 Рис. 3. Функции принадлежности нечеткому множе55 70 ству «Категория слушателя»: A1 = двоечник, A2 = троечник, A3 = хорошист, A4 = отличник Функции принадлежности к нечеткому множеству «Ответ на вопрос» представлены на рис. 4, где B1 = не ответил, B2 = не полностью ответил, B3 = ответил. -3- № 4/2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА © Московский государственный университет печати имени Ивана Федорова 𝜇(𝑏) 𝐵3 𝐵2 𝐵1 0 1 0. 𝑏 5 Рис. 4. Функции принадлежности нечеткому множеству «Ответ на вопрос»: B1 = не ответил, B2 = не полностью ответил, B3 = ответил Выходной параметр 𝑦 предлагаемой нечеткой модели представляет собой четкое числовое значение, вычисленное на основе результирующей функции принадлежности 𝜇рез (𝑦) к нечеткому множеству «Сложность тестового задания» с областью определения 𝑌 ∶ 0 ≤ 𝑦 ≤ 100, и являющееся результатом для входных числовых значений 𝑟 ∗ и 𝑏 ∗ . Вид этой функции представлен на рис. 5. 𝜇(𝑦) 0 𝐶3 𝐶2 𝐶1 𝐶4 10 𝑦 0 Рис. 5. Функции принадлежности нечетких значений 55 70 выхода модели: 𝐶1 = простое, 𝐶2 = не простое, 𝐶3 = не сложное, 𝐶4 = сложное ISSN ON-LINE: 2409-6652 vestnik.mgup.ru Выходное нечеткое множество условно можно сопоставить с входным множеством «Категория слушателя»: простые задания для двоечников, не простые для троечников, не сложные для хорошистов и сложные для отличников. База правил [8, 9] представляет собой множество импликаций, которые отражают причинноследственные связи между нечеткими значениями входных параметров и нечеткими значениями выходных, имеющие место в адаптивной системе тестирования. Предлагаемая база правил имеет следующий вид: 𝑅1: ЕСЛИ (𝑟 = 𝐴1 ) И (𝑏 = 𝐵1 ) ТО (𝑦 = 𝐶1 ), 𝑅2: ЕСЛИ (𝑟 = 𝐴1 ) И (𝑏 = 𝐵2 ) ТО (𝑦 = 𝐶1 ), 𝑅3: ЕСЛИ (𝑟 = 𝐴1 ) И (𝑏 = 𝐵3 ) ТО (𝑦 = 𝐶2 ), 𝑅4: ЕСЛИ (𝑟 = 𝐴2 ) И (𝑏 = 𝐵1 ) ТО (𝑦 = 𝐶1 ), 𝑅5: ЕСЛИ (𝑟 = 𝐴2 ) И (𝑏 = 𝐵2 ) ТО (𝑦 = 𝐶2 ), 𝑅6: ЕСЛИ (𝑟 = 𝐴2 ) И (𝑏 = 𝐵3 ) ТО (𝑦 = 𝐶3 ), 𝑅7: ЕСЛИ (𝑟 = 𝐴3 ) И (𝑏 = 𝐵1 ) ТО (𝑦 = 𝐶2 ), 𝑅8: ЕСЛИ (𝑟 = 𝐴3 ) И (𝑏 = 𝐵2 ) ТО (𝑦 = 𝐶3 ), 𝑅9: ЕСЛИ (𝑟 = 𝐴3 ) И (𝑏 = 𝐵3 ) ТО (𝑦 = 𝐶4 ), 𝑅10: ЕСЛИ (𝑟 = 𝐴4 ) И (𝑏 = 𝐵1 ) ТО (𝑦 = 𝐶3 ), 𝑅11: ЕСЛИ (𝑟 = 𝐴4 ) И (𝑏 = 𝐵2 ) ТО (𝑦 = 𝐶4 ), 𝑅12: ЕСЛИ (𝑟 = 𝐴4 ) И (𝑏 = 𝐵3 ) ТО (𝑦 = 𝐶4 ). В силу того, что различные значения входных параметров приводят к одинаковым значениям на выходе модели можно применить принцип сокращения базы правил для ее упрощения и уменьшения количества правил. Сокращенная база правил имеет следующий вид: Рис. 6. Поверхность нечеткой модели выбора тестовых заданий 𝑅1: ЕСЛИ ((𝑟 = 𝐴1 ) И (𝑏 = 𝐵1 )) ИЛИ ((𝑟 = 𝐴1 ) И (𝑏 = 𝐵2 )) ИЛИ ((𝑟 = 𝐴2 ) И (𝑏 = 𝐵1 )) ТО (𝑦 = 𝐶1 ) -4- № 4/2015 ВЕСТНИК МГУП ИМЕНИ ИВАНА ФЕДОРОВА © Московский государственный университет печати имени Ивана Федорова ISSN ON-LINE: 2409-6652 vestnik.mgup.ru 𝑅2: ЕСЛИ ((𝑟 = 𝐴1 ) И (𝑏 = 𝐵3 )) ИЛИ ((𝑟 = 𝐴2 ) И (𝑏 = 𝐵2 )) ИЛИ ((𝑟 = 𝐴3 ) И (𝑏 = 𝐵1 )) ИЛИ ((𝑟 = 𝐴3 ) И (𝑏 = 𝐵1 )) ТО (𝑦 = 𝐶2 )𝑅3: ЕСЛИ ((𝑟 = 𝐴2 ) И (𝑏 = 𝐵3 )) ИЛИ ((𝑟 = 𝐴3 ) И (𝑏 = 𝐵2 )) ИЛИ ((𝑟 = 𝐴4 ) И (𝑏 = 𝐵1 )) ТО (𝑦 = 𝐶3 ) 𝑅4: ЕСЛИ ((𝑟 = 𝐴3 ) И (𝑏 = 𝐵3 )) ИЛИ ((𝑟 = 𝐴4 ) И (𝑏 = 𝐵2 )) ИЛИ ((𝑟 = 𝐴4 ) И (𝑏 = 𝐵3 )) ТО (𝑦 = 𝐶4 ) Для формирования вывода использовался метод MAX-MIN, а для агрегации условий использовался оператор PROD, который реагирует на все изменения входных параметров. Для выполнения расчетов и автоматизации процесса моделирования использовалось программное обеспечение для выполнения научных расчетов MatLab и дополнительный модуль к нему Fuzzy Logic Toolbox. В результате поверхность модели имеет вид, представленный на рис. 6. Таким образом, предложенная нечеткая модель определяет зависимость сложности тестовых заданий от интегральной оценки успеваемости обучаемого – рейтинга слушателя [3] – и его текущего рейтинга [2], при том, что входные и выходные параметры имеют различные размерности и номинальные шкалы оценки. Кроме этого, стоит отметить, что значения на входе и выходе модели являются четкими числами, что позволяет использовать представленную модель выбора тестовых заданий в существующих автоматизированных компьютерных системах тестирования, в том числе, для их адаптации. Представленная нечеткая модель лишена недостатка, связанного с уровнями адаптации, т.к. поверхность модели не имеет ярко выраженных локальных максимумов. При дальнейшем расширении и обучении предложенной нечеткой модели выбора тестовых заданий возможно повышение ее точности и устойчивости, а при введении и нее механизмов самоорганизации и самонастройки – получение самообучающейся интеллектуальной системы тестирования. БИБЛИОГРАФИЧЕСКИЙ СПИСОК 1. Демидов Д.Г. Разработка моделей и алгоритмов автоматизации процессов адаптивного обучения специалистов для предприятий. Дисс. на соискание у. ст. к.т.н. М.: МГУП, 2011. Стр. 142. 2. Попов Д.И. Автоматизация управления процессов аттестации персонала предприятий промышленности: Монография / Д.И. Попов; Моск. Гос. Ун-т печати. – М.; МГУП, 2007. – 178 с. 3. Демидов Д.Г. Адаптивный метод комплексной оценки знаний при аттестации персонала предприятий // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. 2010. № 3. С. 68 – 77. 4. Пегат А. Нечеткое моделирование и управление. / Пер. с англ. М.: БИНОМ. Лаборатория знаний, 2012. 798 с. 5. Demidov D.G., Popov D.I. Development of the rules base for expert system of strategy choice for adaptive learning // International journal of advanced studies. Vol. 3. Issue 4. 2013. P. 36-41. FUZZY MODEL OF TEST TASKS SELECTION FOR PERSONNEL CERTIFICATION IN PRINTING COMPANIES Dmitry Ivanovich Popov Moscow State University of Printing Arts 127550 Russia, Moscow, Pryanishnikova st., 2А Dmitry Grigorevich Demidov Moscow State University of Printing Arts 127550 Russia, Moscow, Pryanishnikova st., 2А Kirill Igorevich Yakubovsky Moscow State University of Printing Arts 127550 Russia, Moscow, Pryanishnikova st., 2А Annotation. In this paper the fuzzy model of choice test items based on ratings and audience of his training strategy. A description of the process of creating and configuring the model, as well as the surface of the model and its interpretation. Keywords: Mamdani fuzzy model, fuzzy logic, testing, adaptation, e-learning, distance education technologies. -5-
