Работа выполнена при поддержке гранта Американского

ПОСТРОЕНИЕ ЛИНГВИСТИЧЕСКИХ ШКАЛ ДЛЯ ОЦЕНИВАНИЯ
ХАРАКТЕРИСТИК КАЧЕСТВА ЭЛЕКТРОННЫХ УЧЕБНИКОВ
В.Г.Домрачев, О.М.Полещук, И.В.Ретинская
Московский государственный университет леса
г. Мытищи
т. (095) 588-51-26
Большинство из характеристик, используемых для оценивания качества
электронных учебников, носят качественный характер и могут быть оценены только
экспертных путем. Для оценивания этих характеристик, как правило, используются
порядковые шкалы, элементы которых соответствуют вербальным градациям (уровням)
лингвистических шкал.
Естественной задачей, которая встает перед экспертами, является задача
определения оптимального (в смысле, указанном ниже) множества значений (вербальных
градаций) этих шкал.
Под оптимальным множеством значений лингвистической шкалы принято
понимать такое множество значений из всех возможных разумных, которое обеспечивает
эксперту минимальную степень трудности при использовании этого множества в процессе
оценивании с одной стороны и максимальную согласованность экспертных суждений при
его использовании с другой стороны.
Чтобы формализовать условия оптимальности, поставим в соответствие
вербальным уровням нечеткие множества – значения (терм-множества) лингвистических
переменных с некоторыми ограничениями на их функции принадлежности [1]. Эти
ограничения позволяют оценивать степень трудностей, которые испытывают эксперты
при использовании фиксированного множества значений лингвистической шкалы, а также
оценивать согласованность экспертных суждений в рамках этого множества. В [1]
описаны методы построения функций принадлежности терм-множеств лингвистических
переменных с необходимыми ограничениями. Такие лингвистические переменные носят
название полных ортогональных семантических пространств (ПОСП), их терм-множества
являются формализациями значений лингвистической шкалы, применяемой для
оценивания экспертами различных характеристик.
Будем считать универсальным множеством лингвистической шкалы отрезок [0,1].
Точка 0 соответствует абсолютно неприемлемому значению количественной
характеристики и полному отсутствию проявления качественной характеристики, точка 1
соответствует абсолютно приемлемому значению количественной характеристики и
полному
присутствию
проявления
качественной
характеристики.
Пусть
j
li x , l  1, m, i  1, k - набор кусочно-линейных функций принадлежности ПОСП i -ого
эксперта в рамках m вербальных градаций лингвистической шкалы [1], применяемой для
оценивания j -ой характеристики. Определим степень трудности, которую испытывает
эксперт, пользуясь множеством из m вербальных градаций лингвистической шкалы при
оценивании j -ой характеристики:
 i j m 


где U   x : 0  li  x   1 .
l
j
U
,
2
Определим среднюю степень трудностей, которую испытывают k экспертов,
пользуясь множеством из m вербальных градаций лингвистической шкалы при
оценивании j -ой характеристики:
1
k
 j m  i j m .
1
Определим степень согласованности экспертов при оценивании
j -ой
характеристики в рамках лингвистической шкалы с множеством из m вербальных
градаций
 j m  
1 m Площадь1l  2 l  ...  kl 
.

m l 1 Площадь1l  2 l  ...  kl 
Опишем процедуру нахождения оптимального множества вербальных градаций
(значений) лингвистической шкалы, применяемой для оценивания j -ой характеристики.
1. Формируется группа из k экспертов.
2. Формулируются все разумные множества вербальных градаций j -ой
характеристики (не больше 7  2 в соответствии с психофизическими возможностями
экспертов). Пусть сформулировано p таких множеств с числом градаций соответственно
m1 , m2 ,...,mp .
2.1. В рамках каждого фиксированного множества градаций mn , n  1, p по
результатам предварительного оценивания k экспертами j -ой характеристики
осуществляется построение k ПОСП.
2.2.
Определяется
степень
трудности
каждого
эксперта
j
i mn , i  1, k , n  1, p при использовании конкретного множества градаций
mn , n  1, p .

2.3.
j
Определяется средняя степень трудности всех
mn , n  1, p при использовании конкретного множества
экспертов
градаций
mn , n  1, p .
2.4. Определяется согласованность экспертов  mn , n  1, p при
оценивании j -ой характеристики в рамках использования конкретного множества
j
градаций mn , n  1, p .
3. Осуществляется выбор оптимального множества вербальных
(значений) лингвистической шкалы в рамках двукритериальной задачи:
j
j
 опт
 max  j mn ,  опт
 min  j mn  .
mn ,n 1, p
градаций
mn ,n 1, p
Работа выполнена при поддержке гранта Американского благотворительного
фонда поддержки информатизации образования и науки.
Литература
1.Полещук О.М. Методы представления экспертной информации в виде совокупности
терм-множеств полных ортогональных семантических пространств // Вестник
Московского государственного университета леса – Лесной вестник. 2002. № 6 (27).
2. Домрачев В.Г., Полещук О.М., Ретинская И.В. Определение оптимального множества
значений лингвистических шкал для экспертного оценивания качества программных
средств // Телематика – 2003. Труды Всероссийской научно-методической конференции. С-Пб., 2003. - Т.1. - С. 255 - 257.
ПОСТРОЕНИЕ РЕЙТИНГОВЫХ ОЦЕНОК ПРИ НЕЧЕТКОЙ ИСХОДНОЙ
ИНФОРМАЦИИ
В.Г.Домрачев, Е.Г.Комаров, О.М.Полещук, Н.Г.Поярков
Московский государственный университет леса
г.Мытищи
2
т. (095) 588-51-26
Определение рейтинговых оценок студентов достаточно распространено в
образовательном процессе и играет существенную роль в задачах управления качеством
обучения.
Проблема при определении рейтинговых оценок возникает в связи с
разнородностью шкал и самих экзаменационных мероприятий, поэтому те модели,
которые традиционно опираются на обычные арифметические операции с отдельными
оценками, не всегда позволяют получить устойчивые результаты.
Рассмотрим задачу определения рейтинговых оценок абитуриентов по результатам
трех экзаменов и собеседования на профессиональную пригодность. Экзаменационные
работы по математике оценивались от нуля до десяти баллов, экзаменационные работы по
физике и русскому языку оценивались в традиционной шкале «2», «3», «4», «5», а
результаты собеседования были представлены в одном из следующих высказываний: «не
годен», «условно годен», «годен». Будем считать, что все экзаменационные мероприятия
имеют равные весовые коэффициенты. Результаты оценивания десяти абитуриентов
занесены в таблицу 1. Результаты собеседования занесены в таблицу в сокращенном виде.
Таблица 1. Результаты оценивания десяти абитуриентов.
1
2
3
4
5
6
7
8
9
10
Математика
5
7
4
8
9
3
6
3
3
9
Физика
3
3
4
4
4
3
4
3
3
5
Русский язык
4
4
4
3
5
4
3
3
3
5
г
уг
г
г
г
г
уг
уг
г
Собеседование уг
В работе [1] разработан метод представления качественной информации в виде
нечетких множеств. На функции принадлежности нечетких множеств накладываются
ограничения, которые были сформулированы в результате многолетних теоретических и
практических исследований, как математиков, так и психологов. Суть этих ограничений
направлена на то, чтобы смоделировать свойственную экспертному оценочному
мышлению плавность и наличие эталонов. Результатом метода [1] является определенный
на отрезке [0,1] набор функций принадлежности нечетких множеств, каждая из которых
соответствует элементу шкалы, применяемой во время соответствующего
экзаменационного мероприятия.
Остановимся более подробно на методе определения рейтинговых оценок.
Рассмотрим N абитуриентов, у которых оценивается интенсивность проявления знаний и
навыков по предметам с названиями X j , j  1, k . Пусть X lj , l  1, m j - уровни
вербальных шкал, применяемые для оценивания X j , j  1, k и расположенные в порядке
возрастания интенсивности их проявления.
alj , l  1, m j , j  1, k - относительные числа абитуриентов,
X j , j  1, k к уровню X lj , l  1, m j , j  1, k ,
оценивании
Обозначим за
отнесенных
mj
a
l 1
j
l
при
 1, j  1, k .
3
Опираясь на эти данные и метод [1], построим k наборов нечетких чисел,
соответствующих X j , j  1, k . Обозначим через lj x  функцию принадлежности
~
нечеткого числа X lj , соответствующего l -му уровню j -го предмета l  1, m j , j  1, k .
~
Будем называть оценками абитуриентов нечеткие числа X lj , l  1, m j , j  1, k или их
функции

lj x , l  1, m j , j  1, k .
принадлежности

Обозначим
за
X~ nj
и
 nj x   a nj1, a nj2 , a njL , a njR , n  1, N , j  1, k , оценку n -го абитуриента в рамках
~n
предмета X j . Нечеткое число X j с функцией принадлежности
 nj  x  равно одному из
~
нечетких чисел X lj , l  1, m j , j  1, k . Обозначим весовые коэффициенты оцениваемых
предметов через
 j , j  1, k ,
n
 j  1.
j 1
Нечеткая рейтинговая оценка n -го абитуриента, n  1, N в рамках признаков
X j , j  1, k определяется в виде нечеткого числа
~
~
~
An  1  X 1n  ...  k  X kn
с функцией принадлежности
n ( x )     j a nj1 ,   j a nj2 ,   j a njL ,   j a njR , n  1, N .
k
 j 1
k
k
k
j 1
j 1
j 1
~

~
~
~
Дефаззифицируем нечеткие числа An , n  1, N , B1  1  X 11  ...  k  X 1k ,
~    X~  ...    X~
B
m
1
m1 1
k
mk k по методу центра тяжести [2]. Полученные четкие
числа обозначим через An , n  1, N , B1 , Bm .
Число An , n  1, N называется рейтинговой оценкой проявления знаний и навыков
по предметам X j , j  1, k у n -го объекта n  1, N .
Нормированную рейтинговую оценку n -го абитуриента, n  1, N , находится по
формуле
En 
An  B1
, n  1, N .
Bm  B1
Используя описанный метод, получим результаты, занесенные в таблицу 2.
Таблица 2. Рейтинговые оценки абитуриентов.
№ п/п
Нормированные
рейтинговые оценки
Традиционные
рейтинговые оценки
En
1
0.506
13
2
0.611
15
3
0.475
13
4
0.735
17
5
0.951
21
6
0.247
12
4
7
0.632
15
8
0.134
10
9
0.129
10
10
0.892
21
Таким образом, проведенное исследование показало, что предложенный метод
определения рейтинговых оценок дает больше информации, чем традиционный, поэтому
может с успехом применяться на практике.
Работа выполнена при поддержке гранта РФФИ 04-07-90131.
Литература.
1. Полещук О.М. Методы предварительной обработки нечеткой экспертной
информации на этапе ее формализации // Вестник Московского государственного
университета леса – Лесной вестник. - 2003. - № 5 (30). – С. 160 – 167.
2. Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. Обработка нечеткой
информации в системах принятия решений. - М.: Радио и связь, 1989. - 304 с.
ПОСТРОЕНИЕ РЕЙТИНГОВЫХ ОЦЕНОК НА ОСНОВЕ НЕЧЕТКОГО
УСЛОВНОГО ЭТАЛОННОГО ОБРАЗА
В.Г.Домрачев, И.А.Полещук
Московский государственный университет леса
г.Мытищи
т. (095) 588-51-26
Рассмотрим N объектов, у которых эксперты
оценивают проявления
промежуточных качественных характеристик X i , i  1, k , оказывающих существенное
влияние на некоторую итоговую качественную характеристику Y . Метод выявления
взаимосвязей характеристик при нечеткой исходной информации описан в [1].
Пусть X lj , l  1, m j - уровни вербальных шкал, применяемых для оценивания
соответственно признаков X j , j  1, k . Уровни расположены в порядке возрастания
интенсивности проявления этих признаков.
Обозначим
за
alj , l  1, m j , j  1, k
-
относительные
числа
объектов
рассматриваемой совокупности, отнесенных при оценивании признака X j , j  1, k к
уровню X lj , l  1, m j , j  1, k ,
mj
a
l 1
j
l
 1, j  1, k .
Опираясь на эти данные, построим k полных ортогональных семантических
пространств (ПОСП) [2] с названиями X j , j  1, k и терм-множествами X lj ,
l  1, m j , j  1, k . Обозначим через lj x  функцию принадлежности нечеткого числа
X~lj , соответствующего l -му терм-множеству j -го ПОСП, l  1, m j , j  1, k . Будем
~
называть оценками объектов нечеткие числа X , l  1, m , j  1, k или их функции
принадлежности

lj x , l  1, m j , j  1, k .

lj
j
Обозначим
за
X~ nj
и
 nj x   a nj1, a nj2 , a njL , a njR , n  1, N , j  1, k , оценку n -го объекта в рамках признака
5
X j . Нечеткое число X~ nj с функцией принадлежности  nj  x  равно одному из нечетких
~
чисел X lj , l  1, m j , j  1, k .
Среди N объектов выделяем те, которые получили от экспертов высшие оценки
интенсивности проявления характеристики Y . Не ограничивая общности, будем считать,
что это объекты с номерами i  1, M .
Поскольку эталоны в рамках соответствующих характеристик определяются при
условии достижения максимальной интенсивности проявления характеристики Y , то
будем называть их условными эталонами.
Рассмотрим два подхода к определению условного эталона в рамках
характеристики X j , j  1, k .
Согласно первому подходу условным эталоном в рамках характеристики
X j , j  1, k
будем
считать
набор
нечетких
чисел
 x   a
i
j
i
i
i
i
j1 , a j 2 , a jL , a jR
, i  1, M , j  1, k ,
которые
являются
формализациями
оценок, выставленных объектам с номерами i  1, M в рамках этой характеристики.
Согласно второму подходу условным эталоном в рамках характеристики
X j , j  1, k будем считать нечеткое число с функцией принадлежности
 1
 j x   
M
M

i 1
a ij1 ,
1
M
M

i 1
a ij 2 ,
1
M
M

i 1
a ijL ,
1
M
M

i 1

 a ijR  .
Эталон, определенный в виде нечеткого числа, предлагается использовать для
сравнительного анализа с ним реальной оценки объекта и вырабатывать управляющие
действия, направленные на получение в будущем высшей оценки в рамках
характеристики Y .
Эталон, определенный в виде набора нечетких чисел, предлагается использовать
для определения рейтинговых оценок объекта, как в рамках одной из характеристик
X j , j  1, k , так и в рамках всех характеристик, каждая из которых имеет свой вес
K
 j , j  1, K ,   j  1 .
j 1
Пусть n -ый объект, n  1, N имеет оценку в рамках
j -ой характеристики,
j  1, K , которой в соответствие поставлено нечеткое число с функцией принадлежности
Тогда рейтинговая оценка n -го объекта, n  1, N
nj x   x nj1 , x nj2 , x njL , x njR .


определяется следующим образом:
K
1
j 1
0
rn  1    j  nj  x    j  x dx .
Обычно рейтинговые оценки определяются исходя из принципа – чем больше
отдельные показатели, тем больше рейтинговые оценки. Рейтинговые оценки на основе
эталона не всегда подчиняются этому принципу, поскольку являются количественными
показателями близости показателей объектов и показателей эталонного образа,
построенного на основе реальных апостериорных данных. Исходя из этого, анализ
показателей изучаемых объектов на основе полученных рейтинговых оценок повышают
достоверность прогноза некоторых итоговых показателей (в нашем случае это показатели
характеристики Y ) и управляющих действий по их улучшению.
Работа выполнена при поддержке гранта РФФИ 04-07-90131.
6
Литература.
1. Клир Дж. Системология. - М.: Радио и связь, 1990. - 544 с.
2. Полещук О.М., Полещук И.А. Нечеткая кластеризация элементов множества
полных ортогональных семантических пространств
// Вестник Московского
государственного университета леса – Лесной вестник. - 2003. - № 1 (26). - С. 117 - 127.
7