О методе построения лингвистических шкал для оценивания

Тезисы доклада
1. НАЗВАНИЕ ДОКЛАДА:
(на русском языке) – О методе построения лингвистических шкал для оценивания
характеристик качества информационных образовательных ресурсов
(на английском языке) – A method of constructing linguistic scales for assessing the
characteristics of the quality of educational information resources
2. АВТОРЫ:
(на русском языке) – О.М. Полещук, Е.Г. Комаров, Н.Э. Малолепшая
(на английском языке) - O.M. Poleshchuk, E. G. Komarov, N.E. Malolepshaya
3. ОРГАНИЗАЦИЯ:
(на русском языке) – Московский государственный университет леса
(на английском языке) – Moscow State Forest University
4. ГОРОД:
(на русском языке) – Мытищи
(на английском языке) – Mytischi.
5. ТЕЛЕФОН: 8-916-538-42-70
6. ФАКС:
7. E-mail: callisto5@mail.ru
8. ТЕКСТ ТЕЗИСОВ ДОКЛАДА:
Главная
цель
профессионального
образования
–
подготовка
квалифицированного конкурентоспособного специалиста, быстро адаптирующегося в
новых условиях труда, компетентного. В настоящее время в области информатизации
образования все больше внимание фокусируется на проблемах создания эффективных
информационных образовательных ресурсов (ИОР). На смену текстографическим
продуктам приходят высоко интерактивные, мультимедийно насыщенные
информационные образовательные ресурсы, такие как электронные учебники,
виртуальные лабораторные практикумы, средства автоматизированного контроля
знаний и прочее. Оценивание характеристик качества ИОР является нетривиальной
задачей, с известной долей субъективизма. Для оценивания качественных (нечисловых)
характеристик эксперты часто используют лингвистические шкалы, значениями
которых являются слова, выражающие степень интенсивности проявления
характеристик. Например, для оценивания электронных учебников можно было бы
предложить следующие множества значений: лингвистической шкалы: «практически
нулевая», «низкая», «средняя», «высокая». Однако при оценивании экспертом
проявлений качественных характеристик естественным является вопрос: «По каким
критериям должен производиться выбор множества значений лингвистической шкалы,
которая применяется при оценивании той или иной характеристики?». Для оценивания
качественных характеристик эксперты могут применять разные множества их
лингвистических значений. Одни множества доставляют трудности экспертам в связи с
недостаточностью значений, другие в связи с избыточностью значений. В результате
этих трудностей следует ожидать, что степень уверенности экспертов в результатах
оценивания будет уменьшаться и соответственно увеличиваться нечеткость
результатов. Если оценивания производят несколько экспертов, то из-за трудностей
оценивания следует ожидать рассогласованности информации, поступающей от разных
экспертов.
Исходя из этого, лингвистическую шкалу для оценивания характеристики
информационно-образовательных ресурсов предлагается строить таким образом, чтобы
эксперты испытывали минимальную неопределенность при оценивании, а результаты,
полученные от разных экспертов, имели бы максимальную согласованность.
Для использования аппарата теории нечетких множеств, необходимы методы
построения соответствующих функций принадлежности. Эти методы можно
разделить на два класса: прямые и косвенные [1]. Прямые методы характеризуются
тем, что эксперт непосредственно задает правила определения значений функции
принадлежности. Как правило, прямые методы задания функции принадлежности
используются для измеримых понятий. Разновидностями прямых методов
являются прямые групповые методы,
непосредственное задание функции
принадлежности таблицей, графиком или формулой.
Косвенные
методы построения
значений
функции
принадлежности
используются в случаях, когда нет элементарных измеримых свойств, через которые
определяются нечеткие множества. В косвенных методах значения функции
принадлежности выбираются таким образом, чтобы удовлетворить заранее
сформулированным условиям. Экспертная информация является только исходной
информацией для дальнейшей обработки. Дополнительные условия могут налагаться
как на вид получаемой информации, так и на процедуру ее обработки. К таким методам
относятся статистический метод, метод парных сравнений, метод экспертных оценок,
метод интервальных оценок и ряд других.
В [2] разработана модель экспертного оценивания характеристики
информационно-образовательных ресурсов в виде лингвистической переменной.
Термы или названия значений этой переменной формализуются с помощью
треугольных или трапецеидальных нечетких чисел. В [3] дано определение
неопределенности экспертной информации, которая интерпретируется как средняя
степень трудностей, которую испытывает эксперт при оценивании объектов с помощью
конкретной лингвистической шкалы.
p
Обозначим через P , p  1,k модели оценивания
k экспертами
характеристики
информационно-образовательных
X
l , p  1,k ,l  1,m функции принадлежности их термов.
ресурсов,
а
через
p
Показателем согласованности экспертной информации назовем
min l1 x ,  l2 x ,..., lk x dx
1 m 0
.
  1
m l 1 max 1 x ,  2 x ,..., k  x dx

l
l
l
1
0
Будем предполагать, что для оценивания характеристики X информационнообразовательных ресурсов привлекаются k экспертов, которые формулируют
возможные
множества лингвистической шкалы
T1  X 1 , X 2 , T2  Y1 , Y2 , Y3 ,...,Tn 1  Z1 , Z 2 ,..., Z n .
Используя информацию, полученную от экспертов и методы [4], построим
модели экспертного оценивания характеристики X , которые обозначим через
Pi p ,i  1,n  1, p  1,k . Методы построения этих моделей могут опираться на
непосредственный опрос экспертов или на статистическую информацию, полученную
на основе оценочных мероприятий экспертов в прошлом.
1
k
Рассмотрим модели Pi ,...,Pi в рамках терм-множества Ti и обозначим их
 ijp  x   ai1jp ,aijp2 ,aiLjp ,aiRjp  , j  1,i  1. Первые два
функции принадлежности через
параметра в скобках являются абсциссами соответственно левой и правой верхних
вершин трапеций – графиков функций принадлежности. Последние два параметра
являются длинами соответственно левого и правого крыльев трапеций. В случае
треугольных нечетких чисел первые два параметра равны, поэтому треугольное число
определяется тремя параметрами.
В [5] разработан метод построения обобщенной модели экспертного оценивания
информационно-образовательных ресурсов. Обозначим обобщенную модель
экспертного оценивания в рамках шкалы с терм-множеством Ti через Pi , а функции
принадлежности этой модели через
 ij  x   ai1j ,aij2 ,aiLj ,aiRj  .
 Ti  ,i  1,n  1 - степень нечеткости модели Pi , i  1, n  1, а
p
через  i - показатель общей согласованности моделей Pi , p  1, k .
Обозначим через
Построим для показателя согласованности лингвистическую переменную с
универсальным множеством 0,1 и термами «низкий», «высокий», а для степени
нечеткости лингвистическую переменную с универсальным множеством 0,0.5 и
термами «малая», «большая».
Вычислим в рамках всех множеств T1 ,T2 ,...,Tn 1 значения принадлежности
степеней нечеткости обобщенных моделей к терму «малая» - 1  Ti ,i  1,n  1 и
значения принадлежности показателей согласованности моделей экспертов к терму
«высокий» -  2  i ,i  1,n  1.
Определим
 i  min1  Ti , 2  i ,i  1,n  1.
Тогда
множество
множеством, если
Tj
лингвистической
шкалы
считается
оптимальным
 j  max  i .
1i  n 1
Литература
1. Вестник ВГУ, серия: системный анализ и информационные технологии. 2009. № 2 –
13.
2. O.Poleshchuk, E.Komarov The determination of rating points of objects with qualitative
characteristics and their usage in decision making problems // Proceedings of World Academy
of Science, Engineering and Technology, V. 40, ISSN: 2070-3740, April 2009, P. 313- 317.
3. Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. - М.:
Диалог-МГУ, 1998. - 116 с.
3. Домрачев В.Г., Полещук О.М. Методы и модели создания и оценки качества
образовательных информационных ресурсов
// Вестник Московского
государственного университета леса – Лесной вестник. 2006. № 3 (45). С. 191-195.
5. Olga Poleshchuk and Evgeniy Komarov Expert Fuzzy Information Processing. – SpringerVerlag Berlin Heidelberg, 2011. – 237 pp.