Количественная оценка надежности программного обеспечения

5.2. Количественная оценка надежности программного
обеспечения с использованием функция Харрингтона-Менчера
Предпосылками для создания данной методики оценки явилось отсутствие удобного подхода для обработки вычисленных
значений метрик. В ее основе лежат несколько концепций. Рассмотрим их по порядку.
Значение каждой метрики надежности (см. п. 5.1.) преобразуется в безразмерную шкалу желательности d, называемую также
шкалой желательности Харрингтона. Таким образом, физический
параметр, каковым является метрика, преобразуется в психологическую величину, представляющую собой числовое выражение
эмпирической оценки данной метрики.
Оно отражает мнение наблюдателя (им является программист,
аналитик, эксперт – в общем случае это некоторый человек, объектом рассмотрения которого является надежность данного программного продукта) и находится в интервале от нуля до единицы. Нулевое значение соответствует абсолютно неприемлемому
уровню данного свойства, единичное – самому лучшему. Соотношение между значениями шкалы желательности в эмпирической и числовой (психологической) системами представлено в
таблице 5.1.
Таблица 5.1. – Связь между количественными значениями
безразмерной шкалы и психологическим восприятием человека
Очень хорошо
Отметка на шкале
желательности
1,00 – 0,80
Хорошо
0,80 – 0,63
Удовлетворительно
0,63 – 0,37
Плохо
0,37 – 0,20
Очень плохо
0,20 – 0,00
Желательность
3
Выбор отметок на шкале желательности 0,63 и 0,37 продиктован удобством вычислений: 0,631-(1/е), 0,371/е. Значение
di=0,37 соответствует границе допустимых значений.
Такой подход предполагает выбор функции, задающей рассмотренное преобразование, – функции желательности. Она
может вычисляться по формуле
d  exp  exp  y ,
(5.1)
где d – значение на шкале желательности,
y – исходное значение метрики.
Для расчета количественной оценки надежности программного продукта будем использовать обобщенную функцию желательности Харрингтона-Менчера:
4
 ak
D=
k 1
4
 Dk
ak
k 1
,
(5.2.)
где
Dk – обобщенная функция желательности для k-ой подхарактеристики, имеющей вес аk;
4 – число подхарактеристик.
Каждая подхарактеристика надежности, в свою очередь, может быть представлена в виде функции:
m
 ai
Dk = i  1
m
ai
 di
i 1
,
(5.3)
где di – частная функция желательности i-ой метрики, имеющей
вес ai;
m – количество метрик в данной подхарактеристике.
Расчет производится в два этапа.
На первом этапе определяются единичные значения функции
di (i = 1, 2, …, m) для любого количества откликов, каждый из которых должен представлять непрерывную монотонную функцию.
Для случая возрастания качества с возрастанием числовых значений отклика предложены 3 типа зависимостей (типы 1, 2 и 3 на
рис. 5.1), а для случая убывания качества с возрастанием числовых значений отклика предложены ещё три типа зависимостей
(типы 4, 5 и 6 на рис.5.2). При этом во всех случаях в качестве аргумента выступает отклик Y в своём натуральном виде – так, как
4
он измерялся в ходе эксперимента,
метода расчёта.
это большое достоинство для
d
1,0
(YII, dII)
dII
2
0,5
3
1
dIII
(YIII, dIII)
Y
0
b
YII
YIII
с
Рисунок 5.1. - Графики функций желательности трёх
возрастающих типов
Для всех трёх типов возрастающих кривых определяющим
является правильное назначение начала b и конца с физического
(или допустимого) значения отклика Y, то есть должно соблюдаться условие
0 ,åñëèY  b;

(5.4)
d  d ,åñëèb Y  c;
1,åñëèY  c.

В этом случае кривая типа 1 является S-образной, возрастающей, симметричной и описывает качество отклика Y, если распределение Y не является резко асимметричным, по формуле

   Y  b 1,927
 
d  exp exp 9

2
(5.5)
  .

 
   c  b 

Кривая типа 2 является S-образной, возрастающей, асимметричной с быстрым начальным возрастанием и рассчитывается по
формуле
5

 
a II
 

  Y b

d  exp exp 9
(5.6)
  2   ,
 

   c  b 
 

II
где показатель степени a определяет скорость возрастания функции d. Для его расчёта необходимо знать (или задаться) хотя бы
II
II
II
одной точкой (Y ; d ) на искомом графике. Тогда величину a
можно подсчитать по формуле
a 
II

ln 2  ln ln


1
d II
 ln 9 .
ln Y II  b  lnc  b 
(5.7)
Аналогично, кривая типа 3 является S-образной, возрастающей, асимметричной с медленным начальным возрастанием и
рассчитывается по формуле

 
a III
 

  Y b
  ,
d  1  exp exp 9

2


 

   c  b 
 

III
где показатель степени a
III
III
(Y ; d ) по формуле
a III 
6
(5.8)
можно найти по единственной точке

ln 2  ln ln

1
1 d III

 ln 9 .
ln c  Y III  lnc  b 
(5.9.)
d
1,0
(YVI, dVI)
dVI
5
0,5
4
6
dV
(YV, dV)
0
e
Y
YV
YVI
f
Рисунок 5.2 - Графики функций желательности трёх убывающих
типов
Для всех трёх типов убывающих кривых определяющим является правильное назначение начала e и конца f физического
(или допустимого) значения отклика Y, то есть должно соблюдаться условие
1, åñëèY  e;

(5.10)
d  d , åñëèe Y  f ;
0 , åñëèY  f .

Кривая типа 4 является S-образной, убывающей, симметричной, представляет собой зеркальный вариант кривой типа 1, и
описывается формулой

   f  Y 1,927
 



d  exp exp 9
 2   .
 

   f  e 

(5.11)
Кривая типа 5 является S-образной, убывающей, асимметричной, с быстрым начальным убыванием, представляет собой
зеркальный вариант кривой типа 3, и описывается формулой
7

 
aV
 

  Y e



d  1  exp exp 9
 2   ,




   f  e 
 


(5.12)
V
где показатель степени a определяет скорость убывания функции
d. Для его расчёта необходимо знать (или задаться) хотя бы одной
V
V
V
точкой (Y ; d ) на искомом графике. Тогда величину a можно
подсчитать по формуле
ln 2  ln ln 1 V  ln 9
V
1 d
.
(5.13)
a 
ln Y V  e  ln f  e 




Аналогично, кривая типа 6 является S-образной, убывающей, асимметричной, с медленным начальным убыванием, представляет собой зеркальный вариант кривой типа 2, и описывается
формулой

 
aVI
 

   f Y 

  2   ,
d  exp exp 9



   f  e 
 


VI
где показатель степени a
VI
VI
(Y ; d ) по формуле
aVI 
можно найти по единственной точке

ln 2  ln ln

(5.14)
ln f  Y
VI
1
d VI
 ln 9
  ln f  e .
(5.15)
Если предположить, что количественные выборки имеют
нормальный закон распределения (рис. 5.3), то получим следующие формулы для расчета частных показателей качества метрик
di:
1,927





   Ai  b 

d i  exp exp 9
 2   ,

cb 


 







где di - показатель качества i-той метрики;
Ai – реальное значение i-той метрики;
b – минимально возможное значение i-той метрики;
c – максимально возможное значение i-той метрики.
di
8
1,0
(5.16)
Рисунок 5.3 – Нормальный закон распределения выборок
После расчета частных показателей качества метрик, рассчитывается обобщенная функция качества для каждой подхарактеристики (по формуле 5.3). Особенностью этого расчёта является
предварительное нахождение для каждого частного показателя di
его веса ai. Для определения весов частных показателей качества
ai используется метод весовых коэффициентов важности (ВКВ).
Специалисты–программисты заполняют анкеты, в которых они
оценивают значимость каждой метрики (пример анкеты на рис.
5.4).
9
Рисунок 5.4 – пример анкеты для заполнения экспертами при использовании метода ВКВ
Ранжирование объектов сравнения с помощью экспертных
методов обязательно включает процедуру проверки правильности
полученных результатов. Для этого в методе весовых коэффициентов важности используются следующие 4 шага:
1.Рассчитывается коэффициент внутренней непротиворечивости ответов каждого эксперта. Если этот коэффициент
меньше значения 0,5, то мнение данного эксперта отбрасывается;
2.Для оценки однородности мнений по каждому конкретному
объекту применяется критерий Кохрена;
3.Рассчитывается коэффициент конкордации, который показывает степень однородности мнений экспертов;
4.Если разные группы экспертов дают противоречивые ответы на одни и те же вопросы, то применяется закон Ципфа
Затем по формуле 5.2 рассчитывается количественная оценка
надежности программного продукта (предварительно для каждой
подхарактеристики надежности должны быть определенны веса ak
с использованием метода ВКВ)
10