I(x)

Методы анализа
данных
Статистическая
проверка гипотез


Общая схема проверки гипотез.
Проверка гипотез:
 о математическом ожидании;
 о дисперсиях;
 о равенстве математических ожиданий;
 о выявлении аномальных измерений;
 об однородности ряда дисперсий;
 о согласованности выбранного закона распределения
и гистограммы.
Общая схема проверки гипотез
f ( x| H1 )
f ( x| H 2 )
b a
G1
c
x
G2
Х – случайная величина.
Н1, Н2 – гипотезы.
f(x|Н1), f(x|Н2) – условные
плотности
Решающее правило: если x<c, то верна гипотеза Н1; если
x>c, то верна гипотеза Н2, где с – порог.
Условные вероятности ошибочных решений:
α – вероятность принять Н2, в то время как верна Н1;
β – вероятность принять Н1, в то время как верна Н2.
Общая схема проверки гипотез
Произведем сжатие этой информации: z=z(x1,…,xn).
Здесь z(·) – известная функция.
Исследователя интересуют не две гипотезы,
а одна: H1=H. При этом известна только
плотность распределения f(z|H).
f ( z| H 1 )
p
a
Два варианта для конкурирующей гипотезы:
a
2
2
c1
c2
z
1) H2=H, в конкурирующую гипотезу вводятся
все остальные возможности.
2) H2=часть H, в гипотезу вводится
дополнительное ограничение.
1.1. Проверка гипотезы о
математическом ожидании
Считаем, что случайная величина X распределена по
нормальному закону N(m, σ2) с неизвестным математическим
ожиданием m и известной дисперсией σ2.
По независимой выборке x1,…,xn проверить гипотезы:
H1:m=m0
f (z|H
H2:m≠m0

Вводим статистику:
a
mm
z
)
a
0

n
2
Порог с находим из условия P{z>c}=α/2
 c
0
Значение порога с можно взять из специальных таблиц.
Гипотеза H1 верна, если |z|<c.
2
z
c
1.2. Проверка гипотезы о
математическом ожидании
Условия те же, но дисперсия σ2 неизвестна.
Вводим статистику:

m  m0
tz 
 n
Если верна гипотеза H1, то величина z имеет распределение
Стьюдента Tn-1(0;1) с n-1 степенями свободы.
Значение порога с можно взять из специальных таблиц.
Гипотеза H1 верна, если |z|<c.
2.1. Проверка гипотезы о
дисперсиях
Случайная величина X распределена по нормальному закону
N(m, σ2) с неизвестным математическим ожиданием m и
неизвестной дисперсией σ2.
По независимой выборке x1,…,xn проверить гипотезы:
H1: σ2=σ02
2
H2: σ2≠σ02
(
n

1
)

2
z



Вводим статистику (хи-квадрат):
2
0
2
2
2
Если  2    1 ,то принимается H1.
2
Значения порогов χ2 берутся из
f n 1 ( | H )
специальных таблиц.
p
a
a
2
2
0

2
2

2
1

2
2.2. Проверка гипотезы о
дисперсиях
Рассмотрим случай, когда имеем две случайные величины X и
Y, распределенные по нормальным законам: N(m1, σ12) и
N(m2, σ22).
m1, m2 и σ12, σ22 – неизвестны.
По независимым выборкам: x1,…,xn1 и y1,…,yn2 проверить
гипотезы:
H1: σ12=σ22
H2: σ12>σ22
2
1
Вводим статистику: z   2  F(статистика Фишера).
2
В числитель ставится наибольшая из оценок.
Если z<c, то принимаем H1. Значение порога с берется из
специальных таблиц.
3.1. Проверка гипотезы
о равенстве математических
Случайные величины ожиданий
X и Y, распределенные по нормальным
законам: N(m1, σ12) и N(m2, σ22).
m1, m2 – неизвестны, а σ12, σ22 – известны.
По независимым выборкам: x1,…,xn1 и y1,…,yn2 проверить
гипотезы:
H1: m1=m2
 
H2: m1≠m2
m1  m2
z
Вводим статистику:
2 / n  2 / n
1
Если |z|<c, то принимаем H1.
1
2
2
3.2. Проверка гипотезы
о равенстве математических
ожиданий
Условия те же, а дисперсии одинаковы σ12=σ22=σ2 и неизвестны.
Вводим статистику:
 
m1  m2
z 
 1 / n1  1 / n2
Если гипотеза H1 верна, то z имеет распределение Стьюдента.
Пороги находим как в задаче 1.2.
4. Выявление аномальных
измерений
Случайная величина X распределена по нормальному закону
N(m, σ2) с неизвестным математическим ожиданием m и
известной дисперсией σ2.
Имеется выборка: x1,…,xn и x – новое измерение.
Проверить гипотезы:
H1: x принадлежит X.
H2: x не принадлежит X (x – аномальное измерение).
Вводим статистику:

xm
z

Пороги и решающее правило как для задачи 1.1.
Выявление аномальных
измерений
Условия те же, но дисперсия σ2 неизвестна.
Статистика имеет вид:
x  m̂
z
ˆ
При истинности гипотезы H1, z имеет распределение Стьюдента.
Пороги и решающее правило как для задачи 1.2.
5. Гипотеза об однородности ряда
дисперсий
Имеем несколько случайных величин X1,…,Xk, распределенных
по нормальному закону N(m1, σ12),…, N(mk, σk2). Все параметры
законов неизвестны.
Для каждой случайной величины имеется выборка одинакового
объема n.
Проверить гипотезы:
H1: σ12=…=σk2
H2: σi2≠σj2; i,j=1…k; i≠j
k
2
2
z  Gmax  max /  (статистика
j
Вводим статистику:
Кочрена)
j 1
Порог с выбирается по таблице. H1 верна, если z<c.
6. Проверка гипотезы о
распределениях
X – непрерывная случайная величина, закон распределения не
известен.
По независимой выборке x1,…,xn строится гистограмма,
экспертно выбирается закон распределения X: f(x|Θ) и
проверяются гипотезы:
H1: f(x|Θ) согласуется с гистограммой.
H2: f(x|Θ) не согласуется с гистограммой.
2
k
n
j
2


n

Вводим статистику:
j 1 np j
Порог находим по таблице. Если z<χ2, то принимается H1 .
В дальнейшем можно использовать f(x|Θ) в качестве оценки
истинной неизвестной плотности.
КЛАССИФИКАЦИЯ
В РАСПОЗНАВАНИИ
ОБРАЗОВ
Схема системы распознавания
Система распознавания образов состоит из нескольких подсистем:
Объект
Датчики
Формирователь
информативных
признаков
Обучающая выборка и решающее
правило для случая двух
информативных признаков x1, x2 и
двух классов.
Классификатор
Решение
x2
h(x , x )0
1
2
G1
h ( x , x )> 0
1
2
G2
h( x , x )  0
1
2
x1
Байесовская теория принятия
решений
при
дискретных
признаках
Одномерный вариант
Рассматриваем m классов (полную группу несовместных случайных событий) и
один дискретный информативный признак X.
По формуле Байеса вычисляем апостериорные вероятности для всех
рассматриваемых классов:
P( j | X  xi ) 
p xi | j P ( j )
p xi
m
, pxi   pxi |l P(l ) j  1, m
l 1
Выносим решение об истинности того класса (с номером ), для которого
апостериорная вероятность максимальная:


P(  | X  xi )  max P( j | X  xi ) , j  1, m
Байесовская теория принятия
решений
при вариант
дискретных признаках
Многомерный
Для простоты считаем, что имеются два информативных признака X и Y.
X принимает возможные значения x1,…,xn1, Y принимает возможные значения
y1,…,yn2.
По формуле Байеса вычисляем апостериорные вероятности для всех
рассматриваемых классов:
P(k | [( X  xi )(Y  y j )])  P(k | xi , y j ) 
pxi , y j |k P(k )
m
 pxi , y j |l P(l )
, k  1, m
l 1
Выносим решение об истинности того класса (с номером ), для которого
апостериорная вероятность максимальная:


P(  | xi , y j )  max P( k | xi , y j ) , k  1, m
Байесовская теория принятия
решений
привариант
дискретных признаках
Одномерный
X  xi
1
Решающее
устройство

m
Многомерный вариант
X  xi
Y  yj
1
Решающее
устройство

m
Байесовская теория принятия
решений
при непрерывных признаках
f ( x | i ), i  1, 2,
Одномерны вариант:
Апостериорные вероятности классов по формуле Байеса :
f ( x | i ) P (i )
P(i | x) 
, i  1, 2
f ( x)
P( j | x)
1
если
P(1| x )
0
G1
P( 2| x )
c
то принимается решение о 1-м классе, иначе о
2-м классе.
x
G2
P (1| x ) > P (2| x )
Байесовская теория принятия
решений
при
непрерывных
признаках
Вероятность ошибки классификации при двух классах:
Pîø1 
 f ( x | 1) P(1)dx
Pîø2 
 f ( x | 2) P(2)dx
G1
G2
f ( x|1) P(1)
Pош.2
G1
f ( x|2) P(2)
Pош.1
c
x
G2
Идеи классификации
Случай 1. Известны полностью условные плотности распределения вероятности для
признаков.
f ( x |i )
x2
f ( x|1)
f ( x|2)
b a
G1
c
h( x1 , x2 )  0
h( x1 , x2 ) > 0
h( x1 , x2 )  0
x
G2
Одномерный случай
x1
Двумерный случай
Идеи классификации
Случай 2. Условные плотности распределения вероятности для признаков известны
не полностью, а с точностью до параметров.
Неизвестные параметры доопределяются с помощью одного из методов
математической статистики, например с помощью метода
максимального правдоподобия, на основе обучающей выборки.
Дальнейшая классификация проводится, как и в случае 1.
По обучающей выборке доопределяются и априорные вероятности:

P(1) 

n1
n2
, P(2) 
n1  n2
n1  n2
Идеи классификации
Случай 3. Условные плотности распределения вероятности неизвестны, но известна
обучающая выборка. Здесь возможны два варианта.
Вариант 1. Восстанавливается решающая функция.
Вариант 2. По обучающей выборке восстанавливаются условные плотности
Идеи классификации
Случай 4. Число классов неизвестно и нет обучающей выборки. Вернее, нет
учителя, который мог бы измерения признаков разбить на группы, соответствующие
своим классам. Это самая сложная и распространенная на практике ситуация.
Приходится строить самообучающиеся системы классификации.
Прямые методы
восстановления решающей
функции
1, если истинным является класс 1,
yi  
 1, если истинным является класс 2.

y
1
h(x)
x
-1
Персептроны
Чу
вс
тв
по ите
ле ль
но
е
1 ( x)
 j (x)
 M (x)
a1 a11 ( x)
1
aj
aM
Преобразователи,
Усилители
предикаты,
нейроны

h( x, a) Пороговое
устройство  1
sgn h
Блок
обучения
ПЛАНИРОВАНИЕ
ЭКСПЕРИМЕНТА
Что такое планирование
эксперимента
u1
Объект
um
y
Целью планирования эксперимента является создание
таких планов покачивания входных переменных, которые
обеспечивают более быстрое и точное построение модели
объекта.
Выход объекта состоит из неизвестного сигнала (функции от входов) и
центрированной помехи
y  (u1, , um )  h
Что такое планирование
эксперимента
n
A
B
C
yi
1
–
–
–
y1
2
+
–
–
y2
3
–
+
–
y3
4
–
–
+
y4
Взвешивание трех тел по традиционной
схеме ("+" означает, что тело положено
на весы, "–" указывает на отсутствие тела
на весах).
2 (âåñ À)  2 ( y2  y1 )  22 ( y )
Взвешивание трех тел с использованием
планирования эксперимента.
n
A
B
C
yi
1
–
–
–
y1
2
+
–
–
y2
3
–
+
–
y3
4
–
–
+
y4
2
4 ( y )
2
2   y  y2  y3  y4 
2
 (вес А)    1

  ( y)

2
4


Видно, что при новой схеме взвешивания дисперсия веса объектов получается
вдвое меньше, чем при традиционном методе взвешивания, хотя
в обоих случаях выполнялось по четыре опыта.
Построение линейной
статической модели объекта
Считаем, что входами объекта являются u1,…,um, а выходом y.
Уравнение линейной статической модели объекта имеет вид:
m

0
y  a0   a j (u j  u j )
u2 2
1
u2
j 1
Необходимо на основе эксперимента (на основе
нескольких измерений входов и выхода объекта )
вычислить коэффициенты модели.
u20
4
u1
u1
u10
u2
3
u1
Экспериментальные точки для входных координат зададим в вершинах
гиперпрямоугольника.
Интервалы покачивания относительно базовой точки задаются экспериментатором, и
они определяют область изучения объекта.
Построение линейной
статической модели объекта
С целью унификации процедур построения планов, исследования их свойств, расчета
параметров и исследования качества модели осуществляется переход от размерных
входных переменных u1,…,um к безразмерным x1,…,xm.
0
xj 
uj uj
u j
u2 2
, j  1, m
Точки плана в вершинах прямоугольника в новых
координатах оказываются в вершинах квадрата с
единичными координатами. Центр плана переходит в
начало координат.
В итоге получается план:
1
u2
u20
4
u1
u1
u10
n
xo
x1
x2
yi
2
1
+
+
+
y1
2
+
–
1
+
yi
3
+
+
–
y3
4
+
–
–
y4
4
1
x2
1
1
1
u2
3
u1
3
x1
Построение линейной
статической модели объекта
В новых безразмерных координатах x1,…,xm линейная
модель также сохраняет линейный вид:
b0  a0 , b j  a j u j , j  1, m
Параметры βi модели рассчитаем по
критерию
наименьших квадратов :
m

y  b0   b j x j
a 0  b0 , a j 
I
2
y
bj
u j
n
m
i 1
j 1
j 1
, j  1, m
2
 ( yi  b0   b j x ji )  min
Предполагая, что измерения выхода некоррелированные и равноточные получаем
систему линейных алгебраических уравнений:
2
y
bj 
m
 ( xk , x j )b j 
j 0
( x j , y) ( x j , y)

(xj, xj )
n
2
 y ( xk , y ),
k  0, 1, , m
n
n
i 1
i 1
( x k , x j )   x ki x ji , ( x k , y )   x ki yi
Крутое восхождение по
поверхности отклика
В планировании эксперимента поверхностью отклика называют уравнение связи
выхода объекта с его входами.
В 1951 году Бокс и Уилсон предложили использовать последовательный "шаговый"
метод движения к экстремуму выхода объекта.
Коэффициенты αi линейной модели являются
оценками составляющих градиента:
u2
0
(u )
ai 
; i  1, m
U i
Далее движение осуществляется по поверхности
отклика в направлении оценки градиента
u1

1  0
u  u  ka
, где k - величина шага.
Полный факторный
эксперимент
n
Полным факторным экспериментом называется
эксперимент, в котором реализуются все
возможные сочетания уровней факторов. Если
число факторов равно m, а число уровней
каждого фактора равно p. то имеем полный
факторный эксперимент типа pm.
21
1
2
3
22
4
5
6
7
23
При построении линейной модели объекта
используется полный факторный эксперимент
типа 2m. Условия эксперимента записываются в
таблицы, в которых строки соответствуют
различным опытам, а столбцы – значениям
факторов. Такие таблицы называются
матрицами планирования эксперимента.
8
9
10
11
2
4
12
13
14
15
16
x1
x2
x3
x4
yi
































































y1
y2
y3
y4
y5
y6
y7
y8
y9
y10
y1 1
y12
y13
y14
y15
y16
Полный факторный
эксперимент
С использованием ортогонального плана первого порядка
можно определять не только коэффициенты βi, но и
коэффициенты βij перед факторами взаимодействия xixj (i≠j)
Например, при m=2 можно рассчитать и коэффициенты
модели:

y  b0  b1x1  b2 x2  b12 x1x2
n
x0
x1
x2
x1x2
yi
1
+
+
+
+
y1
2
+
–
+
–
y2
3
+
+
–
–
y3
4
+
–
–
+
y4
Дробные реплики
При большом числе входов объекта полный факторный эксперимент 2m
содержит большое число экспериментов. Можно этот план разбивать на блоки
(дробные реплики) с сохранением ортогональности плана. При этом по
меньшему числу точек определяются (также независимо друг от друга) все
коэффициенты линейной модели.
n
Чтобы получить дробную реплику, необходимо
за основу взять полный факторный эксперимент
(например 23) и в качестве новой переменной
взять один из столбцов (например x4),
соответствующий фактору взаимодействия
(например x4=x1x2). Для данного примера
дробная реплика обозначается как 24-1.
x1
x2
x3
X4=x1x2
1
+
+
+
+
2
–
+
+
–
3
+
–
+
–
4
–
–
+
+
5
+
+
–
–
6
–
+
–
+
7
+
–
–
+
8
–
–
–
–
Определяющий контраст (или определяющие контрасты, когда их несколько)
позволяет установить разрешающую способность дробной реплики.
Разрешающая способность будет максимальной, если линейные эффекты будут
смешаны с эффектами взаимодействия наибольшего возможного порядка.
Насыщенные планы. Симплекс
Иногда исследователь ставит цель получения линейного уравнения модели по
планам, содержащим минимум точек (количество точек равно числу коэффициентов).
Такие планы называют насыщенными.
Ортогональный план проводится в вершинах правильного симплекса. Правильным
симплексом называется выпуклая правильная фигура в многомерном пространстве,
число вершин которой превышает размерность этого пространства на единицу.
x1
 1
 
 1 
1
0
x1 x2 x3
 1 1 1
  1 1  1


1

1

1


  1  1 1


x1 x2

3a a 



3
a
a


0
 2a 


1
x
4
x2
( 3a; a) ( 3a; a)
2
1 x
1
3 (0;2a)
Эти планы центральные и ортогональные.
1
x3
x1
3
2
x2
Насыщенные планы. Симплекс
Один из общих способов построения планов:
x1
x2
x3
 a1

  a1
 0

 0
 

 0

a2
a2
a3
a3
 2a 2
a3
0
 3a3


0
0

xm
am 

am 

am 


am 

 

  mam 


Насыщенные планы.
Планы Плаккета – Бермана
Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с
единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67,
71, ... .
Задаются базовые строки. Каждая следующая строка матрицы планирования
образуется из исходной циклическим сдвигом вправо. Получается матрица размером
m x m. Последняя (m+1) -я строка матрицы планирования состоит из минус единиц.
Пример базисных строк:
Строка
m
n
11
12
++–+++–––+–
19
20
++––+++–+–+––––++–
23
24
+++++–+–++––++––+–+––––
31
32
––––+–+–+++–++–––+++++––++–+––+
35
36
–+–+++–––+++++–+++––+––––+–+–++––+–
Разбиение матрицы
планирования на блоки
При проведении эксперимента выход объекта дрейфует. Если этот дрейф кусочнопостоянный, то его можно нейтрализовать, изменяя порядок проведения
эксперимента во времени. Для этого разбивают матрицу планирования на блоки и
последовательно реализуют (во времени) эту матрицу: вначале один блок, затем
другой и т. д.
В качестве примера рассмотрим ортогональный план 23 . Считаем, что выход объекта
имеет аддитивный дрейф на величину Δ1 (когда проводятся эксперименты с
номерами 1, 2, 3, 4) и на величину Δ2 (когда проводятся эксперименты № 5, 6, 7, 8).
Этот дрейф приводит к смещению на величину (4Δ1-4 Δ2)/8 параметра β3.
Разбиение матрицы
планирования на блоки
Пример эксперимента в котором выход объекта дрейфует.
yi
Номер блока
n
x1
x2
x3
xдр=x1x2x3
1
+
+
+
+
y1=y1ист+Δ1
1
2
–
+
+
–
y2=y2ист+Δ1
2
3
+
–
+
–
y3=y3ист+Δ1
2
4
–
–
+
+
y4=y4ист+Δ1
1
5
+
+
–
–
y5=y5ист+Δ2
2
6
–
+
–
+
y6=y6ист+Δ2
1
7
+
–
–
+
y7=y7ист+Δ2
1
8
–
–
–
–
y8=y8ист+Δ2
2
Разбиение матрицы
планирования на блоки
Для устранения этого недостатка изменим порядок проведения
эксперимента, разбив план на 2 блока.
n
x1
x2
x3
xдр
yi
1
+
+
+
+
y1=y1ист+Δ1
2
–
–
+
+
y2=y2ист+Δ1
3
–
+
–
+
y3=y3ист+Δ1
4
+
–
–
+
y4=y4ист+Δ1
5
–
+
+
–
y5=y5ист+Δ2
6
+
–
+
–
y6=y6ист+Δ2
7
+
+
–
–
y7=y7ист+Δ2
8
–
–
–
–
y8=y8ист+Δ2
Номер блока
Блок 1
Блок 2
Обработка результатов
эксперимента
1. Проверка однородности дисперсий. Если при реализации ортогонального плана
остается неизвестным, на самом ли деле дисперсии выходов (ошибок измерения)
одинаковы в каждой точке плана, то необходимо в каждой точке плана осуществить
несколько дополнительных измерений выхода, найти оценку дисперсии (в каждой
точке) и проверить гипотезу о равенстве дисперсий.
Проверка однородности дисперсий производится с помощью различных статистик.
Простейшей из них является статистика Фишера, представляющая собой отношение
наибольшей из оценок к наименьшей.

 2max
F  2
 min
Так же можно выполнить проверку с использованием статистики Кочрена:
Gmax
n
2
2
 max /   j
j 1
Обработка результатов
эксперимента
2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим
ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию
адекватности):
2
ад 
n
1
 2
(
y

y
 i i)
n  m  1 i 1
На основе дополнительного эксперимента объема n0 в одной из точек плана (например
в центре плана) строим оценку для дисперсии выхода объекта. Число степеней
свободы для оценки n0 -1. По статистике Фишера проверяем гипотезу о равенстве
дисперсий, которая совпадает с гипотезой об адекватности модели.
2 2
F  ад /  y
Если статистика не превосходит порогового значения, то принимается гипотеза об
адекватности модели. В противоположном случае эта гипотеза отвергается. Надо
заново строить модель, например, усложняя ее за счет введения дополнительных
факторов, либо отказываться от линейной модели и переходить к квадратичной модели.
Обработка результатов
эксперимента
3. Проверка значимости коэффициентов заключается в проверке гипотезы
H: bj = 0 для каждого j=1,…,m.
Вычисляется статистика Стьюдента:
bj
t 
y / n
Если |t|<c, где с – пороговое значения из таблицы Стьюдента, то принимается гипотеза
о том, что коэффициент модели βj незначимо отличается от нуля. В этом случае данный
член модели можно опустить, но после этого упрощения модели ее надо проверить на
адекватность.
Обработка результатов
эксперимента
4. Интерпретация модели. Производится качественное сопоставление
поведения полученной модели с реальными процессами объекта. При этом
привлекается информация от экспертов (например технологов), детально
изучивших объект. Знак коэффициентов βj , линейной модели показывает
характер влияния входа объекта на выход. Знак "+" свидетельствует о том, что
с увеличением входа (фактора) растет величина выхода объекта и наоборот.
Величина коэффициентов βj – количественная мера этого влияния.
Если характер связи между входами и выходом объекта на основе
построенной модели не соответствует реальным связям (на базе
информации от экспертов) в объекте, то такую модель надо поставить под
сомнение либо полностью отказаться от нее.
Ортогональное планирование
второго порядка
Построение планов второго порядка – задача в математическом отношении
значительно более сложная, чем в случае построения планов первого порядка. Модель
второго порядка при m=3 имеет вид:

y  b0  b1 x1  b2 x2  b3 x3  b12 x1 x2  b23 x2 x3  b13 x1 x3  b11 x12  b22 x22  b33 x33
Для вычисления коэффициентов модели второго порядка необходимо варьировать
переменные не менее чем на трех уровнях. Это вызывает необходимость постановки
большого числа опытов. Полный факторный эксперимент содержит 3m точек.
m
1
2
3
4
5
6
7
m
3
9
27
81
243
729
2187
5
9
15
25
43
77
143
3
Композиционный план n0=1
Ортогональное планирование
второго порядка
В 1951 году Бокс и Уилсон предложили составлять композиционные планы. Число
точек плана равно величине n=n1+2m+n0 . Здесь n1– число точек полного факторного
эксперимента или дробной реплики 2m – число парных точек, расположенных на осях
координат; n0 – число опытов в центре плана.
a
x2
*
*
x3
a
a
*
*
* x1
*
*
x2
*
*
*
x1
Точки на осях координат называют звездными
точками. Их количество равно удвоенному
числу факторов. Расстояние от центра плана
до звездной точки одинаково. Его обозначают
буквой α и называют звездным плечом.
Композиционные планы имеют следующие положительные свойства:
1. Они могут быть получены в результате достройки планов первого порядка.
2. Дополнительные точки на осях координат и в центре плана не нарушают
ортогональности для столбцов, соответствующих факторам xj и эффектам
взаимодействия xixj .
Ортогональное планирование
второго порядка
Пример композиционного плана:
x1’
x2’
+
◊
◊
+
+
◊
◊
–
+
+
◊
◊
–
+
+
+
◊
◊
α
0
0
α2
0
Δ
□
+
-α
0
0
α2
0
Δ
□
7
+
0
α
0
0
α2
□
Δ
8
+
0
-α
0
0
α2
□
Δ
9
+
0
0
0
0
0
□
□
x1x2
x12
x22
+
+
+
–
+
–
+
+
–
4
+
–
5
+
6
n
x0
x1
x2
1
+
+
2
+
3
xl 
xl2
1 n 2
  xli  xl2  xl2
n i 1
С учетом новых переменных xl’ получаем
следующее уравнение модели (для случая
m=2):

2
2
y  b0  b1x1  b2 x2  b12 x1x2  b11 ( x1  x1 )  b22 ( x2  x2 ) 
2
2
 b0  b11 x1  b22 x2  b1x1  b2 x2  b12 x1x2  b11 x1  b22 x2 
 b0  b1 x1  b2 x2  b12 x1 x2  b11x1  b22 x2
Ротатабельное планирование
Если эта дисперсия одинакова на равном удалении от центра плана, то такой план
называется ротатабельным.
Ортогональный план первого порядка является ротатабельным.
Построение ротатабельного плана второго порядка из симплексных планов:
x2
x1
Метод случайного баланса
Часто влияние факторов на выходную координату объекта имеет затухающий
экспоненциальный вид:
y
100 %
80 %
60 %
40 %
20 %
0
В 1956 году Сатерзвайт предложил метод
случайного баланса для отсеивания небольшого
числа значимых факторов на шумовом поле.
Метод базируется на постановке экспериментов
по плану, содержащему координаты точек,
выбранных случайным образом.
x1 x2 x3 x4 x5 x6 x7 x8 x9 x10
Построение матрицы планирования осуществляют следующим образом. Все
факторы разбивают на группы. Затем для каждой группы строят матрицы
планирования, беря за основу полный факторный эксперимент или дробные
реплики. План проведения эксперимента образуется путем случайного смешивания
строк соответствующих базовых планов (для групп факторов). Полученный план
реализуется на объекте, и результаты анализируются с помощью диаграмм
рассеяния.
Метод случайного баланса
Пример:
n
x1
x2
x1x2
y
y1
1
+
+
+
24
27
2
–
+
–
27
27
3
+
–
–
26
29
4
–
–
+
29
29
29
28
27
26
25
24
y
3
 
x1
 2
0
  
x2 x1
x2
Каждая из диаграмм содержит точки, соответствующие результатам эксперимента.
Эти точки разбиты на две группы. Одна из них соответствует тем опытам, когда
исследуемый фактор находился на нижнем уровне, вторая – тем опытам, когда
фактор находился на верхнем уровне. Для каждой из групп находятся оценки
медианы и вычисляется их разность (из оценки медианы правой группы вычитается
оценка медианы левой).
Разность между оценками медиан количественно оценивает линейное влияние
фактора на выход объекта.
МЕТОДЫ
НЕПАРАМЕТРИЧЕСКОЙ
ОБРАБОТКИ ИНФОРМАЦИИ
Оценивание функционалов
Необходимо по выборке x1,…,xn случайной величины X найти оценку
функционала

   ( x, f ( x ), )  f ( x )dx

Рассмотрим некоторые примеры функционалов:

m   xf ( x )dx  M { X } – математическое ожидание.


   ( x  m) 2 f ( x )dx  M {( X  m) 2 }
2
– дисперсия.


H ( X )    (log f ( x)) f ( x)dx – приведенная энтропия.

Оценивание функционалов
Схема построения оценки Фn следующая. Вначале строится оценка для
плотности вероятности fn(x), а затем она подставляется в функционал.
Основным свойством оценки Фn(x1,…,xn) является ее состоятельность. Оценка Фn
функционала Ф называется состоятельной, если:
p
n 


lim P{|  n   |>  }  0
n 
Требование состоятельности определяет практическую пригодность оценок, ибо в
противоположном случае (при несостоятельности оценок) увеличение объема
исходной выборки не будет приближать оценку к "истинной" величине. По этой
причине свойство состоятельности должно проверяться в первую очередь.
Оценка Фn параметра Ф называется несмещенной, если
M {n}  
Она является асимптотически несмещенной, если
M {n} n
 

Простейшие оценки функции
и плотности распределения вероятности
По упорядоченной независимой выборке x1,…,xn случайной величины X построим
оценку Fn(x) для функции распределения:
F ( x)  P{ X  x}
m  ÷èñëî èñõîäîâ, áëàãîïðèÿò ñòâóþùèõ ñîáûòèþ { X  x}
1 n
Fn ( x ) 
 1( x  xi )
n  îáùåå ÷èñëî îïûòîâ
n i 1
1, z > 0,
1( z)  
0, z  0.
где 1(z) – единичная функция:
Fn ( x )
1
0
1
n
1
n
1
n
x1
1
n
1
n
1
n
1
n

x2 x3 x4  xn2 xn1 xn
x
Простейшие оценки функции
и плотности распределения вероятности
Так как плотность распределения f(x) связана с функцией распределения F(x) через
линейный оператор дифференцирования :
dF ( x )
f ( x) 
dx
Можно получить оценку для плотности распределения :
dFn ( x ) 1 n d
1 n
f n ( x) 
  1( x  xi )   ( x  xi )
dx
n i 1 dx
n i 1
Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид:
уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает
свойствами:
xi  
 ( x  x )dx  1
1)
i
- площадь под дельта функцией единичная.
xi  
селектирующее свойство дельта-функции позволяет легко
выполнять интегрирование. Интеграл оказывается равным
2)  ( x )( x  xi )dx  ( xi )
подынтегральному выражению, стоящему перед дельтаx 
функцией, в особой точке.
xi  
i
Простейшие оценки функции
и плотности распределения вероятности
Первое свойство показывает, что, несмотря на экзотическое поведение дельтафункции, площадь под ней единичная.
Второе селектирующее свойство дельта-функции позволяет легко выполнять
интегрирование. Интеграл оказывается равным подынтегральному выражению,
стоящему перед дельта-функцией, в особой точке.
f n ( x)
x1
x2

x3 x4  xn2 xn1
xn
x
Оценка плотности распределения является несмещенной, но несостоятельной. В явном
виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок
моментов (математического ожидания, дисперсии и др.) для случайной величины или
для аналитической функции случайной величины. Получаемые оценки являются
состоятельными и часто несмещенными.
Простейшие оценки функции
и плотности распределения вероятности
Многомерный случай:
1 n p

Fn ( x )  Fn ( x1 , , x p )  1( x j  x ji )
n i 1 j 1
1 n p

f n ( x )  f n ( x1 , , x p )   ( x j  x ji )
n i 1 j 1
Кратные измерения. При кратных измерениях значение x1 повторяется k1 раз, x2 – k2
раз,…, xm – km раз, при этом k1+…+km = n.
k
Fn ( x)   i 1( x  xi )
i 1 n
m
Fn ( x )
1
k m 1 k m
n
km2 n
n
ki
 ( x  xi )
i 1 n
m
f n ( x)  
k1
0n
k2
n
x1
k3
n
x2

x3  xm  2 xm 1 xm
x
Полиграммы
Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой
функции плотности. Для этого надо повысить соответственно степень гладкости для
оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых,
то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка
называется полиграммой первого порядка.
f n (x)
Fn (x)
1

1
n 1
x1
x2 x3  xn 1 xn

x
x1
1
n 1
1
n 1
x

x2 x3
xn 1 xn
Она строится на выборочных интервалах, ограниченных выборочными значениями
упорядоченной выборки x1,…,xn. Площадь каждого прямоугольника равна 1/(n-1)
 x  xi 
1 n 1 1

f n ( x) 
I

0

n  1 i 1 xi 1  xi  xi 1  xi 
1,
I0 ( z)  
0,
z [0; 1),
z [0; 1).
Полиграммы
Для улучшения сглаживающих свойств оценки плотности построены полиграммы
более высоких порядков:
f n ( x)
a
1
n 1
1
n 1
1
n  1
x2 x3
x1
1
n 1
1
n 1
x4 x5
1
n 1
x6

x
x7 
f n ( x)
б
2
n 1
2
n 1
x1
x2 x3
x4 x5
2
n 1
x6

x
x7 
f n ( x)
в
3
n 1
x1
x2 x3
3
n 1
x4 x5
x6

x7 
x
Метод "К ближайших соседей"
Считаем, что для одномерной случайной величины X имеется n независимых
наблюдений x1,…,xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤
n. Для каждой выбранной точки x существует интервал длительностью 2p(kn,n,x)
который охватывает kn ближайших к x точек выборки. Одна точка попадает на границу
интервала, а kn-1 точка – внутрь интервала. Оценкой плотности распределения
вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2p, приведенная к
единичной величине интервала:
kn  1
f n ( x) 
n2(k n , n, x )
Многомерный случай:
kn  1
f n ( x) 
nV ( kn , n, x)
(4, n, x) (4, n, x)
xi 2
xi 1 xi x xi 1 xi 2
xi 3
(5, n, x) (5, n, x)
xi 2
x2
xi 1 xi x xi 1 xi 2
V (8, n, x )
R8
x1
xi 3
Оценка Розенблатта – Парзена
Плотность распределения вероятности связана с функцией распределения через
оператор дифференцирования:
f ( x )  dF ( x ) / dx
f ( x) 
F ( x  h)  F ( x  h)
2h
1 n
Fn ( x  h)   1( x  h  xi )
n i 1
1 n
Fn ( x  h)   1( x  h  xi )
n i 1
1 n
1 n
1( x  h  xi )  1( x  h  xi )

1 n 1 1( x  h  xi )  1( x  h  xi )
n
n
i 1
i 1
 
f n ( x) 
n i 1 h
2
2h
1( x  h  xi )  1( x  h  xi )
 x  xi 
 I

 h 
2
0.5, | z | 1,
I ( z)  
1 | z | .
0,
1 n 1  x  xi 
f n ( x)   I 

n i 1 h  h 
Оценка Розенблатта – Парзена
Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в
оценке fn(x) прямоугольное ядро I(z) на произвольное K(z) и получим:
1 n 1  x  xi 
fn ( x)   K 

n i 1 h  h 
Здесь h – коэффициент размытости ядра. Примеры треугольного, параболического и
кубического ядер приведены ниже:
1 | z |, | z | 1,
K ( z)  
1 | z |;
 0,
0.75 (1  z 2 ), | z | 1,
K ( z)  
1 | z |;
 0,
(1  2 | z |)(1 | z |) 2 , | z |  1,
K ( z)  
1 | z | .
 0,
1 K ( z)
s1
z
1 0
1
1 K ( z)
s 1
z
1 0 1
1 K ( z)
s 1
z
1 0 1
Оценка Розенблатта – Парзена
Многомерный случай:
1 n 1  x1  x1i 
1  xm  xmi  1 n m 1  x j  x ji 
f n ( x1 ,, xm )  
K

K
 
K





n i 1 hx  hx  hx
 hx
 n i 1 j 1 hx  hx 
1
1
m
m
j
j
Оценка условной плотности вероятности
Рассматриваем объект, имеющий случайный вход (либо несколько входов) X и выход Y.
Связь между случайными величинами характеризуют условные характеристики,
например, условная плотность распределения вероятности f(x|y).
f ( y| x )  f ( x , y ) / f ( x )
1 n 1  x  xi  1  y  yi 

K

 K
n i 1 hx  hx  hy  hy 
f n ( y| x ) 

1 n 1  x  xj 

 K
n i  1 hx  hx 
 x  xi 
 x  xi 
  K 

K N 
 hx 
 hx 
n
 x  xj 

 hx 
 K 
j 1
 x  xi  1  y  yi 

 K 
 K N 


i 1
 hx  hy  hy 
n
Оценка регрессии
Регрессией называют первый начальный условный момент

M {Y | x}   y f ( y | x )dy  h( x )

Это некоторая усредненная количественная зависимость между выходом и входом
объекта. Регрессия (4.7.1) удовлетворяет квадратичному критерию
I  M {(Y  y * ) 2 | x}  min
*
y
Получим оценку регрессии:
n

 x  xi  
M {Y | x}  hn ( x )   K N 
  y( y  yi )dy 
 h  
i 1
 x  xi 
 x  xi 
KN 
  K

 h 
 h 
 x  xj 
   i ( x)
 K
h


j 1
n
n
 x  xi 
KN 
 yi   i ( x ) yi

i 1
i 1
 h 
n
Оценка регрессии
Подбор оптимального параметра коэффициента размытости для оценки регрессии.
Перейдем от размерного параметра с к безразмерному β.
b  c 1n1 / 5
 x  xi 
K b

 
 x  xi 

i ( x )  K N  b
 n

 x  xj 


K b



j 1


При β=0 ядро K(·) не зависит от x.
 x  xi 
K b

3/ 4
1
 
 x  xi 

i ( x )  K N  b
 n
 , i  1, n
 n
 
 x  xj 

3 /4 n
K b
 

  j 1
j 1

Оценка регрессии равна среднему арифметическому
выборочных значений выхода объекта для любых x.
1 n
hn ( x )   yi
n i 1
hn (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оценка регрессии
Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии проходит
через экспериментальные точки и состоит из кусков линий, соединяющих точки
выборки.
hn (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оптимальный параметр β лежит в
интервале [0; 1].
hn (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оценка регрессии
Рекуррентный расчет оценки регрессии. Для каждого фиксированного x на основе
использования рекуррентной схемы расчета получаем алгоритм адаптивного
сглаживания:
hn ( x )  Bn / Dn
m
Bn  Bn1  
l 1
 x  xln 
1
 yn
K l

hx (n)  hx (n) 
l
l
 xl  xln 
1

Dn  Dn 1  
K
 hx (n) 
l 1 hxl ( n)
 l

m
q
hxl (n)  cxl n , q  1/(m  4), n  1, 2, , B0  D0  0
Оценка регрессии
Инверсная модель. Для объекта с одним входом X и одним выходом Y основной
инверсной характеристикой является регрессия

M { X | y}   xf ( x | y )dx

 y  yi 
( x  xi ),
f ( x | y )   K N 

i 1
 hy 
n
 y  yi 
 y  yi 



KN
 K
 h 
 h 
 y 
 y 
и получаем оценку инверсной регрессии:
n
 y  yi 

 xi
M { X | y}   K N 
 h 
i 1
 y 
 y  yj 

 K 

j 1  hy

n
Робастные оценки регрессии
В реальной ситуации исходные экспериментальные данные xi, yi могут содержать
аномальные измерения, называемые выбросами. Даже наличие малого процента
выбросов приводит к сильному искажению оценок. Поставим задачу построения оценки
регрессии, которая была бы более устойчивая (малочувствительная, робастная (в
переводе с английского "крепкая") к выбросам по отношению к ранее построенной оценке
 x  xi 
hn ( x )   K N 
 yi


h
i 1
n
Кроме математического ожидания случайной величины Y есть другая характеристика
среднего положения – медиана. Медиана – это среднее по вероятности значение.
Состоятельная оценка медианы представляет собой среднее по номеру значение в
упорядоченной выборке.

m2  y3
y1
y 2 y 3 y 4 y5
Робастные оценки регрессии
Запишем критериальную форму получения оценки:

I 2   | yi  m2 | min

n
m2
i 1
I 21
n
 21 ) 2
  ( yi  m
i 1
1
 min
0
 21
m
2 |
| yi  m
n
dI 21
1
1



2
(
y

m
)
0

i
2
1
0
dm 2
| yi  m 2 |
i 1
1 n 
 0 1
m2   | yi  m2 |
i 1 
 l 1 n 
 l 1
m2   | yi  m2 |
i 1 
| m2l 1  m2l | 
 0 1 
 | y j  m2 |  yi
j 1

n
 l 1 
 | y j  m2 |  yi , l  0, 1, 2, 
j 1

n
Робастные оценки регрессии
Модульный критерий не является единственным для получения робастных оценок.
Более общий критерий имеет вид :
 ( x  xi ) 
I ( x )   F ( yi  h) K 
  min
h

h 
i 1
n
F(v)
Некоторые виды функций F(v):
a
F(v)
0
a
v
v 2 2 , | v | a;
F (v )   2
a 2 , a | v |
v
| v |, | v| a;
F (v )  
a, a  | v|
F (v) | v |
v
0
F(v)
a
0
a
F(v)
a
0
a
v
| v | a;
v 2 2 ,
F (v )  
2
a | v |  a 2 , a | v |
F(v)
0
F (v) | v|p ,1  p  2
v
Адаптивное управление при априорной
неопределенности
Адаптацией природа наделила все живое. Она представляет собой приспособление к
различным изменениям. Эти изменения происходят как внутри живого организма, так и
во внешней среде.
Свойством адаптации человек наделил и созданные им устройства. Управление в этих
устройствах осуществляется таким образом, чтобы как можно быстрее и лучше
нейтрализовать влияние непредвиденных изменений или приспособиться к ним.

u
1
ИУ
Объект

y
ИУ
Управляющее
устройство
y*
y

2
МЕТОДЫ
ЭКСПЕРИМЕНТАЛЬНОЙ
ОПТИМИЗАЦИИ
Метод деления отрезка пополам
Метод позволяет исключать на каждой итерации в точности половину интервала.
Иногда этот метод называют трехточечным поиском на равных интервалах,
поскольку его реализация основана на выборе трех пробных точек, равномерно
распределенных в интервале поиска.
Шаг 1. Положить xm=(a+b)/2 и L=b-a. Вычислить значение I(xm)
Шаг 2. Положить x1=a+L/4 и x2= b-L/4. Точки x1,xm,x2 делят отрезок [a,b] на четыре
равные части. Вычислить значения I(x1) и I(x2).
Шаг 3. Сравнить I(x1) и I(xm). Если I(x1) < I(xm), исключить интервал (xm,b] , положив
b=xm. Средней точкой нового интервала поиска становится точка x1. xm=x1.
Перейти к шагу 5. Если I(x1) ≥ I(xm), перейти к шагу 4.
Шаг 4. Сравнить I(x2) и I(xm). Если I(x2) < I(xm), исключить интервал [a,xm), положив
a=xm. Так как средней точкой нового интервала становится точка x2, положить
xm=x2. Перейти к шагу 5. Если I(x2) ≥ I(xm), то исключить интервалы [a, x1) и (x2,b] и
положить a = x1 и b = x2. Перейти к шагу 5.
Шаг 5. L=b-a. Если величина |L| мала, закончить поиск. В противном случае
вернуться к шагу 2.
Метод деления отрезка пополам
I ( x)
a
I ( x)
а
x
1
x
m
x
x
2
b
a
I ( x)
б
x
1
xm
x
2
b
x
a
в
x
1
x
m
x
x
2
b
Особенности метода:
1. На каждой итерации алгоритма исключается в точности половина интервала
поиска.
2. Средняя точка последовательно получаемых интервалов всегда совпадает с
одной из пробных точек x1, x2 или xm, найденных на предыдущей итерации.
Следовательно, на каждой итерации требуется не более двух вычислений значения
функции.
3. Если проведено n вычислений значения функции, то длина полученного интервала
составляет (1/2)n/2 величины исходного интервала.
4. В литературе показано, что из всех методов поиска на равных интервалах
(двухточечный, трехточечный, четырехточечный и т. д.) трехточечный поиск, или метод
деления интервала пополам, отличается наибольшей эффективностью.
Метод золотого сечения
Золотым сечением отрезка называют деление его на две неравные части так, что
отношение длины всего отрезка к длине большей части равно отношению длины
большей части к длине меньшей части отрезка.
Точки x1 и x2 осуществляют золотое сечение
отрезка [a,b].
3 5
x a
(b  a )  a  0.381966  (b  a )
2
1
x2  a 
5 1
(b  a )  a  0.618033 (b  a )
2
Оказывается, что точка осуществляет золотое
сечение отрезка [a,x2] , а точка x2 – отрезка [x1,b].
Этот факт позволяет на каждой итерации (за
исключением первой) добавлять только по одной
экспериментальной точке (с учетом золотого сечения).
x1
1 
a
1


x1


b
; 1    2
1 
5 1

 0.61803...
2
1 

x2
b
x1 x 2
b
a

1 
a
2
Метод золотого сечения
Итерационная процедура сокращения отрезка [a,b] выглядит следующим образом.
Точки x1 и x2 золотого сечения вычисляется
минимизируемая функция I(x1) и I(x2).
Если I(x1)≤I(x2), то принимается a1=a, b1=x2, x2=x1.
Если I(x1)>I(x2), то принимается a1=x1, b1=b, x2=x2.
Отрезок [a1, b1] содержит x0.
На n-m шаге после вычисления I(x1), I(x2), I(xn+1) найден отрезок Отрезок [an, bn]
включающий x0.
По заданной величине δ точности поиска x0 необходимое число шагов n вычисляется
из равенства:
[( 5  1) / 2]n (b  a )  
Метод с использованием квадратичной
аппроксимации
При реализации метода оценивания функции I(x) с использованием квадратичной
аппроксимации предполагается, что на ограниченном интервале можно
аппроксимировать функцию квадратичным полиномом, а затем использовать
аппроксимирующую функцию для оценивания координаты точки истинного минимума
функции I(x).
Если задана последовательность точек x1, x2, x3 из интервала [a,b] и известны значения
функции I(x1), I(x2), I(x3) , то можно определить три коэффициента a0, a1, a2 из условия,
что значения квадратичной функции
q( x)  a0  a1 ( x  x1 )  a2 ( x  x1 )( x  x 2 )
Находим коэффициенты:
a0  I 1
a1  ( I 2  I 1 ) / ( x 2  x1 )
 I 3  I1 I 2  I1 
 I 3  I1

1




a2  3


a
1
2  3
1
2
1
3
2  3
1
(x  x )  x  x
x  x  (x  x )  x  x

1
Находим точку x0, обеспечивающую минимум квадратичной аппроксимации:
dq
 a1  a2 ( x  x 2 )  a2 ( x  x 1 )  0
dx
x 0  ( x1  x 2 ) / 2  (a1 / 2a2 )
Одномерный глобальный поиск
Наиболее эффективные и теоретически обоснованные алгоритмы глобальной
аппроксимации трудны для реализации. Поэтому чаще реализуют более простые
алгоритмы, отвечающие частным критериям рациональности.
Считаем, что минимизируемая функция I(x), a ≤x ≤b – липшицева функция с известной
константой L.
| I ( x2 )  I ( x1 ) |  L | x2  x1 |
 L | x  x i | I ( x)  I ( x i )  L | x  x i |, x, x i [a, b]
i ( x )  I ( x i )  L | x  x i | I ( x )
I ( x)
I ( x)
I ( x )  I ( x i )  L| x  x i |
I
a
x
xi
i
i
i
I ( x )  L | x  x |  ( x)
b
x
a
x3
x1
x5
[a , b] \ D 
x4
b
x2
x
Последовательный симплексный метод
Правильный симплекс – это регулярный многогранник.
Шаг 1. Задается исходная вершина
симплекса, размер симплекса и строится
симплекс.
Шаг 2. В вершинах симплекса
вычисляется минимизируемая функция.
Шаг 3. Осуществляется проверка
выполнения условий окончания поиска
оптимума.
Шаг 4. Находится наихудшая вершина симплекса. Эта вершина с максимальным
значением. Производится отражение симплекса.
Шаг 6. Если новый симплекс хуже предыдущего, то возврат к предыдущему симплексу
и его редукция. Переход на Шаг 3.
Метод деформируемого многогранника
В целях ускорения сходимости, повышения точности при подходе к экстремуму и
устранения трудностей на искривленных оврагах симплексный метод был
модифицирован Нелдером и Мидом.
Правильный симплекс в процессе поиска меняет свою форму и становится
неправильным, а добавление к нему дополнительных точек трансформирует его в
деформируемый многогранник. Деформируемый многогранник (даже деформируемый
симплекс) по сравнению с правильным симплексом адаптируется к топографии
целевой функции, вытягиваясь вдоль длинных наклонных плоскостей, меняя
направление в изогнутых впадинах и сжимаясь в окрестности минимума.
Метод деформируемого многогранника
a 1
а
xm4
xm3
б
0  a 1
xp
xp
в
г
0   1
x p  1
0
b 1
xm2
xm2
xm2
xm3 b  1.5
xi
xi
= 3
xl
Процедура отыскания вершины с
меньшим значением I(x) состоит из
следующих операций:
а) Отражение.
б) Растяжение.
в) Сжатие.
г) Редукция.
Эти операции позволяют значительно
ускорить сходимость симплекс метода.
Градиентный метод с использованием
планирования первого и второго порядка
x2
x2

x2l

x1l
x1


x1
Методы случайного поиска
Наиболее простой способ использования случайности при поиске минимума
функции заключается в следующем. Внутри области, где отыскивается экстремум,
последовательно по случайному механизму распределяются точки x и в них
измеряется функция качества. Точки, обеспечивающие наименьшее значение
функции качества, запоминаются. Процесс поиска заканчивается, когда число
безрезультатных проб превысит порог.
Проба считается безрезультатной, если значение функции качества больше, чем
наименьшее значение функции, встретившееся во всех предыдущих пробах.
Недостатком данного способа поиска экстремума является чрезвычайно большое
число испытаний.
Рассмотрим еще один способ: сочетание локальных детерминированных методов
поиска со случайным просмотром области. Производится n запусков алгоритмов
локального поиска из случайных точек. Среди них отбирается самая минимальная и
считается оценкой глобального минимума.
ИДЕНТИФИКАЦИЯ
СТАТИЧЕСКИХ МОДЕЛЕЙ
ОБЪЕКТОВ
Общие понятия
Идентификация – это процесс построения моделей объектов различной природы.
Теория идентификации имеет в своем арсенале достаточно эффективные методы и
алгоритмы, на базе которых разработаны и широко используются программные
комплексы.
Процесс идентификации складывается из двух взаимосвязанных этапов:
идентификации структуры моделей и идентификации параметров в моделях
выбранной структуры. При построении структуры модели (или набора конкурирующих
либо взаимодополняющих структур) используется априорная информация об объекте.
Для каждого класса объектов формируются банки структур с сопутствующей
информацией.
Модели делятся на статические и динамические. Первые из них описывают объекты в
стационарных режимах их работы. Динамические модели описывают переходные
процессы в объектах, например, возникающие при переходе с одного стационарного
режима работы объекта на другой.
Постановка задачи подстройки
параметров нелинейных моделей
u
*
Объект
h  h(u, a)  
Модель
h  h(u , a)
Считаем, что выход объекта состоит из полезного сигнала η(u, a) и центрированной
помехи ξ.
Сигнальная часть выхода представляет собой известную функцию от входа с
неизвестными параметрами a. В структуру функции η(u, a) . Все, что не удается
описать в объекте, относят к помехе.
Модель объекта берем в виде функции η(u, α). Основная задача теперь сводится к
расчету параметров α модели.
Алгоритмы расчета будем строить, используя критерий наименьших квадратов и
близкие к нему критерии, например наименьших модулей невязок. В зависимости от
свойств помехи критерий наименьших квадратов приобретает различные формы – от
простейшей до самой общей.
Критерий наименьших квадратов
Считаем, что в каждый момент времени ti (момент измерения входа и выхода
объекта) помехи ξi, являются центрированными случайными величинами с
дисперсиями σi2. Если дисперсии различны, то измерения называются
неравноточными.
Тогда критерий наименьших квадратов имеет вид:
1 *
I   2 (hi  hi ) 2  min
,
a
i 1  i
n
hi  h(ui , a)
При равноточных измерениях весовые коэффициенты 1/σi2, характеризующие
информативность измерений, одинаковы. Тогда критерий имеет вид:
1 n *
I  2  (hi  hi ) 2  min
a
 i 1
Критерий наименьших квадратов
Если все помехи ξi коррелированны, т. е:
 12 k12 k1n 
 1 


 
K     M {T },   , K 1  (cij )

 
2
k
k

 n
 n1 n 2 n 
то критерий наименьших квадратов базируется на элементах cij матрицы, обратной
корреляционной:
n
n
I ( a)   ( h*i  hi )cij ( h*j  h j )  min
i 1 j 1
a
Это общая форма критерия. Она включает в себя (при соответствующих упрощениях)
все предыдущие формы. Запишем критерий в матричной форме.
 h1* 
 h(u1 , a)   h1 
 1 






 
H *   , H ( a)   


,


  
 
 *
 h(u , a)   h 
 
n

  n
 n
 hn 
I ( a)  ( H *  H ( a))T K 1 ( H *  H ( a))  min
a
Метод наименьших квадратов
при линейной параметризации модели
Модель объекта задана в виде линейной комбинации известных (базисных)
функций φ1(u),…, φm(u):
 a1 
 1 (u ) 
 


a   , (u )   

a 
  (u ) 
 m
 m 
m
h(u, a)    j (u )a j  T (u )a  aT (u ),
j 1
  T (u1 )a    T (u1 ) 
 1 (u1 )  2 (u1 )   m (u1 ) 

 



H ( a)         a  

a   a
 T
  T

  (u )  (u )   (u ) 

(
u
)
a

(
u
)
m
n 
 1 n 2 n
n
n

 

Параметры α находим по критерию наименьших квадратов:
I ( a)  ( H *   a) T K 1 ( H *   a)  min
a
Метод наименьших квадратов
при линейной параметризации модели
Пример расчета параметров:
*
h
h h(u , a)  c Dh(u ,a )
h(u , a)  c Dh(u ,a )
*
h1
h(u , a)  a1  a 2 (u  u )
u1
u
u
Метод последовательной линеаризации
при подстройке параметров
на основе критерия наименьших квадратов
Построим итерационную процедуру расчета параметров α модели
в соответствии с критерием наименьших квадратов. Так как функционал квадратичный,
то первая стадия метода не реализуется и на каждой итерации используется только
линейная аппроксимация выхода модели по параметрам:
dH (al ) l 1
H (a)  H (a ) 
a
da
l
a l 1  a  a l
dH (al ) l 1 T 1 *
dH (al ) l 1
l
I ( a )  ( H  H (a ) 
a ) K ( H  H (a ) 
a )  min
a
da
da
l 1
*
l
l 1
Необходимое условие минимума приводит к системе линейных алгебраических
уравнений:
 dH  T 1 dH  l 1  dH  T 1 *
l
 K
 K ( H  H ( a ))

 a  
da 
 da 
 da 
a l 1  a l   l a l 1 , l  0, 1, 2, 
Робастные оценки параметров
Параметры модели (которые являются оценками параметров объекта), полученные на
основе критерия наименьших квадратов, сильно реагируют на выбросы помех.
Аномальные отклонения в измерениях очень редки, но амплитуда их велика.
n
I1 (a)   | h*i  a | min
a
i 1
Так же существуют другие критерии вида:
n
I ( a)   pi1( ei )  min ,
a
i 1
ei  h*i  h(ui , a)
Примеры функции ψ(e):
a
б
(e)
0
e
(e)
  0.8
0
e
в
(e)
 0 
e
Простейший адаптивный алгоритм
подстройки параметров
Линейная параметризация модели:
h(u, a)  T (u )a
На каждой итерации, например n и n-1, параметры модели находим из условия
равенства выходов модели и объекта:
h*n  T (un )a n , h*n 1  T (un 1 )an 1
Каждому уравнению в пространстве параметров соответствует своя линия
a2
an
|| an ||2  min
n
n 1
a n 1
a
a1
( h*n  T (un )a n 1 )
a n  a n 1 
(un )  a n 1  ( h*n  T (un )a n 1 )( T (un )) 
T
 ( u n ) ( u n )
an   > a 
n 
n
(un )
T
 (un )(un )
a n  a n 1  n 1 ( a n  a n 1 ), n  1, 2, ... .
Простейший адаптивный алгоритм
подстройки параметров
Нелинейная модель: На каждом шаге линеаризуем модель и приращения
параметров отыскиваем из равенства (эквивалентного (6.8.2) для линейного случая)
выхода модели и линеаризованной модели
h*n  h(u n , a n 1 )   Ta h(u n , a n 1 ) a n
В итоге получаем алгоритм перестройки параметров нелинейной модели:
( h*n  h(un , an 1 ))
an  an 1  T
ah(un , an 1 )
a h(un , an 1 )ah(un , an 1 )
ИДЕНТИФИКАЦИЯ
ДИНАМИЧЕСКИХ
МОДЕЛЕЙ ОБЪЕКТОВ
Дискретные динамические модели
стохастических объектов
В динамическом режиме поведение объектов описывается различными динамическими
уравнениями: обыкновенными дифференциальными, интегральными,
интегродифференциальными уравнениями; уравнениями с запаздываниями;
уравнениями в частных производных и их дискретными аналогами. С целью упрощения
будем рассматривать наиболее простые дискретные модели. Последние выбраны
именно потому, что получаемые алгоритмы идентификации и управления напрямую
реализуемы на цифровой вычислительной технике (мини-,микро-ЭВМ,
микропроцессоры).
Дискретные модели привязаны к номерам дискретных моментов времени и поэтому
основным аргументом для входных u(t) и выходных x(t), y(t) переменных является
номер дискреты t = 0, 1, 2,…
Например:
x(t )  Ax (t  1)  Bu(t  1), t  1, 2, ..., x(0)  x0
x(t )  f ( x(t  1), u(t  1),(t  1), a), t  1, 2, ..., x(0)  x0
Дискретные динамические модели
стохастических объектов
Считаем, что объект описывается дискретным уравнением:
x (t )  ax (t  1)  bu(t  1)  e(t )  ce(t  1), t  1, 2, ... .
Модель имеет вид:



y (t )  ax(t  1)  b u (t  1)  с ( x(t  1)  y (t  1))
e( t )
q
c

u( t )
q
b

(t )

a
x (t )
q
Дискретные динамические модели
стохастических объектов
Если объект имеет вид:
x (t )  ax (t  1)  b(u(t  1)  e(t  1))
То оптимальная модель имеет вид:


y (t )  ay (t  1)  b u(t  1), t  1, 2, ... .
e( t )
u( t )

q
b

x (t )
a
q
Подстройка параметров
с использованием функций чувствительности
Для примера рассмотрим модель:



y (t | a(t ))  a (t ) x (t  1)  b (t )u(t  1)  c (t )[ x (t  1)  y (t  1 | a(t ))]



a(t )  ( a (t ), b (t ), c (t ))T
Построим алгоритм расчета параметров:
Линеаризуем модель относительно параметров α(t-1) , вычисленных в
предыдущий момент времени:



y (t | a(t ))  y (t | a(t  1))  a (t )a (t )  b (t )b (t )  c (t )c (t )  y (t | a(t  1))  T (t )a(t )
Здесь y(t|α(t-1)) – выход модели в момент времени t при значениях параметров,
полученных в предыдущий момент времени t-1



y(t | a(t  1))  a (t  1) x(t  1)  b (t  1)u(t  1)  c (t  1)[ x(t  1)  y(t  1 | a(t  1))]
ω(t) – вектор-столбец функций чувствительности выхода модели к параметрам
модели.
Подстройка параметров
с использованием функций чувствительности
Функции чувствительности удовлетворяют уравнениям чувствительности:

a (t )  c (t  1)a (t  1)  x(t  1), a (0)  0

b (t )  c (t  1)b (t  1)  u(t  1), b (0)  0

c (t )  c (t  1)c (t  1)  ( x(t  1)  y (t  1 a(t  1))), c (0)  0
Каждое уравнение чувствительности получается дифференцированием
уравнения модели по соответствующему параметру.
Для расчета параметров α(t) можно использовать, например, простейший
адаптивный алгоритм:
(t )( x (t )  y (t ( a(t  1))
a(t )  a(t  1) 
T (t )(t )
Применение простейшего адаптивного
алгоритма
Рассчитаем параметры линейных и нелинейных динамических моделей на основе
простейшего адаптивного алгоритма.
a(t )  a(t  1) 
(t )( x (t )  y (t ( a(t  1))
T (t )(t )
Пример: Рассмотрим модель без обратной связи:
n
m 

y (t )   ai x (t  i )   b j u (t  j )
i 1
j 1
Функциями чувствительности выхода модели к ее параметрам являются
измеренные значения выхода и входа объекта:
ai (t )  x(t  i ), i  1, n, b j (t )  u(t  j ), j  1, m
Применение простейшего адаптивного
алгоритма
В каждый текущий момент времени t на основе измерений x(t); x(t-1), u(t-1); x(t-2), u(t-2)
параметры корректируем по простейшему адаптивному алгоритму:
x (t )  y (t | a(t  1))


ai (t )  ai (t  1)  n
x (t  i ); i  1, n
m
2
2


(
t
)


 ai
 b (t )
i 1
j 1
j


x (t )  y (t | a(t  1))
b j (t )  b j (t  1)  n
u(t  j ); j  1, m
m
2
2
 ai (t )   b (t )
i 1
j 1
j
m 

y (t | a(t  1)   ai (t  1)x(t  i )   b j (t  1)u(t  j )
n
i 1
j 1
Применение простейшего адаптивного
алгоритма
Рассмотрим нелинейную модель без обратной связи:
y(t )  f ( x(t  1), u(t  1), a1 , a2 )
Получаем следующие выход модели и функции чувствительности:
y(t | a(t  1)  f ( x(t  1), u(t  1), a1 (t  1), a2 (t  1))
 f ( x(t  1), u(t  1), a1 (t  1), a 2 (t  1))
a1
 f ( x(t  1), u(t  1), a1 (t  1), a 2 (t  1))
a2 (t ) 
a 2
a1 (t ) 
Алгоритм перестройки параметров:
a1 (t )  a1 (t  1) 
x (t )  y (t | a(t  1))
a1 (t )
2
2
a1 (t )  a 2 (t )
a 2 (t )  a 2 (t  1) 
x (t )  y (t | a(t  1))
a 2 ( t )
2
2
a1 (t )  a 2 (t )
АДАПТИВНОЕ
УПРАВЛЕНИЕ
С ИДЕНТИФИКАЦИЕЙ
Введение
В адаптивных системах обработки информации и управления происходит
приспособление к изменяющимся условиям и неизвестным характеристикам объекта.

u

z
Объект
управления
x
Регулятор
фиксированной
структуры

Блок перестройки
параметров
регулятора
Устройство управления
x
u
z
Объект
управления
x
x
Синтезируемый
регулятор
x*
a
Блок перестройки
параметров модели
Устройство управления
x*
Постановка задачи адаптивного
управления
Рассматриваем адаптивную систему с идентификацией (АСИ). Синтезируем алгоритм
расчета управления (алгоритм работы устройства управления) u(t) в каждый текущий
момент времени t. Исходными экспериментальными данными о входе и выходе объекта.
Необходимо рассчитать управляющее воздействие u(t) , обеспечивающее достижение
следующей цели: наименьшего уклонения выхода системы x от заданной траектории x*
в каждый текущий момент времени.
Считаем, что поведение объекта в динамическом режиме описывается разностным
уравнением
x(t )  f ( x(t  1), u (t  1), a)   (t ), t  1, 2, 
Обозначим через y(k|α(t)) выход модели в момент времени k при значении вектора
параметров α(t), вычисленных в момент времени. Если шум – белый, то
y ( k | a(t ))  f ( x ( k  1), u( k  1), a(t ))
Примеры синтеза устройств управления
для простейших линейных систем
Пример 1. Считаем, что объект описывается уравнением:
x(t )  x(t  1)  u (t  1)  h(t  1)
h(t )
Формируем модель объекта:
y ( k | a(t ))  x ( k  1)  u( k  1)  a(t )
u (t )
q u(t  1)

x(t 1) q
Находим параметры:
Объект
a(t )  x (t )  x (t  1)  u(t  1)
I (u )  ( y (t  1 | a(t ))  x * (t  1)) 2 
min
u1 ( t )  u ( t )  u2 ( t )
Рассчитываем оптимальное управление:
u1 (t ), если v(t )  u1 (t ),

u (t )  v(t ), если u1 (t )  v(t )  u 2 (t ),
u (t ), если u (t )  v(t ).
2
 2

a(t )
q
x (t )
x* (t  1)
v (t ) 
Из локального квадратичного критерия оптимальности
q




q
Устройство x(t 1)
управления
Примеры синтеза устройств управления
для простейших линейных систем
Пример 2. Объект описывается уравнением:
x(t )  a0  a1 x(t  1)  a2u(t  1)  e(t )
Модель объекта:
y(k | a(t ))  a0 (t )  a1 (t ) x(k  1)  a2 (t )u(k  1)
Параметры:
x (t )  y (t | a(t  1))
a 0 (t )  a 0 (t  1) 
 a 0 (t  1)  (t )
1  x 2 (t  1)  u 2 (t  1)
a1 (t )  a1 (t  1)  (t ) x(t  1)
a2 (t )  a2 (t  1)  (t )u(t  1)
Находим управляющее воздействие :
v (t )  a 21 (t )( x * | t  1)  a 0 (t )  a1 (t ) x (t ))
Синтез алгоритмов управления для
линейных систем
Объект:
n
m
i 1
j 1
x ( t )  a 0   a i x ( t  i )   a n  j u ( t  j )  e( t )
e(t )
u(t )
q
q
an1
q
  
q
a1
q

q
an
  



a 1
0
x (t )

a0 1
an  m
1
a n 1
q

an2


  
  
x* (t 1)
 a
1
a n2

q
a n m
Идентификатор
an
Алгоритмы адаптивного управления
для нелинейных систем
Объект описывается нелинейным разностным уравнением:
x (t )  f ( x (t  1), u(t  1), a, t  1)  e(t ), t  1, 2, ... .
e(t )
e(t )
u(t )
q

f ()
x (t )
u(t )
q


a
q

x* (t 1)
q
v(t )
f
1
()
x* (t 1)
Идентификатор
x (t )

a(t )
q


q
Управление динамическими системами
с чистыми запаздываниями
Рассматриваем объект, описываемый разностным уравнением:
x (t )  f ( x (t  1), u(t  1  ), a )  e(t ), t  1, 2, ....
Строим модель объекта:
y ( k | a(t ))  f ( x ( k  1), u( k  1  ), a(t ))
Выход модели находим из критерия наименьших квадратов:
I (u)  ( y (t  1   | a(t ))  x * (t  1  ))2  min
u1  u ( t )  u2
Решение получается в форме
u1, если v(t )  u1,

u (t )  v(t ), если u1  v(t )  u2 ,
u , если u  v(t ),
2
 2
Управление динамическими системами
с чистыми запаздываниями
x* ,   5
x (t ),
80 o
60 o
40 o
20 o
0
100
20
40
60
80
100
t
80
100
t
u(t ) [0;100]
50
0
0
20
40
60
Пример: на примере гальванической ванны одного из
заводов при однопроцентном уровне помех
приведены входная и выходная переменные
замкнутой системы управления, а также кусочнопостоянный заданный температурный режим x*(t). В
начальный момент температура ванны равна 20 С.
На первых двадцати тактах происходит основная
настройка параметров модели, хотя и далее алгоритм
коррекции параметров продолжает непрерывно
работать. Если в объекте произойдут какие-либо
изменения, то идентификатор отследит их. После
основной коррекции параметров алгоритм управления
обеспечивает перевод системы на новый уровень
стабилизации за минимальное время и без
перерегулирования.