Методы непараметрической обработки информации

МЕТОДЫ
НЕПАРАМЕТРИЧЕСКОЙ
ОБРАБОТКИ ИНФОРМАЦИИ
Оценивание функционалов
Необходимо по выборке x1,…,xn случайной величины X найти оценку
функционала

   ( x, f ( x ), )  f ( x )dx

Рассмотрим некоторые примеры функционалов:

m   xf ( x )dx  M { X } – математическое ожидание.


   ( x  m) 2 f ( x )dx  M {( X  m) 2 }
2
– дисперсия.


H ( X )    (log f ( x)) f ( x)dx – приведенная энтропия.

Оценивание функционалов
Схема построения оценки Фn следующая. Вначале строится оценка для
плотности вероятности fn(x), а затем она подставляется в функционал.
Основным свойством оценки Фn(x1,…,xn) является ее состоятельность. Оценка Фn
функционала Ф называется состоятельной, если:
p
n 


lim P{|  n   |  }  0
n 
Требование состоятельности определяет практическую пригодность оценок, ибо в
противоположном случае (при несостоятельности оценок) увеличение объема
исходной выборки не будет приближать оценку к "истинной" величине. По этой
причине свойство состоятельности должно проверяться в первую очередь.
Оценка Фn параметра Ф называется несмещенной, если
M {n}  
Она является асимптотически несмещенной, если
M {n} n
 

Простейшие оценки функции
и плотности распределения вероятности
По упорядоченной независимой выборке x1,…,xn случайной величины X построим
оценку Fn(x) для функции распределения:
F ( x)  P{ X  x}
m  ÷èñëî èñõîäîâ, áëàãîïðèÿò ñòâóþùèõ ñîáûòèþ { X  x}
1 n
Fn ( x ) 
 1( x  xi )
n  îáùåå ÷èñëî îïûòîâ
n i 1
1, z  0,
1( z)  
0, z  0.
где 1(z) – единичная функция:
Fn ( x )
1
0
1
n
1
n
1
n
x1
1
n
1
n
1
n
1
n

x2 x3 x4  xn2 xn1 xn
x
Простейшие оценки функции
и плотности распределения вероятности
Так как плотность распределения f(x) связана с функцией распределения F(x) через
линейный оператор дифференцирования :
dF ( x )
f ( x) 
dx
Можно получить оценку для плотности распределения :
dFn ( x ) 1 n d
1 n
f n ( x) 
  1( x  xi )   ( x  xi )
dx
n i 1 dx
n i 1
Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид:
уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает
свойствами:
xi  
 ( x  x )dx  1
1)
i
- площадь под дельта функцией единичная.
xi  
селектирующее свойство дельта-функции позволяет легко
выполнять интегрирование. Интеграл оказывается равным
2)  ( x )( x  xi )dx  ( xi )
подынтегральному выражению, стоящему перед дельтаx 
функцией, в особой точке.
xi  
i
Простейшие оценки функции
и плотности распределения вероятности
Первое свойство показывает, что, несмотря на экзотическое поведение дельтафункции, площадь под ней единичная.
Второе селектирующее свойство дельта-функции позволяет легко выполнять
интегрирование. Интеграл оказывается равным подынтегральному выражению,
стоящему перед дельта-функцией, в особой точке.
f n ( x)
x1
x2

x3 x4  xn2 xn1
xn
x
Оценка плотности распределения является несмещенной, но несостоятельной. В явном
виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок
моментов (математического ожидания, дисперсии и др.) для случайной величины или
для аналитической функции случайной величины. Получаемые оценки являются
состоятельными и часто несмещенными.
Простейшие оценки функции
и плотности распределения вероятности
Многомерный случай:
1 n p

Fn ( x )  Fn ( x1 , , x p )  1( x j  x ji )
n i 1 j 1
1 n p

f n ( x )  f n ( x1 , , x p )   ( x j  x ji )
n i 1 j 1
Кратные измерения. При кратных измерениях значение x1 повторяется k1 раз, x2 – k2
раз,…, xm – km раз, при этом k1+…+km = n.
k
Fn ( x)   i 1( x  xi )
i 1 n
m
Fn ( x )
1
k m 1 k m
n
km2 n
n
ki
 ( x  xi )
i 1 n
m
f n ( x)  
k1
0n
k2
n
x1
k3
n
x2

x3  xm  2 xm 1 xm
x
Полиграммы
Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой
функции плотности. Для этого надо повысить соответственно степень гладкости для
оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых,
то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка
называется полиграммой первого порядка.
f n (x)
Fn (x)
1

1
n 1
x1
x2 x3  xn 1 xn

x
x1
1
n 1
1
n 1
x

x2 x3
xn 1 xn
Она строится на выборочных интервалах, ограниченных выборочными значениями
упорядоченной выборки x1,…,xn. Площадь каждого прямоугольника равна 1/(n-1)
 x  xi 
1 n 1 1

f n ( x) 
I

0

n  1 i 1 xi 1  xi  xi 1  xi 
1,
I0 ( z)  
0,
z [0; 1),
z [0; 1).
Полиграммы
Для улучшения сглаживающих свойств оценки плотности построены полиграммы
более высоких порядков:
f n ( x)
a
1
n 1
1
n 1
1
n  1
x2 x3
x1
1
n 1
1
n 1
x4 x5
1
n 1
x6

x
x7 
f n ( x)
б
2
n 1
2
n 1
x1
x2 x3
x4 x5
2
n 1
x6

x
x7 
f n ( x)
в
3
n 1
x1
x2 x3
3
n 1
x4 x5
x6

x7 
x
Метод "К ближайших соседей"
Считаем, что для одномерной случайной величины X имеется n независимых
наблюдений x1,…,xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤
n. Для каждой выбранной точки x существует интервал длительностью 2p(kn,n,x)
который охватывает kn ближайших к x точек выборки. Одна точка попадает на границу
интервала, а kn-1 точка – внутрь интервала. Оценкой плотности распределения
вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2p, приведенная к
единичной величине интервала:
kn  1
f n ( x) 
n2(k n , n, x )
Многомерный случай:
kn  1
f n ( x) 
nV ( kn , n, x)
(4, n, x) (4, n, x)
xi 2
xi 1 xi x xi 1 xi 2
xi 3
(5, n, x) (5, n, x)
xi 2
x2
xi 1 xi x xi 1 xi 2
V (8, n, x )
R8
x1
xi 3
Оценка Розенблатта – Парзена
Плотность распределения вероятности связана с функцией распределения через
оператор дифференцирования:
f ( x )  dF ( x ) / dx
f ( x) 
F ( x  h)  F ( x  h)
2h
1 n
Fn ( x  h)   1( x  h  xi )
n i 1
1 n
Fn ( x  h)   1( x  h  xi )
n i 1
1 n
1 n
1( x  h  xi )  1( x  h  xi )

1 n 1 1( x  h  xi )  1( x  h  xi )
n
n
i 1
i 1
 
f n ( x) 
n i 1 h
2
2h
1( x  h  xi )  1( x  h  xi )
 x  xi 
 I

 h 
2
0.5, | z | 1,
I ( z)  
1 | z | .
0,
1 n 1  x  xi 
f n ( x)   I 

n i 1 h  h 
Оценка Розенблатта – Парзена
Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в
оценке fn(x) прямоугольное ядро I(z) на произвольное K(z) и получим:
1 n 1  x  xi 
fn ( x)   K 

n i 1 h  h 
Здесь h – коэффициент размытости ядра. Примеры треугольного, параболического и
кубического ядер приведены ниже:
1 | z |, | z | 1,
K ( z)  
1 | z |;
 0,
0.75 (1  z 2 ), | z | 1,
K ( z)  
1 | z |;
 0,
(1  2 | z |)(1 | z |) 2 , | z |  1,
K ( z)  
1 | z | .
 0,
1 K ( z)
s1
z
1 0
1
1 K ( z)
s 1
z
1 0 1
1 K ( z)
s 1
z
1 0 1
Оценка Розенблатта – Парзена
Многомерный случай:
1 n 1  x1  x1i 
1  xm  xmi  1 n m 1  x j  x ji 
f n ( x1 ,, xm )  
K

K
 
K





n i 1 hx  hx  hx
 hx
 n i 1 j 1 hx  hx 
1
1
m
m
j
j
Оценка условной плотности вероятности
Рассматриваем объект, имеющий случайный вход (либо несколько входов) X и выход Y.
Связь между случайными величинами характеризуют условные характеристики,
например, условная плотность распределения вероятности f(x|y).
f ( y| x )  f ( x , y ) / f ( x )
1 n 1  x  xi  1  y  yi 

K

 K
n i 1 hx  hx  hy  hy 
f n ( y| x ) 

1 n 1  x  xj 

 K
n i  1 hx  hx 
 x  xi 
 x  xi 
  K 

K N 
 hx 
 hx 
n
 x  xj 

 hx 
 K 
j 1
 x  xi  1  y  yi 

 K 
 K N 


i 1
 hx  hy  hy 
n
Оценка регрессии
Регрессией называют первый начальный условный момент

M {Y | x}   y f ( y | x )dy  ( x )

Это некоторая усредненная количественная зависимость между выходом и входом
объекта. Регрессия (4.7.1) удовлетворяет квадратичному критерию
I  M {(Y  y * ) 2 | x}  min
*
y
Получим оценку регрессии:
n

 x  xi  
M {Y | x}  n ( x )   K N 
  y( y  yi )dy 
 h  
i 1
 x  xi 
 x  xi 
KN 
  K

 h 
 h 
 x  xj 
   i ( x)
 K
h


j 1
n
n
 x  xi 
KN 
 yi   i ( x ) yi

i 1
i 1
 h 
n
Оценка регрессии
Подбор оптимального параметра коэффициента размытости для оценки регрессии.
Перейдем от размерного параметра с к безразмерному β.
  c 1n1 / 5
 x  xi 
K 

 
 x  xi 

i ( x )  K N  
 n

 x  xj 


K 



j 1


При β=0 ядро K(·) не зависит от x.
 x  xi 
K 

3/ 4
1
 
 x  xi 

i ( x )  K N  
 n
 , i  1, n
 n
 
 x  xj 

3 /4 n
K 
 

  j 1
j 1

Оценка регрессии равна среднему арифметическому
выборочных значений выхода объекта для любых x.
1 n
n ( x )   yi
n i 1
n (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оценка регрессии
Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии проходит
через экспериментальные точки и состоит из кусков линий, соединяющих точки
выборки.
n (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оптимальный параметр β лежит в
интервале [0; 1].
n (x)
y4
y3
y5
y2
y1 , y6
x1 x2 x3 x4 x5 x6
x
Оценка регрессии
Рекуррентный расчет оценки регрессии. Для каждого фиксированного x на основе
использования рекуррентной схемы расчета получаем алгоритм адаптивного
сглаживания:
n ( x )  Bn / Dn
m
Bn  Bn1  
l 1
 x  xln 
1
 yn
K l

hx (n)  hx (n) 
l
l
 xl  xln 
1

Dn  Dn 1  
K
 hx (n) 
l 1 hxl ( n)
 l

m
q
hxl (n)  cxl n , q  1/(m  4), n  1, 2, , B0  D0  0
Оценка регрессии
Инверсная модель. Для объекта с одним входом X и одним выходом Y основной
инверсной характеристикой является регрессия

M { X | y}   xf ( x | y )dx

 y  yi 
( x  xi ),
f ( x | y )   K N 

i 1
 hy 
n
 y  yi 
 y  yi 



KN
 K
 h 
 h 
 y 
 y 
и получаем оценку инверсной регрессии:
n
 y  yi 

 xi
M { X | y}   K N 
 h 
i 1
 y 
 y  yj 

 K 

j 1  hy

n
Робастные оценки регрессии
В реальной ситуации исходные экспериментальные данные xi, yi могут содержать
аномальные измерения, называемые выбросами. Даже наличие малого процента
выбросов приводит к сильному искажению оценок. Поставим задачу построения оценки
регрессии, которая была бы более устойчивая (малочувствительная, робастная (в
переводе с английского "крепкая") к выбросам по отношению к ранее построенной оценке
 x  xi 
n ( x )   K N 
 yi


h
i 1
n
Кроме математического ожидания случайной величины Y есть другая характеристика
среднего положения – медиана. Медиана – это среднее по вероятности значение.
Состоятельная оценка медианы представляет собой среднее по номеру значение в
упорядоченной выборке.

m2  y3
y1
y 2 y 3 y 4 y5
Робастные оценки регрессии
Запишем критериальную форму получения оценки:

I 2   | yi  m2 | min

n
m2
i 1
I 21
n
 21 ) 2
  ( yi  m
i 1
1
 min
0
 21
m
2 |
| yi  m
n
dI 21
1
1



2
(
y

m
)
0

i
2
1
0
dm 2
| yi  m 2 |
i 1
1 n 
 0 1
m2   | yi  m2 |
i 1 
 l 1 n 
 l 1
m2   | yi  m2 |
i 1 
| m2l 1  m2l | 
 0 1 
 | y j  m2 |  yi
j 1

n
 l 1 
 | y j  m2 |  yi , l  0, 1, 2, 
j 1

n
Робастные оценки регрессии
Модульный критерий не является единственным для получения робастных оценок.
Более общий критерий имеет вид :
 ( x  xi ) 
I ( x )   F ( yi  ) K 
  min


h 
i 1
n
F(v)
Некоторые виды функций F(v):
a
F(v)
0
a
v
v 2 2 , | v | a;
F (v )   2
a 2 , a | v |
v
| v |, | v| a;
F (v )  
a, a  | v|
F (v) | v |
v
0
F(v)
a
0
a
F(v)
a
0
a
v
| v | a;
v 2 2 ,
F (v )  
2
a | v |  a 2 , a | v |
F(v)
0
F (v) | v|p ,1  p  2
v
Адаптивное управление при априорной
неопределенности
Адаптацией природа наделила все живое. Она представляет собой приспособление к
различным изменениям. Эти изменения происходят как внутри живого организма, так и
во внешней среде.
Свойством адаптации человек наделил и созданные им устройства. Управление в этих
устройствах осуществляется таким образом, чтобы как можно быстрее и лучше
нейтрализовать влияние непредвиденных изменений или приспособиться к ним.

u
1
ИУ
Объект

y
ИУ
Управляющее
устройство
y*
y

2