Теоретические основы обучаемых алгоритмов быстрых преобразований А.Ю. Дорогов

Теоретические основы
обучаемых алгоритмов
быстрых преобразований
А.Ю. Дорогов
ОАО «Информационные
телекоммуникационные технологии»
(«Интелтех»),
Санкт-Петербург, E-mail:
[email protected]
TVCS'2011
1
Быстрые перестраиваемые
преобразования
H  H 0H 1 H  1
Z  O( pN log p N )
N  p0 p1  p 1
TVCS'2011
2
Структурная модель БПФ
x(0)
x(2)
x(3)
x(4)
x2(n)
x(5)
x(6)
x(7)
ω
0
x(1)
x1(n)
y(0)
0
0
1
0
1
ω
2
ω1
3
2
2
ω3
3
ω
ω
0
ω
2
(2,2)
(2,2)
0
0
0
(2,2)
(2,2)
(2,2)
1
1
1
(2,2)
(2,2)
(2,2)
2
2
2
(2,2)
(2,2)
(2,2)
3
3
3
0
y(4)
X00
y(2)
1
ω
Y20
0
2
ω0
y(6)
X01
y(1)
y(5)
ω0
ω2
(2,2)
X02
y(3)
3
ω0
y(7)
X03
Y21
Y22
Y23
• Лингвистическая модель
i  i  2i 3 i0  i  2 p 3 p  4  p0  i 3 p  4 p 5  p0    i1 p0  i0
j  j1 j2  j 1  j1 g2 g3  g 1  j2 g3 g4  g 1    j 1 g  2  j 1
i   j1 j 2  j  i   2 i  3  i 0
TVCS'2011
3
Параметрическая модель
Слой 1
x1 v0u1u2
un 1  y 0 v0u1u2
y1 v0 v1u2u3
un 1   x1 v0u1u2
1  Ni 2 

Wi11  
1
1  i 
N 2

1
un1
un 1 wi11  u1 ,v1 
u1
Слой λ
y  v0 v1
v u 1u  2
un 1   x v0 v1
v u u 1u  2
un 1 wi  u ,v 
u
i   v0 v1
v 1u 1u  2
TVCS'2011
un1
4
Проблемные вопросы
• Что общего имеют различные
быстрые преобразования и чем они
отличаются?
• Как построить граф
преобразования не зная вида
функций?
TVCS'2011
5
Системные инварианты быстрых
преобразований
• Лингвистическая модель многослойного
графа
 i
 j J
I

0
0

i I  j J  i I
 j J
1
1
 1
 1 
 Системный инвариант
I0  I ,
I   I  1 ,
I  1   ,
TVCS'2011
J   J  1 ,
J  1  J ,
J 0  .
6
• Системный инвариант не связан ни с
размерностью сети, ни с ее топологией,
ни со структурными характеристиками
вершин – это правило является
инвариантом морфологического уровня,
который в аксиоматической форме
раскрывает внутреннею сущность
быстрых алгоритмов.
TVCS'2011
7
Топологическая реализация
Рецепторное поле
U   i   u
 u3 u2 v 0 u1 u3 v1v 0 u2
 u3 u2 u1u0
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Аксоновое поле


V  i
 v
v 2 v1v 0 u3 v 3 v 2 v1v 0
u3 u 2 v 0 u1 u3 v1v 0 u 2 v 2 v1v 0 u3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15


0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
8
Топология Кули-Тьюки
U   t   u 1u  2  u 1u v 1v  2 v1v0 ,
V   t  1  u 1u  2  u 1v v 1v  2 v1v0 .
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
V0
V1
V2
V3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
9
Топология Гуда
U  t
 u u 1  u  2 u 1v 0 v1  v  1 ,
V   t  1  u 1  u  2 u 1v 0 v1  v  1v  .
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
V0
V1
V2
V3
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
TVCS'2011
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
10
Иерархия уровней стратифицированной
модели алгоритма быстрого
преобразования
Морфологический
Структурный
Топологический
Параметрический
TVCS'2011
11
Варианты обучения
перестраиваемых преобразований
• Настройка под заданное
преобразование (БПФ, Уолш, Хаар,…)
• Адаптация к эталонной функции
• Квазиоптимальные ортогональные
преобразования (Карунена-Лоэва)
• Функциональный преобразователь X→Y
TVCS'2011
12
Мультипликативное представление
элементов матрицы быстрого
y  xH
преобразования
h U ,V  
     




U

x
U

x
U
 
   
y 1 V  1
x0
0
y 1 V  1 x 1 U  1
1
1
2
2
   
x U  x U 
x 2 U 2 x1 U 1
1
1
0
0
yi  v    xi  u  wi  u , v 
u
   y V    y  v   w u ,v  .
 

x U  
x U   x  u 
x 1 U  1
i
i
i
h U ,V   wi 11  u 1 ,v 1  wi 22 u 2 ,v 2 
TVCS'2011
w1i1 u1 ,v1  wi00 u0 ,v0  .
13
Мультипликативное форма
элементов матрицы быстрого
перестраиваемого преобразования
h U ,V   wi 11 u 1 , v 1  wi 22 u  2 , v  2  wi11 u1 , v1  wi00 u0 , v0 
U  u0u1
u 2u 1  u0 pn1  u1 p n2 
V  v 1v 2
wi u  , v 
 u 2 p  u 1
v1v0  v 1 p 1  v 2 p 2 
 v1 p  v0
- коэффициенты матрицы базовой операции в слое λ
TVCS'2011
14
Аналитическая
форма регулярных фракталов
u  0, u1u2
un
ui  0,1, 2
f(u)
u  0, u1u2
1
ui  0,3
u
1
u
1
u
un 1un
1 для u  0,1 ,

  u   0 для u  1, 2  ,

1 для u   2,3 .
U
f u    u1  u2  u3   un 
TVCS'2011
15
Дискретная аппроксимация
фракталов (предфракталы)
Ui  0,1, 2,
, Ni 1 , i  0,1, 2,  1
f  u   i0  u0  i1  u1 
i
1
u 1 
1 для u  0,

  u   0 для u  1,
1 для u  2.

TVCS'2011
16
Ковер Серпинского
u  0, u1u2
un
,
v  0, v1v2
vn
,
ui  0,1, 2 ,
vi  0,1, 2 .
Фрактал
f u, v    u1 , v1  u2 , v2  u3 , v3   un , vn 
Аппроксимация фрактала
 1 1 1
  ui , vi   1 0 1
 1 1 1


f u, v    u0 , v0  u1 , v1  u2 , v2   u 1 , v 1 
TVCS'2011
17
Аппроксимация фрактала в
классе быстрых преобразований
wi  u , v     u , v 
1 1 1
1 0 1
1 1 1
1
1
1
1
1
1
1 1 1
1 0 1
1 1 1
1
1
1
1

 1
1
0
1
1
0
1
1
1 1 1 1
1
1
1
1 0 1
1 1 1
0
1
1
1
1 1 1 1 1 1 1 1 1
1 0 1 1 0 1 1 0 1
1 1 1 1 1 1 1 1 1
1
1
1
1
TVCS'2011
1
1
0
1
1
1
1
1
1
0
0
0
1
0
0
0
1
0
0
0
1
1
1
1
1
1
0
1
1
1
1
1
1
1 0 1 1 0 1 1 0 1
1 1 1 1 1 1 1 1 1
18
Фрактал
«Салфетка Серпинского»
D  1.5849
TVCS'2011
19
Аппроксимация «Салфетки Серпинского»
в классе быстрых преобразований
1 1
1 0
1
1
1
1
1
1 1
1
1
1
1 1
1 0
1
1
1
1 0
1 0
1
1 1



1 1
1 1
1
0
1
1 0
1 1
1
0
1
1 1
1 0
1
0
1
1 0
1 0
1
0 1
1 1 1 1 1 1 1
1 1 1
1
1 1
1
1 1 1
1
1
 
1
1
  ui , vi   1 0
TVCS'2011
20
Выводы
• Быстрые преобразования это объекты с
фрактальной структурой и топологией.
• Системный инвариант быстрого
преобразования это аналитическое
выражение принципа самоподобия на
конечном числе шагов.
TVCS'2011
21
Фрактальная фильтрация
дискретных сигналов
f u   f u 1 , u 2 ,, u0 
u  u 1u 2 u0  u 1 p 2 p 3
16
N  p0 p1
p0  u 2 p 3 p 4
Фрактальная фильтрация на масштабном уровне 0
p 1
p0   u1 p0  u0
Фрактальная фильтрация на масштабном уровне 4
16
14
14
12
12
10
10
8
8
6
6
Выходная функция фильтра
4
Выходная функция фильтра
4
Входная функция
2
2
Входная функция
0
0
2
4
6
8
10
12
14
a)
f out u 1u  2
um 1um 1
16
0
0
2
1
u0 
pm
TVCS'2011
4
f
6
8
10
12
14
16
b)
inp
u 1u  2
u0
um
22
Обучение быстрых преобразований
f u   f 0 un1un2 u0  i n1 un1 i n2 un2 i 0 u0 
f m u 1u 2 um
i m um  
f m1 u 1u 2 um1
f0(u)
u2
0
0
u1
0
0
0
0
1
1
0
1
1
1
1
1
0
0
1
1
0
1
0
1
Fu1
 i 0 u0 
0
0
0
0
0
1
1
1
1
1
0
1
0
0
1
1
1
0
0
1
0
1
1
1
0
1
1
1
0
0
0
0
0
1
1
1
1
1
 i 1 u1 
1
0
0
1
0
1
1
1
0
0
0
0
0
1
0
0
1
1
1
1
0




1
1

1




1

1
1
1
1


1
TVCS'2011
1
0
1


1
1
1
0
0
1


1
0
0
1
1
1
1
1
1
 i   2 uk  2 
1
1
1

1
1
1
1
0
1
1
Fu  2

1

0
1
0
fk-1(u)= i1 uk 1 
f2(u)
Fu0
wimm um , vm   i m um 
v2
v1
v0
u0
0
1
f1(u)



23
Быстрое ортогональное преобразование
приспособленной к линейно
изменяющейся функции W  Wi
0.5
0
-0.5
0.5
1
0
-0.5
0.2
01
-0.2
-0.4
-0.6
-0.8
0.5 1
0
-0.5
0.8
0.6 1
0.4
0.2
0
0.5 1
0
-0.5
0.5 1
0
-0.5
0.8 1
0.6
0.4
0.2
0
-0.2
1
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
TVCS'2011
24
Быстрое ортогональное преобразование
приспособленной к линейно
1 0
W

изменяющейся функции


0 1
0.5
0
-0.5
0.5 1
0
-0.5
-1
01
-0.5
-1
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
01
-0.5
-1
0.8
0.6 1
0.4
0.2
0
11
0.5
0
-0.5
11
0.5
0
1
0.5 1
0
-0.5
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
TVCS'2011
25
Двумерная структурная модель
быстрого преобразования
TVCS'2011
26
Приложения перестраиваемых
преобразований
• Реализация классических быстрых
алгоритмов с заданными свойствами
• Построение приспособленных быстрых
преобразований
• Построение быстрых нейронных сетей
• Реализация фрактальных структур
TVCS'2011
27
Спасибо за внимание!
TVCS'2011
28
Быстрые нейронные сети
Базовая операция
Однослойный персептрон
x0

y0
x0

f
y0
x1

y1
x1

f
y1

f
yg-1
x2
x2

xp-1
yg-1
xp-1
Xoff


yv   f   xu wu, v 
 u

y v    xu wu , v 
u
TVCS'2011
29