Document 134646

ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
Е.Б. КУАНДЫКОВ1, О.А. КРУГЛУН1,
И.Н. МАКАРЕНКО1, Н.Г. МАКАРЕНКО2
2
1
Институт математики, Алма-Ата, Казахстан
Главная астрономическая обсерватория РАН, Санкт-Петербург
chaos@math.kz
РАЗЛОЖЕНИЕ ПО ЭМПИРИЧЕСКИМ МОДАМ
И НЕЙРОПРОГНОЗ ВРЕМЕННЫХ РЯДОВ
Аннотация
Для увеличения степени детерминизма при построении обучающего
множества для ИНС в задачах нелинейного прогноза временных рядов
предлагается использовать разложение ряда по эмпирическим модам. Они
позволяют представить ряд как сумму медленного тренда и набора высокочастотных «деталей» или внутренних мод. Минимальное количество
внутренних мод, сумма которых хорошо аппроксимирует исходный ряд с
точностью до несущественных деталей, эквивалентна фильтрации шума.
Мы тестируем этот подход на примере ИНС-прогноза временного ряда
ежемесячных значений числа солнечных пятен (ряд чисел Вольфа).
Рассмотрим динамическую систему g t : M  M , t  Z в компактном
d -мерном фазовом пространстве M . Пусть zt  g t  z0  – вектор состояния системы в момент времени t , где z0 – начальная типичная (в смысле
инвариантной эргодической меры на M ) точка, и группа g t задана в виде
дискретного закона эволюции: zt 1  g  zt   t , где t – динамический
шум. В эксперименте фазовая траектория наблюдается как проекция 1
 : M  R, yt    zt  t , где  t – ошибки измерения, в виде дискретного
 yt , t  Z . Для ее модели в
R n , n  2d , используют топологическое вложение [1] временного ряда с фиксированным лагом  ,
Rn :
так что фазовая точка модели является вектором в
  g t  z0    xt   yt , yt  ,..., yt ( n 1)   R n . Динамика модели (предиктор)
временного ряда
1
Предполагается, что   zt  морсовская, т.е. она не зависит от каких-либо па-
раметров, которые могли бы вызвать «катастрофы» при проекции.
УДК 004.032.26(06) Нейронные сети
165
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
задается уравнением1 yt 1  f  xt , t   f  xt  t , где  t – малая случайная
величина, f : Rn  R – непрерывная функция n переменных, известная
лишь на конечном числе пар «обучающего» множества
v , f  v  . При
i
i
этих условиях, задача аппроксимации f , т.е. предсказания, не является
корректной и решается лишь на уровне технической строгости [2]. Но
даже на этом уровне возникают две проблемы. Первая из них – ошибка
модели [3, 4], которая возникает из существования скрытых параметров,
потому что процесс, гененерирующий наблюдательные данные, не описывается выбранным классом функций f . Для выбора оптимальной модели используются разные подходы [5], однако их аргументация основана
лишь на petitio principii.
Вторая проблема связана с шумами в данных. Использование цифровой фильтрации допустимо лишь в исключительных случаях, поскольку
природа шума и его функциональная связь с сигналом обычно неизвестны
[6]. Для реконструкции модели в этих случаях используются статистические (байесовы) подходы [7].
Существует и другой способ увеличения доли детерминизма в исходных данных. Он основан на представлении сложного сигнала с помощью
линейной комбинации более простых компонент 2. Если способ разложения выбран удачно, можно попытаться использовать для прогноза сигнал,
который синтезирован лишь из некоторых полученных компонент. Такой
вариант часто реализуется в вейвлет анализе сигналов с помощью так
называемого «банка фильтров» (filter bank) [8]. Существует множество
способов получить такое разложение при разных предположениях о свойствах сигнала. Так, функцию f  L2 можно представить в ортонормированном базисе g m mN , т.е. как f   m0 f , gm gm , а затем аппроксимиро
вать ее первыми M ортогональными проекциями
f , gm
m0,.. M
, как это
делается в методе Карунена-Лоэва. Такая аппроксимация оптимальна,
если коэффициенты f , g m быстро разрушаются с ростом m , как это бу1
Точнее, предиктор задается векторным уравнением xt   f  xt    t , в кото-
ром нетривиальна лишь одна компонента yt   f  xt    t [2]. В случае   1 мы
получаем нелинейный одношаговый предиктор.
2
Вопрос о «реальности» таких компонент – это вопрос контекста, в котором
они получены.
УДК 004.032.26(06) Нейронные сети
166
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
дет, например, для однородной регулярной функции, представленной
низкими частотами в базисе Фурье. Для нестационарных сигналов предпочтительнее использовать вейвлет-базис  j ,n  . В этом случае справедливо неравенство
f , j , n  A2  1 2  j , так что коэффициенты разложения
быстро разрушаются в области больших значений показателей регулярности  . Таким образом, можно использовать для прогноза «крупнозернистое» приближение f , пренебрегая высокочастотными «деталями», без
нарушения глобальной структуры сигнала [8]. Основными трудностями
на этом пути являются краевые эффекты и отсутствие адаптивности выбора универсального семейства базисных вейвлет-функций, пригодного
для всех участков нестационарного ряда. В последнее время становится
популярным метод разложения сигнала по эмпирическим модам [9, 10],
который представляет его в виде совокупности функций, каждая из которых соответствует определенному режиму осцилляций в наблюдаемом
сигнале. Эти функции внутренних мод (intrinsic mode function – IMF), вычисляются непосредственно из данных и, одновременно, составляют эмпирически ортогональный базис, по которому производится разложение
так, что их полная сумма позволяет восстановить сигнал. Разложение обладает хорошими локальными свойствами и адаптивностью и основано на
следующем представлении:
сигнал=быстрая осцилляция+медленная осцилляция
Авторская версия [11] emd опиралась на понятие комплексной огибающей аналитического «квазигармонического» представления сигнала:
x  t   z  t   x  t   iu  t   A  t  exp i  t   , u  t  
1

x  
 t   d ,
 
где интеграл в преобразование Гильберта 1 берется в смысле главного зна  t   arctg  u  t  x  t  
чения;
–
мгновенная
фаза
и
A  t    x 2  t   u 2  t  
12
1
u t  .
– огибающая сигнала.
Преобразование Гильберта - лишь один из многих способов определения
УДК 004.032.26(06) Нейронные сети
167
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
Рис. 1. Разложение сигнала по эмпирическим модам
Алгоритм1 разложения включает несколько шагов (см. рис. 1):
1. идентифицировать все экстремумы emin , emax сигнала x  t  ;
2. провести огибающие emin  t  , emax  t  ;
3. вычислить среднее m  t    emin  emax  2 ;
4. извлечь детали d  t   x  t   m t  ;
5. применить шаги №1-4 к m  t  .
Критерий остановки основан на максимальном «выпрямлении» m  t  .
В результате сигнал выражается как сумма остаточного «тренда» mK  t  и
суммы мод d k  t  , k  1,2....K  : x  t   mK  t    k 1 dk , которые «локальK
но ортогональны»:  di di 1   0 .
Мы использовали для экспериментов сглаженные ежемесячные числа
Вольфа2 с 1749 года. Этот ряд, по-видимому, продуцируется низкоразмерной хаотической системой [12] солнечного динамо; его график демонстрирует «квазициклы» с продолжительностью 7-15 лет.
Оказалось, что характерные особенности всех 23-х циклов, с точностью до максимальной амплитуды, можно представить двумя комбинациями внутренних мод: (3+4) и (3+5). На рис. 3 приведены эти аппроксимации. Сплошная линия представляет собой реальный ряд чисел Вольфа,
кружками показана аппроксимация соответствующими модами. Возможная интерпретация этого результата – реальность модели 2-модового динамо [12].
1
Программы для вычисления emd в среде MatLab доступны на web-странице
http://perso.ens-lyon.fr/patrick.flandrin/emd.html.
2
База данных доступна на сайте http://sidc.oma.be/.
УДК 004.032.26(06) Нейронные сети
168
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
Рис. 2. emd - разложение временного ряда чисел Вольфа
Для прогноза 23-го текущего цикла была использована сумма внутренних мод с третьей по седьмую. Для экспериментов использовался пакет STATISTICA Neural Networks, Version 4.0. Таблица обучения составлялась согласно алгоритму Такенса [2] со следующими параметрами: размерность вложения 17, лаг 115. Результат обучения для циклов №14-22
вместе с прогнозом 23 цикла приведены на рис. 4. Прогноз цикла №23
вместе с реальными значениями приведен отдельно на рис. 5. Предсказание «сохранило» бимодальность цикла и ветвь спада. Поведение ошибки
предсказания носит систематический характер и, следовательно, прогноз
в принципе может быть улучшен с помощью второй сети, которая играет
роль корректора.
УДК 004.032.26(06) Нейронные сети
169
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
150
WN
3+4
3
100
21 22
18
23
2
50
WN
0
-50
-100
0
500
1000
1500
2000
X
150
2500
19
WN
3+5
100
8
11
9
50
5
1
WN
6 7
3000
10
12
13 14
15
20
16
0
-50
-100
0
500
1000
1500
2000
X
2500
3000
Рис. 3. Две комбинации внутренних мод: (3+4) – вверху и (3+5) – внизу
200
150
W
100
50
0
0
200
400
600
t
800
1000
1200
Рис. 4. Результат обучения эпигнозов для циклов №14-22,
вместе с прогнозом 23 цикла
УДК 004.032.26(06) Нейронные сети
170
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
140
120
100
80
W 60
test
40
20
0
0
10
20
30
40
50
60
t
70
80
90
100
110
120
130
Рис. 5. Прогноз 23 цикла. Сплошная линия – реальные значения ряда Вольфа,
кружки – прогноз (с абсолютным отклонением). Внутренние моды 3-7, лаг 115,
размерность 17
Полученные результаты показали: (а) рекуррентная последовательность солнечных циклов хорошо аппроксимируется композицией двух
внутренних мод и (b) разложение по эмпирическим модам может быть
использовано для получения нелинейного долгоcрочного прогноза временных рядов как эффективный способ уменьшения длины описания модели в рамках известного MDL принципа [13, 14].
Список литературы
1. Макаренко Н.Г. Реконструкция динамических систем по хаотическим временным
рядам // Нелинейные Волны’2004. Нижний Новгород. 2005. С. 398-410.
2. Макаренко Н.Г. Эмбедология и нейропрогноз // Нейроинформатика-2003. Москва.
Ч.1. С. 86-148.
3. McSharry P.E., Smith L.A. Consistent nonlinear prediction: identifying model error//
Physica D. 2004. V.192. P. 1-22.
4. Smith L.A. The Maintenance of Uncertainty // Proc International School of Physics “Enrico Fermi”, Course CXXXIII, Bologna, Italy, 1997. P. 177-246.
5. Nakamura T., Kilminster D., Judd K. Mees A. A . A comparative study of model selection
methods for nonlinear time series // Int.J. Bifurcation. and Chaos, 2004. V.14. P. 1129-1146.
6. Theiler, J., Eubank, S. Don't bleach chaotic data // Chaos, 1993. V.3. P. 335-341.
7. Лоскутов Е.М., Мольков Я.И., Мухин Д.Н., Фейгин А.М. Статистический подход к
реконструкции динамических систем // Нелинейные Волны’2004. Нижний Новгород, 2005.
С. 411-426.
8. Abry P., Flandrin P., Taqqu M., Veitch D. Wavelets for the analysis, estimamation, and
synthesis of scaling data // 2000, http://perso.ens-lyon.fr/patrice.abry/
УДК 004.032.26(06) Нейронные сети
171
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 2
9. Flandrin P., Conçalves P., Rilling G. Empirical mode decomposition as filter bank// IEEE
Sig. Proc. Lett., 2004. V. 11. No. 2. P. 112-114.
10. Rilling G., Flandrin P., Conçalves P. On empirical mode decomposition and its algorithms // http: // perso.ens-lyon.fr/patrick.flandrin/ publirecentes.html
11. Huang N.E., Shen Z. et al The empirical mode decomposition and Hilbert spectrum for
nonlinear and non-stationary time series analysis// Proc. R. Soc. London. Ser.A. 1998, V. 454.
P. 903. // http://www.fuentek.com/ technologies/hht.htm#papers_pubs
12. Беневоленская Е.Е. Структура и динамика магнитного Солнечного цикла: Автореф.
дис. д-ра физ.-мат. наук. – С.-Петербург, 1999. – 34 с.
13. Hansen M.H., Yu B., Model selection and the principle of minimum description length // J.
American Statistical Association, 2001. V. 96. P. 746-774.
14. Rissanen J. Modeling by shortest data description // Automatica, 1978. V. 14, P. 465-471.
УДК 004.032.26(06) Нейронные сети
172