Нейронные сети и задача прогнозирования коротких

ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Н.А. КОЖИХОВА, В.И. ШИРЯЕВ
Южно-Уральский государственный университет, Челябинск
[email protected]
НЕЙРОННЫЕ СЕТИ И ЗАДАЧА ПРОГНОЗИРОВАНИЯ КОРОТКИХ ХАОТИЧЕСКИХ РЯДОВ
Решается задача прогнозирования короткого хаотического временного
ряда. Предлагается модель хаотического ряда, основанная на разложении
процесса по системе ортогональных функций. Нейронные сети используются для выделения ортогональных компонент и анализа остатка модели.
Приводится пример прогнозирования временного ряда электроэнергии.
Ключевые слова: прогнозирование, временной ряд, хаос, нейронные
сети, идентификация параметров, короткая выборка
Введение
Проблема моделирования и прогнозирования процессов, обладающих
признаками детерминированного хаоса, весьма актуальна для многочисленных приложений (см., напр., [1,2]). Особый интерес представляют
подходы, позволяющие извлекать информацию из коротких временных
рядов [3], так как существующие подходы к прогнозированию хаотических рядов, основанные на методе погружения (сингулярный спектральный анализ, нейронные сети, авторегрессионные модели) требовательны к
длине ряда [4,5]. Научная новизна работы состоит в моделировании хаотического процесса с помощью системы ортогональных функций с
нейросетевой идентификацией параметров, а также построение алгоритма
распознавания детерминированных и случайных процессов с помощью
нейронных сетей. Работа является развитием исследований [6, 7, 8].
Постановка задачи
Рассматривается короткий временной ряд yk , k  1,...N , N  20,
обладающий признаками детерминированного хаоса:
yk  xk   k , k  1,...N ,
(1)
где  k – нормально распределенные остатки с нулевым средним и неизвестной дисперсией. Критерии отнесения рядов к хаотическим [2, 6, 7]:
антиперсистентность (показатель Херста 0 < H < 0,5 или индекс фракУДК 004.032.26(06) Нейронные сети
184
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
тальности 0,5    1 ), быстро спадающая автокорреляционная функция,
спектр мощности, сосредоточенный в низкой полосе частот. Решение задачи прогнозирования предполагает нахождение оценок
yN 1  xN 1 , yN  2  xN  2 ,....
(2)
Разложение по хаотическому базису
Процесс yk предлагается разложить по системе ортогональных функций [6]. Для xk будем искать представление в виде линейной комбинации
хаотических функций:
m
xk   i xik ,
k  1, N ,
(3)
i 1
где xik , i  1, m, k  1, 2,... образуют систему базисных функций, заданных в моменты времени k  1, 2,... ; i – весовые коэффициенты (константы) i  1, m .
Задача сводится к выбору системы ортогональных функций xik ,
i  1, m :
N
 xс ik xс jk  0,
i  j ,
k 1
(4)
и коэффициентов i , i  1, m по реализации yk , k  1, N . В качестве
базисных могут выступать функции, порождающие известные нелинейные отображения. В частности, это [6, 7] треугольные отображения
2r xk , 0  xn  1/ 2

xk 1  
(5)

2r (1  xk ), 1/ 2  xk  1; 1/ 2  r  1, k  1, N ,
логистические отображения
xk 1  xk (1  xk ), x1  (0; 1),   (3,6; 4), k  1, N ,
(6)
функция Вейерштрасса

W (a, b, t )   a n cos(b n t ) .
(7)
n 1
Набор таких функций с определенными параметрами может образовать базис [6]. Процедура разложения ряда по базису хаотических функУДК 004.032.26(06) Нейронные сети
185
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
ций осуществляется на основе последовательного выделения хаотических
компонент.
Для нахождения параметров модели (3) были предложены два алгоритма. Первый алгоритм основан на определении постоянных параметров
 i , ri , ai , bi , i  1, m с помощью предварительно обученной на модельных данных трехслойной нейронной сети. Однако, для этого требуется знание количества компонент m модели (3), а также знания о виде порождающей функции. Второй алгоритм заключается в том, что обученная
нейронная сеть-классификатор определяет класс, которому принадлежит
очередная выделяемая компонента xik . Под классами понимается тип
процесса xik – процесс, порожденный логистическим отображением (6),
треугольным отображением (5), функцией Вейерштрасса (7), а также случайный процесс. Таким образом, применение нейронных сетей упрощает
процедуру оптимизации параметров процесса xik . Идентификация параметров осуществляется с помощью поиска таких параметров pi , при которых коэффициент корреляции между разлагаемым процессом xik и
процессом из найденного класса yi с параметрами pi достигает максимума:
pi  arg max c( yi ( pi ), xi ),
(8)
pi
где pi – параметры функции, порождающей процесс xik , с – корреляционная функция.
После нахождения базиса уточняются константы i :
N
m
k 1
j 1
[1 ,...,  m ]  arg min  ( xk    j x jk ) 2 .
i
(9)
Важной задачей является определение количества хаотических компонент m модели (3).Последовательное выделение хаотических компонент
продолжается до тех пор, пока остатки  k нельзя считать реализацией
случайного процесса. Учитывая особенности задачи, а именно малую
длину выборки, становится затруднительно использовать статистические
показатели, к тому же многие хаотические процессы имеют характеристики, схожие с белым шумом [6].Поэтому для классификации остатка  k
предлагается использовать обученную нейронную сеть. Модельные при-
УДК 004.032.26(06) Нейронные сети
186
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
меры показывают, что сеть способна разделить более 97 % хаотических и
случайных сигналов даже при очень малой длине выборки ( N  5 ).
Исследования на модельных данных показали, что второй подход работоспособен при большем уровне шума (предельное отношение сигнал/шум -1 дБ).
Рис. 1. Структура нейронной сети для решения задачи классификации
Рис. 2. Идентификация параметров
xik с помощью нейронной сети (сред-
няя ошибка 1,1 %) и с помощью нейросетевой классификации и корреляционной функции (средняя ошибка 0,2 %)
Пример 1. Рассмотренный подход применен к решению задачи прогнозирования модельного процесса yk , k  1,...20, порожденному суммой
двух логистических отображений (с параметрами x01  0, 6, 1  3, 72,
1  0, 65 и x02  0, 23, 2  3,81, 2  0,3 ) и аддитивным белым гауссовым
шумом k ~ N (0, 0.1) , отношение сигнал/шум составило 3 дБ.
Для сравнения приведен результат, полученный с помощью модели
ARFIMA [9]:
( L)(1  L) d xk  ( L) k , d  (0;1).
(10)
УДК 004.032.26(06) Нейронные сети
187
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Рис. 3. Аппроксимация и прогноз модельного ряда
Ошибка аппроксимации по модели ARFIMA составила 8,8 %, по модели (3) – 4,5 %. Ошибка прогнозирования на 10 шагов вперед составила для
модели ARFIMA 16,38%, для модели (3) – 5 %. При этом параметры логистических отображений найдены с погрешностью не более 1 %. Для сравнения, процедура, приведенная в [10], позволяет найти параметры логистических отображений при отношении сигнал/шум не менее 20 дБ.
Пример 2. Прогнозирование ряда потребления электроэнергии.
Модель временного ряда потребления электроэнергии:
yk  ykT  ykS  k , k  1, N ,
где y kT – компонента тренда,
ykS
(11)
– сезонная компонента, k – остатки.
Подходы к прогнозированию компоненты тренда и сезонной компоненты рассмотрены в [1]. Остатки модели (11) рассматриваются как шум,
случайные нормально распределенные величины k ~ N (0,  2 ). Однако,
анализ остатков позволяет предположить, что ряд k является детерминированным хаосом. Индекс фрактальности для ряда k равен 0,67, что
соответствует антиперсистентному процессу (индекс фрактальности для
белого шума равен 0,5).
УДК 004.032.26(06) Нейронные сети
188
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
Рис. 4.Слева: ряд нормально распределенной величины и его спектр.
Справа: ряд остатков k и его спектр
Для построения прогноза ряда k построена модель вида (3)с количеством слагаемых m = 3 для k  1,..., N. Прогноз ряда k с допустимой
ошибкой не более 5% может быть получен на 5 шагов вперед. Прогноз
k включается в модель (11) наряду с прогнозом ykT , ykS .
73000
68000
63000
58000
53000
1
3
5
7
9
11
13
15
17
Потребляемая электроэнергия, кВтч
19
21
23
25
27
29
Аппроксимация
31
33
Прогноз
35
37
39
Тренд
Рис. 5. Аппроксимация и прогноз ряда потребления электроэнергии
УДК 004.032.26(06) Нейронные сети
189
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
6000
4000
2000
0
-2000
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
-4000
-6000
-8000
-10000
С хаотической составляющей: ошибка аппроксимации
ошибка прогнозирования
Модель тренда: ошибка аппроксимации
ошибка пронозирования
Рис. 6. Сравнение ошибок аппроксимации и прогнозирования
Включение в прогноз хаотической составляющей для данного ряда
уменьшает среднюю ошибку прогноза на 5 шагов вперед с 16,5 % до
4,8 %, то есть в 4 раза.
Выводы
Короткие хаотические процессы удается разложить по базису ортогональных функций из заданного набора. Нейронные сети успешно применяются для идентификации параметров базисных функций и распознавания класса очередной базисной функции. Кроме того, обученная нейронная сеть позволяет получить ответ на вопрос, является ли короткий временной ряд реализацией случайного процесса или его поведение определено сложной динамической системой.
Полученные результаты могут найти применение для прогнозирования
реальных хаотических процессов, а также в решениях задач фильтрации и
классификации временных рядов.
Список литературы
1. Анищенко В.С., Вадивасова Т.Е. и др. Статистические свойства
динамического хаоса // Успехи физических наук. 2005. Т.175. № 2. С.163–
179.
2. Дубовиков М.М., Крянев А.В., Старченко Н.В. Размерность минимального покрытия и локальный анализ фрактальных временных рядов.
// Вестник РУДН. 2004. Т. 3. № 1. С.81–95.
УДК 004.032.26(06) Нейронные сети
190
ISBN 978-5-7262-1376-7. НЕЙРОИНФОРМАТИКА – 2011. Часть 2
3. Galbraith John W., Zinde-Walsh Victoria. Autoregression-Based Estimators for ARFIMA Models. – Montréal: Février, 2001. 44 p.
4. Granger C.W.J. Essays in econometrics: collected papers of Clive W.
J. Spectral analysis, seasonality, nonlinearity, methodology, and forecasting. –
Cambridge: Cambridge University Press, 2001. 523 p.
5. Иванов В.В., Крянев А.В., Лукин Г.В. Прогнозирование детерминированных и хаотических временных процессов с помощью нестационарного сингулярно-спектрального анализа // Науч. сессия НИЯУ МИФИ2006. Сб. науч. тр. М.: НИЯУ МИФИ, 2006. С. 38–39.
6. Истомин И.А., Котляров О.Л., Лоскутов А.Ю. К проблеме обработки временных рядов: расширение возможностей метода локальной
аппроксимации посредством сингулярного спектрального анализа // Теоретическая и математическая физика. 2005. Т.142. № 1. С. 148–159.
7. Кожихова Н.А., Ширяев В.И. Нейронные сети и заадчи прогнозирования хаотических рядов // Науч. сессия НИЯУ МИФИ-2010 XII Всерос. науч.-тех. конф. «Нейроинформатика-2010». Сб. науч. тр. В 2-х частях. Ч.2. М.: НИЯУ МИФИ, 2010. С.122–130.
8. Кожихова Н.А., Ширяев В.И. Вестник ЮУрГУ. 2010. № 22 (198).
Вып.12. С. 44–51.
9. Андреев Ю.В., Дмитриев А.С., Ефремова Е.В., Пустовойт В.И.
Разделение хаотических сигналов // Доклады РАН. 2000. Т.372. № 1. С.
36–39.
10. Ширяев В.И. Финансовые рынки: нейронные сети, хаос и нелинейная динамика. – М.: Либроком, 2009. 230с.
УДК 004.032.26(06) Нейронные сети
191