Файл публикации (формат MS PowerPoint, размер 2178 Кб)

International Symposium
г. Шибеник, Хорватия
“Quality, Innovation, Education and CALS technology”
8-15 мая 2005 г.
Управление качеством телекоммуникационных сетей
на основе анализа и мониторинга
их функционирования
с использованием статистических методов
Скуратов Алексей Константинович
Заместитель директора
Государственный НИИ информационных технологий и телекоммуникаций
(ГНИИ ИТТ «Информика»)
[email protected]
INFORMIKA.RU
Существенной реальностью настоящего времени,
определяющей развитие страны, является активное
использование инфокоммуникационных технологий
во всех сферах человеческой жизнедеятельности.
Высокими темпами создаются и развиваются
международные,
национальные,
региональные,
ведомственные и корпоративные телекоммуникационные сети, ориентированные как на решение
важных народно-хозяйственных задач, так на развитие
отдельной личности, определенных социальных групп
и всего общества в целом.
INFORMIKA.RU
Узлы сети RUNNet
Москва –
ГНИИ ИТТ «Информика» наземная компонента, общее
администрирование.
Адыгейский ГУ,
Алтайский ГУ
Белгородский ГТУ
Брянский ГУ
Волгоградский ГТУ
Восточно-Сибирский ГТУ
Дагестанский ГУ
Дальневосточный ГУ
Иркутский ГУ
Калининградский ГУ
Кемеровский ГУ
Красноярский ГУ
Кубанский ГУ
Нижегородский ГУ
Новгородский ГУ
Новосибирский ГТУ
Омский ГУ
Оренбургский ГУ
Пермский ГТУ
Петрозаводский ГУ
Ростовский ГУ
Саратовский ГСЭУ
Самарский ГУ
Северо-Кавказский ГТУ
Санкт-Петербург –
«Вузтелекомцентр» –
спутниковая компонента
Таганрогский ГРТУ
Тамбовский ГУ
Тверской ГУ
Томский ГУ
Тульский ГУ
Удмуртский ГУ
Ульяновский ГУ
Уральский ГУ
Хабаровский ГТУ
Южно-Уральский ГУ
Якутский ГУ
Ярославский ГУ и др.
INFORMIKA.RU
Пользователи сети
Федеральные сети НОС:
RBNet,
RUHEP,
RAS,
FreeNet
Региональные НОС:
RelarnIP,
Rokson, UMOS, – всего 54
MSUNet Rusnet,
Университетские сети
– более 200
Общее количество
пользователей
– более 800 тыс.
INFORMIKA.RU
INFORMIKA.RU
Международная связность
INFORMIKA.RU
Международная связность
700
600
Mb/с
500
400
300
200
100
0
1999
2000
2001
2002
2003
2004
INFORMIKA.RU
Международная связность
• Москва – Санкт-Петербург - Стокгольм – STM-16
• Стокгольм – Амстердам – STM-4
• Стокгольм – Вена – STM-1
INFORMIKA.RU
Связность с магистральными узлами
в России (Мб/с)
• Самара – Москва - 34
• Н.Новгород – Москва - 26
• Казань – Н.Новгород - 6
•Новосибирск – Москва – 20
• Новосибирск – Иркутск – 2
• Новосибирск – Хабаровск - 2
•Ростов-на-Дону – Москва – 14
• Ростов-на-Дону – Краснодар - 2
•Екатеринбург – Москва – 14
•Хабаровск – Москва – 2
• Тамбов – Москва – 2
• Ярославль – Москва - 4
INFORMIKA.RU
IP-связность
General Internet
Level3
TeliaSonera
Метроком
Раском
Eltel
примерно
10 сетей
NORDUne t
Белорусия
Украина
Литва
Эстония
622MB
GEANT
1 GB
Europe connectivity
RUNNet [AS3267]
MSK-IX
MSUnet
SPBUnet
1 GB
http://www.ripn.net
Ethernet
Demos
Relcom
TTK
Zenon
Caravan
Combelga
Yandex
Astelit
Macomnet
Comcor
и так примерно 100 сетей
SPB-IX
RadioMSU
USU
Ethernet
RELARN
RBnet
Ethernet
100MB
Demos
Relcom
Zenon
и так примерно 10 сетей
1 GB
INFORMIKA.RU
Сервисы
• Классические (sec. DNS, Usenet, ftp,
http proxi, hosting,…)
• Администрирование edu.ru, run.net,
mon.gov.ru, ed.gov.ru, fasi.gov.ru
• Связность с Internet2
• IPv6
• MBone
• IP телефония, видеоконференцсвязь
• Организация независимого транспорта с
использованием (VPN VLAN, MPLS)
INFORMIKA.RU
Сервисы
Учитывая объективно сложившуюся
неоднородность,
как
телекоммуникационных сетей, сетевых информационных
ресурсов, так и аудитории, которой данная
информация адресована, необходимо создание и надежное функционирование достаточно
большого
набора
инфокоммуникационных
сервисов,
обеспечивающих эффективную работу пользователя с
разнородной информацией в гетерогенной
телекоммуникационной сети.
Вышеуказанные факторы осложняют объективный анализ и мониторинг
телекоммуникационных ресурсов. Поэтому представляется очевидным, что при
эксплуатации телекоммуникационных сетей должен быть использован
достаточно широкий спектр современных технологий мониторинга и
анализа.
INFORMIKA.RU
Практика использования и эксплуатации гетерогенных телекоммуникационных сетей, связанная с недостаточной их прозрачностью,
сложностью, организационными ограничениями и спецификой определяет
спецификой определяет необходимость более
широкого и научно обоснованного внедрения
статистических
методов
их
анализа
и
мониторинга на основе открытой потоковой
информации, которую можно легко получить
использую доступные методы и средства.
В результате обработки статистической информации о функционировании
телекоммуникационной сети можно определить нормальный профиль сети
(этап анализа). Выявление и предсказание отклонений от нормального
профиля сети (этап мониторинга) проводится системным администратором
с целью определения возникновении нештатной ситуации и принятии
соответствующего решения об изменении конфигурации сети.
INFORMIKA.RU
Для решения поставленной проблемы предлагается:
1.
Разработка
научных
основ
исследования
статистических
принципов
функционирования
телекоммуникационных систем и компьютерных
сетей.
2.
Теоретический анализ на основе обработки
статистической информации и экспериментальное
исследование
функционирования
научнообразовательных телекоммуникационных сетей.
3.
Разработка научных подходов, практических
методов, алгоритмов и программ, обеспечивающих
контроль
и
диагностику
функционирования
телекоммуникационных систем и компьютерных
сетей.
INFORMIKA.RU
Поставленные цели достигаются решением следующих основных задач:
Определение основных характеристик функционирования
телекоммуникационных сетей для целей анализа и мониторинга.
Определение методов и средств сбора первичной информации
из информационных потоков телекоммуникационной сети для
статистической обработки.
Выбор и модификация методов теории статистики с целью
разработки научных основ исследования статистических
принципов функционирования телекоммуникационных систем и
компьютерных сетей.
Разработка методов и алгоритмов реализации научных основ
исследования статистических принципов функционирования
телекоммуникационных систем и компьютерных сетей.
Создание программ реализации разработанных алгоритмов и
встраивание
их
в
систему
администрирования
телекоммуникационных сетей.
INFORMIKA.RU
Решение вышеуказанных задач позволяет практически осуществлять:
1.
Предсказание изменения параметров телекоммуникационного трафика
на основе обработки статистической информации о работе элементов
сети. Эта информация носит статистический характер и представляет
собой временные последовательности. В этом случае речь идет о
статистическом анализе сетевого трафика как анализе временных
рядов, а анализируемая статистика может быть как текущей (с
интервалом от одной до десятков секунд), так и долговременной (с
интервалом от одной минуты до нескольких часов или суток).
INFORMIKA.RU
Решение вышеуказанных задач позволяет практически осуществлять:
2.
Интеллектуальное управление телекоммуникационными сетями для
перераспределения сетевых ресурсов, в частности, пропускной
способности виртуальных каналов. Это достигается за счет разделения
пропускной способности между различными информационными
приложениями. При этом учитываются ограничения на доступную
пропускную способность и уровень показателей качества. Указанные
методы представляют собой симбиоз алгоритмов резервирования
пропускной способности виртуальных каналов и статистического
мультиплексирования ресурсов.
3.
Исследование временных задержек вдоль маршрута прохождения
пакета, снижение которых повышает качество работы сети. В
соответствии с протоколом TCP/IP пропускная способность со стороны
источника пакетов определяется текущим окном перегрузки, равным
числу разрешенных к передаче пакетов до прихода пакета
подтверждения.
INFORMIKA.RU
Решение вышеуказанных задач позволяет практически осуществлять:
4.
Формировать прогноз времени появления перегрузки и ее величины.
Задержка и потеря пакетов в пути может происходить из-за очередей в
промежуточных узлах - маршрутизаторах, в компьютерах - источниках и
приемниках пакетов, а также из-за переполнения буферов в этих узлах.
Интервал между моментами отсылки пакета из источника и получения
пакета подтверждения называется RTT-задержкой [англ. round-trip time задержка]. Пакеты считаются потерянными, если RTT превышает
заданный порог. По величине спрогнозированной RTT-задержки можно
судить об уровне перегрузки и перенастроить величину окна, т.е.
определить закон изменения окна перегрузки.
INFORMIKA.RU
Решение вышеуказанных задач позволяет практически осуществлять:
5.
Контроль и прогнозирование переполнения системных буферов
телекоммуникационной сети. На пропускную способность участка сети
между i-м и j-м узлами влияет очередь в узле j. Эта очередь может
возникнуть из-за ограниченного объема памяти данного буфера, низкой
интенсивности разгрузки этого буфера, чрезмерно больших объемов
информации, поступивших на него. В связи с этим интенсивность
потока информации от узла i к узлу j понижается, а в случае
переполнения буфера в узле j передача информации прекращается и
часть пакетов теряется. Для предотвращения потери пропускной
способности узла необходимо регулировать уровень загрузки буфера на
основе прогноза его переполнения.
INFORMIKA.RU
Решение вышеуказанных задач позволяет практически осуществлять:
6.
Сравнение наблюдаемого поведения телекоммуникационной сети с
определенным ранее нормальным профилем и выявление сетевых
аномалий. Нормальным профилем, или шаблоном работы сети,
называется совокупность ее характеристик в течение некоторого
промежутка времени, которая соответствует работе всей системы без
каких-либо существенных отклонений. Однако вопрос о системе
характеристик качества сети, на основе которых можно описать
нормальный профиль, является весьма неординарным и представляет
собой отдельную научную задачу.
Постановка и решение каждой задачи
связаны с представлением информации,
которой располагает исследователь.
INFORMIKA.RU
Система сбора статистических данных
Экспериментальная информация для использования в статистической
системе исследования и анализа телекоммуникационных сетей на основе
описанных далее моделей временных рядов собиралась следующим образом.
На сервере spb.runnet.ru: /usr/local/MRTG/m_stat/time_mrtg1.pl
было
установлено программное обеспечение для сбора статистической
информации по ряду параметров, которые будут перечислены ниже.
Данные в режиме реального времени собирались в файле
/usr/local/MRTG/m_stat/file_stat.log с трех интерфейсов для роутера spbgw.runnet.ru с интерфейсами:
• ATM 1/0
• FastEthernet 0/0
• FastEthernet 4/0
Данные записывались в ASCI-кодах в текстовом виде в таблицу по
столбцам. Всего исследовалось 25 параметров, длина столбца при этом была
не ограничена. В настоящее время имеются сотни тысяч данных в каждом
столбце.
INFORMIKA.RU
Ниже приводится расшифровка значений столбцов в таблице данных.
1. Время регистрации информации, в секундах с интервалом 5 мин.
2-4. Загрузка канала на входе (IN) в байтах для 1, 2 и 3-го интерфейсов
соответственно. В этом поле подсчитывается число прошедших через соответствующий
интерфейс байт информации с момента последнего принудительного обнуления счетчика после
его переполнения.
5-7. Загрузка канала на выходе (OUT) в байтах, для 1, 2 и 3-го интерфейсов соответственно. В
данном поле подсчитывается число посланных с этого интерфейса байт информации с момента
последнего принудительного обнуления счетчика после его переполнения.
8-10. Ошибки IN, количество потерянных пакетов, для 1, 2 и 3-го интерфейсов соответственно.
11-13. Ошибки OUT, количество потерянных пакетов, для 1, 2 и 3–го интерфейсов
соответственно.
14-16. Количество пакетов IN для 1, 2 и 3-го интерфейсов соответственно. Счетчик количества
пакетов, вошедших через этот интерфейс.
17-19. Количество пакетов OUT для 1, 2 и 3 интерфейсов соответственно.
20.
Загрузка
процессора
за
5
мин
(в
процентах
от
100).
21-23. Счетчик бродкастовых (системных) пакетов, вошедших через интерфейс 1, 2 и 3.
24. Свободная память процессора роутера в байтах.
25. Свободная память системы ввода вывода буфера роутера, в байтах.
INFORMIKA.RU
Выбор математической модели
С целью выбора наиболее адекватной модели для анализа и
мониторинга телекоммуникационных сетей были рассмотрены наиболее
распространенные модели системы:
• Марковская модель системы
•
Моделирование сетевого трафика фрактальным броуновским
движением
•
Моделирование временных рядов.
INFORMIKA.RU
Моделирование различных составляющих, характеризующих работу
сети, таких, как объем трафика, количество потерянных пакетов и другое
в виде временных рядов имеет ряд очевидных преимуществ по сравнению
с вышеописанными способами. При построении модели временных рядов
используется экспериментальная информация (полученная в реально
функционирующей сети), требуется меньше допущений и, следовательно,
более адекватно отражается реальный объект, т.е. телекоммуникационная
сеть. При статистическом анализе временных потоков информации
необходимо осуществить выделение тренда; выделение периодических
составляющих - колебаний относительно тренда с некоторой регулярностью;
анализ случайной компоненты.
INFORMIKA.RU
Математическая модель
Для такого показателя работы сети, как загрузка каналов предложена
следующая модель, включающая три составляющие:
Y(t) = f(t)+g(T)+ε(t),
где f(t) - тренд, медленно меняющаяся во времени функция, описывающая
изменения среднесуточных (средненедельных) загрузок за интервалы
времени большие, чем суточная периодичность;
g(T) - периодическая составляющая, которая может быть описана конечным
рядом Фурье, построенным по экспериментальным данным величин загрузок
телекоммуникационного канала;
ε(t) - случайная последовательность, относительно которой делается
предположение о равенстве нулю ее математического ожидания М[ε(t) ]=0.
INFORMIKA.RU
Методы исследования данной модели предлагаются следующие.
Моделирование тренда может проводиться с помощью хорошо
разработанных методов регрессионного анализа. Для построения ряда
Фурье следует применять методы анализа периодограмм и спектрального
анализа случайных процессов. Свойства и характеристики случайной
последовательности ε(t) изучаются с помощью классических методов
математической
статистики
и
методов
анализа
случайных
последовательностей.
Вывод: Статистические модели
телекоммуникационных сетей в виде временных рядов, на наш взгляд,
наиболее достоверны, так как основаны на большом числе
экспериментальных данных, а, следовательно, являются и
наиболее информативными для прогноза состояния сети.
INFORMIKA.RU
Программная реализация
Для облегчения задачи сетевого администрирования с целью
статистического анализа и мониторинга телекоммуникационной системы
(сети) были разработаны теоретические подходы и реализована программа
«Анализатор трафика». В функции этой программы входят:
•
непрерывный мониторинг трафика сети;
•
•
сравнение текущих параметров с нормальными;
выдача системному администратору предупреждений и
рекомендаций, в случае возникновения отклонений.
INFORMIKA.RU
У программы есть два режима работы: режим обучения и режим
анализа. После установки программа запускается в режиме обучения. В этом
режиме программа собирает информацию о трафике, воспринимая его как
нормальный режим работы сети. Длительность обучения, которая может
настраиваться пользователем, равна по умолчанию двум неделям. В течение
срока программа раз в пять минут фиксирует количество информации,
прошедшей через канал и запоминает его в файле в текстовом формате. По
истечению времени обучения программа обрабатывает накопленные данные
и переключается в режим анализа. Обработка накопленной информации
заключается во-первых, в спектральном анализе, во вторых, в вычислении
тренда, и в третьих в определении частоты появления выбросов.
INFORMIKA.RU
Для спектрального анализа используется представление данных в
виде ряда Фурье. Полученные гармоники покрывают 95% дисперсии ряда, и
они запоминаются в отдельном файле как спектральная характеристика
нормального режима функционирования сети. Для вычисления тренда
используется метод скользящего среднего.
Обработка выбросов
заключается в том, что вычисляется среднее количество их появления в
течение одной недели.
Все эти параметры сохраняются в отдельном файле и программа
начинает работать в режиме анализа. В этом режиме программа раз в 5 минут
фиксирует загрузку сети и сравнивает это значение с модельным значением,
вычисленным с помощью спектра нормального режима.
INFORMIKA.RU
В случае отклонения полученного значения от эталона на протяжении 6
измерений (т.е. в течение часа) программа фиксирует серьёзное отклонение и
начинает определять его причину. Для этого производится спектральный
анализ, вычисление тренда и количества выбросов за последние две недели.
Соответственно, может возникнуть одна или несколько из следующих
ситуаций:
•
изменился тренд;
•
изменилась частота появления выбросов;
•
изменилась спектральная характеристика ряда;
•
изменилось среднее значение ряда.
INFORMIKA.RU
Рекомендации системному администратору
Самый низкий уровень опасности имеет увеличение
количества выбросов. Если это зафиксировано, то администратору
будет выдано предупреждение и рекомендация проверить сеть на
появление вирусов, т.к. велика вероятность того, что выбросы
связаны с деятельностью сетевых «червей».
Более высокий уровень опасности представляет
изменение спектральной характеристики ряда. Очевидно, что
в нормальном режиме работы сеть подчиняется суточным
и недельным колебаниям загрузки. Если же произошли
отклонения,
значит один или несколько пользователей
перешли на круглосуточный (и/или без выходных) режим
работы и администратору будет предложено уделить этим
пользователям внимание.
INFORMIKA.RU
Рекомендации системному администратору
Ещё более высокий уровень опасности представляет
изменение тренда. Оно означает, что происходит медленный, но
верный рост загрузки сети и в не очень отдалённом будущем
возможно переполнение её пропускной способности.
Самым
опасным
вариантом
является
скачкообразное увеличение среднего значения ряда. Это
означает, что сеть работает в режиме, близком к
предельному, и может начать не справляться с загрузкой.
Администратору
выдаётся
предупреждение
и
рекомендация срочно обратить внимание на загрузку сети
для определения причины её увеличения и исправления
ситуации.
INFORMIKA.RU
Помимо случаев отклонения от эталона, программа
проводит регулярные проверки параметров сети (по
умолчанию раз в неделю). Это необходимо, так как изменения
могут происходить настолько медленно, что не будут
фиксироваться описанным выше критерием, но реакция на них
всё равно необходима.
В случае проведения работ по реконструкции
или модернизации сети, её нормальные параметры
функционирования
изменятся.
Поэтому
в
программе
предусмотрена
возможность
переобучения по новым данным. При её
активации программа переходит в режим обучения
и фиксации данных для создания нового эталона,
отвечающего текущему состоянию сети.
INFORMIKA.RU
Заключение
В результате обработки статистической информации о
функционировании телекоммуникационной сети можно определить
нормальный профиль сети (этап анализа). Выявление и
предсказание отклонений от нормального профиля сети (этап
мониторинга) проводится системным администратором с целью
определения возникновении нештатной ситуации и принятии
соответствующего решения об изменении конфигурации сети.
Программа
будет
предоставлена
для
свободного
использования на сайте управления сетью RUNNet в ближайшее
время.
В докладе представлены отдельные результаты научноисследовательской работы в этой области, выполняемой в рамках
гранта РФФИ 02-07-90026.
i
INFORMIKA.RU
International Symposium
г. Шибеник, Хорватия
“Quality, Innovation, Education and CALS technology”
8-15 мая 2005 г.
Благодарю за внимание!
Скуратов Алексей Константинович
Заместитель директора
Государственный НИИ информационных технологий и телекоммуникаций
(ГНИИ ИТТ «Информика»)
[email protected]
INFORMIKA.RU