Технология построения автоматизированных

Технология построения автоматизированных
информационных систем сбора, обработки, хранения
и распространения спутниковых данных для решения
научных и прикладных задач.
Лупян Е.А., Мазуров А.А., Назиров Р.Р.,
Прошин А.А., Флитман Е.В.
Институт космических исследований РАН
Москва,
10 ноября 2003
Примеры задач, для решения которых сегодня активно
используются спутниковые данные
•
прогноз погоды
•
изучение динамики климата
•
изучение экосистем
•
контроль и анализ сельскохозяйственной деятельности
•
анализ состояния морей
•
контроль опасных катастрофических явлений и оценка их
последствий
•
контроль антропогенных воздействий на окружающую среду и
оценка их последствий
•
…….
Следует отметить, что современный уровень решения всех этих
задач позволяет создать постоянно использовать спутниковые
данных в созданных в последние десятилетия специализированных
системах мониторинга
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Системы мониторинга и спутниковые данные
Следует отметить, что спутниковые системы
обычно не решают всех задач, связанных с
наблюдением тех или иных объектов, и могут
являться лишь частью систем мониторинга
Одна из из наиболее актуальных задач - интеграция спутниковых
данных в специализированные системы мониторинга
В докладе рассматривается технология создания блоков,
позволяющих работать со спутниковыми данными в системах
мониторинга, решающих конкретные научные и прикладные
задачи.
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Основные задачи, которые решают блоки специализированных
систем мониторинга, обеспечивающие работу со спутниковыми
данными
• получение спутниковых данных
• организация хранения данных
• организация обработки данных
• обеспечение доступа к данным
• интеграция спутниковых данных и результатов их
обработки с другими информационными
продуктами
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Основные требования, которым должны удовлетворять блоки
специализированных систем мониторинга, обеспечивающие
работу со спутниковыми данными
• возможность работы с различными типами данных
• высокая степень автоматизации
• масштабируемость
• возможность удаленного управления и контроля
• дешевизна создания и эксплуатации
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Базовые элементы для разработки систем сбора, обработки и
распространения спутниковых данных.
•
Система сбора спутниковых данных (прием и получение из
специализированных центров)
•
Система хранения спутниковых данных
•
Система обработки спутниковых данных
•
Система представления спутниковых данных и интеграция
их с другими информационными продуктами
•
Технология дистанционного контроля и управления работой
системы сбора, обработки и представления спутниковых
данных
Работы по созданию таких элементов проводятся в ИКИ, начиная с 1990 года.
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Система сбора спутниковых данных
Позволяет полностью
автоматизировать
процессы приема
данных или получения
их из специализированных центров и
архивов.
Включает в себя набор
утилит и программ,
позволяющих
организовать работу с
данными, получаемыми
от различных систем
приема и архивов
спутниковых данных.
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Система хранения спутниковых данных
Система ведения архивов
спутниковых данных
описание
данных
Утилиты
архивации
данных
Утилиты
поддержки
хранения
Утилиты
выборки данных
для обработки
Система
обработки
Утилиты
экспорта данных
в другие архивы
Другая СХСД
email
пользователи
Утилиты
поддержки
заказов
БД
каталог данных
FDB утилиты
Другая СХСД
описание
данных
файлы
данных
Локальное
файловое
хранилище
Долговременное
файловое
хранилище
магнитные ленты,
лазерные диски
спутниковые данные
потоки управления
информация для
контроля
Пользовательские
WEB
интерфейсы
Пользователи
Служебные
WEB
интерфейсы
Операторы архивов
Система
контроля
WEB
интерфейсы
система
оповещения по
электронной
почте
email
условные обозначения:
файлы
данных
Система доступа
к архивам через
WEB
Доступ к архивам данных
Система
администрирования
архивов
Система
обработки
Аннотация
данных
Запуск утилит
Информация о
выполнении утилит
email
система
автоматического
запуска утилит
Система
контроля
коипьютеров
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Система обработки спутниковых данных
Позволяет реализовывать полностью
автоматизированные процедуры
обработки данных.
Легко перестраивается для работы с
различными типами данных.
Может интегрироваться с различными
внешними утилитами и программами.
Входные
данные
СХСД
Блок хранения данных
Архивы данных
.
Долговременный
Прямого доступа
FDB
Утилиты
«наполнения»
БД
(Информация о
данных в
архиве)
Утилиты
«выборки»
Утилиты
«доступа»
Утилиты
«управления»
Базовый
WEB-интерфейс
Оператор
Системы обработки
Легко расширяется для работы с
дополнительными компьютерными
мощностями.
Позволяет реализовать удаленный
контроль за своей работой.
Пользователи
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Система представления спутниковых данных и интеграция их с
другими информационными продуктами
Позволяет организовать
автоматизированную рассылку
данных.
Обеспечивает автоматическую
интеграцию данных в ГИС.
Имеет широкий набор WEBинтерфейсов для работы с
данными.
Предоставляет набор утилит для
импорта данных в различные
форматы
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Технология дистанционного контроля и управления работой
системы сбора, обработки и представления спутниковых
данных
Архитектура системы контроля и мониторинга обработки данных
(2 поколение)
Центральный сервер обработки данных (диспетчер)
База данных
(MySQL)
Обновление
crontab
CRONTAB
Запись
в БД
Запуск процессов
Занесение
информации
в БД
Конфигурация процессов
Интерфейс
конфигурации
Протоколы работы процессов
Интерфейс контроля
обработки
Состояние компьютеров и сетей
Интерфейс контроля
компьютеров
Текущая информация
для анализа состояния
Система
управления
проектами
Занесение
ошибки в БД
Оповещение
об ошибке
Опрос состояния
локального сервера
Оператор
обработки данных
Текущие ошибочные состояния
Сброс ошибки
после коррекции
Процессы
обработки
данных
Администратор
обработки данных
Позволяет организовать и
контролировать удаленную
обработку данных.
Получение данных о
состоянии удаленных
станций
Удаленные станции автоматической обработки данных
Обнаружение ошибочных
состояний
Ответственные
операторы
Обеспечивает сбор
информации о состоянии
компьютеров, проводящих
обработку и архивацию
данных.
Позволяет операторам
получить удаленный доступ
к информации о
работоспособности
системы.
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Примеры систем, реализованных на
основе предлагаемой технологии
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Центры приема и обработки спутниковых данных
Центр приема и обработки
данных НИЦ «Планета»
http://sputnik.infospace.ru
Система архивации данных
«Центра космических
наблюдений»
http://resurs.cpi.space.ru
Система приема и обработки
данных «Камчатского центра
связи и мониторинга»
http://www.kccm.ru
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Информационная система дистанционного мониторинга лесных пожаров
МПР РФ
http://www.nffc.aviales.ru
В режиме непосредственного доступа
находятся данные за текущий
пожароопасный сезон, после чего
производится долговременная
архивация данных на магнитные ленты.
За сезон архивируется около 200 000
снимков (~20 Гб)
Для доступа к данным в архиве
реализованы специализированные
пользовательские интерфейсы, в том
числе
•текущая ситуация по авиабазам
•просмотр динамики изменения во
времени выбранного продукта
•анимация облачности над
территорией России
Пример: детектированные пожары
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Блок работы со спутниковыми данными в отраслевой системе
мониторинга Госкомрыболовства РФ.
Обеспечивает обработку
спутниковых данных в
отраслевых центрах
мониторинга
Обеспечивает ведение
общеотраслевого архива
спутниковых данных и
результатов их обработки
Предоставляет интерфейсы
для совместного анализа
спутниковых данных и
данных о работе
промыслового флота
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."
Действующий макет блока работы со спутниковыми данными в
отраслевой системе мониторинга
Министерства сельского хозяйства РФ
http://www.agrocosmos.gvc.ru
«Автоматизированная технология построения систем обработки,
хранения и распространения спутниковых данных."