Технология построения автоматизированных информационных систем сбора, обработки, хранения и

Технология построения автоматизированных информационных систем сбора, обработки, хранения и
распространения спутниковых данных для решения научных и прикладных задач.
Институт Космических Исследований
Технология предназначена для создания с минимальными трудозатратами и капиталовложениями новых автоматизированных блоков
работы со спутниковыми данными для решения научных и прикладных задач.
Основные задачи, которые должны решаться при построении
систем сбора, обработки и распространения спутниковых данных
Основные требования, которым должны удовлетворять блоки
специализированных систем, обеспечивающих работу со
спутниковыми данными
Основные задачи, для решения которых используется представленная
технология
•
Автоматизация процессов обработки и архивации в центрах
приема спутниковых данных
•
Создание блоков работы со спутниковыми данными в
специализированных системах мониторинга
• высокая степень автоматизации
•
Создание и автоматизированная поддержка долговременных
распределенных архивов спутниковых данных
• масштабируемость
•
Создание автоматизированных распределенных систем
обработки спутниковых данных для решения научных и
прикладных задач
•
Создание систем удаленного доступа к архивам
спутниковых данных и результатам их обработки
• получение спутниковых данных
• возможность работы с различными типами данных
• организация хранения данных
• организация обработки данных
• обеспечение доступа к данным
• интеграция спутниковых данных и результатов их
обработки с другими информационными
продуктами
• возможность удаленного управления и контроля
• дешевизна создания и эксплуатации
Система сбора спутниковых данных
Система обработки спутниковых данных
Базовые элементы технологии
Позволяет полностью
автоматизировать
процессы приема
данных или получения
их из специализированных центров и
архивов.
Легко перестраивается для работы с
различными типами данных.
Включает в себя набор
утилит и программ,
позволяющих
организовать работу с
данными, получаемыми
от различных систем
приема и архивов
спутниковых данных.
СХСД
.
Долговременный
Прямого доступа
FDB
Утилиты
«наполнения»
Легко расширяется для работы с
дополнительными компьютерными
мощностями.
БД
(Информация о
данных в
архиве)
Утилиты
«выборки»
Утилиты
«доступа»
Утилиты
«управления»
Позволяет реализовать удаленный
контроль за своей работой.
Базовый
WEB-интерфейс
Оператор
Система хранения спутниковых данных
Система ведения архивов
спутниковых данных
описание
данных
Утилиты
архивации
данных
Утилиты
выборки данных
для обработки
Система
обработки
Утилиты
экспорта данных
в другие архивы
Другая СХСД
email
пользователи
Утилиты
поддержки
заказов
БД
каталог данных
FDB утилиты
Утилиты
поддержки
хранения
описание
данных
файлы
данных
Локальное
файловое
хранилище
Долговременное
файловое
хранилище
магнитные ленты,
лазерные диски
спутниковые данные
потоки управления
информация для
контроля
Пользовательские
WEB
интерфейсы
Пользователи
Служебные
WEB
интерфейсы
Операторы архивов
Запуск утилит
Информация о
выполнении утилит
Технология дистанционного контроля и управления работой
системы сбора, обработки и представления спутниковых
данных
Архитектура системы контроля и мониторинга обработки данных
(2 поколение)
Система
контроля
Центральный сервер обработки данных (диспетчер)
База данных
(MySQL)
Обновление
crontab
WEB
интерфейсы
CRONTAB
Запись
в БД
Запуск процессов
система
оповещения по
электронной
почте
email
условные обозначения:
файлы
данных
Пользователи
Системы обработки
Система доступа
к архивам через
WEB
Доступ к архивам данных
Система
администрирования
архивов
Система представления спутниковых данных и интеграция их с
другими информационными продуктами
Имеет широкий набор WEBинтерфейсов для работы с
данными.
Блок хранения данных
Архивы данных
Другая СХСД
Обеспечивает автоматическую
интеграцию данных в ГИС.
Может интегрироваться с
различными внешними утилитами и
программами.
Входные
данные
Система
обработки
Аннотация
данных
Позволяет организовать
автоматизированную рассылку
данных.
Позволяет реализовать полностью
автоматизированные процедуры
обработки данных.
Занесение
информации
в БД
Конфигурация процессов
Интерфейс
конфигурации
Протоколы работы процессов
Интерфейс контроля
обработки
Состояние компьютеров и сетей
Интерфейс контроля
компьютеров
Текущая информация
для анализа состояния
Система
управления
проектами
Занесение
ошибки в БД
Оповещение
об ошибке
email
Опрос состояния
локального сервера
Оператор
обработки данных
Текущие ошибочные состояния
Сброс ошибки
после коррекции
Процессы
обработки
данных
Администратор
обработки данных
Получение данных о
состоянии удаленных
станций
Ответственные
операторы
Обнаружение ошибочных
состояний
система
автоматического
запуска утилит
Удаленные станции автоматической обработки данных
Система
контроля
коипьютеров
Обеспечивает сбор
информации о состоянии
компьютеров, проводящих
обработку и архивацию
данных.
Позволяет операторам
получить удаленный доступ
к информации о
работоспособности
системы.
Предоставляет набор утилит для
импорта данных в различные
форматы
Центры приема и обработки спутниковых данных
Центр приема и обработки
данных НИЦ «Планета»
http://sputnik.infospace.ru
Позволяет организовать и
контролировать удаленную
обработку данных.
Примеры систем, реализованных на основе
предлагаемой технологии
Система архивации данных
«Центра космических
наблюдений»
http://resurs.cpi.space.ru
Система приема и
обработки данных
«Камчатского центра связи
и мониторинга»
http://www.kccm.ru
Долгосрочные архивы спутниковых данных
для решения научных задач
Информационная система дистанционного мониторинга лесных пожаров
МПР РФ
Обеспечивает:
Сбор информации о пожарах на
охраняемой и не охраняемой территориях
Сбор информации о состоянии
окружающей среды, необходимой для
организации работ по обнаружению и
тушению лесных пожаров
Подготовку информационных продуктов
для поддержки принятия оперативных
управленческих решений по обнаружению
и тушению лесных пожаров
Оперативное предоставление
информации, необходимой для принятия
управленческих решений
Представление информации для оценки
последствий действия лесных пожаров
http://www.nffc.aviales.ru
Создаются и поддерживаются
ИКИ совместно с ИСЗФ СО РАН,
НИЦ «Планета»
Блок работы со спутниковыми данными в отраслевой системе
мониторинга Госкомрыболовства РФ.
Обеспечивает обработку
спутниковых данных в
отраслевых центрах
мониторинга
Обеспечивает ведение
общеотраслевого архива
спутниковых данных и
результатов их обработки
В настоящее время в архивах
накоплены ряды данных,
полученных со спутников
NOAA, МЕТЕОР, РЕСУРС,
TERRA, AQUA и др.
Действующий макет блока работы со спутниковыми данными в
отраслевой системе мониторинга
Министерства сельского хозяйства РФ
http://www.agrocosmos.gvc.ru
Архивы используются в
научных проектах, связанных
с изучением динамики
различных природных и
антропогенных систем.
В архивах содержатся как
спутниковые данные, так и
результаты их обработки.
Предоставляет интерфейсы
для совместного анализа
спутниковых данных и
данных о работе
промыслового флота
© ИКИ РАН, Отдел технологий спутникового мониторинга, 2004
117997 Москва, Профсоюзная ул. 84./32, тел.:(095) 333-53-13, факс:(095)9133040, e-mail: [email protected]
Обеспечивает обработку
спутниковых данных по
различным
сельскохозяйственным
областям
Оперативно представляет
пользователям:
карты облачности
карты радиационных
температур
карты различных
вегетационных индексов
карты осредненных
вегетационных индексов
информацию о сельхозпалах