ИНТЕГРИРОВАННАЯ ИНФОРМАЦИОННАЯ СИСТЕМА ТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ

ИНТЕГРИРОВАННАЯ ИНФОРМАЦИОННАЯ СИСТЕМА
ТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ
ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
М.В. Энгель, В. В. Белов
Институт оптики атмосферы им. В.Е. Зуева СО РАН
Новороссийск, 21-26 сентября 2015
Center for
International
Earth
Science
Information
Network
National
Oak Ridge Snow and
Ice Data
National
Laboratory Center
Marshall
Space
Flight
Center
Goddard
Space
Flight
Center
Langley
Jet
Propulsion Research
Laboratory Center
EROS
Data
Center
Alaska
Satellite
Facility
EOSDIS Data Warehouse
ЦКН
ИКИ РАН
Росавиакосмос
НИЦ "Планета"
ИСЗФ РАН
Системы архивации и
долговременного хранения
спутниковых данных
ИСДМ
Рослесхоз
Cервис
ВЕГА
Динамический
каталог данных НИЦ «Планета»:
Европейский,
НЦ ОМЗ
Технология
GEOSMIS
Сибирский и
Дальневосточный
РЦПОДы
2
Интеграция распределенных данных на примере
информационной системы атмосферной коррекции
спутниковых изображений
Типы данных о состоянии атмосферы
1. Среднеклиматические и
региональные метео- и оптические
модели;
2. данные радиозондирования;
3. наземные данные об аэрозоле и
влагосодержании: AERONET,
AEROSibNET;
4. прогностические данные:
вертикальные профили температуры
и влажности атмосферы;
5. спутниковые данные об
оптико−метеорологических
параметрах атмосферы: MODIS/EOS
Условия
использования
данных при
атмосферной
коррекции:
точностные
характеристики;
достаточное
пространственное и
временное
разрешение;
наличие сетевых
ресурсов
MODIS/EOS
4
ОПТИКО-МЕТЕОРОЛОГИЧЕСКАЯ ИНФОРМАЦИЯ
Требования к источникам данных об атмосфере
o Наличие метаданных для описания данных.
o Использование унифицированного формата для записи данных.
o Доступ к данным по стандартным сетевым протоколам.
Возможные источники метеоданных
o The Level 1 and Atmosphere Archive and Distribution System,
Goddard Space Flight Center, NASA
LAADS Web [http://ladsweb.nascom.nasa.gov/]
o Электронные архивы ИОА СО РАН
o Электронные архивы ЦКП ДДЗ СО РАН




Спутниковые данные: тематические продукты MODIS (HDF)
облачная маска;
параметры аэрозоля;
параметры облачности;
профили температуры и водяного пара.
Прогностические модели (GRIB)
5
Функциональная модель информационной системы
атмосферной коррекции спутниковых данных
НАСТРОЙКА ДАННЫХ НА РАБОТУ С АЛГОРИТМАМИ ОБРАБОТКИ
Спутниковые данные: тематические продукты MODIS (формат HDF)
Прогностические модели: профили температуры и влажности (формат GRIB)
Ожидание
ввода задания
Задание
введено
Проверка наличия
нового задания
q0
Задание есть
Определение ключей для поиска метеоданных
q1
q
2
Поиск спутниковых
метеоданных в
локальных
источниках
Данные
найдены
Поиск спутниковых
метеоданных в
удаленных
источниках
Поиск
прогностических
метеоданных в
локальных
источниках
Данные не
найдены
Данные
найдены
Данные не
найдены
Копирование
метеоданных в
рабочую папку
q3
Проверка
релевантности
спутниковых
метеоданных
Аварийное
завершение
q4
q7
Данные не релевантные
Данные
релевантные
Проведение
расчета
Диаграмма
состояний
системы
Определение маски для
поиска прогностических
данных
Определение маски
для поиска
спутниковых данных
Передача
результатов
расчета
пользователю
q5
Нормальное
завершение
q6
8
База данных
Признаки состояний
Параметры расчета
Инфологическая
структура данных
Служебная
информация
Общий
Объект
Управления
Системой
Параметры инфологической
структуры метеоданных:
URL
Тип данных
Приоритет
Сетевой протокол
Параметры авторизации
9
Оценка релевантности спутниковой оптикометеорологической информации
Имя файла: ESDT.AYYYYDDD.HHMM.CCC.YYYYDDDHHMMSS.hdf
ESDT — имя продукта (MOD /Terra, MYD /Aqua)
Метаданные:
имя файла типа (MxD03);
MODIS/AQUA MODIS/TERRA
MODIS/AQUA
+
–
начало измерений;
MODIS/TERRA
–
+
номер коллекции;
ASTER/ TERRA
–
+
географические координаты;
LANDSAT
+
+
NOAA
+
+
угловые значения.
10
Метод автоматической оценки релевантности спутниковой
информации MODIS
Получение файлов
MxD07_L2
Профили температуры
и влажности
Восстановление
температуры поверхности
(канал 31)
Качество хорошее
Значения радиационной
температуры
Восстановление
температуры поверхности
(канал 32)
Сравнение
температур
(ΔТs) [ΔТs>1K]
[ΔТs< =1K]
Запись состояния в БД
Качество неудовлетворительное
11
Диаграмма деятельности системы
Задание
параметров
расчета
Задание типа
информации
(спутниковая,
прогностическая)
Задание
географических
и временных
параметров
Определение
ключей для
поиска данных
Обработка
метаданных
Определение
маски файла
Получение
данных
Определение
источника данных
(локальный,
удаленный)
Получение
файлов с
данными
[данные не [данные
получены] получены]
Аварийное
завершение
Расчеты
Определение
релевантности
спутниковых
метеоданных
[не
релевант
ные]
[релевант
ные]
Расчет
атмосферных
поправок
Предоставление
результатов
Формирование
директории с
результатами
расчетов
Предоставление
доступа к
результатам по
ftp-протоколу
Формирование
сообщения
пользователю
Нормальное
завершение
12
Программная реализация системы
Интерфейс к
распределенным
данным
Обработка
метаданных
Оценка
релевантности
спутниковых
данных
Подготовка и
проведение
расчета
Почтовый
сервер
АОУ0
АОУ1
АОУ2
Интерфейс
БД
БД
АОУ3
АОУ4
13
«устройство»
:web-сервер
{ОС Линукс}
{web-сервер=apache}
{framework=Django}
http/
LAN
«среда выполнения»
:БД
{СУБД PostgreSQL}
«устройство»
:компьютер
пользователя
:данные
пользователя
:параметры
задания
«среда выполнения»
:браузер
«среда выполнения»
:почтовый клиент
«устройство»
:сервер БД
{ОС Линукс}
:состояния
http/
Internet
:служебные
данные
«устройство»
:сервер приложения
{ОС Линукс}
{сценарии=Python}
Программа
АОУ0
Программа
АОУ0
Inter
net
ftp/Internet
Daemon_Process_0.py
«устройство»
:сервер приложения
{ОС Линукс}
{сценарии=Python}
Программа
АОУ0
Программа
АОУ1
Daemon_Process_1.py
«среда выполнения»
:файловая система
«устройство»
:почтовый сервер
{ОС Линукс}
{email сервер=smpt}
{сценарии=Python}
Программа
АОУ4
Daemon_Process_4.py
ftp/Internet
«устройство»
:файловый сервер
{ОС Линукс}
«среда выполнения»
:файловая система
:папки с
результатами
расчетов
«среда выполнения»
:ftp-сервер
:папки с
результатами
расчетов
«устройство»
:сервер приложения
{ОС Линукс}
{сценарии=Python}
Программа
Программы
АОУ0
АОУ2, АОУ3
Daemon_Process_2.py
Daemon_Process_3.py
Modtran.exe
Диаграмма
развертывания
14
Используемые программные технологии
Трехуровневая архитектура
Linux
WEB-сервер
(Приложения
среднего звена)
Клиент 1
(браузер)
Клиент 2
(браузер)
Сервер БД
(Управление
данными)
Python
Django
C++ и FORTRAN
PostgreSQL
MODTRAN
Клиент n
(браузер)
15
Перспективы
Расширение диапазона спектральных каналов
для проведения атмосферной коррекции;
расширение типов оптико-метеорологической
информации (спутниковая система VIIRS/ NPP);
добавление алгоритмов тематической обработки
данных ДЗЗ.
16
Заключение
В ИОА СО РАН на основе использования автоматной модели и
инфологической схемы данных создан прототип интегрированной
информационной системы тематической обработки данных ДЗЗ.
На первом этапе разработки в системе реализован алгоритм расчета
корректирующих атмосферных поправок. В качестве
распределенных источников оптико-метеорологической
информации рассматриваются ресурс LAADS Web, а также
распределенная инфраструктура ЦКП ДЗЗ СО РАН и электронные
архивы спутниковых данных ИОА СО РАН.
Исследование выполнено при финансовой поддержке РФФИ в рамках
научного проекта № 15-07-06811 А.
17
Благодарю за внимание!
18
Математическая модель спутниковых измерений
Lλ=B(λ, Tλ) =
↑
↑
↓
↓
ελB(λ, Ts) Pλ+L TRM +L SOL+ rλ(L TRM +L SOL)
Lλ – интенсивность восходящего излучения (эквивалентна
радиационной температуре Tλ);
Pλ – функция пропускания атмосферы;
L↑TRM – интенсивность собственного теплового излучения
атмосферы;
L↑SOL– интенсивность: рассеянное аэрозолем (облачностью)
солнечное излучение;
L↓TRM, L↓SOL – интенсивности падающих на поверхность
потоков теплового излучения атмосферы и солнечного
излучения;
B(λ,TS) – функция Планка;
ελ – излучательная способность поверхности;
rλ=1–ελ – коэффициент отражения поверхности.
Чандрасекар С. Перенос лучистой энергии. – М.: Изд-во иностр. лит., 1953. 368 с.
19
Схема атмосферной коррекции
Информация о
метеорологическом и оптическом
состоянии атмосферы
Измеренная прибором
интенсивность
излучения, LS
Излучательная
способность
поверхности, ελ
ΔICOR(x,y) = LATM+LRFL+LSCT+LADJ
Модель
переноса
излучения
Искажающие
характеристики
LATM , LRFL , LSCT ,
LADJ , Pλ
Атмосферная
коррекция
Bλ[TSRF]=(Lλ–ΔICOR)/(Pλ ελS )
Bλ[TSRF]→TSRF(x,y)
Температура поверхности Земли (TSRF)
Радиационная модель (MODTRAN)
Информация о состоянии атмосферы
20
Автоматная модель системы
 φ
z1
a\q q q
0
a1
a1
0
a \ q q q5
5
a6
1
q b6
6
q b
7
a1
z6
Z={A,B,Q, φ,}
q b
1
a6
7
q b6
7
q b
7
z1
 φ
8
z2
z3
z4
z5
z6
21