Модельная оценка распознавания объектов видеоспектрометрами космического базирования по данным воздушной и наземной гиперспектральной съемки Остриков В.Н., Плахотников О.В., Шулика К.М. Санкт-Петербургский филиал ОАО «КБ «Луч» 197376, г.Санкт-Петербург, ул.Академика Павлова, д. 14а тел.: (812) 234-76-52 факс: (812) 234-76-51 [email protected] [email protected] 2 Структурная схема модельных исследований Генератор параметров условий наблюдений и параметров прибора ГСС Синтез пространственно - спектрального сюжета (образа объект – фон) Синтез элементарного сюжетно – портретного шаблона (пространственного распределения объект - фон) Модель условий наблюдения, передаточной характеристики ФПУ прибора (спектрально - пространственное размытие, пространственно-спектральный шум) Модель калибровки (пересчет элементов в КСЯ) Модель формирования случайного (с заданной функцией распределения) элементарного спектрального сигнала (в базовом элементе пространственного разрешения) База основных характеристик КСЯ, минимальные, максимальные значения объектов и фонов, функции распределения на отдельных спектральных линиях Модель субпиксельного бинарного разделения (спектральное отнесение элементов к объекту или фону) Расчет вероятностей спектрального различения объект-фон 3 Генератор параметров условий наблюдений и параметров прибора ГСС - задание высоты наблюдения; - зенитного угла; - типа атмосферы; - аэрозоля; - МДВ; - набора СПЭЯ модельных элементов сцены в зависимости от КСЯ (на MODTRAN5.2). - задание диаметра апертуры; - фокусного расстояния; - коэффициента экранирования первичного зеркала; - размера приемного элемента; - коэффициентов аберраций оптики; - кривой относительной спектральной чувствительности приемной матрицы и пропускания оптики; - среднее альбедо фона; - энергетической чувствительности приемных элементов; - пространственного биннинга; - интервала спектральной чувствительности. Синтез элементарного сюжетно - портретного шаблона (случайного пространственного распределения объект - фон) 1, если RAVN (ij ) K zap bij (m) 0, если RAVN (ij ) K zap Усреднение в R*R раз каждого моделируемого элемента разрешения исходный пространственный шаблон разрешения 1:2 шаблон 1:1 увеличение в 2 раза шаблон разрешения 1:4 увеличение в 4 раза шаблон разрешения 1:8 увеличение в 8 раз Пример формирования пространственного шаблона для коэффициента заполнения 0.33 исходный пространственный шаблон разрешения 1:2 шаблон 1:1 увеличение в 2 раза шаблон разрешения 1:4 увеличение в 4 раза шаблон разрешения 1:8 увеличение в 8 раз Пример формирования пространственного шаблона для коэффициента заполнения 0.7 4 Синтез элементарного сюжетно - портретного шаблона (детерминированного пространственного распределения объект - фон) Усреднение в R*R раз каждого моделируемого элемента разрешения исходный пространственный шаблон - 1 объект в модельном элементе разрешения (увеличение в 2раза) исходный пространственный шаблон - 4 объекта в модельном элементе разрешения (увеличение в 2раза) Пример формирования пространственного шаблона для заполнения моделируемого элемента разрешения одним и четырьмя объектами 5 Моделирование случайных спектральных векторов на пространственном шаблоне тестового поля Fv ( ) qij (1 qij ) Fn ( ), ij bO Ov ( ) qij (1 qij ) On ( ), ij bF ij ( ) Заданная функция распределения FO,F (ij ) FO ( RAVN [ ij ]), ij bijO qij FF ( RAVN [ ij ]), ij bijF 6 7 Расчет сигнальных характеристик модельного образа объект - фон L Vij ( ) p tn 2 o ( ) ( ) o [ bka ( ) ka ( ) Sk ( ) kij ( )] k 1 - сигнал приемного элемента L VF ( ) p tn 2 o ( ) ( ) o [ bka ( ) ka ( ) Sk ( ) kF ( )] k 1 tn H o 10 3 f 398600 ,44 /( Rz H o 10 3 ) p d2 /4 f 2 L /109 Ho 103[км] o / L Шум приемных элементов N p ( ) p ( ) 2 Pp 2 hc , Pp [Vatt sec m 2 ] пороговая экспозиция Rz 6371 [км ] - сигнал от фоновой облученности h 6.63 10 34[ Дж с] с 3 108 [m / c] 2 F ( ) N F ( ) - распределение Пуассона ( ) N F ( ) k ch F ( ) 2 2 p ( ) 2 Фотонный шум N F ( ) VF ( ) / h c - отношение сигнал-шум тракта Шум в спектральном канале m ( ) VF ( ) / ( ) kch коэффициен т шума считывания 1.2 Коэффициент шума считывания в общем случае определяет все составляющие регулярных и случайных возмущений данных ГСС, обусловленных как собственно считыванием, так и модуляцией чувствительности приемных элементов матрицы Расчет оптических сигналов на входной апертуре Атмосфера субарктическая летняя, 30 град в, 60 град с, 21 июня, 13-16 ч местного На основе модели MODTRAN 5.2 рассчитывается набор зависимостей спектральных плотностей энергетических яркостей (СПЭЯ) от КСЯ поверхности на заданной высоте наблюдения с шагом 1 нм, верификация расчетов проверялась сопоставлением с измеренными спектральными характеристиками сигналов на основе полевого ручного спектрометра (FieldSpac). 50-0-10 5-0-10 23-10-10 23-10-13 8 Спектральные свойства тракта Матрица «SONY» ICX285 Отношение сигнала к шуму 9 10 Линейная модель формирования изображения в частотной области g 21{ 2 [ f ] 2 [h]} g , f - выходное изображение и исходный энергетический портрет 2[], 21[] - прямое и обратное двумерные преобразования Фурье Функция рассеяния точки h(q) {2[ p(q)]}2 , q {qk }, k 0,1,...,n Функция зрачка в полярных координатах A( , ) 1, p( , ) A( , ) exp[i 2 w( , )], ( , ) апертуре n Фазовая функция w( , ) qk zk ( , ) k 0 z k ( , ) полиномы волновых аберраций Для качественной оптики космического исполнения коэффициенты аберраций определяются по Сокольскому М.Н. qk Оптическая передаточная функция прибора в тракте формирования спектральных сигналов Учитываются параметры оптико-электронного прибора и размер элементов приемной матрицы. В зависимости от длины волны принимаемого сигнала, аберрационных искажений оптики и допустимого смаза в пределах размера приемного элемента рассчитывается ОПФ ОЭП, которая применяется к модельному образу объект-фон. Верификация расчетов проведена сопоставлением полученных МПФ с имеющимися в литературе данными (в частности, по работе Смирнова М.Н. – ВНЦ «ГОИ им. С.И.Вавилова»). 11 Рассчитанные ОПФ ОЭП в зависимости от длины волны 0.42 mkm 0.66 mkm 1.0 mkm Рассчитанные ФРТ в зависимости от длины волны (X16) 0.42 mkm 0.66 mkm 1.0 mkm 12 Преобразование сигнала трактом формирования, имитация калибровки а б в г Последовательное преобразование тестового поля (R – 1.0 мкм, G –0.66 мкм , B – 0.42 мкм): а) модельное распределение КСЯ, б) сформированный сигнал на элементе, в) с учетом влияния оптического размытия, г) с наложенным аддитивным шумом 13 Субпиксельный метод спектрального разделения текущего вектора на объект - фон 14 Шум (qijO , qijF )T (ij ) ( SofT Sof ) 1 SofT ij so1 , so 2 ,..., soN S , ij ijk k 1,..., N s , s ,..., s fN f1 f 2 T of 2 O 1 M 1 qijO ( f ) , qijO( f ) ( ij f ) M Решающее правило O , qijO 3 O ij f , qijO 3 O Образ сигнала объекта, Образ сигнала объекта, разрешение 8*8 пикселей, разрешение 8*8 пикселей, увеличение в 15 раз увеличение в 15 раз Гистограмма для интервала 5 нм, разрешение 8*8 пикс*пикс Гистограмма для интервала 20 нм, разрешение 8*8 пикс*пикс Исходные спектральные опоры и потенциальная оценка спектрального различения пары объект - фон Объект1 на траве 8*8 . 16*16 32*32 15 Исходные спектральные опоры и потенциальная оценка спектрального различения пары объект – фон (высота Солнца 60 град, МДВ=50 км) Объект2 - трава . 8*8 16*16 32*32 16 Влияние атмосферной трассы на потенциальную оценку спектрального различения пары объект – фон 17 Различение спектрально близких поверхностей Возмущенный грунт MDV=50 Невозмущенный грунт MDV=5 18 Некоторые выводы по приведенным результатам расчетов - для заданных входных данных по аппаратуре, высота наблюдения 425 км, d : f=1:12, размер фотоприемного элемента 7 мкм, спектральная чувствительность приемника 5*10-7 [Дж/м2], - условия наблюдения- атмосфера арктическая летняя, сельский аэрозоль, МДВ =50 км, 23км, 5 км, надир, под 10 градусов от надира По двум рассмотренным парам – два близких к фону объекта на фоне зеленой травы подходящий вариант спектрального интервала – 10 нм, обеспечивающий максимальную спектральную чувствительность, для спектрально близких пар «объект-фон» требуется повышение спектральной чувствительности прибора до 5 нм. Для «идеальных» условий съемки аппаратура ГПС типа носителя TacSat-3 позволяет потенциально различить объекты на заданном фоне, занимающие площадь до 3% от элемента разрешения размером 8*8 пикселей. При переходе к более реальным условиям наблюдения (высота Солнца далеко не соответствует максимальной освещенности либо состояние атмосферы посредственное – метеодальность видимости не выше 5 км) возможности различения рассмотренных спектральных пар объект-фон существенно снижаются – потенциально различаются спектральные кривые, если площадь, занимаемая объектом, составляет не менее 10% от элемента разрешения 8*8 пикселей. Разработанная модель позволяет оценивать потенциальные возможности разделения сочетаний различных спектральных пар в зависимости от условий наблюдения и параметров используемых видеоспектрометров. Модель позволяет заранее проанализировать возможности спектрального распознавания перекрестных сочетаний спектральных пар используемой библиотеки и определить базовые векторы, отстоящие между собой на спектральный контраст, разрешаемый аппаратурой с прогнозируемыми параметрами. На базе модели проводится отработка методов спектральной идентификации объектов с использованием библиотеки. 19 Выявление дефектов формирования ГСС в специальной метрике Синтезированный RGB образ (по снимку ЗАО «НТЦ «Реагент») Обработка исходных данных методом выявления регулярных искажений обобщенная метрика Афанасьева (ВНИИКАМ) - расстояние Хэмминга 20 Адаптивная радиометрическая коррекция для анализа уровня корректируемых строчных шумов (КСШ) различных средств космического наблюдения КСШ фрагмента снимка QB КСШ фрагмента снимка Ikonos 21 КСШ фрагмента снимка Eros Адаптивная коррекция строчных шумов Исходный кадр Результат коррекции 22 Адаптивная компенсация высокочастотных строчных сдвигов Образ после радиометрической коррекции Результат компенсации высокочастотных строчных сдвигов 23 Компенсация полосовых шумов снимков низкого качества методом адаптивной коррекции Исходный фрагмент Результат коррекции 24 Специальная адаптивная геометрическая коррекция данных для синтеза комбинированных образов панхроматической съемки и данных ГСС а) б) г) в) Пример комбинированной навигационной (по крену) и специальной коррекции снимка: а) исходный вырез; б) образ космической съемки того же участка; в) результат коррекции по навигационным данным; г) результат специальной высокочастотно-низкочастотной (комбинированной) коррекции 25 Строчная радиометрическая коррекция ГСС на отдельных спектральных линиях исходный вырез скорректированный 26 27 Адаптивная радиометрическая коррекция строчного шума авиационной ГСС Отображение исходного «куба» Отображение результата коррекции Разность Адаптивная кадровая коррекция данных ГСС на отдельной спектральной линии Исходный спектральный кадр Скорректированный спектральный кадр Разность 28 Влияние радиометрической коррекции на данные ГСС, полученные воздушной БАН Синтезированный образ до коррекции Синтезированный образ после коррекции (результат интегральной коррекции) 29 30 Модельная оценка распознавания объектов видеоспектрометрами космического базирования по данным воздушной и наземной гиперспектральной съемки