Экспериментальный комплекс Систем Технического Зрения
advertisement
Экспериментальный комплекс СТЗ для информационного обеспечения автоматизации управления летательными аппаратами С.М. Соколов, А.А. Богуславский (ИПМ РАН им. М.В. Келдыша) Фёдоров Н.Г., Виноградов П.В. (Раменское приборостроительное конструкторское бюро) Цели сообщения • Актуальность использования СТЗ (Проект Х47В) • Опыт ИПМ по разработке бортовых СТЗ для навигации и инф. привязке • Компоновка СТЗ БЛА • Результаты первых экспериментов • Заключение НПК Алферьево 2015 2 О перспективности СТЗ Одна из тенденций в области сенсорного обеспечения РТК в части датчиков внешней среды – центральное место занимают системы технического зрения. В качестве обоснования, приведём ряд известных реализаций. НПК Алферьево 2015 3 Центральная часть системы информационного обеспечения - СТЗ Система технического зрения выполняет следующие функции: Уточнение/определение координат текущего местоположения транспортного средства по ориентирам для увеличения точности и повышения надежности навигации. Вычисление задания для регулятора подруливания на основе видеоданных. Обнаружение препятствий, обочин, пешеходов, других транспортных средств. Определение состояния объектов окружающего пространства Информационное обеспечение бортовым оборудованием: манипулятором, специальной техникой. Отличительные особенности СИО на основе СТЗ • Независимость от внешних источников информации • Развитая БД • Значительная унификация алгоритмического обеспечения для обработки цифровых изображений различных диапазонов лучистой энергии НПК Алферьево 2015 5 Системы компьютерного зрения в современных робототехнических системах Northrop Grumman БЛА X-47B – взлет/посадка на авианосец февраль 2011 г. – первый полет май 2013 г. – взлет с палубы авианосца июль 2013 г. – посадка на авианосец НПК Алферьево 2015 6 Системы компьютерного зрения в современных робототехнических системах БЛА X-47B – совместный полет с пилотируемым самолетом 2014 г. – эксперименты по организации взлета/посадки до или после пилотируемого самолета. На фюзеляже пилотируемого самолета видны метки для использования средствами СТЗ НПК Алферьево 2015 7 Системы компьютерного зрения в современных робототехнических системах БЛА – дозаправка в воздухе 2012 г.: DARPA продемонстрировала совместный полет со сближениями на расстояние порядка 30 м двух доработанных БЛА RQ-4 Global Hawk как пример технологии для реализации автоматической дозаправки в воздухе от беспилотного танкера. НПК Алферьево 2015 8 Пространство конфигураций/архитектур СИО БЛА Z Алгоритмическое обеспечение 3 «Точка сборки» 2 O Y Описание среды (БД фоноцелевой обстановки) 1 X Аппаратура (Сенсоры) 1 – набор аппаратных средств с фиксированными техническими характеристиками; 2– база данных структурных/количественных описаний среды функционирования; 3 – набор алгоритмов решения целевой задачи. Отдельные координаты – в свою очередь являются точками в пространстве соответствующего научно-технического направления. НПК Алферьево 2015 9 Тепловизионная система «в помощь водителю» Метод формирования классов фоноцелевой обстановки • Вспомогательная зона – информация об удаленных объектах окружающих дорогу; • Зона прогноза - зона полосы движения, которую достигнет транспортное средство (с учетом скоростей и специфики движения по дороге); • Зона ответственности - зона полосы движения, которую достигнет транспортное средство на следующем шаге управления, или зона с линейным размером вдоль направления движения равным длине пути экстренного торможения; НПК Алферьево 2015 10 Эксперименты с тепловизионной системой «в помощь водителю» сигнальная информация водителю Восклицательный знак в зоне прогноза возникает в случае обнаружения объекта интереса. Горизонтальные стрелки под ним указывают направления первоочередного внимания на объект интереса. Вертикальная стрелка в зоне ответственности – движение разрешено/запрещено. Короткие стрелки в основании вертикальной стрелки – «всё в порядке»; предупреждение; отклонение по расположению ТС относительно проезжей части полосы движения. НПК Алферьево 2015 11 Мобильная система определения координат объектов, прилегающих к маршруту следования транспортного средства НПК Алферьево 2015 12 Мобильная система определения координат объектов, прилегающих к маршруту следования транспортного средства НПК Алферьево 2015 13 Мобильная система определения координат объектов, прилегающих к маршруту следования транспортного средства НПК Алферьево 2015 14 Мобильная система оперативного картографирования НПК Алферьево 2015 15 Автоматический мониторинг процессов сближения и стыковки КА и МКС 16 Переход от телеуправления к телепрограммированию Тенденция в области алгоритмического обеспечения СИО РТК – переход от телеуправления к телепрограммированию. РТК автономно выполняет не отдельные действия, а некоторую функционально законченную совокупность действий. Стоимость разработки программного обеспечения РТК превосходит стоимость разработки аппаратной части. НПК Алферьево 2015 17 Проблема представления окружающего пространства и решения в нём навигационной задачи мобильных робототехнических комплексов Представление об Окружающем Пространстве + Навигационная Задача Датчик + алгоритм сбора данных ... Датчик + алгоритм сбора данных Комплексирование данных (отнесение к одному физическому объекту) Архитектура (компоновка/ комплексирование) модулей СУ СУ МР Локальные манёвры Локализация + построение локальной модели среды (проходимость, безопасность) Планирование / выбор пути Решение навигационной задачи интерфейс оператор Отображение образов объектов ОП Всё должно исполняться на бортовых вычислительных средствах (аппаратура + ПО) в реальном времени Технология программирования ООП - Компонентный подход; - Шаблоны ПО АИС Разработка циклов реального времени Проектирование и реализация высокоуровневых алгоритмов обработки данных НПК Алферьево 2015 18 Методы решения задач представления окружающего пространства и решения в нём навигационной задачи Схема «навигационный крест». ГРНС ИН СУ МР ТНС Оператор Здесь ГРНС - глобальная радионавигационная спутниковая система; ТНС традиционная навигационная система, включающая в себя процессы счисления пути и подкорректировки по ориентирам; ИН - интерпретирующая навигация. Концепция интерпретирующей навигации (ИН) Суть интерпретирующей навигации (ИН) заключается в том, что положение МР на местности определяется не в абсолютной системе координат (АСК), а на основе динамики изменений описания видимой окрестности среды. Аналог количественной модели АСК выступает качественная модель – граф информационной эквивалентности (ГИЭ). Локализация МР определяется топологическим описанием его отношения со средой типа: «в помещении А», «напротив двери» и т.п. Переход к геометрическому моделированию объектов (определения векторов характеристик положения, ориентации) осуществляется абсолютной интерпретацией относительных описаний только по мере необходимости решения специальных задач (определение начального и конечного положений МР, приближения на заданное расстояние, занятие определенного положения с заданной ориентацией, манипулирования объектами и т.п.) Основой навигации служат ориентиры – «точечные» особенности среды в дальнометрическом описании (отдельные объекты среды или их части). Эти ориентиры разбивают всю область функционирования робота на районы информационной эквивалентности (И.Э.). Положение МР (без привязки к (АСК) определяется характерным размером района и.э. Каждому району и.э. соответствует абсолютное описание – упорядоченная по углу наблюдаемая видимая последовательность ориентиров – кольцо. Выбор пути может быть осуществлен по связной цепочке районов и.э. План двигательного поведения представляет собой последовательность поведенческих актов (ИДД) переход между которыми осуществляется по наступлении определенного события. НПК Алферьево 2015 20 Методы решения задач представления окружающего пространства и решения в нём навигационной задачи Способы задания и реализации пути. Способ задания пути Вспомогательные действия Координатный: последовательность точекподцелей Планирование сопутствующих навигационных измерений Интерпретирующий: последовательность предложений на языке ИН Отсутствуют Смешанный: последовательность подцелей Трансляция пути на язык ИН точек- НПК Алферьево 2015 Особенности реализации движения Движение в заданную точку с подкорректировкой по ориентирам Движение в заданный район и.э. на основе данной совокупности ИДД Движение на основе совокупности ИДД; определение конечного положения в ДСК 21 Использование программных каркасов Примеры программных каркасов: Каркас – заготовка приложения СТЗ для доработки применительно к конкретной задаче. • National Instruments LabVIEW • Графы фильтров Microsoft DirectShow • Потоковая архитектура для обработки данных в мультимедиа-системах Flow Sheduling Framework Проблемы применения в СТЗ: •Возможность изменения цикла реального времени • Учет неравномерности обработки зрительных данных • Продолжительный этап опытной эксплуатации/отладки Компонентный каркас для разработки ПрО СТЗ реального времени Режимы функционирования Подсистема интерфейса пользователя Подсистема обработки изображений Объект “Буфер кадра” Подсистема ввода зрительных данных Объект “Режим настройки” Запустить Включить Выполнить регистрацию клиента Координация взаимодействия подсистем – объекты-режимы Уведомление о съеме кадра Открыть буфер изображения Копировать Режим настройки: Закрыть буфер изображения Получить изображение Обработать изображение • проверка аппаратной части • проверка обработки изображений Отобразить текущие результаты обработки • просмотр результатов Выключить Отменить регистрацию клиента НПК Алферьево 2015 23 Компонентный каркас для разработки ПрО СТЗ реального времени Режимы функционирования Подсистема интерфейса пользователя Подсистема обработки изображений Объект “Автоматический режим” Подсистема ввода зрительных данных Запустить Включить Координация взаимодействия подсистем – объекты-режимы Выполнить регистрацию клиента Уведомление о съеме кадра Открыть буфер изображения Обработать изображение Отобразить результаты Закрыть буфер изображения Автоматический режим: • Обработка в реальном времени • Отключение буфера кадра Отобразить текущие результаты обработки Выключить Отменить регистрацию клиента НПК Алферьево 2015 24 Компонентный каркас для разработки ПрО СТЗ реального времени Высокоуровневые алгоритмы обработки Объект класса CVSAlgPrc подключается к подсистеме обработки изображений IPersistanceParmsContainer Контейнер хранимых параметров 1 n CAlgPrc CAlgDataRecord Высокоуровневый алгоритм обработки зрительных данных СVSAlgPrc Высокоуровневый алгоритм обработки зрительных данных прикладной СТЗ Результаты обработки изображения CVSAlgPrc_BottomTop Алгоритм структуры «обработка снизу-вверх» CVSAlgPrc_TopBottom Алгоритм структуры «обработка сверху-вниз» CPrediction Прогноз значений параметров объектов интереса НПК Алферьево 2015 25 Постановка задачи На основании уже достигнутого уровня (пример проект X47) можно спрогнозировать быстрой рост автономности будущих БПЛА с одновременным ростом их «интеллекта». Накопленный научно-технический задел по разработке информационно-управляющей авионики для пилотируемых летательных объектов позволяет ОАО «РПКБ» приступить к проектированию комплекса пилотажно-навигационного оборудования (КПНО) для интеграции в беспилотную систему. На первом этапе работ ставится задача разработать общую компоновку бортового комплекса, исследовать программно-аппаратную архитектуру, оценить возможности интегрируемой системы технического зрения (СТЗ) при решении задач информационного обеспечения автоматического движения летательного аппарата по взлётнопосадочной полосе и совершении взлёта и посадки. Отработка и экспериментальная проверка предлагаемых решений производится на лёгком пилотируемом летательном аппарате. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 26 Требования к КНПО Критерием, определяющим выбор состава и структуры комплекса, может служить гарантированность навигационного определения, как вероятность того, что в любое время и в любой точке пространства навигационный комплекс обеспечит потребителя информацией, достаточной для решения его задач с точностью не ниже требуемой. Отсюда вытекают требования к разработке КНПО: разработка математического обеспечения, содержащего комплекс унифицированных программных модулей; разработка способов управления; конструктивно-функциональная интеграция, обеспечивающая оптимальное использование функциональной избыточности открытость архитектуры, обеспечивающая за весь период эксплуатации самолета возможность замены или наращивания КПНО новыми перспективными датчиками и решаемыми задачами. отработка и экспериментальная проверка предлагаемых решений 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 27 Состав КНПО пилотажно-навигационное средство (ПНС) 2 шт. с встроенными вычислителями: спутниковая навигационная система (СНС); система воздушных сигналов (СВС); система технического зрения (СТЗ) в составе: вычислительно-управляющий блок (ВУБ) 2 шт.; камера высокого разрешения оптического диапазона 4 шт.; приемная антенна СНС ГЛОНАСС/GPS с разветвителем сигнала (РС); приемник воздушного давления (ПВД); система курсовертикали (СБКВ) 2 шт.; многофункциональный индикатор (МФИ) 2 шт.; пульт управления индикацией (ПУИ) 2 шт. - – – – – – – – – – – 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 28 Состав КНПО 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 29 Задачи СТЗ •непрерывное автоматическое определение относительных координат и скорости самолета в инерциальной системе координат, заданной относительно ВПП; •непрерывное автоматическое определение параметров угловой ориентации самолета, в том числе: •при движении по аэродрому (рулении, разбеге и пробеге) – угла ориентации продольной оси связанной с самолетом системы координат относительно продольной оси ВВП (или другой линии, задающей направление движения); •в полёте (в том числе, на взлете, заходе на посадку и посадке): – углов тангажа и крена самолета (при условии видимости линии горизонта в одном из полей зрения СТЗ ); – угла ориентации продольной оси связанной с самолетом системы координат относительно продольной оси ВВП; – угла наклона траектории (угол между касательной к траектории в вертикальной плоскости и плоскостью поверхности ВПП). 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 30 Точности решаемых задач сверхвысокую (для обеспечения режимов посадки и сближения объектов при дозаправке): а) по координатам – 2÷4 м; б) по высоте – 0,5 м; в) по составляющим скорости – 0,01 м/с; г) по времени – 0, 3 мс; высокую (при заходе на посадку, для обеспечения встречи в воздухе и управления движением): а) по координатам – 100 м; б) по высоте – 10 м; в) по составляющим скорости – 0,1 м/с; г) по времени –3 мс; среднюю (при вождении по маршруту): а) по координатам – 500 м; б) по высоте – 50 м; в) по составляющим скорости – 1 м/с; г) по времени – 3 0мс; низкую (при полётах по маршруту в отдалённых районах, для обеспечения вывода БПЛА в район действия корректирующих систем): а) по координатам – 5 км; б) по высоте – 0,5 км; в) по составляющим скорости – 5 м/с; г) по времени – 300 мс; Примеры изображений Примеры изображение ВПП с разметкой. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 32 Примеры изображений Пример изображения (компьютерной модели) ВПП в поле зрения камеры, установленной на борту ЛА. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 33 Режимы функционирования КПНО, в которых задействована СТЗ •“Предполетная подготовка”; •“Руление по ВПП”; •“Разбег и взлет”; •“Заход на посадку”; •“Посадка и пробег”. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 34 Алгоритмы обработки зрительных данных Решение задач зрительного анализа объединением подходов «снизувверх» и «сверху-вниз». Примерами низкоуровневых алгоритмов являются алгоритмы обнаружения характерных признаков на изображениях – отрезков, краев, углов, окружностей и т.п. В каркасе ПО СТЗ предусмотрены средства отладки и контроля масштаба реального времени. Пороговые ограничения по длительности обработки поступающих изображений динамически вычисляются в процессе обработки очередного кадра. Высокоуровневые алгоритмы обработки зрительных данных в ПО СТЗ выполняют обработку, ориентированную на осуществление каждого из выделенных режимов функционирования ЛА. В этих алгоритмах выделяется набор последовательно выполняемых этапов обработки зрительных данных, успешное выполнение которых приводит к принятию решения об обнаружении образов объектов интереса. Эксперименты по компоновке макета СТЗ и реализации ПО Характеристики камер: • разрешение 2,3 – 5 Мб (1920x1200, 2592x1944, RGB); • выход: цифровая форма представления видеосигнала высокого разрешения без сжатия, упакованная для передачи по гигабитной сети; • прогрессивная развёртка (доступ к произвольным фрагментам растра), предусматривает возможность передачи по каналам связи и предоставления на обработку в вычислительное устройство только необходимых зрительных данных, а не всего кадра; • управление объективом с автоматическим диафрагмированием; • внешняя синхронизация. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 36 Эксперименты по компоновке макета СТЗ и реализации ПО Вычислительно-управляющие блоки (ВУБ) в составе макета СТЗ имеют следующие характеристики: • процессор: Intel Core i7 с частотой 3,3 ГГц; • оперативная память: 16 Гб; • накопитель твердотельный; • 4 сетевых канала Gigabit Ethernet. Каждый ВУБ обслуживает в режиме реального времени (с частотой от 15 до 30 Гц) одну стереопару. Всё оборудование питается от бортовой сети ЛА. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 37 «горизонтальная» стереопара 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 38 Камеры «вниз смотрящей» стереопары 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 39 Калибровочные стенды 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 40 Заключение Проведённые эксперименты по компоновке, оценке точности и быстродействия системы технического зрения в составе системы информационного обеспечения СУ ЛА показали эффективность (соответствие ТЗ) предложенных решений и позволили перейти к лётным экспериментам. 07.05.2016 10-я НПК "Перспективные системы и задачи управления" 41
