Smart Interface. МГУПИ

РАЗРАБОТКА БЕСКОНТАКТНОГО КРОССПЛАТФОРМЕННОГО
ИНТЕЛЛЕКТУАЛЬНОГО ИНТЕРФЕЙСА
Краткое описание проекта
Система Smart interface представляет собой специальное
(управляющее) программное обеспечение, созданное на базе
методов
искусственного
интеллекта.
Используя
видеоинформацию
с
веб-камеры,
система
считывает
биометрические параметры лица человека, положение его
головы и глаз. Текущая информация анализируется, и на основе
анализа система принимает решение.
2
Технические характеристики
Система работает в режиме реального времени, с частотой от 10 до 30 кадров в
секунду. Более подробно характеристики можно представить в виде таблицы:
Минимальное требование к оборудованию:
Система состоит из ПК, программного обеспечения и обычной веб-камеры.
• Процессор с частотой 1,6 ГГц или выше • 500 МБ
ОЗУ • 2 ГБ свободного места на диске
• Жесткий диск со скоростью 5400 об/мин
• Видеоадаптер с поддержкой DirectX 11
• Стандартная веб-камера
• Операционная система Microsoft® Windows® Seven / XP
3
Описание функционала
Система Smart Interfase отслеживает положение и поворот
головы в X, Y и Z координатах, относительно веб-камеры.
Распознаётся голова и жесты головой. Такое отслеживание по
шести степеням свободы, как правило, доступно только
специализированному оборудованию для трекинга. Smart
Interfase распознает положение ключевых областей на лице,
таких как глаза, уголки рта и кончик носа.
Обнаруженные области могут использоваться для дальнейшего
применения в системах распознавания направления взгляда
глаз, систем управления поворотом головы и распознавания
эмоций. Особенно важно достаточно четкое определение области
глаз. В случае когда область глаза определена, применение
специальной модели для отслеживания зрачка существенно
упрощается.
4
Описание функционала
Система работает в широком диапазоне освещения и
оптических помех. Используется автоматический поиск и
захват лица. На данный момент отслеживается
положение головы в 3D пространстве, что позволяет
создать на её основе систему управления с помощью
жестов головой. Несомненным достижением является
распознавание биометрических точек лица в реальном
режиме времени с помощью одной обычной веб-камеры.
Модель головы и модель глаз реализована с помощью
класса алгоритмов Active Appearance Models, за счет чего
повышается общая производительность системы.
5
Преимущества и уникальные
свойства
• Распознавание
ситуационной обстановки, по средствам
интеграции информации с видео и её интеллектуальной
обработки.
• Применение интеллектуальных методов обработки видео с
обычных веб-камер и для отслеживания положений глаз, при
различном положении головы (без фиксации головы).
• Не требует специального оборудования (только веб-камеры с
разрешением не менее 1,3 мегапикселя ) и не является
источником дополнительного излучения.
6
Преимущества и уникальные
свойства
• Алгоритмы распознавания работают в реальном времени 25
кадров в секунду
• Метод управления с помощью движений глаз и головы не
имеет аналогов
• Приложение может работать на всех основных платформах и
операционных системах, в том числе и на мобильных.
• Интеллектуальная система «прощает» неточности жеста.
• Настройка «под себя». Широкие возможности настройки,
возможность обеспечения субъективного комфорта.
7
Области применения
МЕДИЦИНА
Хирургия, травматология,
лабораторные исследования
ВОЕННАЯ И
КОСМИЧЕСКАЯ
ОТРАСЛЬ
ИГРОВЫЕ И
МУЛЬТИМЕДИЙНЫЕ
ТЕХНОЛОГИИ
АВТОМОБИЛЬНАЯ
ПРОМЫШЛЕННОСТЬ
(умный дом)
ОБРАЗОВАНИЕ
ДИЗАЙН
IT
8
Области применения
Примеры основного применения:
• Обычные пользователи компьютером получат возможность
управлять операционными системами Windows 7 / XP,
прикладными программами, браузерами, играми и т.д.
• Мультимедийная система поддержки обездвиженных больных.
Система
позволит
управлять
роботом-манипулятором,
управлять проигрывателями, пользоваться интернет –
ресурсами, общаться.
9
Области применения
Примеры
альтернативного
применения
информационными и техническими системами:
другими
• Скафандры для космонавтов, а также аквалангистов, военных
и пожарных могут снабжаться информационными системами,
проецирующими графический интерфейс внутри шлема, перед
лицом. Управление таким интерфейсом затруднено руками в
перчатках. Для управления подобного рода интерфейсами
предполагается использовать биометрические характеристики
(в том числе и движение глаз или голос).
• Младший медицинский персонал может использовать
интерфейс
для
управления
медицинской
техникой,
требующей стерильность или находящейся в защитных
пакетах.
10
Области применения
• Умный дом. Управление различными элементами и
функциями класса систем «Умный дом». Системы освещения,
управление шторами, мультимедийные системы, набор воды в
ванной.
• Операторы манипуляторов с радиоактивными и вредными
веществами
на
промышленных
объектах
получат
возможность управлять информационными дисплеями и
манипулятором, не применяя руки.
• При выполнении хирургических операции, хирурги смогут
управлять подачей инструментов с помощью манипулятора
и пользоваться информационными дисплеями, оставляя
руки в необходимом положении.
• Изучение особенностей поведения пользователя в тех или
иных ситуациях.
11
Области применения
• Водители транспортных средств, так же как и лётчики, могут
использовать интерфейс для управления дисплеем или
информацией на лобовом стекле с помощью голоса и движений
головы, при этом ввод команд с помощью глаз будет запрещён,
т.к. водитель или лётчик должен постоянно визуально
контролировать обстановку.
• Управление банкоматами и дисплеями кассовых аппаратов.
• Игровые и развлекательные системы могут применять
интерфейс для управления персонажами и другой информацией.
Управление интерфейсом и отдельными компонентами
операционной
системы
(прикладными
программами,
текстовыми редакторами, средствами доступа в интернет)
компьютера так же расширяет применения разработки
практически для любого пользователя.
12
2016/5/9