Программный комплекс «Интерактивная информационная доска» Дроздова Юлия

Программный комплекс
«Интерактивная информационная
доска»
Дроздова Юлия
Текущее состояние доски
1
Интерактивная информационная доска
2
Схема программного комплекса
3
Обзор существующих решений
4
Обзор существующих решений
Основные критерии
сравнения
парадигма
ARToolKit
Layar
видеозрение
GPS-координаты
определяются
разработчиком
• текстовая информация;
• гиперссылки;
• изображения(non free).
Процесс разработки
приложения
• возможные трудности при
компиляции;
• требуются
программистские навыки;
• свобода действий
разработчика.
• существуют спец.
приложения для разработки;
• не требуется
программистских навыков;
• ограничение свободы.
Основные недостатки
•Устаревшие алгоритмы
•Распознавание
монохромных изображений
•Неосмысленный выбор
изображений
•Точность идентификации
положения точек
расширения не
удовлетворяет требованиям
предметной области
Размещаемый доп. контент
5
Компоненты обнаружения и
распознавания. Принцип работы
Эталонные
изображения
эталон
Изображение
Компонент
обнаружения
Сегменты для
распознавания
Компонент
распознавания
Распознанные
изображения
?
6
Компоненты обнаружения и
распознавания. Принцип работы
7
Распознаваемые маркеры
Информация о
предлагаемых
вакансиях
(job)
Информация об
успеваемости
(marks)
Срочная информация
(timed)
Дополнительная
информация
(inf)
Информация о
расписании
(timetable)
8
Компонент обнаружения маркеров
Исходное изображение
Бинарное изображение
Сегмент изображения
9
Сравнение алгоритмов бинаризации
Степень
освещенности
объекта
Адаптивная бинаризация
Глобальная бинаризация
Вес пикселей
равнозначен
Вес пикселей
задан в соотв.
с функцией
Гаусса
Пороговое
значение
определенно
средней
яркостью
изображения
Пороговое
значение
определенно
эксперимент.
путем
Слабое
освещение
(до 280 лк)
4,3%
60,5%
11,6%
2%
Офисное
освещение
(280-800лк)
42,4%
98,4%
36,4%
99,6%
10
Обнаружение маркеров.
Дерево контуров
1
2
3
4
5
6
7
Контуры на изображении
Дерево контуров
11
Обнаружение маркеров.
Квадратный контур
2
1
90°
 Замкнутый контур
 4 точки излома
Углы близкие к 90°
Одинаковые сегменты
4
3
12
Обнаружение маркеров.
Дерево контуров
1
2
3
4
5
6
7
Контуры на изображении
Дерево контуров
13
Обнаружение маркеров.
Дерево контуров
1
2
3
4
5
6
7
Контуры на изображении
Дерево контуров
13
Распознавание маркеров.
Задача классификации
Особые точки изображения
Метод потенциальных функций
?
14
Распознавание маркеров.
Задача классификации
Распознаваемое изображение
Эталонные изображения
…
15
Распознавание маркеров.
Задача классификации
Формула фильтрации:
Формула расчета потенциала:
PDF=
P
16
Реализация и тестирование
• Язык разработки Java, С++
• Используемая библиотека: OpenCV 2.4.3
• Устройства для тестирования: мобильные устройства на базе Android
• Объем тестовой выборки более 10000 изображений
• Характеристики выборки:
▫
▫
▫
▫
Угол обзора(до 80° от перпендикуляра к плоскости)
Масштаб (маркера занимает от 10% изображения)
Освещенность(офисное освещение и ниже)
Разрешающая способность видеокамеры(5mpx, 8mpx)
17
Тестирование
Ошибки первого рода
25
23
21
маркеры, %
20
18
job
15
13
timed
11
10
inf
9
5
0
0
0
0
0.1
0
0.2
0
0.3
0
0.4
0
0.5
1
0
0.6
4
2
0
0.7
3
1
0
0.8
0
0.9
5
4
1
0
1
marks
timetable
пороговое значение
Отвергнутые маркеры
120
маркеры, %
100
100
100
96
100
100
86
75
80
60
50
40
40
21
16
20
0
0
0.1
0
0.2
0
0.3
0.4
86
job
60
63
34
38
30
9
3
0.5
1
0.6
пороговое значение
timed
inf
marks
14
0
0.7
5
0
0.8
timetable
0
0.9
0
1
18
Тестирование. Усредненный результат
120
100
100
100
Маркеры, %
80
79
60
57.8
59.6
40
38.4
26.8
20
9
4.8
0
0
0
0
0.1
0
0.2
0
0.3
0
0.4
0
0.5
0.2
0.6
0.7
8.8
7.4
1.6
0.2
0.9
0.8
2
0
1
порог
ошибки
отвергнутые маркеры
19
Оптимизация
Предыдущий кадр
marks
job
Текущий кадр
?
job
20
Тестирование
Ошибки первого рода
Прирост производительности
(в среднем)
6
5
1
4
job
3
timed
2
inf
0.9
порог
маркеры,%
5
0.7
marks
1
0.6
timetable
0
0
0.6
0
0.7
0
0.8
0
0.9
0.8
0
0
1
20
40
60
80
100
120
прирост, %
Пороговое значение
отвергнутые маркеры
Отвергнутые с маркеры
Усредненный результат
16
6
14
Маркеры, %
12
job
10
timed
8
6
4
2
0
6
inf
marks
3
2
0
0.6
5
5
0
0.7
2
1
0
0.8
timetable
0
0.9
0
1
Маркеры, %
14
ошибки
4
3
2
0.6
1
1
0
0.6
0.7
0.8
0.9
1
Пороговое значение
Пороговое значение
ошибки
отвергнутые маркеры
21
Тестирование
30
Ошибки первого рода
23.4
маркеры,%
25
18.2
20
25
19.2
15
ORB
BRISK
10
5
0.2
0.2
0.2
0.8
0.9
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
1
пороговое значение
120
100
100
100
82.8
маркеры,%
Отвергнутые маркеры
99.6
88.4
81.4
80
60
60
47.6
40
ORB
BRISK
31.2
29
20.8
20
5.4
1.2
0.6
0.4
6.6
0.2
0.4
0
0.5
0.6
0.7
0.8
0.9
1
0
0
0.1
0.2
0.3
0.4
пороговое значение
22
Выводы
• Были применены:
▫ Контурный анализ
▫ Метод потенциальных функций
▫ Особые точки изображения
• Классификация маркеров с точность до 100%
• Отсев маркеров в худшем случае до 9%
23
Спасибо за внимание
Дроздова Юлия
Студент 4 курса кафедры МОВС ПГНИУ
[email protected]