Использование машинного зрения для управления компьютером

Секция: Информатика
Название учебного заведения, от которого представлена работа: ГБОУ Московский городской
Дворец детского (юношеского) творчества (ГБОУ МГДД(Ю)Т)
Проект: «Использование машинного зрения для управления компьютером»
Автор: Спасенкин Евгений
Класс:11
Научный руководитель: Лёвин Константин Михайлович, педагог дополнительного образования
ГБОУ МГДД(Ю)Т
Использование машинного зрения для управления компьютером
Цель работы.
1. Разработать алгоритм, который способен:
a.
Определить направление взгляда пользователя по видеоизображению с камеры
b. Переместить курсор в точку экрана, куда предположительно смотрит человек;
2. Создать программу, реализующую данный алгоритм;
3. Оптимизировать данный алгоритм для работы в режиме реального времени.
Существуют аналоги, например программа EnableViacam (eViacam), заменяющая
использование компьютерной мыши на управление при помощи движений головы пользователя,
отслеживаемых обычной веб-камерой. Недостатки: постоянное движение головой через
некоторое время доставляет дискомфорт, трудно осуществляется перемещение курсора в
крайние части экрана, невозможно использование при болезнях шеи, головы.
Основным назначением разрабатываемой программы (по сравнению с аналогами) является
разработка бесплатной программы с открытым кодом, не требующей дополнительного
периферийного оборудования (кроме веб-камеры).
Описание работы:
Для создания программы выбран язык программирования C++ и открытая библиотека
машинного зрения OpenCV. Для работы программы необходима web- камера.
Программа использует различные математические алгоритмы распознавания образов,
реализованные в библиотеке OpenCV. Они позволяют покадрово обрабатывать видеопоток,
осуществлять распознавание лиц, глаз и зрачков.
Программа «Использование машинного зрения для управления компьютером» определяет
степень отклонения центра зрачка от центра глаза и просчитывает направление взгляда
пользователя. В дальнейшем, можно осуществлять перемещение курсора в нужное место экрана.
Реализован алгоритм, который работает следующим образом:
1.
2.
3.
4.
5.
На видео, получаемом в режиме реального времени с web- камеры, определяется лицо;
Выделяется верхняя половина лица (конструируется новое изображение);
На полученном изображении определяются глаза и зрачки;
Вычисляются координаты центров полученных объектов;
Определяется смещение центра зрачка относительно центра глаза, и определяется
направление взгляда.
Сценарии применения:
1. Альтернатива классическим манипуляторам – клавиатуре и мыши. Поможет людям с
ограниченными физическими способностями.
2. На основе алгоритма можно создать систему помощи водителю. Она будет реагировать, если
водитель надолго отвлекается от дороги.
Основные отличия данной работы от аналогов:
● Простота конструкции (для использования необходима только web- камера)
● Низкая стоимость проекта (при сохранении всех функциональных особенностей работ
данного типа).
Результаты работы:
В итоге проделанной работы получена программа, позволяющая:
1) Распознавать образы (лицо, глаза, зрачки);
2) Отслеживать перемещение взгляда;
3) Управлять курсором без стандартных манипуляторов.