А.Н. ЧЕРНОДУБ, Ю.А. ПАЩЕНКО, К.А. ГОЛОВЧЕНКО НЕЙРОСЕТЕВАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ ПРИВЛЕКАТЕЛЬНОСТИ ЛИЦА ЧЕЛОВЕКА

ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
А.Н. ЧЕРНОДУБ, Ю.А. ПАЩЕНКО, К.А. ГОЛОВЧЕНКО
Институт проблем математических машин и систем НАН Украины, Киев
[email protected]
НЕЙРОСЕТЕВАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ
ПРИВЛЕКАТЕЛЬНОСТИ ЛИЦА ЧЕЛОВЕКА
Рассматривается задача определения эстетической привлекательности
лица человека. Предлагается алгоритм решения этой задачи с использованием методов машинного зрения и аппарата искусственных нейронных
сетей. Алгоритм реализован на основе библиотеки OpenCV, приводятся
результаты экспериментов по оценке точности работы предлагаемого алгоритма путем сравнения результатов его работы с оценками людейэкспертов.
Ключевые слова: распознавание привлекательности лиц, компьютерное зрение, нейронные сети
Введение
Вопрос о том, что именно делает лицо человека привлекательным, является темой исследований физиологов, биологов, философов, искусствоведов, специалистов по пластической хирургии на протяжении длительного времени. В настоящее время считается установленным факт, что у
людей, помимо индивидуальных предпочтений, существуют общие биологически мотивированные принципы оценки красоты [1-2]. Среди возможных кандидатов на типичные признаки физиологи выделяют симметричность черт лица [3], отличие изображения лица от усредненного изображения лиц большого множества людей [4], соответствие пропорций
лица «золотому сечению» [5] и др. Например, в [4] показано, что, с одной
стороны, симметричные черты лица соответствуют менее подверженным
мутациям генам и поэтому люди с такими чертами лица более устойчивы
к мутациям и заболеваниям, а с другой – люди с более симметричными
чертами лица получают более высокие рейтинги красоты при оценке их
фотографий экспертами.
В последние годы появилось несколько пионерских работ, посвященным компьютерным системам распознавания красоты на основе использования систем машинного зрения [6-8] и обучаемых классификаторов.
Эти работы могут рассматриваться как попытка наделения робототехнических систем способности «видеть красивое». В [6] в качестве признаков
254
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
используются пропорции черт лица, при этом ключевые точки на лице
выделялись вручную. В [7] в дополнение к пропорциям был применен
метод главных компонент для выделения признаков.
Мы разработали автоматическую систему оценки красоты, работающую на основе метода выделения ключевых точек на лице с помощью
средств библиотеки машинного зрения OpenCV и нейронной сети, обученной целевой задаче на данных экспертных оценок и провели экспериментальную оценку качества ее работы.
База изображений для обучения
Мы собрали собственную базу изображений, состоящую из 180 фотографий лиц молодых женщин, изображения были взяты из открытых источников. Были отобраны фотографии лиц во фронтальной проекции с
нейтральным выражением лица, без очков и украшений. Для придания
выборке репрезентативности мы постарались включить в базу данных
примеры как красивых, так и некрасивых лиц (рис. 1).
Рис. 1. Пример фото лиц из базы
изображений
В отличие от работы [7], собранная база включает в себя фотографии
женщин разной расы, цвета кожи, а их возраст колеблется от 18 до 35 лет.
После того, как изображения были собраны, группе экспертов было предложено выставить субъективные рейтинги эстетической привлекательности для каждой из фотографий по шкале от 1 до 7. Всего для маркировки
фотографий было привлечено 8 экспертов, 4 мужчины и 4 женщины в
возрасте от 16 до 63 лет, оценки выставлялись независимо. По условиям
эксперимента, перед началом процесса выставления оценок каждому эксперту были предъявлены все фотографии для первичного ознакомления.
УДК 004.032.26(08) Нейронные сети
255
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Для проверки согласованности выборки был проведен корреляционный
анализ, его результаты представлены в табл. 1.
Таблица 1. Попарные корреляции оценок различных экспертов
Ж-21
Ж-26
Ж-44
Ж-56
М-16
М-20
М-46
М-63
Ж-21
1
Ж-26
0,65
1
Ж-44
0,67
0,82
1
Ж-56
0,68
0,77
0,72
1
М-16
0,59
0,77
0,80
0,69
1
М-20
0,62
0,70
0,72
0,63
0,63
1
М-46
0,74
0,79
0,79
0,79
0,66
0,69
1
М-63
0,68
0,80
0,82
0,75
0,70
0,68
0,80
1
Средняя корреляция выборки оказалась на уровне 0,7, что делает возможным обучение нейросети на таких данных и примерно соответствует
результатам других исследователей [4,7].
Общая схема работы алгоритма
Система распознавания красоты получает на вход изображение, содержащее фронтальное фото лица человека (рис. 2).
Рис. 2. Схема работы алгоритма распознавания красоты лиц
Перед началом работы алгоритма мы предполагаем, что лицо на изображении уже было выделено ранее и занимает большую часть площади
изображения. Далее с помощью стандартного бустингового классификатора Виолы-Джонса, входящего в состав библиотеки средств машинного
256
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
зрения OpenCV [9], выделяются области на лице, соответствующие правому и левому глазу, носу и рту.
На основе этих координат рассчитываются основные пропорции лица,
которые затем используются в качестве вектора признаков для нейронной
сети. Нейронная сеть сначала обучается на этих входных данных с использованием оценок экспертов в качестве целевой выборки, а затем может использоваться для распознавания на новых, ранее не виденных сетью данных.
Выделение признаков
Мы условно разделили выделяемые нами признаки на две группы: отношение расстояний между выделенными ключевыми точками и соотношения найденных размеров лица.
Группа признаков 1 показана на рис. 3, слева: AB/CD, AC/BC, AD/BD,
EC/ED, EC/AB, AC/AD, BC/BD. Группа признаков 2 показана на Рис. 3,
справа: L/R, Mw/Mh, Nw/Nh, Mw/Nw, Mh/Nh. Итоговый вектор признаков
состоит из объединенных признаков обеих групп. Перед подачей на
нейронную сеть данные были приведены к диапазону [-1;1].
Рис. 3. Расчет векторов признаков по выделенным ключевым точкам на
лице
УДК 004.032.26(08) Нейронные сети
257
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Обучение нейросетей
В качестве обучаемой нейронной сети мы использовали стандартный
многослойный персептрон [10, с. 219] с одним скрытым слоем, содержащим 5 нейронов в скрытом слое. В качестве активационных функций
нейронов скрытого и выходного слоя использовались функция гиперболического тангенса. Нейросеть была обучена методом расширенного
фильтра Калмана [10, с. 219], [11], который является на сегодняшний день
одним из самых эффективных методов обучения второго порядка для
нейросетей. Перед обучением выборка была разделена на 2 части: обучающую (110 примеров, 60 % выборки) и экзаменационную (70 примеров,
40 % выборки). Результаты обучения представлены в табл. 2.
Таблица 2. Результаты обучения нейросети на задаче распознавания красоты
Среднеквадратичная
ошибка,
MSE
Коэффициент корреляции, R2
Обучающая
выборка
0,026
Экзаменационная
выборка
0,025
0,69
0,50
Мы считаем, что полученный результат корреляции 0.5 на не использовавшейся при обучении экзаменационной выборке очень хорошим для
того небольшого количества информации, подаваемой на нейросеть в качестве признаков. Фактически, нейросеть принимает решение на основе
анализа строения костей черепа, игнорируя прочие данные, которые принимает во внимание человек при решении аналогичной задачи.
Выводы
Нами предложен, реализован и протестирован автоматический алгоритм для решения одной из новых задач для машинного зрения, задачи
распознавания эстетической привлекательности человека по фото его лица. Алгоритм доказал свою работоспособность и показал хорошие обобщающие способности.
В дальнейшем мы планируем улучшить алгоритм путем расширения
базы изображений для обучения, выделения новых ключевых точек на
лице и включения в него детектора гладкости кожи.
258
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Список литературы
1. Kovach, F. J. Philosophy of beauty//Norman: University of Oklahoma
Press. 1974.
2. Grammer K, Thornhill R. Human (Homo sapiens) facial attractiveness
and sexual selection: the role of symmetry and averageness. // J Comp Psychol,
1994. V. 108. № 3. P. 233-242.
3. Rhodes G. The Evolutionary Psychology of Facial Beauty // Annu. Rev.
Psychol. 2006. V. 57. P. 199-226.
4. Sheib J.E., Gangestad S. W., Thornhill R. Facial attractiveness, symmetry and cues of good genes // Proc Biol Sci. 1999 September 22; 266(1431).
Р. 1913-1917.
5. Holland E. Marquardt’s Phi Mask: Pitfalls of Relying on Fashion Models and the Golden Ratio to Describe a Beautiful Face //Aesthetic Plastic Surgery, 2008. V. 32, № 2. P. 200-208.
6. Aarabi, P., Hughes, D., Mohajer, K., Emami, M. The automatic measurement of facial beauty // IEEE International Conference on Systems, Man,
and Cybernetics, 7-10 October 2001, Tucson, USA. V. 4. P. 2644-2647.
7. Eisenthal Y., Dror G., Ruppin E. Facial Attractiveness: Beauty and the
Machine // Neural Computation, 2006. V. 18. № 1. P. 119-142.
8. Gray D., Yu K., Xu W., Gong Y. Predicting Facial Beauty without
Landmarks // Computer Vision – ECCV 2010, Lecture Notes in Computer Science, 2010, V. 6316/2010. P. 434-447.
9. http://opencv.org/
10.Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006.
11.Alessandri A., Cuneo M., Pagnan S., Sanguineti M. On the convergence
of EKF-based parameters optimization for Neural Networks // Proceedings of
the 42nd IEEE Conference on Decision and Control. Maui, Hawaii, USA, December, 2001. V. 6. P. 6181-6186.
УДК 004.032.26(08) Нейронные сети
259