На правах рукописи Сидоров Константин Владимирович

На правах рукописи
Сидоров Константин Владимирович
БИОТЕХНИЧЕСКАЯ СИСТЕМА МОНИТОРИНГА ЭМОЦИЙ ЧЕЛОВЕКА
ПО РЕЧЕВЫМ СИГНАЛАМ И ЭЛЕКТРОЭНЦЕФАЛОГРАММАМ
Специальность 05.11.17 –
Приборы, системы и изделия
медицинского назначения
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Тверь – 2015
2
Работа выполнена в ФГБОУ ВПО «Тверской государственный технический
университет».
Научный руководитель:
доктор технических наук, профессор Филатова Наталья Николаевна.
Официальные оппоненты:
Фролов Сергей Владимирович, доктор технических наук, профессор,
ФГБОУ ВПО «Тамбовский государственный технический университет»,
заведующий кафедрой «Биомедицинская техника» (г. Тамбов),
Филист Сергей Алексеевич, доктор технических наук, профессор,
ФГБОУ ВПО «Юго-Западный государственный университет», профессор
кафедры «Биомедицинской инженерии» (г. Курск).
Ведущая организация:
ФГБОУ ВПО «Волгоградский государственный технический университет»
(г. Волгоград).
Защита диссертации состоится «
»
2015 г. в
часов на
заседании диссертационного совета Д 212.208.23 в Южном федеральном
университете по адресу: 347922, Россия, Ростовская область, г. Таганрог,
ул. Шевченко, 2, корп. Е, ауд. Е-306.
С диссертацией можно ознакомиться в Зональной научной библиотеке
Южного федерального университета по адресу: 344006, Россия, Ростовская
область,
г. Ростов-на-Дону,
ул. Пушкинская,
д. 148
и
на
сайте
http://hub.sfedu.ru/diss/announcements/council/16/.
Автореферат разослан «
» апреля 2015 г.
Ученый секретарь
диссертационного совета Д 212.208.23
доктор технических наук, профессор
И.Б. Старченко
3
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Эмоции непрерывно сопровождают
человека на протяжении всей его жизни, они являются мощными стимулами при
достижении людьми биологических и социальных потребностей, от них во
многом зависит физическое и душевное здоровье человека. Задача мониторинга
эмоций актуальна для многих сфер деятельности человека, в том числе для
медицины (психосоматика, неврозология, нейропсихология и т.д.), где оценки
различных эмоциональных состояний человека принимаются во внимание при
диагностике психосоматических и психомоторных нарушений. Мониторинг
эмоций может использоваться в качестве дополнительного инструментария при
клинико-психологическом исследовании пациентов.
В настоящее время для решения задач мониторинга эмоций создаются
специальные методики, основанные на анализе речевых сигналов пациента и
направленные на поиск объективных показателей депрессии, состояния тоски,
тревоги и т.п., позволяющие формализовать операции передачи и дешифровки
невербальной информации. С помощью обнаруженных изменений в
характеристиках речи можно выделить т.н. «фазу дестабилизации», возникающую
при резкой отмене назначенных лекарственных препаратов и необходимую для
прогнозирования терапевтических эффектов при лечении эмоциональноаффективных расстройств и психических заболеваний.
Мониторинг эмоционального состояния человека становится новым
востребованным инструментом, который находит применение как в области
медицины, так и при создании специализированных биотехнических средств
оценки эмоционального состояния человека (т.н. «эмоциональные сканеры»,
обучающие системы, автоматизированные системы оповещения и т.п.).
Степень разработанности темы исследования. Большой комплекс
исследований эмоций выполнен с помощью регистрации электрической
активности головного мозга при предъявлении испытуемому различных
эмоционально значимых стимулов. Результаты, полученные в работах S. Koelstra,
T. Flaisch, Т.Н. Лапшиной, О.О. Кисловой, Н.В. Рева, Л.Н. Савотиной, Н.Ю. Смит,
Н.В. Шемякиной, иллюстрируют методики регистрации эмоциональных реакций
человека на комбинированные стимулы с помощью электроэнцефалографа.
Большой вклад в развитие теоретических и прикладных решений в области
анализа эмоциональной информации, содержащейся в речи, принадлежит таким
авторам, как Y. Chen, M. Schröder, F. Burkhardt, E. van den Broek, R. Cowie,
E. Douglas-Cowie,
F. Ringeval,
V.A. Petrushin,
А.В. Заболеева-Зотова,
В.Л. Розалиев,
И.Б. Старченко,
А.Ф. Хроматиди,
Ю.С. Перервенко,
М.В. Калюжный, О.Г. Федоренко, В.М. Федоров, А.А. Лукьяница, И.Э. Хейдоров,
А.А. Марьев, Ю.Т. Глазунов, А.Н. Голубинский, А.Г. Давыдов, В.В. Киселёв.
На данном этапе успешный анализ эмоциональной речи осуществляется в
основном для случаев ярко выраженных проявлений эмоций с использованием
4
большого числа признаков (от нескольких десятков до нескольких сотен).
Современные средства анализа речи позволяют получать упрощенную
интерпретацию эмоции, уверенно идентифицируя в основном только ее знак.
Существующие модели (ООС, KARO, ЕМА, Affective Computing, сегментарная,
иммунная и др.) не позволяют получить достаточно точные оценки уровня и
динамических свойств эмоций на основе характеристик акустической волны или
другого сигнала.
Для построения модели интерпретации эмоциональной информации,
скрытой в речевых сообщениях, необходимо создание биотехнической системы
(БТС), обеспечивающей регистрацию как речевого сигнала, так и другого
биомедицинского сигнала, взаимосвязанного с эмоциональным состоянием
испытуемого. Это позволит использовать для построения модели эмоций только
образцы речи пациента с объективно подтвержденным фактом изменения
эмоционального состояния. В качестве контрольного канала мониторинга
эмоциональной
реакции
целесообразно
использовать
регистрацию
электроэнцефалограмм (ЭЭГ).
Объектом исследования является БТС обработки и анализа
биомедицинских сигналов (речевых сигналов и ЭЭГ) для задач диагностики
эмоциональных состояний человека.
Предметом исследования являются методы и алгоритмы анализа
биомедицинских сигналов, позволяющих интерпретировать эмоциональные
состояния человека.
Целью
исследования
является
разработка
программных
и
информационных средств мониторинга эмоций человека путем анализа речевых
образцов с объективным подтверждением изменения эмоционального состояния
при помощи регистрации ЭЭГ.
Для достижения поставленной цели необходимо решить следующие задачи:
1.
Выполнить функционально-структурный анализ компьютерных
технологий и технических решений, применяемых для выявления эмоций на
основе анализа речи или ЭЭГ.
2.
Разработать БТС для исследования объективно подтвержденных
слабо выраженных эмоциональных реакций, проявляющихся в естественной речи
человека.
3.
Создать структуру мультимодальной базы эмоций и методику
регистрации образцов эмоционально окрашенной речи при условии
подтверждения изменения эмоционального состояния человека путем
регистрации электрической активности головного мозга.
4.
Разработать признаки, позволяющие идентифицировать изменения
эмоционального состояния человека на основе оценки морфологических свойств
аттракторов, восстановленных по биомедицинским сигналам.
5.
Разработать и исследовать модель интерпретатора эмоций человека на
основе анализа биомедицинских сигналов.
5
6.
Разработать и исследовать алгоритмическое и программное
обеспечение БТС для мониторинга эмоций человека.
Методы исследования. Для решения поставленных задач использованы
методы нелинейной динамики, нечетких множеств, цифровой обработки
сигналов, математической статистики.
Научная новизна результатов исследования:
1.
Принципы построения БТС для исследования слабо выраженных
эмоциональных реакций в естественной речи человека, объективно
подтверждаемых изменениями сигналов электрической активности мозга.
2.
Система признаков для идентификации параметров эмоций,
основанная на оценке морфологических свойств аттракторов, инвариантная к
природе физического сигнала и позволяющая представлять образцы речи и ЭЭГ в
одинаковых признаковых пространствах. Экспериментально доказано совпадение
результатов интерпретации эмоций по образцам речи и ЭЭГ, зарегистрированных
у одного и того же испытуемого. Это позволяет использовать предложенную
систему признаков для проектирования программных средств бесконтактной
дистанционной диагностики с использованием звукозаписывающей аппаратуры.
3.
Математическая модель интерпретатора эмоций, отображающая их
знак, уровень и динамику на основе нечетких оценок максимальных векторов,
плотности
и
равномерности
траекторий
проекций
аттракторов,
реконструированных по двум разным биомедицинским сигналам, позволяет
распознавать изменения эмоциональных состояний человека. Расхождение между
интерпретаций по ЭЭГ и речевому сигналу не превышает 5 %.
Практическая значимость работы:
1.
Создана мультимодальная база эмоций, включающая более 240 пар
образцов речевых сигналов и параллельно зарегистрированных образцов ЭЭГ.
Записи отличаются знаком и уровнем проявления эмоциональных откликов. База
эмоций может быть использована специалистами при разработке и тестировании
систем мониторинга эмоционального состояния человека.
2.
Предложена методика формирования образцов эмоционально
окрашенной речи и создания мультимодальной базы эмоций, основанная на
применении стимулирующего воздействия на испытуемого и объективном
подтверждении изменения эмоционального состояния человека при помощи
регистрации ЭЭГ. Применение методики позволяет повысить достоверность
регистрируемых образцов биомедицинских сигналов, отображающих изменение
эмоционального состояния человека.
3.
Разработаны алгоритмы для оценки морфологических признаков
аттрактора, позволяющие оценивать вариации контуров, площадь и плотность
двухмерных проекций. Алгоритмы позволяют формировать описания
биомедицинских сигналов в виде векторов, включающих оценки разнородных
дискретных признаков.
4.
Разработана БТС EEG/S, позволяющая осуществлять мониторинг
6
эмоций человека по речевым сигналам или ЭЭГ. Система прошла испытания по
мониторингу психофизиологического состояния сотрудников компании ООО
«МУ МГСС» (г. Москва). Реализованные в БТС технические решения позволяют
регистрировать промежуточные и заключительные результаты исследований,
обладают чувствительностью к малым изменениям эмоционального состояния
испытуемого, не требуют проведения продолжительного тестирования и
способствуют уменьшению ошибок при диагностике эмоционального состояния
пациента.
Научные положения, выносимые на защиту:
1.
Регистрация реакции испытуемого на внешние эмоционально
значимые стимулы по двум каналам (основному – речевые сигналы,
контрольному – сигналы ЭЭГ), позволяет создавать записи образцов с различным
уровнем проявления эмоций в речи с объективным подтверждением по сигналам
ЭЭГ факта изменения эмоционального состояния испытуемого.
2.
Система признаков, характеризующая морфологию аттракторов
(максимальные векторы, плотность траекторий и равномерность заполнения
проекций аттрактора), дает возможность использовать специальные методы для
визуализации данных и позволяет создавать интегрированные количественные и
графические интерпретации результатов исследований, выполненных при
различных способах регистрации откликов испытуемого.
3.
Математическая модель интерпретатора эмоций отображает
взаимосвязь между знаком, уровнем и динамикой эмоций и морфологией
проекций аттракторов, реконструированных по образцам речи или ЭЭГ.
Достоверность
научных
положений
и
результатов
работы
подтверждается математическими выкладками, а также результатами
экспериментов с опытным образцом БТС EEG/S, которые показали: 1) совпадение
выводов, получаемых с помощью модели интерпретатора эмоций по образцам
речи, с выводами, получаемыми при анализе ЭЭГ сигналов, зарегистрированных
у одного и того же испытуемого; 2) совпадение выводов интерпретатора с
оценками выводов экспертов при анализе образцов международной базы Emo-DB.
Достоверность результатов подтверждается апробацией основных положений
работы на международных и всероссийских конференциях и конгрессах.
Реализация и внедрение результатов исследований. Результаты
диссертационного исследования использовались при выполнении НИР по проекту
РФФИ: 14-01-00719-а «Интерпретатор эмоций, проявляющихся в естественной
речи» (2014-2016 гг.). Отдельные результаты получены при финансовой
поддержке Минобрнауки РФ в рамках программы ФЦП «Научные и научнопедагогические кадры инновационной России» на 2009-2013 гг., мероприятие 1.4,
соглашение от 14.11.2012 г. № 14.A18.21.2081.
Полученные в ходе исследований теоретические и практические результаты
диссертации внедрены в Тверской государственный технический университет и
используются в учебном процессе кафедры «Автоматизация технологических
7
процессов» при реализации магистерской программы «Биотехнические системы и
технологии» по направлению «Биомедицинская инженерия» и переданы для
внедрения в учебный процесс кафедры «Нервных болезней и восстановительной
медицины с курсом психического здоровья» Тверской государственной
медицинской академии. Результаты диссертационной работы также переданы в
ООО «МУ МГСС» (г. Москва) для мониторинга психофизиологического
состояния сотрудников организации.
Апробация работы. Основные результаты, полученные в ходе
исследования, докладывались и обсуждались на: I всероссийском конгрессе
молодых ученых (Санкт-Петербург, 2012 г.); XI всероссийской научнотехнической конференции «Приоритетные направления развития науки и
технологий» (Тула, 2012 г.); международной научно-практической конференции
«Технические науки - основа современной инновационной системы» (ЙошкарОла, 2012 г.); XХIV всероссийской научно-технической конференции студентов,
молодых ученых и специалистов «Биотехнические, медицинские и экологические
системы и комплексы» (Рязань, 2012 г.); XXV международной научной
конференции «Математические методы в технике и технологиях (ММТТ-25)»
(Волгоград, 2012 г.); XII всероссийской научно-технической конференции
«Медицинские информационные системы (МИС-2012)» (Таганрог, 2012 г.);
II международной летней школе-семинаре по искусственному интеллекту
«Интеллектуальные системы и технологии: современное состояние и перспективы
(ISyT’2013)»
(Протасово, 2013 г.);
международных
конгрессах
по
интеллектуальным системам и информационным технологиям «IS&IT'13»,
«IS&IT'14»
(Дивноморское, 2013-2014 гг.);
четырнадцатой
национальной
конференции по искусственному интеллекту с международным участием «КИИ2014»
(Казань, 2014 г.);
XVI и XVII всероссийских
научно-технических
конференциях «НЕЙРОИНФОРМАТИКА-2014, 2015» (Москва, 2014-2015 гг.).
Публикации. Основные положения и результаты диссертационной работы
опубликованы в 27 работах, включающих 11 статей в сборниках научных трудов
и журналах, в том числе 5 статей в изданиях, входящих в перечень ВАК, 11
текстов докладов на международных и российских конференциях, 1 патент на
полезную модель, 3 свидетельства о регистрации программ для ЭВМ,
1 свидетельство о регистрации базы данных.
Личное участие автора. Автор лично выполнил основной объем
теоретических и экспериментальных исследований, сформировал базу данных
инструментальных обследований, разработал алгоритмы и программы для
обработки результатов, выполнил анализ полученных результатов, написал текст
диссертации.
Объем и структура диссертации. Диссертация состоит из введения, 4 глав,
заключения, списка литературы, включающего 159 наименований, и 6
приложений. Основная часть работы изложена на 165 страницах машинописного
текста. Работа содержит 69 рисунков и 27 таблиц.
8
СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность, научная новизна и
практическая значимость диссертационной работы. Поставлена цель,
сформулированы основные задачи исследования, перечислены методы их
решения. Приведены основные научные положения, выносимые на защиту.
Кратко излагается содержание глав диссертации.
В первой главе рассмотрены вопросы мониторинга эмоций с целью
диагностики заболеваний на ранних этапах. Среди медицинских приложений
отмечаются
решения,
связанные
с
диагностикой
и мониторингом
психосоматических и психомоторных нарушений, неврозоподобных и
невротических синдромов. Большое внимание уделяется разработке методов по
оценке депрессивных расстройств у человека (психологический стресс).
Проведен функционально-структурный анализ компьютерных технологий и
технических решений, применяемых для выявления эмоций на основе анализа
речевых сигналов. Проведен обзор моделей эмоций и показано их применение для
анализа эмоционально окрашенной речи. Выполнен анализ признаков
акустической волны, применяемых для распознавания эмоций по речевому
сигналу. Число вычисляемых для этой цели признаков обычно составляет от
нескольких десятков до нескольких сотен. Выявлена необходимость разработки
более простой модели, описывающей взаимосвязь между основными параметрами
эмоций (знаком, уровнем и динамикой) и объективными оценками фазовопространственных характеристик наблюдаемых биомедицинских сигналов.
Решение этой задачи позволит создать такую модель интерпретатора эмоций по
естественной речи, которая обеспечит достаточную чувствительность к малым
изменениям эмоционального состояния и будет учитывать гендерные и
возрастные особенности человека.
Во второй главе рассмотрена концепция и принципы построения 2-х
канальной БТС для мониторинга эмоций человека. БТС позволяет создавать
сложные эмоционально значимые стимулы для испытуемого, затрагивая при этом
его зрительный, слуховой и/или обонятельный анализаторы. Предложена новая
методика проведения экспериментов для регистрации эмоционально окрашенной
речи с объективным подтверждением изменения эмоционального состояния с
помощью другого биомедицинского сигнала (ЭЭГ).
В основу методики положено допущение, что после снятия стимула
испытуемый останется в достигнутом эмоциональном состоянии в течение всего
времени формирования речевого сообщения. Тогда образцы речевого сигнала
можно рассматривать как паттерны, содержащие информацию о некоторой
эмоциональной реакции. Такой подход позволяет регистрировать и
слабовыраженные эмоциональные реакции (повышается чувствительность к
малым изменениям эмоциональных состояний) и дает возможность осуществлять
запись естественной (натуральной) речи без сокрытия испытуемым
9
эмоционального окраса речевых сообщений.
Сформирована новая мультимодальная база эмоций, которая включает в
себя образцы двух типов сигналов (речевые сигналы и ЭЭГ), отображающих
изменение эмоционального состояния испытуемого при предъявлении ему
стимулов различного эмоционального окраса. Мультимодальная база эмоций
позволяет создавать описания состояний испытуемых на основе шаблона вида:
Isp  Sp i , E i , name, d  , d  {  1, 0 ,  1 } ,
(1)
где Sp i - речевой образец i -го испытуемого; E i - паттерн ЭЭГ i -го испытуемого;
name - идентификатор испытуемого; d - значение признака: -1, 0, +1
(отрицательные эмоции (cluster 1), нейтральное состояние (cluster 2),
положительные эмоции (cluster 3), соответственно).
На основе разделительного признака d (1) сформированы выборки из
образцов речи ( ОВspeech ) и паттернов ЭЭГ ( ОВeeg ) (таблица 1). Показано, что для
всех кластеров имеются значимые различия средних значений выделенных
признаков, что подтверждается результатами проверки статистических тестов с
использованием t-критерия Стьюдента.
Таблица 1 – Состав мультимодальной базы эмоций
Выборки
1
ОВ
speech
ОВ2 speech
ОВeeg
Количество объектов
Объекты
Частота
дискретизации, Гц
Продолжительность, сек
Фразы
22050
2-6
Фонемы
22050
0,025 - 0,25
2660
ЭЭГ
250
12
240
Всего Cluster 1
266
114
Cluster 2
66
Cluster 3
86
1140
660
860
80
80
80
Новизна мультимодальной базы эмоций заключается в создании
интегрированной структуры, объединяющей т.н. «сырые» данные, полученные в
процессе экспериментов с БТС, а также результаты их фрагментации в
соответствии с принятыми методиками обработки. На базу данных получено
свидетельство о государственной регистрации.
В третьей главе рассмотрены задачи разработки модели и алгоритмов
интерпретации эмоций человека по естественной речи. Проведены исследования
паттернов ЭЭГ и параллельно зарегистрированных образцов речевых сигналов
методами спектрального анализа. Выделены наиболее информативные участки
спектральной плотности мощности (СПМ) речевых сигналов (1,1-5,1 кГц),
локализованы отведения ЭЭГ с наибольшей информативностью признаков
(отведения правого полушария). Экспериментально доказана возможность
разделения центров кластеров СПМ речевых образцов и СПМ ЭЭГ в соответствии
со знаком эмоций. Анализ выборок СПМ речевых образцов и СПМ ЭЭГ показал
наличие пересечения между кластерами с различным эмоциональным окрасом.
В качестве математического аппарата для оценки свойств биомедицинских
сигналов выбран аппарат нелинейной динамики, основанный на реконструкции
10
аттракторов по временным рядам (F Takens, 1981). Исследуемый временной ряд
x1 , x2 , ..., x N
подвергается методу задержки координат, т.е. строится
последовательность реконструированных векторов из элементов временного ряда:
y n  ( xn , xn ,..., xn( m1) ), n  0,..., s  1, s  N  (m  1) ,
(2)
где N - общее число элементов (точек) временного ряда;  - задержка по времени
между элементами временного ряда (временной лаг); m - размерность вложения
(размерность лагового пространства).
Разработан алгоритм для корректной реконструкции аттракторов речевых и
ЭЭГ сигналов, определены диапазоны его настроечных параметров  и m (2).
Экспериментально доказано изменение форм и размеров аттракторов в
зависимости от эмоционального состояния испытуемого. Для определения
контура аттрактора его двухмерная проекция условно разделяется на четыре
квадранта, в каждом из которых вычисляется вектор максимальной длины
(рисунок 1).
Рисунок 1 – Векторы первой ( xn  xn  )
проекции аттрактора (3)
Рисунок 2 – Матрица и график
распределения плотности 
На основе таких оценок по четырем квадрантам находится усредненный
i
вектор для одной ( i -ой) проекции Rmax :
где xh , xh 
i
i,j
i,j
(3)
Rmax
 0,25 4j 1 Rmax
, Rmax
 max { xh2  xh2 τ } ,
- значения временного ряда в h -ый и h  -ый моменты времени; i -
номер проекции; i  1, 3 ( i  1 при xn  xn  ; i  2 при xn  xn  2 ; i  3 при
xn   xn  2 ); j - номер квадранта проекции; j  1, 4 .
11
Разработан алгоритм для оценки плотности  траекторий аттрактора. Для
оценки  аттрактора, его проекция покрывается регулярной сеткой с шагом
  const . Для анализа аттракторов с размерностью N  50000 достаточно принять
  100 отсчетов, тогда общее число ячеек матрицы плотностей Mγ составит
L  196
(рисунок 2).
характеризовать
Тогда
плотность
каждый
элемент
 i, j
матрицы
Mγ
будет
i, j -ом участке проекции
 ri 1, j / 2  ri 1, j / 2  ri , j 1 / 2  ri , j 1 / 2 , где
аттрактора
на
 i , j  Pi , j / S i , j , при Pi , j  hi , j
hi, j - количество точек попавших внутрь i, j -ой ячейки; ri , j - количество точек
оказавшихся на границе ячеек i, j -ой и i  1, j -ой, i  1, j -ой, i , j  1 -ой, i , j  1 2
ой, соответственно; S i , j   - площадь i, j -ой ячейки.
Построение матрицы плотности позволяет ввести новый признак ( k0 ),
характеризующий количество нулевых ячеек в Mγ ( k0  118 , рисунок 2), т.е.
показывающий равномерность заполнения проекции аттрактора.
На основе введенных признаков ( R ,  , k0 ) создана модель паттерна
биомедицинского сигнала, позволяющая описывать эмоциональную речь и ЭЭГ:
i, j
i
МПБМС   Rmax
,  Rmax
,   i ,  k 0i  .
Учитывая
существенную
вариабельность
оценок
компонентов
информационной модели МПБМС в связи с индивидуальными различиями
испытуемых при построении модели интерпретатора эмоций (МИЭ),
целесообразно перейти к лингвистическим переменным:
i
i
i
{Rmax
, {TRmax
}, μ(T Rmax
); d , {Tdγ _ i },  (Td );
_i
МИЭ 
,
(4)
dk 0 , {Tdk 0 _ i }, μ(Tdk 0 )}
i
i
i
где {TRmax _ i } - терм-множество для оценки признака Rmax («малый» TRmax
_1 ,
i
i
i
«средний» TRmax
_ 2 , «большой» TRmax _ 3 ); μ(TRmax ) - функции принадлежности
i
нечетких подмножеств универсального множества оценок Rmax
[ A; B]
([5000; 45000] - для речи; [80; 700] - для ЭЭГ); {Tdγ_ i } - терм-множество для
оценки изменения dγ («малое» Td _1 , «среднее» Td _ 2 , «большое» Td  _ 3 );
μ(Td) - функции принадлежности нечетких подмножеств универсального
множества оценок d  [C ; E ] ([0,4; 1,7] - для речи; [0,2; 1,9] - для ЭЭГ); {Tdk 0 _ i } терм-множество для оценки приращения dk 0 («малое» Tdk 0 _ 1 , «большое» Tdk 0 _ 2 );
μ(Tdk 0 ) - функции принадлежности нечетких подмножеств универсального
множества оценок dk 0  [ H ; F ] ([0,1; 1,8] - для речи; [0,45; 1,6] - для ЭЭГ).
12
Для оценки компонент МИЭ (4) создано 10 правил (таблица 2).
Работоспособность правил проверена на записях мультимодальной базы эмоций,
а также на записях немецкой базы Emo-DB (Berlin Database of Emotional Speech).
N
1
Таблица 2 – Правила интерпретации эмоций
Нечеткие высказывания, определяющие
Класс, определяющий
характерные признаки классов
знак эмоций
i
i
i
L1  D1 :: “отрицательный”
ЛП1= TRmax _ 1  ЛП2= TRmax _ 1  ЛП3= TRmax _ 1
i
i
i
 ЛП2= TRmax
_ 2  ЛП3= TRmax _ 2
i
i
i
 ЛП2= TRmax
 ЛП3= TRmax
ЛП1= TRmax
_3
_3
_3
L3  D3 :: “положительный”
1
Нечеткие высказывания, определяющие
характерные признаки классов
(ЛП4= Td _1 )  (ЛП5= Td _1 )
Класс, определяющий
уровень эмоций
L4  D4:: “низкий”
2
(ЛП4= Td _ 2 )  (ЛП5= Td _ 2 )
L5  D5:: “средний”
3
(ЛП4= Td  _ 3 )  (ЛП5= Td  _ 3 )
L6  D6:: “высокий”
Нечеткие высказывания, определяющие
характерные признаки классов
Если Δdk0  0  (L3  D3::"положительный")
Если Δdk0  0  (L1  D1::"отрицательный")
Если Δdk0  0  (L3  D3::"положительный")
Если Δdk0  0  (L1  D1::"отрицательный")
Класс, определяющий
динамику эмоций
L7  D7:: “D3 усиливается”
L8  D8:: “D1 ослабляется”
L8  D8:: “D3 ослабляется”
L7  D7:: “D1 усиливается”
2 ЛП1= TRmax _ 2
3
N
N
1
2
3
4
L2  D2:: “нейтральный”
На основе МИЭ создан алгоритм интерпретации эмоций, который
реализован в составе программного обеспечения БТС.
В четвертой главе рассмотрены структура и принципы построения
БТС EEG/S, позволяющей осуществлять мониторинг эмоций человека по речевым
сигналам или сигналам ЭЭГ (рисунок 3).
Программное обеспечение для БТС EEG/S имеет модульную структуру и
реализовано в среде MATLAB и на языке C# 3.0 для среды исполнения
.NET Framework 3.5 и выше (рисунок 4). Оригинальность программного
обеспечения подтверждена 3 свидетельствами о государственной регистрации
программ для ЭВМ.
Компоненты программного обеспечения можно условно разделить на три
группы: I - модули, направленные на регистрацию, обработку и сохранение
биомедицинских сигналов в соответствующих БД (БД_РС, БД_ЭЭГ),
предусмотрены процедуры экспорта и импорта данных; II - модули, позволяющие
определять набор дискретных информативных признаков для формирования
13
атрибутивных моделей сигналов (признаки на основе СПМ и морфологические
признаки двухмерных проекций аттрактора); III - модули, позволяющие
осуществлять мониторинг эмоций человека посредством применения
лингвистической интерпретации и логического вывода, предусмотрены
процедуры вывода нужной информации на экран, устройство вывода или во
внешнее хранилище данных.
Рисунок 3 – Структура БТС EEG/S:
1 - персональный компьютер; 2 - акустическая система; 3 - монитор;
4 - испытуемый; 5 - комплект электродов для регистрации ЭЭГ;
6 - устройство усиления и аналого-цифрового преобразования сигналов;
7 - персональный компьютер оператора; 8 - монитор оператора; 9 - оператор;
10 - микрофон; 11 - генератор потока воздуха; 12 - устройство управления;
13 - маршрутизатор; 14 - проточная камера с входным 15 и выходным 16
каналами; 17 - вентилятор; 18 - емкость с пахучим веществом 19;
20 - крышка емкости; 21 - привод возвратно-поступательного движения
Проведены испытания БТС EEG/S. Для экспериментов сформировано
несколько групп испытуемых, имеющих возрастные, гендерные и национальные
особенности. В качестве испытуемых выступили условно здоровые люди
(студенты, аспиранты и сотрудники Тверского государственного технического
университета). Всего в экспериментах участвовало 20 человек. Испытуемые,
14
возраст которых варьировался от 18 до 60 лет (5 женщин и 15 мужчин), обладали
хорошей дикцией.
Рисунок 4 – Структурная схема программного обеспечения для БТС EEG/S
Испытания
с
БТС EEG/S
позволили:
исследовать
признаковые
15
пространства, инвариантные к физической природе сигналов и адекватно
отображающие эмоциональную реакцию испытуемых; проверить гипотезы об
инвариантности выделенных признаков к национальным особенностям речевых
сигналов и ЭЭГ; локализовать отведения с наиболее сильным проявлением
эмоциональных реакций испытуемых на внешние стимулы.
БТС EEG/S показала успешность интерпретации эмоций в 83 % случаев при
работе с паттернами ЭЭГ, в 96 % случаев при анализе речевых образцов из
мультимодальной базы эмоций, а также в 92 % случаев при анализе речевых
объектов, взятых из немецкой базы Emo-DB. Верификация полученных
результатов свидетельствует о целесообразности применения разработанной
БТС EEG/S для задач мониторинга эмоций человека по речи и ЭЭГ.
В заключении изложены основные выводы, приведены научные и
практические результаты диссертационной работы.
В приложениях приведены прикладные результаты диссертационной
работы, а также акты о внедрении результатов работы.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
1.
На основе функционально-структурного анализа особенностей
компьютерных технологий и технических решений, применяемых для выявления
эмоций в речи, предложена БТС EEG/S для мониторинга эмоций человека по
биомедицинским сигналам (речевые сигналы и ЭЭГ).
2.
Разработана методика записи образцов эмоционально окрашенной
речи в условиях объективного подтверждения изменения эмоционального
состояния человека путем параллельной регистрации сигналов ЭЭГ.
Сформирована мультимодальная база эмоций человека.
3.
Предложена система признаков, позволяющая идентифицировать
изменения эмоционального состояния человека на
основе оценки
морфологических свойств аттракторов, реконструированных по биомедицинским
сигналам. На основе введенных признаков создана модель паттерна
биомедицинского сигнала (МПБМС), позволяющая компактно описывать речевые
сигналы и ЭЭГ.
4.
Создана модель интерпретатора эмоций (МИЭ) человека на основе
анализа биомедицинских сигналов (речевого сигнала и ЭЭГ). Разработаны
алгоритмическое и программное обеспечения БТС EEG/S для мониторинга
эмоций человека.
5.
С помощью БТС EEG/S проведен комплекс экспериментов.
Сформированы выборки моделей биомедицинских сигналов, исследование
которых доказало совпадение получаемых интерпретаций биомедицинских
сигналов с экспертными оценками эмоциональных состояний испытуемых как
при использовании разработанной мультимодальной базы эмоций (русская речь),
так и при анализе образцов из международной базы Emo-DB (немецкая речь).
Независимая оценка работоспособности БТС EEG/S с применением базы Emo-DB
16
показала, что использование МИЭ позволяет снижать ошибку интерпретации до
17 % при семи классах эмоций и до 8 % при трех классах эмоций.
Практические рекомендации. Разработчикам технических средств и
приложений, которые могут быть направлены на человека в лечебных,
терапевтических и профилактических целях, для бесконтактной диагностики и
мониторинга эмоционального состояния человека по речевому сигналу
рекомендуется при создании подобных систем учитывать предложенные в работе
теоретические и практические наработки, направленные на повышение
достоверности и эффективности мониторинга эмоций человека. Для
специалистов, занимающихся проблемой исследования эмоций, рекомендуется
использовать предложенные в работе: методику исследования эмоций на основе
анализа речи и ЭЭГ; концепцию и принципы построения интегрированной
БТС EEG/S; алгоритмы оценки морфологических признаков аттрактора и модели
паттерна биомедицинского сигнала и интерпретатора эмоций, с тем, чтобы
повысить достоверность оценки эмоционального состояния человека.
Перспективы дальнейшей разработки темы исследования. Для более
значимой и углубленной диагностики эмоций человека по речевым сигналам и
ЭЭГ существует потребность в более длительном и детальном изучении третьей
составляющей модели интерпретатора эмоций - динамики эмоциональных
реакций испытуемых. Это позволит прогнозировать развитие эмоциональных
реакций человека. С учетом использования предложенных в работе технических
решений, существуют благоприятные перспективы для разработки средства
экспресс-диагностики и мониторинга эмоций человека в профилактических или
лечебных целях (например, при оценке психосоматических, психомоторных и
соматовегетативных нарушений; неврозоподобных и невротических синдромов;
эмоционально-аффективных и депрессивных расстройств у взрослых и детей).
Проведенное исследование открывает перспективы для создания дикторонезависимой системы детектирования эмоциональных состояний человека по
речевому сигналу. Подобная система будет инвариантна к национальным
особенностям языка и позволит работать со спонтанной речью.
ПЕРЕЧЕНЬ ОПУБЛИКОВАННЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ
I. Публикации в изданиях, рекомендованных ВАК Минобрнауки РФ:
1.
Сидоров, К.В. Применение методов нелинейной динамики для
распознавания эмоции радости в речи / К.В. Сидоров, Н.Н. Филатова // Научнотехнический вестник информационных технологий, механики и оптики. – 2012. –
№5 (81). – С. 110–114.
2.
Филатова, Н.Н. Модель интерпретации знака эмоций по естественной
речи / Н.Н. Филатова, К.В. Сидоров // Известия ЮФУ. Технические науки.
Тематический выпуск «Медицинские информационные системы». – 2012. – №9
(134). – С. 39–45.
3.
Сидоров, К.В. Диагностика психофизиологического и эмоционального
17
состояния человека-оператора / К.В. Сидоров, И.А. Ребрун, Д.Д. Кожевников,
И.С. Соботницкий // Электронный научный журнал Инженерный вестник Дона. –
2012. – №4-2 (23). – С. 27. – http://www.ivdon.ru/magazine/archive/n4p2y2012/1480.
4.
Филатова, Н.Н. Интерпретатор сигналов на основе нейроподобной
иерархической структуры / Н.Н. Филатова, Д.М. Ханеев, К.В. Сидоров //
Программные продукты и системы. – 2014. – №1 (105). – С. 92–97.
5.
Филатова, Н.Н.
Алгоритм
классификации
графиков
с
последовательным укрупнением признаков / Н.Н. Филатова, Д.М. Ханеев,
К.В. Сидоров // Программные продукты и системы. – 2014. – №3 (107). – С. 78–86.
II. Свидетельства о праве интеллектуальной собственности:
6.
Сидоров, К.В. Интерпретатор двухмерных проекций аттракторов
биоэлектрических сигналов № 2013618634 / К.В. Сидоров, Д.М. Ханеев,
Н.Н. Филатова // Программы для ЭВМ. Базы данных. Топологии интегральных
микросхем: офиц. бюл. Федер. службы по интеллект. собственности. – №3 (85). –
М.: ФИПС, 2013.
7.
Сидоров, К.В.
Автоматическая
локализация
аппаратнофизиологических
артефактов
электроэнцефалограмм
№ 2013619055
/
К.В. Сидоров, Н.Н. Филатова // Программы для ЭВМ. Базы данных. Топологии
интегральных микросхем: офиц. бюл. Федер. службы по интеллект.
собственности. – №3 (85). – М.: ФИПС, 2013.
8.
Сидоров, К.В. Мультимодальная база образцов естественной речи с
объективно подтвержденным фактом изменения эмоционального состояния
диктора № 2014620467 / К.В. Сидоров, Н.Н. Филатова, С.А. Терехин //
Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц.
бюл. Федер. службы по интеллект. собственности. – №4 (90). – М.: ФИПС, 2014.
9.
Терехин, С.А. Оценка и анализ площади проекции аттрактора
временного ряда № 2014662110 / С.А. Терехин, Н.Н. Филатова, К.В. Сидоров //
Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц.
бюл. Федер. службы по интеллект. собственности. – №12 (98). – М.: ФИПС, 2014.
10. Сидоров, К.В. Генератор потока воздуха для биотехнической
установки для мониторинга эмоций: патент РФ № 151520, заявка № 2014118660 /
К.В. Сидоров, Н.Н. Филатова, Л.В. Илясов, Д.М. Ханеев // Изобретения. Полезные
модели: офиц. бюл. Федер. службы по интеллект. собственности. – Бюл. 10. – М.:
ФИПС, 2015.
III. Публикации в других изданиях:
11. Калюжный, М.В. Кластерный анализ речевых сигналов /
М.В. Калюжный, К.В. Сидоров // Вестник Тверского государственного
технического университета: научный журнал. – Вып. 14. – Тверь: ТвГТУ, 2009. –
С. 54–59.
12. Сидоров, К.В. К вопросу оценки эмоциональности естественной и
синтезированной речи по объективным признакам / К.В. Сидоров,
М.В. Калюжный // Вестник Тверского государственного технического
18
университета: научный журнал. – Вып. 18. – Тверь: ТвГТУ, 2011. – С. 81–85.
13. Сидоров, К.В. Анализ признаков эмоционально окрашенной речи /
К.В. Сидоров, Н.Н. Филатова // Вестник Тверского государственного
технического университета: научный журнал. – Вып. 20. – Тверь: ТвГТУ, 2012. –
С. 26–31.
14. Сидоров, К.В. Применение аппарата нелинейной динамики для
распознавания эмоционального состояния человека по речевому сигналу /
К.В. Сидоров // Сборник тезисов докладов I всероссийского конгресса молодых
ученых. – Вып. 2. – СПб.: НИУ ИТМО, 2012. – С. 217–219.
15. Сидоров, К.В. Модельный русскоязычный корпус эмоциональной
речи / К.В. Сидоров, Н.Н. Филатова, М.В. Калюжный // Приоритетные
направления развития науки и технологий: доклады XI всероссийской научн.техн. конф.; под общ. ред. В.М. Панарина. – Тула: Инновационные технологии,
2012. – С. 115–117.
16. Сидоров, К.В. Алгоритм автоматической генерации речевых объектов
/ К.В. Сидоров, Н.Н. Филатова // Сборник материалов I Международной научн.практ. конф. «Технические науки - основа современной инновационной системы».
– Часть 1. – Йошкар-Ола: Коллоквиум, 2012. – С. 118–120.
17. Сидоров, К.В. К вопросу построения модели распознавания
эмоциональных состояний человека по речевому сигналу / К.В. Сидоров,
Н.Н. Филатова // Сборник материалов XХIV Всероссийской научн.-техн. конф.
студентов, молодых ученых и специалистов «Биотехнические, медицинские и
экологические системы и комплексы». – Часть 1. – Рязань: РГРТУ, 2012. – С. 155–
160.
18. Сидоров, К.В. Распознавание эмоционального состояния человека на
основе спектрального анализа речевого сигнала / К.В. Сидоров // Сборник
научных трудов магистрантов и аспирантов. – Вып. 2. – Тверь: ТвГТУ, 2012. –
С. 142–145.
19. Сидоров, К.В. Реконструкция аттракторов фонем для распознавания
эмоционального состояния человека / К.В. Сидоров, Н.Н. Филатова //
Математические методы в технике и технологиях – ММТТ-25: сб. трудов XXV
Междунар. науч. конф. / под общ. ред. А.А. Большакова. – Саратов: Саратов. гос.
техн. ун-т, 2012; Волгоград: Волгогр. гос. техн. ун-т, 2012; Харьков: Национ. техн.
ун-т «ХПИ», 2012.– С. 127-130.
20. Сидоров К.В. Автоматическое распознавание эмоций человека на
основе реконструкций аттракторов образцов речи / К.В. Сидоров, Н.Н. Филатова
// Программные системы и вычислительные методы. – №1 (1). – 2012. – С. 67–79.
21. Филатова, Н.Н. Модель интерпретации эмоций в речи /
Н.Н. Филатова, К.В. Сидоров // Труды Конгресса по интеллектуальным системам
и информационным технологиям «IS&IT'13». Научное издание в 4-х томах. – М.:
Физматлит, 2013. – Т. 1. – С. 98–105.
22. Сидоров, К.В. Биотехнический подход к построению модели эмоций /
19
К.В. Сидоров // Сборник научных трудов II-ой Международной летней школысеминара по искусственному интеллекту для студентов, аспирантов и молодых
ученых «Интеллектуальные системы и технологии: современное состояние и
перспективы» (ISyT’2013). – Тверь: ТвГТУ, 2013. – С. 172–181.
23. Сидоров, К.В. К вопросу автоматического выделения артефактов в
электроэнцефалограммах / К.В. Сидоров, И.А. Ребрун, И.А. Тюрина // Вестник
Тверского государственного технического университета: научный журнал.–
Тверь: ТвГТУ, 2013. – №2. – Вып. 24. – С. 40–44.
24. Филатова, Н.Н. Применение нейроподобной иерархической структуры
для классификации знака эмоций / Н.Н. Филатова, К.В. Сидоров, Д.М. Ханеев //
XVI Всероссийская научно-техническая конференция «НЕЙРОИНФОРМАТИКА2014» с международным участием: Сборник научных трудов в 3-х частях. – Ч. 2. –
М.: НИЯУ МИФИ, 2014. – С. 291–300.
25. Сидоров, К.В. Биотехническая система для анализа эмоций человека /
К.В. Сидоров, Н.Н. Филатова // Труды Конгресса по интеллектуальным системам
и информационным технологиям «IS&IT'14». Научное издание в 4-х томах. – М.:
Физматлит, 2014. – Т. 2. – С. 238–244.
26. Ребрун, И.А. Модель проявления эмоций в естественной речи /
И.А. Ребрун, К.В. Сидоров, Н.Н. Филатова, Д.М. Ханеев // Четырнадцатая
национальная конференция по искусственному интеллекту с международным
участием КИИ-2014 (24-27 сентября 2014 г., г. Казань, Россия): Труды
конференции. – Т. 2. – Казань: РИЦ «Школа», 2014. – С. 112–121.
27. Ребрун, И.А. Биотехническая система для исследования когнитивной
деятельности в различных эмоциональных состояниях испытуемого /
И.А. Ребрун, К.В. Сидоров, С.А. Терехин, Н.Н. Филатова, П.Д. Шемаев // XVII
Всероссийская научно-техническая конференция «НЕЙРОИНФОРМАТИКА2015»: Сборник научных трудов в 3-х частях. – Ч. 1. – М.: НИЯУ МИФИ, 2015. –
С. 19–29.
В работах, опубликованных в соавторстве, лично автору принадлежат:
в [1, 3, 13] – система признаков для оценки параметров эмоций; в [2, 5] –
математическая модель интерпретатора эмоций, отображающая их знак, уровень
и динамику; в [8] – концепция и структура мультимодальной базы эмоций; в
[6, 7, 9, 16, 19, 20] – алгоритмы и программы для: оценки морфологических
признаков аттракторов, реконструированных по биомедицинским сигналам;
генерации речевых объектов; локализации артефактов в ЭЭГ; в [4, 10, 25, 27] –
принципы построения БТС для мониторинга эмоций человека по речевым
сигналам и ЭЭГ, разработка модулей БТС для предъявления испытуемому
внешних стимулов и регистрации его откликов; в [11, 12, 15, 17, 21, 23, 24, 26] –
методика формирования образцов эмоциональной речи с объективным
подтверждением изменения эмоций при помощи регистрации ЭЭГ; проведение
экспериментальных исследований; обработка результатов экспериментов.
20
Заказ № 105. Подписано в печать 16.04.2015.
Усл. печ. л. 1.0. Формат 60х84 1/16. Печать офсетная. Тираж 100 экз.
Отпечатано в ООО «Мир полиграфии».
170100, г. Тверь, б-р Радищева, д. 29,
тел. (4822) 71-03-21, 32-26-20.