УДК 004.432.4 ОБ АВТОМАТИЧЕСКОМ РАСПОЗНАВАНИИ РЕЧИ

УДК 004.432.4
ОБ АВТОМАТИЧЕСКОМ РАСПОЗНАВАНИИ РЕЧИ
Головинов Михаил Викторович
Магистрант ЕНУ им. Л.Н. Гумилева, Астана
Научный руководитель – Шарипбаев А. А.
Попытки научить компьютер «понимать» речь и «разговаривать» предпринимаются с
тех пор, как только появились первые ЭВМ. Что такое речь? Прежде всего, это звук,
меняющийся по частоте и амплитуде во времени. Речь производит и воспринимает в первую
очередь человек, поэтому на основе особенностей физического строения и характеристики
«инструментов» речи человека следует строить алгоритмы ее распознавания и синтеза. В
данной статье мы проведем обзор некоторых имеющихся техник распознавания речи.
Органы речи человека имеют некоторую инертность, т.е. они не могут перейти из
одного состояния в другое (например, после звука «а» сразу же произнести «о»). Переход
будет в некотором роде плавный, из этого следует, что достаточно короткие (например,
15мс) участки звукового сигнала мы можем считать неизменяемые /6/. На этом
предположении и основывается первая стадия почти всех алгоритмов распознавания речи –
выборка «окон», или «кадров». Как правило, кадры извлекают с перекрытием друг друга как
минимум наполовину. Получается так называемое «скользящее окно» с определенным
шагом (Рисунок 1).
132
3-й кадр
1-й кадр
6-й кадр
4-й кадр
2-й кадр
5-й кадр
…
Рисунок 1. Разбивка исходного звукового сигнала на «кадры»
После раскадровки звук представлен набором векторов с размерностью в величину
кадра, что предполагает солидный объем вычислений при дальнейшей его обработке. Однако
речевой сигнал помимо речи содержит информацию о дикторе: его настроение в момент
произнесения слова, пол, высоту голоса, и т.д. Поэтому прибегают к процедуре уменьшения
размерности векторов – извлечения только той информации, которой все еще будет
достаточно для распознавания речи («Future Extraction»). Имеется ряд алгоритмов, которые
позволяют это сделать. Среди них БПФ в мел-масштабе /3/, мел-частотные кепстральные
коэффициенты (MFCC), коэффициенты линейного предсказания (LPC) /5/, метод Шелепова
и Старушко /8/ и др. Большинство из перечисленных методов имеют дело с частотным
представлением сигнала. Характерным является то, что некоторые из выше определенных
учитывают особенности слуховой системы человека (как, например, MFCC), пропуская
спектр сигнала через банк фильтров в мел-масштабе (т.е. в таком масштабе, при котором
нижние частоты учитываются линейно, а верхние – логарифмически).
Теперь мы имеем набор векторов относительно небольшой размерности и можем
подать их на обработку в ядро системы распознавания. Прежде всего, метод дальнейшей
обработки зависит от того, должна ли система распознавать лишь изолированные слова, либо
отдельные слова в слитной речи (т.е. без явного определения начала и конца слова), или же
слитную речь. Как вы могли заметить, задачи перечислены по возрастанию сложности.
Итак, рассмотрим первый вариант – распознавание изолированных слов. Для того,
чтобы распознать слово, мы должны первым делом определить его границы, т.е. участки,
начала и конца слова. Далее мы сравниваем полученное слово со всеми записанными ранее
эталонами и выдаем наиболее близкий вариант. Но метод сравнения должен учитывать
возможную временную разность между эталоном и исходным словом, например, эталон
«один», а сказанное слово «оди-и-и-н». Эту задачу прекрасно решает алгоритм
динамического программирования DTW (Dynamic Time Warping – динамическая свертка
времени) /3, 6/.
Для распознавания слов слитной речи требуются более сложные приемы. Одним из
наиболее мощных и широко распространенных инструментов в этой области являются
Скрытые Марковские Модели (СММ) /3/. СММ прекрасно подходят для моделирования
временных характеристик сигналов, к коим относится речь. Ключевые понятия в СММ – это
«состояние» и «переход» к следующему состоянию. В качестве состояния могут выступать
векторы признаков, описанные выше. А переходы характеризуются вероятностями и могут
указывать либо на исходное состояние, либо на следующие, но ни в коем случае не на
предыдущие состояния, т.к. время движется только «вперед». Суть применения СММ
состоит в том, что сначала по исходным образцам «обучают» СММ – т.е. определяют
состояния и вероятности переходов для N классов, формируют N моделей, после чего
обученную СММ применяют для распознавания новых образцов. В этом и заключается
смысл «скрытых» марковских моделей – сами состояния и переходы между ними наблюдать
мы не можем, но по наблюдаемой последовательности можем определить с определенной
степенью уверенности, какой из известных моделей такая последовательность могла бы быть
получена. Обучение обычно ведется по алгоритму «прямого-обратного хода» /3/. Для
распознавания слитной речи используется алгоритм Витерби, для изолированных слов
подходит алгоритм «прямого хода» /3/. Результатом распознавания считается класс из N
имеющихся с максимальным значением произведения вероятности появления этого класса и
133
вероятности того, что наблюдаемый образец был порожден моделью данного класса. Часто
СММ применяют для пофонемного метода распознавания речи. В этом случае классы – это
фонемы (минимальные звуковые единицы речи небольшой длительности), а результатом
распознавания является фонетическая транскрипция речи /5/. Далее осуществляется поиск
наиболее близкого соответствия полученной транскрипции из заранее подготовленного
словаря.
Для повышения качества распознавания речи требуется учитывать контекстную
информацию анализируемых участков, правила грамматики распознаваемого языка, порядок
слов в предложении и другие факторы, зависящие от конкретного языка, что в разы
увеличивает число входных параметров для системы распознавания и соответствующий
объем вычислений. В таблице 1 для примера приведены характеристики некоторых систем.
Таблица 1. Сравнительные результаты систем для базы Resource Management (/3/)
Точность
Система
Число параметров Число моделей
распознавания
CI-Sphinx
111,000
48
84.4%
CI-Decipher
126,000
69
86.0%
Decipher
5,500,000
3,428
95.1%
Sphinx-II
9,217,000
7,549
96.2%
Во всех перечисленных в таблице 1 системах «ядром» является СММ. В первых двух
используется контекстно-независимые фонемные модели, в третьей и четвертой –
контекстно-зависимые фонемные модели, поэтому у последних наблюдается лучшая
точность наряду с резким увеличением числа анализируемых параметров.
Еще одним мощным инструментом для решения задач распознавания речи служат
искусственные нейронные сети. В особенности, гибриды многослойного персептрона /7/ и
СММ. Гибриды появились путем расширения задач персептрона из классификации
статичных образов (с коими он прекрасно справляется) на решение задач в динамичной
области. Нейронные сети с временной задержкой (TDNN – Time-Delay Neural Networks)
были предложены и опробованы на задаче дикторозависимого распознавания фонем «B»
«D» «G» в /4/. Развитием идеи TDNN являются нейронные сети с временной задержкой и
множеством состояний (MS-TDNN – Multi State Time-Delay Neural Networks), которые
применимы для распознавания на уровне слов (Рисунок 2).
Уровень слов
Слой DTW
копирование весов →
Слой фонем
5 временных задержек →
Скрытый слой
3 временные задержки →
Входной слой
Рисунок 2. Нейронная сеть MS-TDNN (/3/)
134
MS-TDNN для слитной речи с большим словарем применил Tebelskis и достиг
точности 90.5% с числом параметров в 67 тыс. /3/. Примечательно, что MS-TDNN успешно
применяется не только в распознавании речи, но и в распознавании рукописных букв в
реальном времени /2/. Отличительной особенностью MS-TDNN является то, что в нее
интегрирован слой DTW для определения слов. Обучают нейронные сети часто при помощи
алгоритма обратного распространения ошибки и его вариаций.
Относительно новым направлением являются импульсные нейронные сети (Spiking
Neural Networks – SNN), предназначенные для временной классификации образов /1/.
Принцип действия SNN состоит в более качественном имитировании естественных нейронов
по сравнению с классическим персептроном. Сеть получает на входы серию импульсов и
выдает на выходе импульсы (Рисунок 3).
входной
слой
скрытый
слой
входные сигналы
выходной
слой
выходные сигналы
Рисунок 3. Импульсная нейронная сеть с одним скрытым слоем (/1/)
Каждый нейрон в составе сети в каждый момент времени обладает неким значением,
аналогичным электрическому потенциалу в биологическом нейроне. При превышении
определенного порога нейрон посылает «импульс» и обретает потенциал ниже среднего,
имитирую процесс реабилитации. Значение потенциала в нейроне всегда стремиться к
некоторому среднему и плавно приближается к нему, если выведено из равновесия. Весовые
связи импульсного нейрона характеризуются такими параметрами, как время задержки, и
величина веса. Для импульсных сетей еще нет мощной математической базы, как, например,
для персептрона и СММ. Тем не менее, в /1/ приводится адаптированный алгоритм
обратного распространения ошибки для обучения сети, а так же проведен эксперимент
распознавания цифр по серии изображений губ («чтение по губам»).
В заключение хотелось бы отметить, что обзор в данной статье охватывает далеко не
все способы и методы распознавания речи, а лишь некоторые известные на данный момент.
Тем не менее, это дает общее представление о том, каким образом может происходить
процесс распознавания слов и речи.
Литература
1. Booij O. «Temporal Pattern Classification using Spiking Neural Networks», 2004
2. Hild H. and Waibel A., «Connected Letter Recognition with a Multi-State Time Delay
Neural Network». Advances in Neural Network Information Processing Systems (NIPS-5). Morgan
Kaufmann, 1993.
3. Tebelskis J, «Speech Recognition using Neural Networks», 1995
4. Waibel A., Hanazawa T., Hinton G., Shikano K., Lang K.J. «Phoneme Recognition
Using Time-Delay Neural Networks», IEEE Transactions On Accoustics, Speech And Signal
Processing, Vol. 37, 1989
135
5. Аграновский А.В., Леднов Д.А. «Теоретические аспекты алгоритмов
обработки и классификации речевых сигналов», М. «Радио и связь», 2004
6. Винцюк Т.К. «Анализ, распознавание и интерпретация речевых сигналов»,
Наукова Думка, 1987
7. Минский М. Л., Пейперт С. «Персептроны», М: Мир, 1971
8. Шелепов В.Ю., Старушко Д.Г., «Новая система признаков для
распознавания речевых единиц», «Искусственный интеллект» 4`2002.