Автоматическое стенографирование речи: состояние и перспективы Пилипенко В.В. Международный научно-учебный центр информационных технологий и систем 29.01.2013 Стенографирование Стенографирование vs речевой диалог Стенографирование — получение текстов из записанных речевых файлов при помощи автоматического распознавания речи Особенности: Нет непосредственной обратной связи от говорящего Слитная речь с большим объемом словаря Много дикторов разного стиля произношения, акценты Слабо контролируемые условия записи Преимущества: Можно анализировать в несколько проходов Можно легко задействовать много компьютеров Область применения: Новости Парламент Телевизионные шоу Суды Научные доклады 29.01.2013 Стенографирование Парламентская речь Спонтанная речь. Иногда встречаются доклады, зачитываемые по заранее подготовленному тексту. Публичные дикторы. Быстрый темп. Часто эмоционально окрашена. Непрерывные выступления дикторов. Качество записи достаточно высокое, поскольку каждое депутатское место оснащено микрофоном. 29.01.2013 Стенографирование Стенографирование в парламентах Стенографист набирает текст в 3-5 раз медленнее темпа речи. Обычно допускает в тексте 2-5% ошибок. 6-7 стенографистов набирают текст порциями по 3 минуты. Черновая стенограмма готова на следующее утро. Отдел редактирования (около 20 человек) готовит официальную стенограмму обычно в течение двух недель. Отличается от сказанного. 29.01.2013 Стенографирование Наша цель Автоматизированное стенографирование. Один стенографист прослушивает речь и устраняет ошибки в темпе поступления речи. Точность автоматического распознавания не менее 85%. 29.01.2013 Распознавание речи Пилипенко В.В. Схема распознавания речи 29.01.2013 Распознавание речи Пилипенко В.В. Спектральный анализ сигнала 29.01.2013 Распознавание речи Анализ сигнала 29.01.2013 Распознавание речи Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений 29.01.2013 Распознавание речи Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений 29.01.2013 Распознавание речи Пилипенко В.В. Задача распознавания речи последовательность векторов наблюдений правило Байеса акустическая часть лингвистическая часть 29.01.2013 Распознавание речи Модель порождения речевого сигнала Состояния Наблюдаемая последовательность Поиск кратчайшего пути при помощи алгоритма динамического программирования 29.01.2013 Распознавание речи Пилипенко В.В. Вероятность порождения речи моделью Распознавание речи 29.01.2013 Пилипенко В.В. Лингвистическая модель K P w P w ,..., w i|w i 1 1 wi1,...,w1 - история i 1 K P w P w ( w ,..., w ) i| i 1 1 Ф – класс эквивалентности i 1 K P w P w w , w ,..., w i| i 1 i 2 i N 1 N-граммная модель i 1 C w ,..., w , w i N 1 i 1 i P w | w , w ,..., w f w | w , w ,..., w ii 1 i 2i N 1 ii 1 i 2i N 1 C w ,... w i N 1 i 1 P w | w , w , f ( w | w , w ) f ( w | w ) f ( w ) 3 1 2 3 3 1 2 2 3 2 1 3 1 , 0 , 0 , 0 - коэффициенты сглаживания 1 2 3 1 2 3 29.01.2013 Распознавание речи Пилипенко В.В. Виды моделей при распознавании 29.01.2013 Стенографирование Корпуса речи и текстов Радуцкий Александр, SRS Верховная Рада 65 часов Телевизиные передачи 280 часов Новости телеканала NewsOne700 часов 300 дикторов 3000 дикторов Запись из телевизионного канала Застенографировано и размечено экспертами на фразы Текстовый корпус из Интернета больше 600 миллионов слов 29.01.2013 Стенографирование Причины понижения точности Людовик Татьяна Влияние каналов связи и шумов Разнообразие голосов дикторов Неизвестные слова от 2 до 20% словаря Построение лингвистических моделей по текстам Собственные имена от 5 до 20% словаря Экстралингвистические явления от 2 до 15% случаев Редукция и быстрый темп Суржик и другое неправильное произношение 29.01.2013 Стенографирование Многодикторное распознавание 29.01.2013 Стенографирование Адаптация к голосу диктора Юхименко Александр Для адаптации необходимо 2 минуты речи диктора Для известных дикторов (которые вошли в обучающий корпус) 2% улучшения точности распознавания Для неизвестных дикторов — от 5 до 20% улучшения Разработана технология адаптации без участия эксперта для транскрибирования адаптационного образца речи Стенографирование 29.01.2013 Варианты транскрипций словоформ, индивидуальные для дикторов Робейко Валентина Словоформа Обычная транскрипция Спонтанная фонетическая транскрипция шанОвни шановний шанОвний коли колИ колИ кОли коли доброго дОброго дОбро Около 3% улучшения точности распознавания 29.01.2013 Стенографирование Моделирование незнакомых слов 29.01.2013 Стенографирование Пример ответа распознавания при наличии незнакомых слов провадження !B ж о к' І х !E санкцій проти !B т й х' І т р !E на провайдерів які не відключають !B н е !E законні комітети провадження * санкцій проти * на провайдерів які не відключають * законні комітети 29.01.2013 Стенографирование Экстралингвистические явления Ладошко Ольга, Гузиенко Ирина Экстралингвистические явления от 2 до 15% случаев Улучшение точности распознавания от 2 до 6% Стенографирование 29.01.2013 Распознавание многоязычной речи без идентификации языка Людовик Татьяна Набор фонем — украинский Для русских фонем замены: «и» на «і», «э» на «е», «г» на «ґ» Словарь - 56753 украинские словоформы и 58058 русских словоформ Украинский Русский Укр + Рус украинские 1693 85.17 10.99 83.70 русские 13.83 85.80 73.54 61.82 35.36 80.37 Речевые сегменты Количество слов 823 украинские 2516 + русские 29.01.2013 Стенографирование Обучение на корпусе с неточным текстовым сопровождением Селюх Руслан Для обучения необходимо точное соответствие звука и текста Обычно стенограмма имеет от 5 до 20% несовпадений Для точной разметки эксперт тратит в 8 раз больше времени звучания Исходный корпус 100 часов речи — несовпадение 15% Размеченный корпус 60 часов Улучшение точности распознавания на 5% 29.01.2013 Стенографирование Примеры ответов распознавания 29.01.2013 Стенографирование Примеры ответов распознавания Суд над Тимошенко 67% 29.01.2013 Стенографирование Достигнутое состояние Средняя точность распознавания — 77% Для отдельных дикторов - 89% 29.01.2013 Стенографирование Лингвистические модели Сажок Николай Семинар ”Образный компьютер” 12 февраля 2013 Спасибо за внимание !