Русские ресурсы для программного обеспечения NOOJ Составление словарей, помет и грамматик Digital Humanities В.Ш.Э. Нижний-Новгород 18/10/2013 Корпусы русского языка «он лайн» «готовые» русские ресурсы • Национальный корпус русского языка http://ruscorpora.ru • Машинный фонд русского языка http://cfrl.ru • Корпус русского литературного языка http://www.narusco.ru Что такое Nooj? Многоязычная система для обработки текстов Nooj http://www.nooj4nlp.net/pages/nooj.html, работа с «собственными» текстами и ресурсами Принцины работы с программой NOOJ Скачать программу и ресурсы Установить программу ( распаковка) Выбрать параметры для русского языка Открыть ( Импортировать) текст Составить лексику Провести морфосинтаксический анализ Снять случаи омонимии Искать слова и составить конкордансы Использовать и написать «грамматики» Скачать NOOJ • NOOJ http://www.nooj4nlp.net/pages/download.html Скачать ресурсы 23 языка (7 славянских языков) Русский язык Установить программу Автоматическая распаковка в папках C:\NooJApp\_App C:\ NooJApp\_Misc C:\ NooJApp\FR C:\ NooJApp\EN C:\ NooJApp\RU Работа в папке C:\My Documents Содержание папки «ru» Как построены лингвистические ресусрсы? Основные файлы с русскими ресурсами • • • • • Файл :Properties.def Файл(ы) : словари.dic / .nod Файл(ы) : парадигмы.nof Файлы : грамматики.nog Файлы : тексты.txt / .not Как построены лингвистические ресусрсы? Основной файл с характеристиками : • Properties.def A_Forme = fc | fl | adv; A_Genre = m | f | n ; A_SGenr = an | inan ; A_Nombre = s | p; A_Cas = Im | Vi | Ro | Da | Tv | Pr | Zv; A_Deg = Comp | Sup ; A_Sem = App | Color | Body; ADV_Deg = Comp; ADV_Sem = Time | Topo | Modal; N_Genre = m | f | n ; N_SGenr = an | inan ; N_Nombre = s | p; N_Cas = Im | Vi | Ro | R2 | Da | Tv | Pr | P2 | Zv ; N_Sem = Hum | Forename | Prof | Parent | Body |Animal | Bird | Food | Arts | Lit | Music | Sports | Topo | Country | River | City | Mount| Lake | Posit | Time | Color ; Как построены лингвистические ресусрсы? Словари с лексикой и образцы: • 3 словаря : oбщий, личные имена, суб. прилагательные • 3516346 word forms / 95603 different analyses • • • • • • • • • красивый,A+FLX=новый машина,N+f+inan+FLX=карта судьба,N+f+inan+FLX=судьба альтист,N+m+an+Prof+Music+FLX=артист стол,N+m+inan+FLX=стол шестьдесят,NUM+card+FLX=пятьдесят ковать,V+ipf+FLX=жевать водить,V+ipf+FLX=ходить лгать,V+ipf+FLX=лгать Как построены лингвистические ресусрсы? Семантические пометы : • Около 5000 слов с семантической разметкой • • • • • • береза,N+f+inan+Plant+Tree+FLX=карта альтист,N+m+an+Hum+Music+Prof+FLX=артист белый,A+Color+FLX=новый морковь,N+f+inan+Food+Vegetable+FLX=смесь глаз,N+m+inan+Body+FLX=глаз водить,V+Mvt+Indet+ipf+FLX=водить Как построены лингвистические ресусрсы? Парадигмы: Около 700 разных парадигмов • новый = <E>/fl+Im+m+s | <E>/fl+Vi+m+s | <B2>ого/fl+Vi+m+an+s | <B2>ого/fl+Ro+m+s | <B2>ому/fl+Da+m+s | <B2>ым/fl+Tv+m+s | <B2>ом/fl+Pr+m+s | <B2>ое/fl+Im+n+s | <B2>ое/fl+Vi+n+s | <B2>ого/fl+Ro+n+s | <B2>ому/fl+Da+n+s | <B2>ым/fl+Tv+n+s | <B2>ом/fl+Pr+n+s | <B2>ая/fl+Im+f+s | <B2>ую/fl+Vi+f+s | <B2>ой/fl+Ro+f+s | <B2>ой/fl+Da+f+s | <B2>ой/fl+Tv+f+s | <B2>ою/fl+Tv+f+s | <B2>ой/fl+Pr+f+s | <B2>ые/fl+Im+m+f+n+p | <B2>ые/fl+Vi+m+f+n+p | <B2>ых/fl+Vi+p | <B2>ых/fl+Ro+p | <B2>ым/fl+Da+p | <B2>ыми/fl+Tv+p | <B2>ых/fl+Pr+p ; • судьба = <E>/Im+s | <B>у/Vi+s | <B>ы/Ro+s | <B>е/Da+s | <B>ой/Tv+s | <B>ою/Tv+s | <B>е/Pr+s | <B>ы/Im+p | <B>ы/Vi+p | <B><L><B>е/Ro+p | <B>ам/Da+p | <B>ами/Tv+p | <B>ах/Pr+p ; Работа с программой «Nooj» Выбор словарей и «грамматик» Работа с программой «Nooj» Открыть (Импортировать) текст Работа с программой «Nooj» Работа с текстом ( список словоформ и составление конкордансов) Работа с программой «Nooj» Список слов с леммами и список словоформ Работа с программой «Nooj» Работа с текстом ( лингвистический анализ и снятие омонимии) Работа с программой «Nooj» Использование «грамматик» Работа с программой «Nooj» Как написать «грамматику» ? Зовут ? Называется ? Работа с программой «Nooj» Как написать «грамматику» ? Надо PREP мной – Надо ADV , чтобы Digital Humanities В.Ш.Э. Нижний-Новгород 18/10/2013 Русские ресурсы для программного обеспечения NOOJ Merci de votre attention Спасибо за внимание Винцент Бенет [email protected]