Извлечение фактов и отношений (Information extraction
реклама
КМАТ 06 Извлечение фактов и отношений (Information extraction) Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 14.02.2014 / 06 КМАТ 06 Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Извлечение информации Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Извлечение информации Извлечение информации На площадь Восстания могут вернуть конный памятник императору Александру III, который стоял там до 1937, а сейчас расположен во дворе Мраморного дворца. Письмо с просьбой обсудить целесообразность или нецелесообразность возвращения памятника на одну из городских площадей написал в ЗакС вице-губернатор Василий Кичеджи. КМАТ 06 Извлечение информации Information extraction Information extraction: I I текст −→ структурированные данные (БД) комбинирование методов анализа текста: I I I вероятностные языковые модели конечные автоматы частичный синтаксический анализ КМАТ 06 Извлечение информации Подзадачи извлечения информации I Named entity recognition and classification I Reference resolution I Relation detection and classification I Event detection and classification I Temporal expression detection and Temporal analysis I Template-filling КМАТ 06 Извлечение информации Извлечение и классификация именованных сущностей Named entity recognition and classification На [LOC площадь Восстания ] могут вернуть конный памятник императору [PERS Александру III ], который стоял там до 1937, а сейчас расположен во дворе Мраморного дворца. Письмо с просьбой обсудить целесообразность или нецелесообразность возвращения памятника на одну из городских площадей написал в [ORG ЗакС ] вице-губернатор [PERS Василий Кичеджи ]. КМАТ 06 Извлечение информации Кластеризация именованных сущностей Reference resolution У берегов [LOC Камчатки ] произошло землетрясение, магнитуда подземных толчков составила 5. Об этом сообщил «Интерфаксу-Дальний Восток» представитель камчатского филиала Геофизической службы РАН. Колебания земной коры зафиксированы в [LOC Тихом океане ] в [LOC 340 км юго-восточнее Петропавловска-Камчатского ] на глубине 49 км. По данным МЧС, в населённых пунктах региона землетрясение не ощущалось, разрушений нет, угроза цунами не объявлялась. КМАТ 06 Извлечение информации Извлечение и классификация отношений Relation detection and classification Компания [ORG Thomson Reuters ] уволила заместителя редактора социальных сетей портала reuters.com [PERS Мэттью Киза ] ([PERS Matthew Keys ]), обвиненного в сотрудничестве с группой хакеров [ORG Anonymous ]. быть сотрудником PERS → ORG Бинарные отношения сотрудничать с PERS → ORG КМАТ 06 Извлечение информации Извлечение событий Event detection and classification Компания [ORG Thomson Reuters ] [EVENT уволила ] заместителя редактора социальных сетей портала reuters.com [PERS Мэттью Киза ] ([PERS Matthew Keys ]), обвиненного в сотрудничестве с группой хакеров [ORG Anonymous ]. КМАТ 06 Извлечение информации Анализ дат Temporal expression detection and Temporal analysis Мамонтенка Женю, найденного на Таймыре, привезут в петербургский Зоологический институт Российской академии наук (РАН) в [DATE понедельник ], сообщил в [DATE воскресенье ] РИА Новости заместитель директора Зоологического института Алексей Тихонов. Останки Сопкаргинского мамонта нашел в [DATE конце августа 2012 года ] на Таймыре одиннадцатилетний Евгений Салиндер. Столь крупных и с хорошо сохранившимися тканями находок не было с [DATE 1901 года ]. КМАТ 06 Извлечение информации Извлечение данных по шаблону Template-filling По последним данным, число жертв [DISEASE «птичьего гриппа» H7N9 ], впервые выявленного у человека в [LOC Китае ] в [DATE конце марта ], достигло [VICTIMS 20 ]. По обобщенным сведениям, число заболевших вирусом [DISEASE «птичьего гриппа» ] в [LOC Китае ] составило [VICTIMS 101 ]. Из них, по меньшей мере, [VICTIMS четыре человека ] находятся в критическом состоянии. Случаи заболевания гриппом птиц [DISEASE H7N9 ] зарегистрированы среди граждан, проживающих в провинциях [LOC Цзянсу ], [LOC Чжэцзян ], [LOC Аньхой ] и [LOC Хэнань ], а также в [LOC Шанхае ] и [LOC Пекине ]. КМАТ 06 Извлечение информации Извлечение данных по шаблону Сообщение об эпидемической вспышке: Заболевание «птичий грипп», H7N9 Число жертв 20, 101, 4 Локализация случаев Китай, Цзянсу, Чжэцзян, Аньхой, Хэнань, Шанхай, Пекин КМАТ 06 Извлечение информации У берегов [LOC Камчатки ] произошло землетрясение, магнитуда подземных толчков составила 5. Об этом сообщил «[ORG Интерфаксу-Дальний Восток ]» представитель [ORG камчатского филиала Геофизической службы РАН ]. Колебания земной коры зафиксированы в [LOC Тихом океане ] в 340 км юго-восточнее [LOC Петропавловска-Камчатского ] на глубине 49 км. По данным [ORG МЧС ], в населённых пунктах региона землетрясение не ощущалось, разрушений нет, угроза цунами не объявлялась. КМАТ 06 Распознавание именованных сущностей Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Распознавание именованных сущностей Распознавание именованных сущностей Named entity recognition: I I выделить в тексте имена собственные классифицировать их: I I I I I I имена лиц топонимы названия организаций названия песен и исполнителей названия товаров и брэндов etc. КМАТ 06 Распознавание именованных сущностей Способы определения имен собственных I Специфические для языка и жанра текстовые сигналы: I I I I орфографическая форма слова (большие буквы) слова-маркеры г-н, прибыл в, характерные суффиксы/префиксы Списки имен собственных: I I Gazetteers (словари географических названий) Списки имен и фамилий (по данным переписей) КМАТ 06 Распознавание именованных сущностей Орфографическая форма слова строчные с заглавной заглавные смешанный регистр инициал с точкой оканчивается на цифру и т.п. камчатский филиал Интерфакс МЧС ЗакС П. С7 КМАТ 06 Распознавание именованных сущностей Омонимия имен собственных I омонимия имён — Ленина: I I I I I I омонимия аббревиатур — ПТК: I I I исторический деятель памятник улица государственная награда и т.п. Петербургская топливная компания Первая транспортная компания метонимия — Кремль: I I ORG LOC КМАТ 06 Распознавание именованных сущностей Статистический подход к распознаванию именованных сущностей I рассмотрим задачу распознавания именованных сущностей как расстановку тегов к словам I ArgmaxP(Tags|Words) I задача аналогична POS tagging (расстановке частей речи)! КМАТ 06 Распознавание именованных сущностей Схема аннотации IOB Слово Компания Thomson Reuters уволила заместителя ... Тег O BORG IORG O O B Begin — первое слово именованной сущности I Inside — слово внутри именованной сущности O Outside — слово, не входящее ни в одну именованную сущность КМАТ 06 Распознавание именованных сущностей Интеграция дополнительных признаков для классификации Слово Компания Thomson Reuters уволила заместителя ... Тег O BORG IORG O O PoS N N N V N chunk BNP INP INP BVP BNP орф. форма cap cap cap low low КМАТ 06 Распознавание именованных сущностей Sequence labeling При наличии обучающей выборки с размеченными именованными сущностями: I оптимизация с использованием цепей Маркова: I I I HMM, Hidden Markov Model MEMM, maximum-entropy Markov Model классификация токена с использованием скользящего окна: I I I I Naive Bayes decision trees Maximum Entropy classifier SVM КМАТ 06 Распознавание именованных сущностей Практический подход 1. Выделить однозначные упоминания именованных сущностей с помощью регулярных выражений (высокая точность, низкая полнота). 2. Искать строки, близкие к выделенным в пункте (1) сущностям. 3. Поискать сущности из специализированных словарей имен. 4. Применить вероятностные алгоритмы классификации последовательностей, используя теги, полученные на предыдущих этапах. КМАТ 06 Извлечение отношений Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Извлечение отношений Извлечение и классификация отношений I отношения, специфические для предметной области: I I рожать в (PERS, ORG) общие отношения: I I I I I семья работа часть—целое членство пространственные КМАТ 06 Извлечение отношений Примеры общих отношений Класс Принадлежность Персональные Организационные Предметные Примеры Тип мать, женат на директор, оф. представитель владеть, производить PERS → PERS PERS → ORG (PERS|ORG) → OBJ Пространственные Близость Направление рядом с к югу от LOC → LOC LOC → LOC КМАТ 06 Извлечение отношений Методы Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Извлечение отношений Методы Supervised approaches 1. Кодировщики аннотируют тексты: I I I текстовые фрагменты, соответствующие двум сущностям типы сущностей тип отношения 2. Обучение классификатора. Подзадачи: I I Определить наличие/отсутствие отношений между парой сущностей Определить тип отношения КМАТ 06 Извлечение отношений Методы Supervised approaches В обучающей выборке: I рассматриваются только пары сущностей, встречающиеся в одном предложении; I размеченные кодировщиками отношения служат положительными примерами; I все прочие возможные пары сущностей в рамках предложения — отрицательными примерами. КМАТ 06 Извлечение отношений Методы Lightly Supervised approaches Bootstrapping 1. Начнем с нескольких известных примеров искомого отношения: HeadquarteredIn (Google, Mountain View) 2. В большом корпусе найдем примеры употребления этих сущностей в пределах небольшого окна. 3. Используем найденные примеры для выделения шаблонов: ORG’s headquarters in LOC, LOC-based ORG 4. Используем шаблоны для поиска новых пар сущностей в корпусе. 5. С расширенным набором пар сущностей вернемся к шагу (1). КМАТ 06 Извлечение отношений Методы Lightly Supervised approaches Distant supervision I Источники данных: Википедия, Freebase I Большие наборы пар сущностей, состоящих в искомом отношении. I Предположение: любое предложение, содержащее такую пару сущностей, выражает искомое отношение. I Извлекаем признаки таких предложений для использования при обучении классификатора. КМАТ 06 Извлечение отношений Методы Unsupervised approaches Relation discovery I Есть корпус текстов из определенной предметной области I В нем выделены именованные сущности I Нет заранее данных типов отношений I Задача: выявить значимые типы отношений КМАТ 06 Извлечение отношений Методы Unsupervised approaches Relation discovery I Входные данные: пары сущностей + контексты I Кластеризовать пары на непересекающие группы, где каждая группа представляет одно отношение (k-средних или аггломеративная кластеризация). I Отдельный «мусорный» кластер для несвязанных пар сущностей и несущественных отношений. КМАТ 06 Извлечение отношений Методы Unsupervised approaches Template induction информационный шаблон: I несколько слотов I разные семантические роли Идея: I кластеризовать сущности I каждый кластер соответствует одной роли КМАТ 06 Извлечение отношений Методы Unsupervised approaches Template induction Chambers and Jurafsky Двухступенчатая кластеризация: I Сгруппировать лексические шаблоны, описывающие сходные события. I Сгруппировать потенциальных заполнителей слотов для каждого типа события. Интерпретируемые метки слотов: Person/Organization who raids, questions, discovers, investigates, diffuses, arrests КМАТ 06 Извлечение отношений Методы Unsupervised approaches Open information extraction Идея: I существует небольшой набор синтаксических шаблонов, охватывающих большинство разных типов бинарных отношений I главное не использовать лексические признаки Эвристики: I Фраза, содержащая отношение, должна начинаться с глагола, заканчиваться предлогом и быть неразрывной. I Фраза, содержащая бинарное отношение, должна встречаться не менее чем с пороговым числом разных пар аргументов. КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Outline Извлечение информации Распознавание именованных сущностей Извлечение отношений Методы Выбор признаков для машинного обучения КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Признаки самих сущностей Сущности — аргументы отношения I тип обоих аргументов I главные слова каждого аргумента I множество слов обоих аргументов КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Лексические контекстуальные признаки Рассматриваемые фрагменты текста: I фиксированное окно до первого аргумента I текст между аргументами I фиксированное окно после второго аргумента Возможные признаки: I множество слов и биграмм (или их лемматизированные версии) I слова непосредственно предшествующие и следующие за аргументами I расстояние между аргументами в словах I количество сущностей между аргументами КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Синтаксические контекстуальные признаки I наличие в тексте определенных синтаксических конструкций I множество главных слов синтаксических групп I расстояние между аргументами в синтаксическом дереве I путь между аргументами в синтаксическом дереве КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Фоновые знания I Википедия: если аргументы совместно встречаются в одной статье Википедии, текст статьи можно использовать для оценки отношения между аргументами I Кластеризация слов: возможность выделить более дробные группы, чем стандартный тип сущности (напр., организация) КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Извлечение отношений У берегов Камчатки произошло землетрясение, магнитуда подземных толчков составила 5. Об этом сообщил «Интерфаксу-Дальний Восток» представитель камчатского филиала Геофизической службы РАН. Колебания земной коры зафиксированы в Тихом океане в 340 км юго-восточнее Петропавловска-Камчатского на глубине 49 км. По данным МЧС, в населённых пунктах региона землетрясение не ощущалось, разрушений нет, угроза цунами не объявлялась. КМАТ 06 Извлечение отношений Выбор признаков для машинного обучения Summary: State-of-the-Art I Распознавание именованных сущностей: I I Алгоритмы статистической разметки последовательностей (Sequence labeling) Извлечение отношений: I I I тщательный подбор признаков стандартные алгоритмы классификации тенденция к поиску методов машинного обучения без учителя
