Примеры запросов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ
ГОУ ВПО «Иркутский государственный
лингвистический университет»
В.П. Захаров, С.Ю. Богданова
КОРПУСНАЯ ЛИНГВИСТИКА
Учебник
Иркутск
ИГЛУ
2011
УДК 81’32
ББК 81.1-923
З - 38
Рецензенты:
доктор филологических наук, ведущий научный сотрудник Института
востоковедения РАН
С.А. Крылов,
доктор технических наук, профессор Санкт-Петербургского
государственного университета
В.Ш. Рубашкин
Захаров В.П., Богданова С.Ю.
З-38 Корпусная лингвистика: учебник для студентов гуманитарных вузов.
– Иркутск: ИГЛУ, 2011. – 161 с.
ISBN 978-5-88267-316-0
Учебник знакомит с концепциями корпусной лингвистики, дает
возможность освоить основы корпусных технологий, приобрести навыки
работы с корпусами, определить место дисциплины и собственно корпусов в
ряду информационных технологий.
Предназначен для студентов, магистрантов и аспирантов филологических
специальностей.
УДК 81’32
ББК 81.1-923
© Захаров В.П., 2011
ISBN 978-5-88267-316-0
© Богданова С.Ю., 2011
© Иркутский государственный
лингвистический университет, 2011
2
ОГЛАВЛЕНИЕ
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ЧАСТЬ 1. ВВЕДЕНИЕ В КОРПУСНУЮ ЛИНГВИСТИКУ . . . . .
1.1. Основные понятия корпусной лингвистики . . . . . . . . . .
1.2. Направления в лингвистике, предвосхитившие
появление корпусной лингвистики: от картотеки к
корпусу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3. История создания лингвистических корпусов . . . . . . . .
1.4. Основные характеристики корпусов . . . . . . . . . . . . . . . .
1.4.1. Репрезентативность корпусов . . . . . . . . . . . . . . . . . . . . .
1.4.2. Классификация корпусов по различным основаниям . .
1.4.3. Особые типы корпусов . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.3.1. Параллельные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.3.2. Корпусы устной речи . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ЧАСТЬ 2. СОЗДАНИЕ КОРПУСОВ . . . . . . . . . . . . . . . . . . . . . . . .
2.1. Предварительные работы по созданию корпуса . . . . . .
2.1.1. Проектирование и технологический процесс создания
2.1.2. Отбор источников. Критерии отбора . . . . . . . . . . . . . . .
2.1.3. Основные процедуры обработки естественного языка:
токенизация, лемматизация, стемминг, парсинг . . . . . .
2.2. Понятие разметки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1. Разметка. Средства разметки корпусов . . . . . . . . . . . . .
2.2.2. Лингвистическая разметка . . . . . . . . . . . . . . . . . . . . . . . .
2.2.3. Экстралингвистическая разметка . . . . . . . . . . . . . . . . . .
2.2.4. Стандартизация в корпусной лингвистике . . . . . . . . . . .
ЧАСТЬ 3. ИСПОЛЬЗОВАНИЕ КОРПУСОВ . . . . . . . . . . . . . . . . . .
3.1. Корпусные менеджеры . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1. Корпус как поисковая система . . . . . . . . . . . . . . . . . . . .
3.1.2. Языки запросов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.3. Выходные интерфейсы . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.4. Корпусные менеджеры нелингвистических корпусов
(WWW) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2. Обзор существующих корпусов различных типов . . . .
3.2.1. Зарубежные национальные корпусы . . . . . . . . . . . . . . . .
3.2.2. Корпусы русского языка . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.2.1. Первые корпусы русского языка . . . . . . . . . . . . . . . . . . .
3.2.2.2. Современные корпусы русского языка . . . . . . . . . . . . . .
3.2.2.2.1. Национальный корпус русского языка . . . . . . . . . . . . . .
3.2.2.2.2. Устные корпусы русского языка . . . . . . . . . . . . . . . . . . .
3
5
7
7
11
14
17
17
20
26
26
29
33
33
33
36
38
42
42
45
50
52
55
55
55
56
69
71
75
75
82
82
86
86
89
3.2.3.
3.3.
3.3.1.
3.3.2.
3.3.3.
3.3.3.1.
3.3.3.2.
3.3.4.
3.3.4.1.
3.3.4.2.
3.3.5.
Специальные корпусы . . . . . . . . . . . . . . . . . . . . . . . . . . .
Корпусные исследования . . . . . . . . . . . . . . . . . . . . . . . . .
Пользователи корпусов . . . . . . . . . . . . . . . . . . . . . . . . . .
Способы использования корпусов . . . . . . . . . . . . . . . . .
Лексикографические исследования, основанные на
корпусах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Пример одного лексикографического исследования . .
Выделение коллокаций статистическими методами . .
Грамматические исследования, основанные на корпусах
Распределение и функции номинализаций . . . . . . . . . .
Распределение грамматических категорий . . . . . . . . . .
Исследования дискурса, основанные на корпусах . . . . . . .
Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Библиографический список . . . . . . . . . . . . . . . . . . . . . . .
Приложения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
92
94
94
95
98
100
113
116
117
123
128
147
148
153
Предисловие
Предлагаемый вашему вниманию учебник является своего рода
обобщением
многочисленных
разрозненных
материалов,
опубликованных за последние два десятилетия в России и за
рубежом, которые легли в основу лекционных курсов по дисциплине
«Корпусная лингвистика», читаемых кандидатом филологических
наук, доцентом Виктором Павловичем Захаровым в СанктПетербургском
государственном университете и доктором
филологических
наук,
профессором
Светланой
Юрьевной
Богдановой в Иркутском государственном лингвистическом
университете. Материал, представленный в учебнике, может также
быть
использован
в
курсах
лекций
по
дисциплинам
«Информационные и коммуникационные технологии в науке и
образовании», «Основы прикладной лингвистики», «Компьютерные
методы в лингвистических исследованиях» и др.
Учебник состоит из трех частей. Первая часть «ВВЕДЕНИЕ В
КОРПУСНУЮ ЛИНГВИСТИКУ» знакомит с основными понятиями
и терминами корпусной лингвистики, историей ее становления как
отрасли языкознания, ее целями и задачами, типами существующих
корпусов. Вторая часть «СОЗДАНИЕ КОРПУСОВ» описывает в
общих чертах технологические процессы, связанные с их
проектированием, отбором и обработкой языкового материала,
способами
разметки.
Третья
часть
«ИСПОЛЬЗОВАНИЕ
КОРПУСОВ» включает три раздела. Раздел 3.1 посвящен описанию
корпусных менеджеров, обеспечивающих поиск в корпусе. Раздел 3.2
представляет собой обзор как зарубежных национальных корпусов,
так и корпусов русского языка. Раздел 3.3 посвящен описанию
конкретных исследований на базе корпусов разных типов, в нем
приводятся результаты исследований и дается их теоретическая
интерпретация. В первую очередь, авторы хотят показать, как можно
работать с реальным языковым материалом быстрее и эффективнее,
базируясь на корпусах. В этом разделе приведены примеры
исследований лишь в нескольких областях лингвистики –
5
лексикографии, грамматике и анализе дискурса. Безусловно, сфера
применения корпусных данных в лингвистике значительно шире.
Цель учебника – познакомить студентов с концепциями
корпусной лингвистики, дать им возможность освоить основы
корпусных технологий, приобрести навыки работы с корпусами,
определить место дисциплины и собственно корпусов в ряду
информационных технологий.
Задачи учебника:
 ознакомление студентов с новой парадигмой в лингвистических
исследованиях;
 ознакомление студентов с историей корпусных исследований;
 изучение языковых и программных средств корпусной
лингвистики;
 формирование навыков работы с программными средствами и
информационными ресурсами корпусной лингвистики;
 ознакомление студентов с конкретными лингвистическими
исследованиями, основанными на корпусных данных.
Авторы выражают надежду, что студенты филологических
специальностей
заинтересуются
использованием
корпусов,
независимо от сферы их научных интересов, а каждый преподаватель
найдет в учебнике то, о чем нужно говорить в его аудитории.
6
ЧАСТЬ 1. ВВЕДЕНИЕ В КОРПУСНУЮ ЛИНГВИСТИКУ
1.1. Основные понятия корпусной лингвистики
Корпусная лингвистика – раздел компьютерной лингвистики,
занимающийся разработкой общих принципов построения и
использования лингвистических корпусов (корпусов текстов) с
применением компьютерных технологий. Под лингвистическим, или
языковым, корпусом текстов понимается большой, представленный
в машиночитаемом виде, унифицированный, структурированный,
размеченный, филологически компетентный массив языковых
данных, предназначенный для решения конкретных лингвистических
задач. В настоящее время существует множество определений
понятия «корпус». Например, определение, приведенное в учебнике
Э. Финегана, гласит: корпус – репрезентативное собрание текстов,
обычно в машиночитаемом формате и включающее информацию о
ситуации, в которой текст был произведен, такую как информация о
говорящем, авторе, адресате или аудитории [42]. Википедия
определяет корпусы как большие и структурированные наборы
текстов (теперь обычно в электронном виде), которые используются
для статистического анализа и проверки гипотез, проверки случаев
встречаемости или обоснования языковых правил по определенным
областям [62]. Т. МакЭнери и Э. Вилсон дают следующее
определение: корпус – это собрание языковых фрагментов,
отобранных в соответствии с четкими языковыми критериями для
использования в качестве модели языка [51]. В.В. Рыков определяет
корпус текстов как некоторое собрание текстов, в основе которого
лежит логический замысел, логическая идея, объединяющая эти
тексты и воплощенная в правилах организации текстов в корпус,
алгоритме и программе анализа корпуса текстов, сопряженной с этим
идеологии и методологии [31].
В приведенных определениях подчеркиваются основные черты
современного корпуса текстов – цель («логическая идея»),
7
машиночитаемый формат, репрезентативность как результат особой
процедуры отбора, наличие металингвистической информации.
Стандартизованное представление словесного материала на
машинном носителе позволяет применять стандартные программы
его обработки.
Целесообразность создания и смысл использования корпусов
определяется следующими предпосылками:
1) достаточно большой (репрезентативный) объем корпуса
гарантирует типичность данных и обеспечивает полноту
представления всего спектра языковых явлений;
2) данные разного типа находятся в корпусе в своей естественной
контекстной форме, что создает возможность их всестороннего и
объективного изучения;
3) однажды созданный и подготовленный массив данных может
использоваться многократно, различными исследователями и в
различных целях.
В понятие «корпус текстов» входит также система управления
текстовыми и лингвистическими данными, которую в последнее
время чаще всего называют корпусным менеджером (или корпусменеджером) (англ. corpus manager). Это специализированная
поисковая система, включающая программные средства для поиска
данных в корпусе, получения статистической информации и
предоставления пользователю результатов в удобной форме.
Поиск в корпусе позволяет по любому слову построить
конкорданс – список всех употреблений данного слова в контексте со
ссылками на источник. Корпусы могут использоваться для получения
разнообразных справок и статистических данных о языковых и
речевых единицах. В частности, на основе корпусов можно получить
данные о частоте словоформ, лексем, грамматических категорий,
проследить изменение частот и контекстов в различные периоды
времени, получить данные о совместной встречаемости лексических
единиц и т.д. Представительный массив языковых данных за
определенный период позволяет изучать динамику процессов
8
изменения лексического состава языка, проводить анализ лексикограмматических характеристик в разных жанрах и у разных авторов.
Корпусы призваны служить также источником и инструментом
многоаспектных лексикографических работ по подготовке
разнообразных исторических и современных словарей. Данные
корпусов могут быть использованы для построения и уточнения
грамматик и в целях обучения языку. Более подробно возможности и
примеры использования корпусов в лингвистических исследованиях
будут рассмотрены в разделе 3.3.
Сегодня корпусная лингвистика часто понимается как
относительно новый подход в лингвистике, который имеет дело с
изучением использования языка в «реальной жизни» с помощью
компьютеров и электронных корпусов. Корпусная лингвистика
имеет, по крайней мере, две черты, дающие ей основание
претендовать на положение самостоятельной дисциплины: 1)
характер используемого словесного материала; 2) специфика
инструментария.
Если такие разделы лингвистики как синтаксис, семантика и
социолингвистика имеют целью описание или оценку языковой
структуры или языкового использования, то корпусная лингвистика
является более широким понятием, методологией, которую можно
применить ко многим аспектам языковых исследований. Корпусную
лингвистику иногда называют «пучком методов из разных областей
лингвистических исследований» [49]. Как метод лингвистического
анализа, корпусная лингвистика связана также с контрастивными
исследованиями, направленными на установление фактов общего и
отдельного между языками, диалектами или вариантами языка в ходе
их сопоставительного изучения [8]. Многие виды лингвистического
анализа наилучшим образом развиваются на прочной и обширной
базе эмпирических данных.
Э. Финеган
определяет
корпусную
лингвистику
как
деятельность, требующуюся для составления и использования
корпуса, направленную на исследование естественного употребления
9
языка [42]. В этом определении подчеркивается созидательная
направленность корпусной лингвистики. Двойственный характер
корпусной лингвистики (нацеленность как на создание, так и на
использование корпусов текстов) обусловливается двойственным
характером ее объекта – корпуса текстов, который, с одной стороны,
представляет собой исходный речевой материал для корпусной
лингвистики и для других лингвистических дисциплин; с другой
стороны, является результатом деятельности корпусной лингвистики.
Можно сказать, что корпусная лингвистика имеет своим
предметом теоретические основы и практические механизмы создания и
использования представительных массивов языковых данных,
предназначенных для лингвистических исследований в интересах
широкого круга пользователей.
Существует проблема, связанная с терминологией корпусной
лингвистики в русском языке, которая пока не установилась в силу
следующих причин: ее относительно недавнее происхождение и ее
зарождение в США и Великобритании, обусловившее тот факт, что
терминология складывалась и продолжает складываться в недрах
английского языка. Русские термины, в основном, представляют
собой заимствования английских терминов; некоторые из них в
других значениях давно существуют в русском языке. Так, русское
слово «корпус» стало многозначным задолго до своего появления в
качестве термина корпусной лингвистики. Употребление форм этого
существительного является проблематичным, поскольку возможны
варианты множественного числа «корпусы» и «корпуса». Для
значения «массив», которое имеет место в случае языковых корпусов,
именительный падеж множественного числа должен быть «кóрпусы»
и, соответственно, прилагательное должно произноситься с
ударением на первом слоге – «кóрпусный» (Большой толковый
словарь русского языка, СПб., 1998). В то же время анализ узуса
специалистов пока свидетельствует в пользу форм «корпусá»,
«корпуснóй», «корпуснáя», которые используются часто, так что
можно, видимо, с осторожностью сказать, что в настоящее время этот
10
вопрос остается открытым. В Приложении 2 приведены некоторые
терминологические сочетания и однословные термины, выделенные
из корпуса текстов по корпусной лингвистике.
Правила, регламентирующего употребление той или иной
формы применительно к корпусной лингвистике, пока нет, хотя, как
представляется, победить должен вариант «корпусы», поскольку он
отличает
терминологическое
значение
слова
от
его
общеупотребительного значения. В данном учебнике авторы будут
использовать именно этот вариант.
1.2. Направления в лингвистике, предвосхитившие появление
корпусной лингвистики: от картотеки к корпусу
Корпусная лингвистика может быть представлена в виде набора
методов, процедур и ресурсов, имеющих дело с эмпирическими
данными в лингвистике. Подъем современной корпусной
лингвистики как методологии тесно связан с историей лингвистики
как эмпирической науки.
Технологии, которые применяются в корпусной лингвистике,
намного старше электронных компьютеров: многие из них коренятся
в традиции конца XVIII и XIX веков, когда лингвистика впервые
была провозглашена «реальной», или эмпирической наукой. Из
многочисленных областей лингвистических исследований, которые
легли в основу корпусной лингвистики, здесь будут рассмотрены три.
Использованные в этих трех областях технологии повлияли на
развитие современной корпусной лингвистики, и наоборот [49].
1. Историческая лингвистика: изменения в языке и
реконструкция (сравнительно-исторический метод). Одно из
главных направлений, повлиявших на современную корпусную
лингвистику, пришло из сравнительно-исторического языкознания.
Это
неудивительно,
поскольку
лингвисты,
занимающиеся
историческими исследованиями, всегда использовали тексты или
собрания текстов как основные свидетельства. Многие технологии,
11
развитые в XIX веке для реконструкции более древних языков
(праязыков) или установления связей между языками, используются
и по настоящее время. В индоевропейской традиции изучение
языковых изменений и попытки реконструкции зависели от ранних
текстов или корпусов (исторических памятников). Я. Гримм и
позднее младограмматики поддерживали свои утверждения об
истории и грамматике языков цитатами из текстов. Младограмматики
в своем манифесте провозгласили, что они провели исследование
современного языка, зафиксированного в диалектах (а не только
исследование древних текстов), и это также имело огромное
значение.
Многие идеи и технологии, развиваемые с XIX века, были
применены и затем развиты корпусной лингвистикой. Составление
исторических корпусов по-прежнему представляет большой интерес.
Действительно, среди первых корпусов, доступных в электронном
виде, были и исторические корпусы.
Появление огромного количества текстов, доступных в
электронном формате, сделало возможным относительно быстрый
сбор огромного количества данных. Это предоставило возможность
лингвистам выиграть за счет статистических методов в
лингвистическом анализе, а также разработать и развить новые
методы и модели для исследований. Сегодня математически сложные
модели языковых изменений могут быть вычислены с помощью
данных из электронных корпусов.
2. Написание грамматик, лексикография и обучение языку.
Грамматисты XIX века иллюстрировали свои утверждения
примерами, взятыми из произведений признанных авторов.
Например, Г. Пауль в своей немецкой грамматике использовал
произведения немецких «классиков» для иллюстрации каждого
своего утверждения – в области фонологии, морфологии и
синтаксиса. Сегодня составители грамматик могут также
использовать корпусный подход, но теперь корпусы включают не
только классику, но и любые другие типы текстов. В частности,
12
большой интерес проявляется сейчас к грамматике устной речи. В
грамматических описаниях языка можно использовать корпусы для
получения информации о частотности характеристик использования
разных вариантов, регистров и т.д.
Возьмем некоторые ранние примеры из лексикографии. В
середине XVIII века, когда С. Джонсон писал толковый словарь
английского языка (Dictionary of the English language, 1755), он
выбирал из книг иллюстративные предложения, которые называл
цитатами, чтобы показать на примерах, как слова были использованы
английскими авторами. Во время чтения Джонсон маркировал
предложения, контекст которых делал значение слова особенно
понятным. Его ассистенты затем выписывали отмеченные
предложения на листы бумаги, и Джонсон распределял их для
составления и иллюстрации словарных статей в словаре. Проект под
руководством сэра Джеймса Муррея (Оксфордский словарь
английского языка – OED) потребовал тысячи читателей и полвека
для составления.
Многие словари мертвых языков давали цитаты из текстов,
содержащие слово в контексте. В современной корпусной
лингвистике этот метод параллелен по форме конкордансу KWIC
(Key Word In Context). Несмотря на то, что компьютеры облегчили
поиск и классификацию примеров и выделение многословных
единиц, идеи использования текстов из корпуса все еще очень схожи
с теми, что использовались ранними лексикографами и филологами,
не имевшими доступа к компьютерным технологиям.
Традиционные школьные грамматики и учебники часто
проиллюстрированы
искусственно
составленными
или
отредактированными примерами языкового использования. В
будущем они мало чем смогут помочь студентам, которые рано или
поздно столкнутся с реальными языковыми данными в своих
заданиях или в реальном общении. В этом отношении корпусы как
источники эмпирических данных играют важную роль в
лингводидактике. При обучении языку корпусы обеспечивают
13
источник для пробуждения у студентов интереса и вовлечение их в
самостоятельное изучение аутентичного языкового использования.
Важное применение корпусных данных – Computer-Assisted Language
Learning (CALL), где основанное на корпусе программное
обеспечение используется для поддержки интерактивной учебной
деятельности, выполняемой студентами при помощи компьютера.
3. Социолингвистика: языковое многообразие. Вариативная
лингвистика началась с составления карт диалектов и сборников
диалектных выражений в последней трети XIX века. Ее методы были
похожи на методы, использовавшиеся в то время исторической
лингвистикой, с одной существенной отличительной чертой: корпусы
диалектов систематически составлялись по определенным критериям.
Вероятно, это можно рассматривать как предвестник все еще
продолжающейся дискуссии о том, что включать в корпус. В
настоящее время электронные корпусы часто используются в
исследованиях языкового многообразия (например, диалектов,
социолектов, регистров). Математические методы (например,
мультифакторный анализ) полностью полагаются на доступность
таких данных.
Современная корпусная лингвистика использует и развивает эти
методы. Многие исследования и результаты возможны только с
применением больших объемов доступных в электронном виде
текстов и современной компьютерной техники. Развитие
современных
интеллектуальных
программных
систем,
предназначенных для обработки текстов естественного языка, также
требует большой экспериментальной лингвистической базы. Спрос
на корпусные данные совпал с появлением соответствующих
технических возможностей.
1.3. История создания лингвистических корпусов
Лингвисты собрали первые корпусы компьютеризированных
текстов в 1960-е годы. Первый компьютеризированный корпус –
14
Брауновский корпус (The Brown Corpus1) – включает 500 текстов из
американских книг, газет, журналов, впервые опубликованных в
США в 1961 году. Каждый текст в Брауновском корпусе имеет длину
2000 слов (имеется в виду словоупотреблений – tokens), и все
собрание включает 1 млн. слов (500 текстов по 2000 слов в каждом).
Авторы корпуса У. Френсис (W. Francis) и Г. Кучера (H. Kucera)
сопроводили его большим количеством материалов первичной
статистической обработки: частотным и алфавитно-частотным
словарем, разнообразными статистическими распределениями.
Цель создания Брауновского корпуса – обеспечить системное
изучение отдельных жанров письменного английского языка и
сравнение жанров. Его появление вызвало всеобщий интерес и
оживленные дискуссии. В первую очередь, они коснулись принципов
отбора текстов и состава потенциально решаемых на таком корпусе
задач. С одной стороны, он строился на основе статистических
процедур; с другой стороны, статистика применялась в сочетании с
волевыми решениями авторов корпуса, базирующимися на
профессиональной интуиции. Для достижения максимальной
объективности этого сложного процесса требовалось построение
максимально формализованных, прозрачных для проверки и
контроля процедур [31].
Позднее европейские исследователи составили корпус текстов,
впервые опубликованных в Великобритании в 1961 году, следуя тем
же принципам: 15 жанров (регистров), 500 текстов по 2000 слов
(словоупотреблений). Он включал 1 млн. слов британского варианта
английского языка, и его назвали корпусом Ланкастер-Осло-Берген
(The Lancaster-Oslo-Bergen Corpus, по названиям британского и двух
норвежских университетов, или кратко LOB). Сбалансированные
корпусы типа Брауновского очень важны для исследователей, чьи
Полное название корпуса – The Brown Standard Corpus of American English. Он
был разработан в Брауновском университете (Brown University) в США в 1963
году.
1
15
интересы лежат в области лингвистики и которые хотят использовать
корпус в целях лингвистического описания и анализа.
Итак, два самых ранних больших корпуса – это корпусы
письменной речи американского и британского вариантов
английского языка. Оба корпуса остаются полезными и сейчас, на
них основываются многочисленные исследования английского языка.
За десятилетия, прошедшие с момента создания этих корпусов,
компьютеры стали дешевле и гораздо мощнее, кроме того, недорогие
и надежные сканеры сделали необязательным набор текстов на
компьютере с помощью клавиатуры. Эти изобретения облегчили
процесс создания корпусов, и последние из них содержат уже
миллиарды слов (словоупотреблений).
К 1990 году уже было зафиксировано более 600 компьютерных
корпусов. По годам составления они были распределены примерно
следующим образом [44]:
-1965
10
1966-1970
20
1971-1975
30
1976-1980
80
1981-1985 160
1986-1990 320
Очевидно, что в последующие годы количество и многообразие
создаваемых корпусов шли по нарастающей.
Среди современных корпусов английского языка (как
британского, так и американского варианта) наиболее известны
Британский национальный корпус (British National Corpus – BNC),
Международный корпус английского языка (International Corpus of
English – ICE), лингвистический Банк английского языка (Bank of
English), Корпус современного американского английского (Corpus of
Contemporary American English – COCA) и др. В настоящее время
корпусы созданы для многих языков мира (см. Приложение 1).
В первой половине 1990-х годов корпусная лингвистика
окончательно сформировалась как отдельное направление науки о
16
языке. «Корпусная лингвистика достигла зрелости» – так Я. Свартвик
озаглавил в 1992 году предисловие к материалам первого
Нобелевского симпозиума по корпусной лингвистике [60]. Корпусная
лингвистика тесно взаимодействует с компьютерной лингвистикой,
используя ее достижения и, в свою очередь, обогащая ее.
1.4. Основные характеристики корпусов
1.4.1. Репрезентативность корпусов
Термин «корпус» обычно обозначает собрание текстов
конечного фиксированного размера. С течением времени объем и
состав корпуса может меняться, однако эти изменения должны либо
не менять его структуру, либо менять ее обоснованно.
Представительность корпуса, соотношение его отдельных частей (по
разным характеристикам) получили название репрезентативности,
или сбалансировнности. Объем первых корпусов, как уже
говорилось, составлял 1 млн. словоупотреблений (Брауновский
корпус, корпус Ланкастер-Осло-Берген, Упсальский корпус русского
языка). Такой объем не позволял отражать язык во всем его
многообразии. В настоящее время считается, что общеязыковой
(национальный) корпус должен включать не менее 100 млн.
словоупотреблений. Национальный корпус представляет данный
язык на определенном этапе (или этапах) его существования во всем
многообразии жанров, стилей, территориальных и социальных
вариантов и т. п. (например, НКРЯ, доступный по адресу
http://ruscorpora.ru, BNC, ограниченно доступный по адресу
http://www.natcorp.ox.ac.uk/ или http://sara.natcorp.ox.ac.uk). Можно
сказать, что все современные лингвистические исследования и
работы по составлению словарей и грамматик так или иначе
ориентированы
на
использование
представительных
(репрезентативных) корпусов текстов.
Задача авторов корпуса – собрать как можно большее
количество текстов, относящихся к тому подмножеству языка, для
17
изучения которого корпус создается. Можно сказать, что корпус – это
уменьшенная
модель
языка
или
подъязыка.
Под
репрезентативностью понимается необходимо-достаточное и
пропорциональное представление в корпусе текстов различных
периодов, жанров, стилей, авторов и т.д., то есть способность
отражать все свойства проблемной области [31]. Имеются разные
подходы к определению репрезентативности. В частности, есть
мнение, что применительно к общеязыковому (национальному)
корпусу это понятие невозможно рассчитать и описать строго
математически, однако к этому можно и нужно стремиться, как на
этапе проектирования корпуса, так и на этапе его эксплуатации.
Практика показывает, что корпусная лингвистика оперирует как
минимум двумя разными типами объектов (корпусов текстов):
1. Корпусы первого типа универсальны, они отражают в себе все
многообразие речевой деятельности.
2. Корпусы второго типа отражают бытование некоторого
лингвистического или культурного феномена в общественной
речевой практике, они построены ad hoc (для специальной цели),
например, корпус пословиц или корпус политических метафор в
газетной речи [31].
В обоих случаях репрезентативность рассматривается только
как статистическая оценка того, все ли свойства проблемной области
отражены в корпусе текстов. Однако статистические критерии оценки
здесь не всегда являются единственными или определяющими,
поскольку корпус выступает как некоторый объект, призванный
послужить моделью некоторой внешней по отношению к нему
реальности. Именно репрезентативность корпуса определяет
достоверность полученных на его материале результатов. Эту
проблему также можно рассматривать как проблему адекватного
отражения, адаптации или интеграции больших массивов текстов или
некоторых иных фрагментов речевой деятельности в существенно
меньший по объему корпус текстов.
18
Речевая
действительность
чрезвычайно
разнообразна,
представлена в разных фактурах (устная, письменная, печатная речь и
т.д.), и разнообразие зафиксированных в ней лингвистических
явлений просто необозримо. В 60-е годы корпусы текстов,
относящиеся к первому типу, претендовали на то, что они
универсальные, то есть отражают статистически корректно всю
картину бытования данного языка или некоторый представительный
ее фрагмент [51]. Например, Брауновский корпус текстов был создан
для отражения печатной речи США 60-х годов с удовлетворительной
для того времени степенью репрезентативности. Отобранные тексты,
как уже говорилось, должны были представлять 15 жанров
(регистров), из которых было сделано от 6 до 80 элементарных
выборок:
1) пресса: репортаж;
2) пресса: передовица;
3) пресса: обзоры;
4) религиозные тексты;
5) навыки, занятия, хобби;
6) научно-популярная литература;
7) беллетристика, биографии, эссе;
8) разное (правительственные документы, отчеты предприятий,
промышленные отчеты, каталоги колледжей);
9) научные сочинения;
10) художественная литература;
11) мистика и детективы;
12) научная проза;
13) приключенческая литература и вестерны;
14) любовные романы;
15) юмористические произведения.
В корпусах второго типа критерием репрезентативности будет
служить требование максимально объективного представления
бытования интересующего его создателей явления. Так, корпус
английских пословиц, максимально репрезентативно отражающий их
19
употребление в речевой практике носителей английского языка
определенного времени и географического региона, не будет
репрезентативным для изучения, к примеру, английской
политической метафоры [31].
В начале XXI века свободно обсуждаются такие корпусы
текстов, как корпус газетных заголовков, корпус английских текстов,
предназначенных для отладки систем машинного перевода, корпус
политических метафор [2]. Очевидно, что здесь критерий отбора
текстов для корпуса его создатель задает сам, исходя из целей своей
практической или научной деятельности, поскольку в основе корпуса
всегда лежит постановка проблемы для проведения научного поиска.
Методология конструирования такого объекта, как корпус,
должна зависеть от типа корпуса. Эта проблема является актуальной
и недостаточно разработанной. Методология построения корпусов
первого типа так или иначе основывается на принципе дедукции –
реализации проблемы корректности движения от общего (объективно
существующей речевой практики носителей языка) к отражающему
это общее частному корпусу текстов. Методология построения
корпусов второго типа должна корректно отражать частные,
единичные лингвистические феномены в корпусе текстов,
специально созданном для их отражения [20]. Теория и практика
показывают, что оба эти подхода, тем не менее, часто применяются в
комбинированном виде.
1.4.2. Классификация корпусов по различным основаниям
Несмотря на разнообразие корпусов, можно выделить два
основных способа их деления на классы:
1) противопоставление корпусов, относящихся ко всему языку (часто
к языку определенного периода), корпусам, относящимся к какомулибо подъязыку (жанр, стиль, язык определенной возрастной или
социальной группы, язык писателя или ученого и т.д.);
20
2) разделение корпусов по типу лингвистической разметки. Несмотря
на наличие множества типов разметки, большинство реально
существующих корпусов относится к корпусам морфологического
либо синтаксического типа (последние в англоязычной литературе
называют treebanks, что можно перевести как «банки синтаксических
структур»). При этом следует подчеркнуть, что корпус с
синтаксической разметкой явно или неявно включает в себя и
морфологические характеристики лексических единиц.
Вообще существует большое число разных типов корпусов, что
определяется многообразием исследовательских и прикладных задач,
для решения которых они создаются, и различными основаниями для
классификации. В зависимости от поставленных целей и
классифицирующих признаков, можно выделить различные типы
корпусов (табл. 1).
Таблица 1
Классификация корпусов
Признак
Тип языковых данных
«Параллельность»
«Литературность»
Цель
Жанр
Доступность
Типы корпусов
Письменные
Устные
Смешанные
Одноязычные
Двуязычные
Многоязычные
Литературные
Диалектные
Разговорные
Терминологические
Смешанные
Многоцелевые
Специализированные
Литературные
Фольклорные
Драматургические
Публицистические
Свободно доступные
21
Назначение
Динамичность
Разметка
Характер разметки
Объем текстов
Коммерческие
Закрытые
Исследовательские
Иллюстративные
Динамические (мониторные)
Статические
Размеченные
Неразмеченные
Морфологические
Синтаксические
Семантические
Просодические и т.д.
Полнотекстовые
«Фрагментнотекстовые»
Итак, по типу языковых данных корпусы делятся на
письменные, устные и смешанные. В письменных корпусах устная
речь не представлена (Брауновский корпус, LOB), в устных корпусах
представлена только устная речь, смешанными обычно бывают
национальные корпусы, представляющие бытование языка в
определенный период времени (НКРЯ, BNC и др.).
По критерию параллельности корпусы делятся на одноязычные,
двуязычные
и
многоязычные.
В
одноязычных
корпусах
противопоставляются диалекты, варианты языка. Например, такие
разновидности английского языка, как английский как родной и
английский как иностранный оставались за пределами научного
интереса до появления новых технологий, позволивших вовлечь в
контрастивный
анализ
существенно
большее
количество
сопоставляемых произведений речи. Двуязычные и многоязычные
корпусы объединяют тексты из одной и той же тематической области,
независимо написанные на двух или нескольких языках (например,
корпус материалов конференций по определенной научной проблеме,
проходивших в разных странах и на разных языках). Такие корпусы
помогают в работе с терминологией и часто используются
переводчиками. Еще один вариант двуязычного или многоязычного
22
корпуса – множество текстов-оригиналов, написанных на каком-либо
исходном языке, и текстов-переводов этих исходных текстов на один
или несколько других языков. Такой корпус предоставляет
неоценимый
материал
для
проведения
сравнительносопоставительных исследований, для исследований по теории
перевода и для обучения переводу человека и компьютера.
По критерию «литературности» выделяются литературные,
диалектные, разговорные, терминологические и смешанные корпусы.
Примером разговорного корпуса может быть корпус Один Речевой
День (ОРД), разрабатываемый в Санкт-Петербурге [38], примером
терминологического корпуса – корпус текстов по корпусной
лингвистике, позволяющий разрабатывать терминологический
словарь непосредственно на живом текстовом материале [54]. В этом
корпусе методология корпусной лингвистики применена к ней самой.
По цели создания корпусы делятся на многоцелевые и
специализированные. Многоцелевые корпусы обычно содержат
тексты различных жанров (сюда относятся национальные корпусы), в
то время как специализированные корпусы могут ограничиваться
одним жанром или группой жанров.
Корпусы текстов могут быть классифицированы по жанрам и
подразделяться на литературные, фольклорные, драматургические,
публицистические и др. Примерами публицистического корпуса
могут служить Компьютерный корпус текстов русских газет конца
ХХ-ого века (http://www.philol.msu.ru/~lex/corpus/) и корпус
политических метафор [2].
Важным критерием для пользователей корпуса является его
доступность. Свободно доступные корпусы позволяют в любое
время в режиме on-line иметь доступ ко всем текстам корпуса в
полном объеме. В ряде случаев свободный доступ может
предоставляться к части корпусных данных. В работе с
коммерческими корпусами нужно покупать право его использования
on-line или копию на компакт-диске. Предварительно можно
ознакомиться с аннотацией к корпусу или, возможно, даже
23
поработать с корпусом в пробном режиме, но, как правило, не со
всеми текстами, а только с небольшим по объему подкорпусом.
Закрытые корпусы создаются для узко специфических целей и не
предназначены для публичного использования.
По назначению выделяют исследовательские и иллюстративные
корпусы. Исследовательские корпусы создаются с целью изучения
различных аспектов функционирования языка. Этот тип корпусов
ориентирован на широкий класс лингвистических задач.
Неспецифицированность
задачи
требует
при
построении
исследовательских корпусов использовать пропорциональное
сужение, являющееся наиболее простым способом обеспечения
репрезентативности. Как правило, такие корпусы текстов содержат от
нескольких десятков миллионов до сотен миллионов словоупотреблений. Иллюстративные корпусы создаются после проведения
научного исследования: их цель не столько выявить новые факты,
сколько подтвердить и обосновать уже полученные результаты. Они
служат для выделения из них лингвистических примеров,
подтверждающих те или иные языковые (речевые, текстовые) факты,
обнаруженные ранее иными лингвистическими приемами. Типичный
пример иллюстративного корпуса представлен в «Путеводителе по
дискурсивным словам русского языка» [3], где семантический анализ
частиц и выделенные значения сопровождаются значительным
текстовым материалом, позволяющим читателю проверить
предложенные семантические интерпретации [17; 2].
Критерий «динамичность»
подразделяет корпусы на
динамические и статические. Первоначально корпусы текстов
создавались как статические образования, отражающие определенное
временнóе состояние языковой системы. Статические корпусы
содержат тексты какого-то небольшого временнóго промежутка [17].
Типичными представителями этого вида корпусов являются
авторские корпусы – коллекции текстов писателей. Однако
значительная часть чисто лингвистических и не только
лингвистических задач требует выявления функционирования
24
языковых феноменов на временнóй шкале – например, изменения
значения слов, частоты использования тех или иных синтаксических
конструкций и т.д. Для отражения процессуального аспекта
проблемной области была разработана новая технология построения
и эксплуатации динамического корпуса текстов [2]. Динамические
корпусы называют также мониторными или мониторинговыми. Цель
мониторных корпусов – «складировать» постоянно растущее
количество текстов в памяти компьютера. В течение заранее
фиксированного промежутка времени происходит обновление и/или
дополнение множества текстов корпуса. Неограниченные (постоянно
развивающиеся) мониторные корпусы играют огромную роль в
строении словаря, поскольку позволяют лексикографам следить за
новыми словами, проникающими в язык, или за уже существующими
словами, меняющими свое значение, а также за балансом их
употребления в соответствии со стилем. В динамические корпусы
текстов, как правило, включают письменные источники большого
временнóго периода. Они предназначены для проведения различных
диахронических исследований [17].
Критерий «разметка» делит корпусы на размеченные и
неразмеченные. Существуют и другие термины, обозначающие это
деление: индексированные и неиндексированные, аннотированные и
неаннотированные, таггированые и нетаггированные. В размеченном
корпусе словам или предложениям присваиваются метки (тэги) в
соответствии
с
характером
разметки:
морфологические,
синтаксические, семантические, просодические и др.
По критерию «объем текстов» выделяют полнотекстовые и так
называемые
фрагментотекстовые
корпусы.
Как
известно,
Брауновский корпус и корпус Ланкастер-Осло-Берген должны были
строго соответствовать определенным критериям, одним из которых
была длина текста, равная 2000 слов (словоупотреблений). Очевидно,
что текстов, строго соответствующих таким критериям, практически
нет. Следовательно, эти корпусы являются фрагментотекстовыми. К
полнотекстовым корпусам относятся некоторые корпусы текстов
25
определенного автора, а также корпусы коротких текстов, например,
корпус мерфизмов (так называемых «законов подлости») [5] или
корпус газетных заголовков.
1.4.3.Особые типы корпусов
1.4.3.1. Параллельные корпусы
Параллельные корпусы можно разделить на два основных типа:
1) корпусы,
представляющие
множество
текстов-оригиналов,
написанных на каком-либо исходном языке, и текстов-переводов этих
исходных текстов на один или несколько других языков;
2) корпусы, объединяющие тексты из одной и той же тематической
области, независимо написанные на двух или нескольких языках.
И те, и другие корпусы создаются и используются для
сравнительных исследований языков (в области лексикологии,
грамматики, стилистики, переводоведения и т.д.), а также в целях
разработки эффективных методов перевода, в том числе, машинного.
При подготовке параллельных корпусов текстов первого типа и
разработке пакетов программ для их обработки возникает проблема,
которая заключается в установлении соответствий между текстом
оригинала и его переводами [2]. Для решения этой задачи
используется так называемый метод автоматического выравнивания
(alignment) текстов. Суть этого метода заключается в параллельной
сегментации оригинального текста и его перевода по предложениям,
клаузам (грамматическим конструкциям), словосочетаниям и словам.
При выравнивании на уровне предложений могут использоваться, как
это описано в учебнике А.В. Зубова и И.И. Зубовой [17], шесть
возможных соответствий между предложениями обоих текстов.
1) одно исходное предложение переводится одним предложением;
2) два исходных предложения переводятся одним предложением;
3) одно исходное предложение переводится двумя предложениями;
26
4) два исходных предложения переводятся двумя предложениями, но
внутренние границы этих предложений в тексте оригинала и тексте
перевода не совпадают;
5) предложение исходного текста не переводится;
6) предложение в тексте перевода не имеет эквивалента в тексте
оригинала.
Теоретически обоснованным при решении данной проблемы
может быть использование технологий систем машинного перевода с
языком-посредником или универсальным языком [2].
На практике существуют различные программы выравнивания,
которые автоматически сопоставляют тексты на основе совпадения
относительных длин предложений, разделения текста на абзацы,
анализа знаков препинания, внешнего словаря и других факторов.
Чаще всего эти программы используются в человеко-машинном
варианте, с постредактированием результатов автоматического
выравнивания.
Параллельные корпусы текстов позволяют получить большой
объем информации. С их помощью можно:
 строить двуязычные и многоязычные переводные словари;
 создавать и пополнять словари для систем машинного перевода;
 устранять полисемию лексических единиц путем использования
компьютером контекстного окружения многозначного слова,
превышающего по длине предложение;
 переводить терминологические и фразеологические единицы
текста;
 осуществлять полностью автоматический перевод в рамках новых
систем машинного перевода, называемых системами с переводческой
памятью, путем накопления в памяти компьютера корпусов исходных
текстов и их переводов, выровненных между собой на различных
уровнях.
В процессе перевода такая система пытается отыскать
переводимое предложение или его фрагмент в массиве исходных
параллельных текстов. Если оно найдено в исходном массиве текстов27
оригиналов, то система выбирает перевод такого предложения или
его части в массиве переведенных текстов [17].
При исследовании параллельных корпусов, в том числе корпусов
второго
типа,
могут
успешно
применяться
инструменты
автоматической
классификации
лексики.
Автоматическая
классификация лексики является одной из ключевых процедур
автоматического понимания текстов [4]. Она осуществляется в рамках
формализации структуры текста и количественной оценки
семантических связей между элементами текста (словами,
представленными леммами и словоформами). Сравнительный анализ
количественных данных об употреблении слов, о степени их
семантической близости помогает устанавливать распределение
лексических единиц разных языков внутри лексико-семантических и
тематических групп. Информация о соотношении элементов кластеров,
полученная при параллельной обработке текстов оригинала и перевода
в параллельных корпусах второго типа, имеет высокую ценность в
определении адекватности перевода и при проведении контрастивных
исследований. Применение модулей автоматической классификации
лексики повышает эффективность поиска в параллельных корпусах,
позволяет извлекать данные для пополнения и корректировки
многоязычных словарей, для проверки качества работы систем
машинного перевода и их обучения [25; 7].
Система автоматического перевода текста может быть основана
на расширенных морфологических союзах между двумя языками с
использованием простых правил для выбора подходящих
грамматических пар. Например, в параллельном русско-словацком
корпусе текстов снятие семантической и морфологической омонимии
проводится с применением цепи Маркова первого или второго
порядка, которая тренирована на большом одноязычном корпусе.
Генетические сходства между лексическими системами русского и
словацкого языков можно использовать также для увеличения
качества
перевода
при
помощи
схемы
транслитерации
отсутствующих в словаре слов.
28
Системы переводческой памяти могут быть использованы
творчески для большей автоматизации переводческого процесса, не
зависящей от конкретных языков. Система машинного перевода
основывается на применении синтаксического сходства между более
или менее родственными естественными языками. В частности, это
касается таких языков, как чешский и словацкий.
Параллельные корпусы часто создаются на основе текстов,
используемых в многоязычных сообществах, таких как Организация
Объединенных Наций, в странах Европейского Союза и в официально
двуязычных странах, таких как Канада.
1.4.3.2. Корпусы устной речи
Прагматика не была так тщательно исследована в компьютерной
лингвистике и корпусных исследованиях, как некоторые другие
сферы лингвистики, поскольку создание репрезентативного корпуса
устной речи было сложной задачей. В конце концов, возникла
необходимость создать модели вежливости, смены ролей и других
явлений [42].
Составители корпуса не всегда могут представить себе все
многообразие лингвистических задач, которые могут быть решены с
его помощью. Среди них областью особой важности, основной для
понимания языка вообще, является исследование устных текстов.
Корпус Лондон-Лунд (The London-Lund Corpus) был разработан в
рамках проекта «Обзор употребления английского языка» (The Survey
of English Usage). Цель проекта заключалась в том, чтобы по
возможности полно зафиксировать особенности грамматической
системы английского языка в речи взрослого образованного
носителя. Проект разрабатывался с 1960 года под руководством
Р. Квирка в Лондонском университетском колледже. Объем корпуса –
1 млн. словоупотреблений. Текстами устной речи были записи
радиопередач, заседаний официальных структур, а также
неформальных бесед. Машинный вариант корпуса создавался в
29
Лундском университете (Швеция) и был готов к использованию в
1979 году. Именно корпус устной речи Лондон-Лунд был одним из
первых машиночитаемых корпусов. Он состоял из 34 текстов,
представляющих тайно записанные разговоры, которые были также
опубликованы в книге Дж. Свартвика и Р. Квирка «Корпус
английского разговора» (1980) [59]. Эта книга была очень полезна в то
время, когда компьютерные корпусы не были широко
распространены, и было трудно обращаться со сложной
транскрипцией устной речи [44]. Хотя некоторой частью информации
пришлось пожертвовать при составлении машиночитаемой версии, и
те, кого записали, вряд ли могут считаться среднестатистическими
предствителями лиц, говорящих на английском языке, корпус
Лондон-Лунд очень помог в изучении речи. Из-за сложностей
составления корпусов устной речи этот корпус долго оставался
самым важным источником для компьютерного исследования
разговорного английского.
Появление корпуса Лондон-Лунд привело к множеству
исследований по лексике, грамматике, просодии речи и особенно по
структуре и функционированию дискурса. Так, были исследованы
использование слов actually, really, you know, you see, I mean, well,
вопросы и ответы в английском разговоре, использование пассива,
просодических моделей английского разговора и т.д. Устный и
письменный
английский
изучались
в
сопоставительных
исследованиях на базе корпусов Лондон-Лунд и Ланкастер-ОслоБерген; в частности, изучались модальность, связи в сложных
предложениях, отрицание. В настоящее время большой интерес
корпусных лингвистов привлекают способы передачи эмоций в
устной речи, выражение удивления и т.д. Примером корпуса,
позволяющего проводить подобные исследования, является
мультимедийный подкорпус в составе НКРЯ.
Отсутствие баланса в доступности устного и письменного
материала в машиночитаемом формате продлится еще очень долго. В
силу различных причин, построение корпусов устной речи
30
продвигается намного медленнее, чем построение корпусов
письменной речи. В первую очередь, устную речь нужно как-то
зафиксировать – например, с помощью магнитной ленты, цифровой
записи или видеокассеты. Затем ее нужно записать буквами, что
является утомительной и дорогой работой, качество которой зависит
в большой степени от качества записи и степени шума внешней
среды в естественных условиях.
Главная сложность создания фонетических лингвистических
ресурсов связана с необходимостью транскрибирования устной речи.
При этом возникают следующие проблемы:
1. Какой алгоритм использовать для транскрибирования?
2. Учитывать ли индивидуальные особенности произношения?
3. Учитывать ли весь устный текст или его фрагменты?
4. Учитывать ли диалектные варианты произношения слов?
5. Учитывать ли ударения в словах?
6. Учитывать ли просодические признаки произносимых фраз?
7. Отмечать ли слова, которые при прослушивании не
распознавались?
8. Отмечать
ли
в
записи
для
фонетического
корпуса
паралингвистические явления, сопутствующие речи (паузы, смех,
бормотание, кашель, и т.д.)? [17]
В настоящее время общепринято, что для создания
машиночитаемых
фонетических
корпусов
используется
транскрипция на основе орфографического представления звуков
речи
с
дополнительными
знаками,
передающими
(при
необходимости) просодические, паралингвистические и другие
особенности произношения. Несмотря на трудности создания, в мире
уже существует много достаточно представительных фонетических
корпусов. Так, как описывается в учебнике А.В. Зубова и
И.И. Зубовой, в 70-х годах XX века в США X. Далем и его коллегами
был создан «Корпус устной речи американского варианта
английского языка». Он включал 1 млн. словоупотреблений, взятых
из записей психоаналитических сеансов. С каждой из 15 кассет,
31
имевшихся в распоряжении составителей корпуса, было случайным
образом отобрано 225 записей сеансов. Они содержали речь 8
женщин и 21 мужчины из 9 городов США. Отобранные записи были
затранскрибированы на основе стандартной английской орфографии.
Диалектные
варианты
произношения
не
учитывались.
Нераспознанные слова при записи обозначались буквой Z. Ударения и
другие просодические характеристики речи также не учитывались. В
то же время при орфографической записи устной речи в качестве
специальных комментариев отмечались паузы, смех, вздох, кашель и
другие паралингвистические явления [17].
Один из членов команды, создавшей Британский национальный
корпус, Л. Бернард, утверждал, что стоимость отбора 10 млн. слов из
устных источников во время создания корпуса (1990-е годы)
равнялась стоимости отбора 50 миллионов слов из письменных
источников [26]. Данные издержки напрямую связаны еще и со строго
соблюдаемым в западном мире авторским правом, в связи с чем
нельзя провести полноценный анализ устных текстов и опубликовать
его результаты без получения согласия их автора, а это не всегда
возможно по объективным причинам.
В составе Национального корпуса русского языка (который
имеет также название Русский национальный корпус – РНК) в январе
2008 года содержалось всего 3,9% устных текстов. «Устный»
компонент корпуса текстов подразделялся на следующие типы:
публичная речь (64,3%), непубличная речь (8,1%), речь кино (27,6%)
[27].
Таким образом, одной из наиболее важных проблем при
составлении национальных корпусов текстов является их
недостаточное
наполнение
устными
текстами,
особенно
относящимися к непубличной речи – телефонным разговорам,
неформальным беседам и т.д.
32
ЧАСТЬ 2. СОЗДАНИЕ КОРПУСОВ
2.1. Предварительные работы по созданию корпуса
2.1.1. Проектирование и технологический процесс создания
Проект любого корпуса должен предусматривать этапы его
создания и пути его дальнейшего развития. Понятие корпуса является
продолжением традиционных картотек, с которыми всегда работали
лингвисты. В XX веке эти картотеки стали компьютерными и
общедоступными. Значительную роль в становлении корпусного
подхода сыграла сеть Интернет, в процессе развития которой стали
доступны большие объемы текстового материала, пригодного для
проведения различных лингвистических исследований. При этом
встает традиционный вопрос о репрезентативности и сбалансированности языкового материала (см. п. 1.4.1), который кладется в основу
словарей и грамматик. Особенно остро этот вопрос встает при
формировании национальных корпусов. Репрезентативность корпуса
должна обеспечиваться как достаточным объемом текстового
материала, так и его разнообразием.
Помимо жанрово-тематической структуры предстоит решить
также множество других, частных, но важных вопросов, таких как:
1. Что является текстом в корпусе? Например, небольшие объявления
в газетах – включаются ли они в корпус как отдельные тексты или их
можно объединять?
2. Является ли текстом статья в газете? Или один выпуск газеты
нужно расценивать как один текст?
3. Что является отдельным текстом – сборник стихотворений или
каждое стихотворение?
4. Является ли отдельным текстом каждое письмо в опубликованной
переписке, где авторами писем являются двое, но письма образуют
единый дискурс, или совокупность этих писем?
Не менее важна и проблема хронологии. Что следует понимать
под корпусом современного русского языка? Представляется, что
33
хронологические рамки корпуса должны быть разными для разных
жанров.
Корпус создается для широкого круга пользователей и для
решения разнообразных задач, в том числе и достаточно «экзотических», например, для исследования русскоязычных текстов, использующих иноязычную графику. Что из исходных текстов остается
в корпусе, а что «вычищается»? Очевидно, например, что картинки не
относятся к языковому материалу и могут быть удалены. Сложнее
обстоит дело с таблицами и, тем более, с цитатами, прямой речью,
иноязычными вкраплениями, единицами измерения.
Все эти вопросы должны быть поставлены на этапе
проектирования. Решаться же они, по крайней мере, некоторые из
них, могут постепенно в процессе создания и опытной эксплуатации
корпуса. Для этого с самого начала эксплуатации следует
предусмотреть обратную связь с пользователями.
Технологический процесс создания корпуса можно представить
в виде следующих шагов или этапов:
1. Обеспечение поступления текстов в соответствии с перечнем
источников.
2. Преобразование в машиночитаемую форму. Тексты в электронном
виде для создания корпусов могут быть получены самыми разными
способами – ручной ввод, сканирование, авторские копии, дары и
обмен, Интернет, оригинал-макеты, предоставляемые издательствами
составителям корпусов и др.
3. Анализ и предварительная обработка текстов. На этом этапе все
тексты,
полученные
из
разных
источников,
проходят
филологическую
выверку
и
корректировку.
Подготовка
«технологического» описания включает в себя библиографическое и
экстралингвистическое описания текста.
4. Конвертирование и графематический анализ. Некоторые тексты
проходят также через один или несколько этапов предварительной
машинной обработки, в ходе которых осуществляется перекодировка
(если требуется), а также удаление или преобразование нетекстовых
34
элементов (рисунки, таблицы), удаление из текста переносов,
«жестких концов строк» (тексты из MS-DOS), обеспечение
единообразного написания тире и т.д. Графематический анализ
предполагает проведение следующих операций: разделение входного
текста на элементы (слова, разделители и т.д.), удаление нетекстовых
элементов, выделение и оформление нестандартных (нелексических)
элементов, обработка специальных текстовых элементов (имен (имя,
отчество), написанных инициалами, иностранных лексем, записанных
латиницей, названий рисунков, примечаний, страниц форзаца,
зачеркиваний, титульных листов, списков литературы и т.д.). Как
правило, эти операции выполняются в автоматическом режиме.
Обычно на этом же этапе осуществляется сегментирование текста на
его структурные составляющие.
5. Разметка текста. Разметка текста заключается в приписывании
текстам и их компонентам дополнительной информации
(метаданных). Метаданные можно поделить на 3 типа:
экстралингвистические, относящиеся ко всему тексту; данные о
структуре текста; лингвистические метаданные, описывающие
элементы текста. Метаописание текстов корпуса включает как
содержательные элементы данных (библиографические данные,
признаки, характеризующие жанровые и стилевые особенности
текста, сведения об авторе), так и формальные (имя файла, параметры
кодирования, версия языка разметки, исполнители этапов работ). Эти
данные обычно вводятся вручную. Структурная разметка документа
(выделение
абзацев,
предложений,
слов)
и
собственно
лингвистическая разметка обычно осуществляются автоматически.
6. Корректировка результатов автоматической разметки: исправление
ошибок
и
снятие
неоднозначности
(вручную
или
полуавтоматически).
7.
Конвертирование
размеченных
текстов
в
структуру
специализированной лингвистической информационно-поисковой
системы (corpus manager), обеспечивающей быстрый многоаспектный
поиск и статистическую обработку (заключительный этап).
35
8. Обеспечение доступа к корпусу. Корпус может быть доступен в
пределах дисплейного класса, может распространяться на компактдиске и может быть доступен в режиме глобальной сети. Различным
категориям пользователей могут предоставляться разные права и
разные возможности.
9. Создание документационного обеспечения, в котором описываются
различные аспекты создания и использования корпуса, в частности,
приводятся сведения о разметке, позволяющие искать по
метаданным, язык запросов корпус-менеджера и т.д.
Конечно, в каждом конкретном случае состав и количество
процедур могут отличаться от вышеперечисленных, и реальная
технология может оказаться гораздо сложнее. Рассмотрим некоторые
этапы более подробно.
2.1.2. Отбор источников. Критерии отбора
Важной особенностью корпуса текстов является то, что это не
просто множество случайным образом объединенных текстов того
или иного языка. При его создании возникает целый ряд проблем.
Основными из них являются следующие:
1. Что должно являться основной единицей корпуса текстов?
2. Каким должен быть объем корпуса текстов (сколько единиц он
должен содержать)?
3. Какие письменные текстовые источники должны быть представлены в корпусе текстов и в каком количестве?
4. Из какой исходной языковой области должны быть выбраны
тексты, включаемые в состав корпуса?
Первые ответы на эти вопросы были даны в многочисленных
исследованиях профессора Р.Г. Пиотровского и его учеников в 19651980 годах, они касались отбора текстов для составления частотных
словарей и проведения лингвостатистических исследований. Те же
проблемы обсуждались в предисловии к Частотному словарю под
ред. Л.Н. Засориной (1977) [13]. Именно тогда были впервые
36
использованы различные статистические приемы для оценки
генеральной совокупности выборки, объема выборки, порции
выборки (элементарной выборки) и т.д. [17].
Основной
единицей
корпуса
текстов
могут
быть
словоупотребления (обычно их называют словами), основы (корни,
леммы) и предложения. Объем создаваемого корпуса текстов в
принятых единицах зависит от целей создания. Он может быть
небольшим
при
изучении
частоты
употребления
букв,
буквосочетаний, звуков, звукосочетаний. Гораздо бóльшим он
должен быть при изучении лексики, морфологических явлений и при
изучении синтаксических или стилистических особенностей текстов
[17]. Проблемными являются также следующие вопросы:
1. Тексты каких функциональных жанров включать в корпус текстов
(художественную прозу, драму, стихи, научные тексты, газеты,
журналы, технические описания и т.д.)?
2. Тексты каких временных промежутков включать в корпус текстов
(современные, 10-летней давности, 50-летней давности, древние и
т.д.)?
3. Включать ли тексты только литературного языка или также другие
типы источников? И что считать литературным языком?
При ответе на эти вопросы разработчики корпуса текстов
обычно используют консультации специалистов по языкознанию и
лингвостатистике или метод анкет. Исходя из своего опыта
исследований, специалисты определяют общий объем корпуса
текстов, время издания текстов, число текстов и размер элементарной
выборки, жанры отбираемых текстов и их количество, число
элементарных выборок из каждого жанра. Метод анкет в сочетании с
опытом специалистов был использован при создании корпуса текстов
«Американский корпус наследия» (The American Heritage Intermediate
Corpus). Специалисты определили его объем в 5 млн. слов (словоупотреблений) и рекомендовали включить в него лексику из 22 разделов
(жанров) детской и юношеской литературы на английском языке. В
221 школу США были разосланы анкеты с просьбой указать, какие
37
тексты желательно включить в корпус. После изучения анкет был
составлен список из 19 тыс. названий книг. Из этого множества было
отобрано 1045 текстов. На их основе было составлено 10 тыс.
элементарных выборок по 500 словоупотреблений каждая [17].
2.1.3. Основные процедуры обработки естественного языка:
токенизация, лемматизация, стемминг, парсинг
Фактически, корпус в его современном понимании – это всегда
компьютерная база данных, и в процессе его создания естественно
использование специальных процедур и программ. Например,
токенизация, т.е. разбиение потока символов в естественном языке
на отдельные значимые единицы (токены, словоформы), является
необходимым условием для дальнейшей обработки естественного
языка. Если бы языки обладали совершенной пунктуацией,
токенизация не представляла бы сложности – даже самая простая
программа могла бы разделить текст на слова, руководствуясь
пробелами и знаками препинания. Но в действительности языки
подобной пунктуацией не обладают, что усложняет задачу
токенизации. Например, в английском языке встречаются случаи,
которые не могут быть однозначно токенизированы. Ср.: строка chap.
может являться сокращенной формой слова chapter или словом chap,
которое расположено в конце предложения. Строку Jan. можно
рассматривать как сокращенную форму слова January либо как имя
собственное, расположенное в конце предложения. В первом случае
точка должна быть отнесена к тому же токену, что и слово, а во
втором случае она должна быть выделена в отдельный тэг. Вместе с
тем, нельзя не заметить, что подобные трудности весьма ограничены,
и многие приложения, обрабатывающие текст, часто игнорируют их
(например, не учитывают аббревиатуры и сложные слова), либо
обрабатывают их с помощью отдельного алгоритма.
Другая специфическая задача морфологического анализа – это
лемматизация, т.е. процесс образования первоначальной формы
38
слова, исходя из других его словоформ. Во многих языках слово
может встречаться в нескольких формах с различными флексиями.
Например, английский глагол 'walk' может быть представлен
следующими формами: 'walk', 'walked', 'walks', 'walking'. Базовая
форма, 'walk', зафиксированная в словаре, называется леммой слова.
Лемматизация представляет собой процесс группировки различных
флективных форм одного слова таким образом, чтобы при анализе
они обрабатывались как одно слово.
Процесс, несколько отличный от лемматизации, называется
стеммингом, он состоит в нахождении стема (основы) слова.
Разница заключается в том, что стеммер обрабатывает отдельное
слово без знания контекста, и, таким образом, не может
дифференцировать слова, которые имеют разные значения в силу
отнесенности к разным частям речи. Тем не менее, стеммеры обычно
более просты для реализации и быстрее обрабатывают данные, а
более низкая точность их работы может не иметь решающего
значения для многих приложений. Например, токену "better"
соответствует лемма "good", но это опускается при стемминге. Лемма
"walk" является базовой формой для токена "walking", и это
соответствие будет обнаружено как при стемминге, так и при
лемматизации.
Ниже приведены примеры стемминга и лемматизации. Дано
следующее предложение:
[The] [quick] [brown] [fox] [jumped] [over] [the] [lazy] [dogs].
Один из наиболее популярных стеммеров, SnowballAnalyzer,
выдает следующие стемы:
[quick] [brown] [fox] [jump] [over] [lazy] [dog].
Леммы слов данного предложения будут следующими:
[the] [quick] [brown] [fox] [jump] [over] [the] [lazy] [dog].
Лемматизация связана с идентификацией частей речи и
включает в себя сокращение слов из корпуса до соответствующих им
лексем. Именно лемматизация позволяет исследователю выделять и
изучать все варианты отдельной лексемы без необходимости
39
введения всех возможных вариантов. Рассмотрим пример работы
морфологического анализатора с английским предложением "All
women were walking in the streets". Токены (словоформы)
представлены слева в скобках <>, звездочка '*' показывает, что слово
в тексте начинается с заглавной буквы. Под каждым токеном
располагается лемма (лексема) и приводится морфологический
разбор. Например, токен "were" относится к лемме "be", и его
морфологические характеристики – глагол, прошедшее время,
спрягаемый; токен "streets" относится к лемме "street", и его
морфологические характеристики – существительное, нарицательное,
ед. числа и т.д.
"<*all>"
"all" <*> <Quant> DET PRE SG/PL
"<women>"
"woman" N NOM PL
"<were>"
"be" <SV> <SVC/N> <SVC/A> V PAST VFIN
"<walking>"
"walk" <SV> <SVO> PCP1
"<in>"
"in" PREP
"<the>"
"the" <Def> DET CENTRAL ART SG/PL
"<streets>"
"street" N NOM PL
"<$.>"
Парсинг
–
это
процесс
сопоставления
линейной
последовательности лексем (слов, токенов) языка с его формальной
грамматикой. Результатом обычно является дерево зависимостей
(синтаксическое дерево). Построение автоматических синтаксических
анализаторов (парсеров) для больших корпусов является одной из
самых важных областей компьютерной лингвистики. Большинство
40
подходов объединяет качественные и количественные измерения.
Наряду с разными статистическими подходами, которые тренируются
на снабженных вручную пометами синтаксических деревьях (treebanks), многие синтаксические анализаторы используют основанные
на правилах или основанные на ограничениях подходы, которые
прямо моделируют специфические лингвистические теории.
Разработка этих синтаксических анализаторов тесно переплетается с
развитием этих теорий. Поскольку большинство предложений
неоднозначны в любой теории, на основе правил (или перечня
ограничений) должна быть разработана стратегия снятия
неоднозначности. Многие стратегии снятия неоднозначности
полагаются на количественные данные – частоту данной структуры в
данном корпусе (тип), ограничения на выборку для данных
лексических единиц, которые были получены или выделены из
корпусных данных, и т.д.
Необходимо рассматривать два условия при обсуждении
предварительной обработки корпусов:
1. Каждый шаг подготовки текста к обработке заставляет
составителя корпуса принимать лингвистические решения, которые
влияют на последующие шаги и на оценку корпуса. Конечный
пользователь должен быть в курсе этих решений, чтобы найти то, что
он ищет. Например, тот, кто делит тексты на составные части, должен
решить, относиться к случаям типа New York и Baden Baden как к
одному слову или как к двум. Подобным образом, человек,
выявляющий лексемы, должен решить, что делать с такими
явлениями, как немецкие глаголы с отделяемыми приставками.
2. Конечного пользователя нужно поставить в известность о том,
какая работа была проделана на стадии предварительной обработки и
о возможных погрешностях, поскольку любые ошибки в кодировке,
особенно системные, могут повлиять на результаты, полученные
пользователями корпуса [42].
41
2.2. Разметка. Средства разметки корпусов
2.2.1. Понятие разметки
Среди специальных программ для обработки естественного
языка особое место занимают программы автоматической разметки.
Разметка корпусов (tagging, annotation) представляет собой
трудоемкую операцию, особенно учитывая размеры современных
корпусов. Если для некоторых видов разметки, в частности,
анафорической, просодической, создание автоматических систем
пока представляется довольно сложным и основная часть работы
проводится вручную, то для морфологического и синтаксического
анализа существуют различные программные средства, которые
принято называть соответственно тэггеры (taggers) и парсеры
(parsers). В результате работы программ автоматического
морфологического анализа (тэггеров) каждой лексической единице
приписываются грамматические характеристики, включая часть речи,
лемму и набор граммем (например, род, число, падеж,
одушевленность/неодушевленность, переходность и т.д.). В
результате работы программ автоматического синтаксического
анализа фиксируются синтаксические связи между словами и
словосочетаниями, а синтаксическим единицам приписываются
соответствующие характеристики (тип предложения, синтаксическая
функция словосочетания и т.д.).
Однако
автоматический
анализ
естественного
языка
небезошибочен и многозначен – он, как правило, дает несколько
вариантов анализа для одной лексической единицы (слова,
словосочетания, предложения). В этом случае говорят о
грамматической
омонимии.
Снятие
неоднозначности
(морфологической, синтаксической) в целом является одной из
важнейших и сложнейших задач компьютерной лингвистики. При
создании корпусов для снятия неоднозначности используются
автоматические и ручные способы. Корпусы нового поколения
включают сотни миллионов слов, поэтому выдвигаются принципы
42
разработки систем, которые бы минимизировали вмешательство
человека. Автоматическое разрешение морфологической или
синтаксической неоднозначности, как правило, основывается на
использовании информации более высокого уровня (синтаксического,
семантического) с применением статистических методов.
Для решения различных лингвистических задач недостаточно
иметь массив текстов. Требуется также, чтобы тексты содержали в
себе явным образом указанную разного рода дополнительную
лингвистическую и экстралингвистическую информацию. Так, на
материале корпуса, подобного Брауновскому, можно легко выявить
частотность слов – их регулярное употребление в определенных
контекстах. Однако это будет частотность токенов (словоформ). Для
определения частоты лексем каждому слову должна быть приписана
ее лемма.
Для подсчета частот в разрезе грамматических категорий они
также должны быть маркированы. В корпусе, снабженном такой
информацией, существительные имеют, например, тэг noun, глаголы
– тэг verb и т.д. Помимо прочего, такие тэги позволяют изучать
групповые характеристики слов, имеющих определенную помету.
Если снабжать тэгами слова в большом корпусе вручную, это займет
очень много времени, поэтому исследователи разработали способы
автоматической разметки в корпусе. Один из простых способов
заключается в том, чтобы компьютеризированный словарь, в котором
указаны лексические категории для самых распространенных слов
или для наибольшего количества слов, совместить с неразмеченным
корпусом. Затем каждому слову в неразмеченном корпусе может
быть автоматически присвоен тэг от соответствующего ему слова в
снабженном пометами словаре. Таким образом, если словоформы
information и distribution появились и в корпусе, и в словаре, тэг
‘noun’, который сопровождал эти словоформы в словаре,
автоматически будет перенесен на них в корпусе. Подобно этому,
такие формы как lexical и frequent будут помечены как
прилагательные, поскольку они всегда являются членами этой
43
категории, the и a будут помечены как артикли, identify и see – как
глаголы и т.д. [42].
Этот процесс нахождения соответствующих форм в корпусе и в
снабженном пометами словаре не может быть использован для
определения категорий всех форм, потому что некоторые формы
могут быть членами более чем одной категории. Эта проблема носит
название «проблема морфологической неоднозначности (ambiguity)».
Например, слова words, forms, can, use, present и process могут быть
как существительными, так и глаголами. Поскольку в английском
языке так много форм принадлежит более чем одной категории,
точно разметить слова можно благодаря более сложным процедурам,
чем автоматическое совмещение со словарем. Конечно, в контексте
(т.е. в действительном использовании) словоформа принадлежит
только одной категории. Следовательно, достичь точной разметки
английского корпуса можно путем анализа контекста или анализа
более
высокого
уровня:
синтаксического
анализа
для
морфологической разметки, семантического – для синтаксической.
Возьмем слово deal в качестве примера. Как словоформа, оно
может быть как существительным, так и глаголом. Предположим, что
корпус содержал фразу a good deal of trouble, и предположим, что
автоматическое совмещение со словарем уже позволило пометить
good как прилагательное. При выборе между тем, предшествует ли
прилагательное существительному или глаголу, намного надежнее
выбрать существительное, поскольку в английском языке
прилагательные обычно предшествуют существительным и обычно
не предшествуют глаголам. Так, deal в a good deal of trouble может
быть помечено как существительное. Другими словами, поскольку
good однозначно является прилагательным, оно будет помечено как
adjective на начальном уровне снабжения пометами путем
совмещения корпуса со словарем. Если начинать разметку, размечая
только слова, принадлежащие исключительно одной категории, а
затем использовать эту информацию для того, чтобы прояснить
неоднозначные случаи, многие сложные проблемы смогут быть
44
решены. В обычной практике случается так, что слова снабжаются
пометами сначала для всех частей речи, к которым они могут
относиться, а затем категории примыкающих слов используются для
определения категории слов, у которых есть несколько помет.
Итак, разметка заключается в приписывании текстам и их
компонентам специальных тэгов: собственно лингвистических,
описывающих лексические, грамматические и прочие характеристики
элементов текста, и внешних, экстралингвистических (сведения об
авторе и сведения о тексте: автор, название, год и место издания,
жанр, тематика).
2.2.2. Лингвистическая разметка
Среди
лингвистических
типов
разметки
выделяются:
морфологическая, синтаксическая, семантическая, анафорическая,
просодическая, дискурсная и др. Все они осуществляются в
соответствии со следующими принципами:
1) описание (обоснование) схемы разметки;
2) общепринятая система лингвистических понятий;
3) известная для пользователя схема анализа;
4) мотивированность введения параметров;
5) теоретически нейтральная (традиционная) схема разметки;
6) следование международным стандартам.
Морфологическая разметка
В иностранной терминологии употребляется термин part-ofspeech tagging (POS-tagging), дословно – частеречная разметка. В
действительности морфологические метки включают не только
признак части речи, но и признаки грамматических категорий,
свойственных данной части речи. Это основной тип разметки: вопервых, большинство крупных корпусов являются как раз
морфологически
размеченными
корпусами,
во-вторых,
45
морфологический анализ рассматривается как основа для дальнейших
форм анализа – синтаксического и семантического, и, в-третьих,
успехи в компьютерной морфологии позволяют автоматически с
большой степенью правильности размечать корпусы больших
размеров.
Данные о разметке представляются в том или ином
структурированном виде и включают: лемму, признак части речи,
признаки грамматических категорий. В 1980 году появилась
размеченная версия Брауновского корпуса, в которой была проведена
лемматизация
словоформ,
маркировка
их
поверхностносинтаксических функций и т.д. Морфологическая разметка
Брауновского корпуса выглядит следующим образом:
the_AT
jury_NN
further_RB
said_VBD
in_IN
term-end_NN
presentments_NNS that_CS the_AT *city_NP *executive_NP *committee_NP
,_, which_WDT had_HVD over-all_JJ charge_NN of_IN the_AT election_NN
,_, deserves_VBZ the_AT praise_NN and_CC thanks_NNS of_IN the_AT
*city_NP of_NP *atlanta_NP for_IN the_AT manner_NN in_IN which_WDT
the_AT election_NN was_BEDZ conducted_VBN |
Приведем пример морфологической разметки фрагмента текста
на русском языке «Звонили к вечерне. Торжественный гул колоколов»
в XML-формате на основе разметчика АОТ (рис. 1).
В представленной записи использованы тэги <text> – текст, <p>
– абзац, <s> – предложение, <w> – словоупотребление, <pun> – знак
пунктуации. Тэг <w> содержит вложенный тэг <ana> с атрибутами
<lemma> – лемма, <pos> – часть речи, <gram> – набор граммем.
Значения граммем приводятся в Приложении 3.
Синтаксическая разметка
Синтаксическая разметка является результатом парсинга,
выполняемого на основе данных морфологического анализа. Этот вид
разметки описывает синтаксические связи между лексическими
единицами и различные синтаксические конструкции (например,
придаточное предложение, глагольное словосочетание и т.д.).
46
<?xml version="1.0" encoding="windows-1251" ?> <text> <p>
<s>
<w>Звонили<ana lemma="ЗВОНИТЬ" pos="Г" gram="мн,нс,нп,дст,прш,"
/></w>
<w>к<ana lemma="К" pos="ПРЕДЛ" gram="" /></w>
<w>вечерне
<ana lemma="ВЕЧЕРНЯ" pos="С" gram="жр,ед,дт,пр,но," />
<ana lemma="ВЕЧЕРНИЙ" pos="П" gram="ср,ед,кр," /></w>
<pun>.</pun> </s>
<s><w>Торжественный<ana lemma="ТОРЖЕСТВЕННЫЙ" pos="П"
gram="мр,ед,им,вн," /></w>
<w>гул<ana lemma="ГУЛ" pos="С" gram="мр,ед,им,вн,но," /></w>
<w>колоколов
<ana lemma="КОЛОКОЛ" pos="С" gram="мр,мн,рд,но," />
<ana lemma="КОЛОКОЛОВ" pos="С" gram="мр,фам,ед,им,од," /></w>
……………………..<pun>.</pun> </s></p></text>
Рис. 1. Пример морфологической разметки текста на русском языке
(список граммем см. Приложение 3)
В отличие от морфологии, способы представления
синтаксической структуры и синтаксических отношений не столь
унифицированы. Наблюдается разнообразие синтаксических теорий и
формализмов:
 грамматика зависимостей;
 грамматика непосредственно составляющих;
 грамматика структурных схем;
 традиционные синтаксические учения о членах предложения;
 функциональная грамматика;
 семантический синтаксис и др.
Синтаксический анализ для русского языка чаще всего
представлен структурами зависимостей. На рисунке 2 представлен
пример визуализации дерева зависимостей.
47
Long ago, in the city of Babylon, the people began to build a huge
tower which seemed to reach the heavens soon.
Рис. 2. Пример синтаксического разбора
(грамматика зависимостей, система ЭТАП-3)
Семантическая разметка
Семантические тэги чаще всего обозначают семантические
категории, к которым относится данное слово или словосочетание, и
более узкие подкатегории, специфицирующие его значение.
Семантическая разметка корпусов предусматривает спецификацию
значения слов, разрешение омонимии и синонимии, категоризацию
слов (разряды), выделение тематических классов, признаков
каузативности, оценочных и деривационных характеристик и т.д.
Свой вариант семантической разметки предлагает НКРЯ. В этом
корпусе каждой словоформе приписываются пометы трех типов.
1) разряд (имя собственное, возвратное местоимение и т.д.);
2) лексико-семантические характеристики (тематический класс
лексемы, признаки каузативности, оценки и т.д.);
48
3) деривационные характеристики («диминутив», «отадъективное
наречие» и т.д.).
Собственно лексико-семантические тэги сгруппированы по
следующим полям:
• таксономия (тематический класс лексемы) – для имен
существительных, прилагательных, глаголов и наречий;
• мереология (указание на отношения «часть – целое», «элемент –
множество») – для предметных и непредметных имен;
• топология (топологический статус обозначаемого объекта) – для
предметных имен;
• каузация – для глаголов;
• служебный статус – для глаголов;
• оценка – для предметных и непредметных имен, прилагательных и
наречий.
Словообразовательные характеристики включают несколько
типов:
• морфо-семантические словообразовательные признаки (например,
«каритив», «семельфактив»);
• разряд
производящего
слова
(например,
отглагольное
существительное или отадъективное наречие);
• лексико-семантический (таксономический) тип производящего
слова (например, наречие, образованное от прилагательного размера);
• морфологический тип словообразования (субстантивация, сложное
слово) (более подробно см. http://ruscorpora.ru, раздел «Семантика»).
Существуют и другие типы разметки, в частности:
 анафорическая разметка. Она фиксирует референтные связи,
например, местоименные;
 просодическая разметка. В просодических корпусах применяются
тэги, обозначающие ударение и интонацию. В корпусах устной
разговорной речи просодическая разметка часто сопровождается так
называемой дискурсной разметкой, которая служит для обозначения
пауз, повторов, оговорок и т.д.
49
2.2.3. Экстралингвистическая разметка
Экстралингвистическая разметка, или метаданные, включает в
себя «внешнюю», «интеллектуальную» разметку (библиографические
характеристики, типологические характеристики, тематические
характеристики, социологические характеристики), «формальную»
структурную разметку (текст, раздел, глава, часть, абзац,
предложение), а также технико-технологическую разметку
(кодировку, даты обработки, исполнителей, источник электронной
версии). Набор метаданных во многом определяет возможности,
предоставляемые корпусами исследователям. При выборе этих
данных необходимо руководствоваться целями исследования и
потребностями лингвистов, а также возможностями по внесению в
текст тех или иных дополнительных признаков.
«Внешняя», «интеллектуальная» разметка нужна, во-первых,
для выявления взаимосвязи языка и условий его существования; вовторых, для изучения отдельных подмножеств языка. Выделяют два
класса факторов, влияющих на язык текстов:
 внешние, внеязыковые факторы (E – external);
 внутренние факторы (I – internal).
Дж. Синклер выделяет три группы E-факторов:
 Е1 (origin) – факторы, относящиеся к созданию текста автором;
 E2 (state) – факторы, относящиеся к внешним признакам текста
(включая устную или письменную речь);
 Е3 (aims) – факторы, относящиеся к причинам создания текста и
его влиянию на аудиторию
и две группы I-факторов:
 I1 (topic) – предметная область текста;
 I2 (style) – стилистические особенности (стиль, жанр) [57].
В НКРЯ, например, используется следующий набор
метаданных:
Первый блок:
1) автор текста: имя, пол, дата рождения (или примерный возраст);
50
2) название текста;
3) время и место создания текста (может указываться точно или
приблизительно);
4) объем текста: для художественных произведений принято, что
обычная длина рассказа – менее 5 тыс. слов; обычная длина повести –
от 5 до 15 тыс. слов; обычная длина романа – более 15 тыс. слов.
Второй блок: параметры метаописания трех основных массивов
текстов корпуса – художественных текстов; нехудожественных
текстов;
драматургических
произведений.
Например,
для
художественных текстов в НКРЯ указывается:
1) жанр текста: нежанровая проза, автобиографическая проза,
детектив, детская литература, историческая проза, криминальная
литература, приключения, фантастика, юмор и сатира;
2) тип текста: автобиографическая проза, анекдот, ассоциативная
проза, боевик, детектив, очерк, литературное письмо, повесть,
притча, пьеса, рассказ, роман, сказка, триллер, эпопея, эссе и др.;
3) хронотоп текста: приблизительное указание на место и время
описываемых в тексте событий [27].
Реально предлагается следующее: древний Восток; Россия
XVII век; Россия XIX век; Россия/СССР: советский период в целом;
Россия, советский период – Германия 1920-1940-е годы;
Россия/СССР – Европа 1960-1980-е годы; Россия/СССР: перестройка;
Россия/СССР: советский и постсоветский период; Америка:
современная жизнь; Израиль: современная жизнь; Средняя Азия:
современная жизнь; ирреальный мир и др. Также может встретиться
тэг «хронотоп не определен».
Служебная, или «имплицитная», метаразметка в НКРЯ
включает:
1) «текст-стиль», при этом выделяются академический, научнопопулярный, официально-деловой, нейтральный, сниженный,
сниженный с элементами грубого просторечия и жаргона,
архаизованный, индивидуально-авторский, диалектный и пр. (всего
21);
51
2) аудитория – возраст;
3) аудитория – уровень образования;
4) аудитория – размер (более подробно см. http://ruscorpora.ru/corporaparameter.html)
2.2.4. Стандартизация в корпусной лингвистике
Корпусы, как правило, предназначены для неоднократного
применения многими пользователями, поэтому их разметка и их
лингвистическое обеспечение должны быть определенным образом
унифицированы. Стандарты в отношении корпусов обычно
затрагивают совместимость типов разметки. Их называют иногда
«стандартами кодирования». Также важным является вопрос,
связанный со сравнимостью разных корпусов, в том числе, оценками
по поводу их пригодности к различным заданиям. Их называют
«стандартами оценки» [39].
Что касается разметки, то как лингвистическая, так и
экстралингвистическая разметка должны базироваться на некоторых
достаточно широко распространенных и общепринятых принципах
описания текстов и языковых единиц. Параметры разметки и их
значения должны быть достаточно «естественными», т.е. должны
соответствовать
общепринятым
научным
классификациям.
Лингвистическое и программное обеспечение корпус-менеджеров
должно поддерживать обработку типовых запросов и решение
типовых задач.
Единые форматы представления данных позволяют во многих
случаях использовать единое программное обеспечение и
обмениваться корпусными данными. Можно говорить, с одной
стороны, о стандартизации форматов представления данных с точки
зрения их наполнения, с другой стороны, с точки зрения их
структуры.
Наибольшую
сложность
представляет
стандартизация
транскрибирования устной речи. Хотя в области графической
52
фиксации устной речи даже при отсутствии единого и обязательного
для всех стандарта достигнут некоторый прогресс (связанный прежде
всего с наличием прецедентов), то в описании невербальной
составляющей естественноязыковой коммуникации стандарты не
выработаны, что затрудняет дальнейшее продвижение в этой области
[2].
Стандартизация в отношении корпусов, совместимость типов
данных важны и с точки зрения сравнимости разных корпусов.
Причем корпусы могут подвергаться как количественной, так и
качественной оценке. Количественные данные о корпусах позволяют
судить об их объеме, о наполнении корпуса по различным критериям,
о лингвостатических параметрах корпуса или подкорпусов. Под
качественной оценкой понимается оценка и сравнение корпусов на
основе анализа выдаваемых результатов.
Вопросы пригодности корпусов к различным лингвистическим
заданиям также требуют своих «стандартов оценки».
В настоящее время на основе международного опыта
выработались де-факто стандарты представления метаданных,
базирующиеся на описаниях текстов в рамках проекта Text Encoding
Initiative (TEI) и на рекомендациях EAGLES (Expert Advisory Group
on Language Engineering Standards).
Как уже говорилось, по классификации Дж. Синклера,
выделяют два класса факторов, влияющих на язык текстов: внешние,
внеязыковые факторы (E – external) и внутренние факторы (I –
internal). Для русского языка эти стандарты были адаптированы
С.А. Шаровым
(http://ruscorpora.ru/sbornik2005/05savchuk.pdf)
и
использованы при создании Национального корпуса русского языка.
В качестве формального языка разметки текстов в корпусе
широко применяются языки SGML и XML. Стандарты EAGLES
непосредственно включаются в технологическую среду языка XML
(см., в частности, стандарт Corpus Encoding Standard for XML
(XCES)). Пример морфологической разметки в формате XML для
русского языка приводится в п. 2.2.2 (см. рис. 1).
53
Кроме того, широко используется так называемый
вертикальный формат, когда каждое слово и вся информация к нему
даются отдельной строкой. В этом формате лингвистические
параметры часто даются в позиционной системе кодирования, где
каждой позиции соответствует определенное грамматическое
значение. Примером такой разметки является разметка Чешского
национального корпуса.
В качестве одного из стандартов морфологической разметки
следует назвать многоязыковые морфосинтаксические спецификации
(multilingual morphosyntactic specifications) MULTEXT-East Version 4
(http://nl.ijs.si/ME/V4/).
54
ЧАСТЬ 3. ИСПОЛЬЗОВАНИЕ КОРПУСОВ
3.1. Корпусные менеджеры
3.1.1. Корпус как поисковая система
Использование находящегося в свободном доступе достаточно
большого количества инструментов обработки текста превращает
коллекции текстов в электронные продукты, которые могут
накапливать и обрабатывать лингвистическую информацию согласно
задачам исследователя.
Неотъемлемой частью понятия «корпус текстов» является
система управления текстовыми и лингвистическими данными,
которую в последнее время чаще всего называют корпусным
менеджером (или корпус-менеджером). Корпусный менеджер – это
специализированная поисковая система, включающая программные
средства для поиска данных в корпусе, получения статистической
информации и предоставления результатов пользователю в удобной
форме.
Корпусный менеджер должен:
 строить как KWIC (Key Word In Context), так и полные
конкордансные списки;
 искать не только отдельные слова, но и словосочетания;
 осуществлять поиск по шаблонам (сложные запросы);
 сортировать списки по нескольким критериям, выбираемым
пользователем;
 давать возможность отображать найденные словоформы в
неограниченном контексте;
 давать статистическую информацию по отдельным элементам
корпуса;
 отображать леммы, морфологические характеристики словоформ и
метаданные (библиографические, типологические), что зависит от
степени размеченности корпуса;
 сохранять и распечатывать результаты;
55
работать как с отдельными файлами, так и с корпусами,
неограниченными по размеру;
 быстро обрабатывать запросы и выдавать результаты;
 поддерживать различные форматы текстовых данных (txt, doc, rtf,
html, xml и др.);
 быть легким (интуитивно понятным) в использовании, как для
опытного, так и для начинающего пользователя.
Наиболее известны такие универсальные корпусные менеджеры
как SARA, XAIRA (BNC), Manatee/Bonito, CQP, DDC. Для обработки
корпусных данных могут разрабатываться менеджеры на основе
систем управления базами данных (СУБД) или поисковых систем.
Например, поиск по Национальному корпусу русского языка
осуществляется поисковой системой Яndex.Server 3.8 Professional.
Для поиска грамматической и метатекстовой информации
задействованы способности Яndex.Server по поиску скрытых свойств
(атрибутов) документов и фрагментов текста. Поисковая выдача
формируется при помощи средств Яndex.Server, который
обеспечивает полнотекстовый поиск информации с учетом
морфологии русского языка на веб-сервере или в корпоративной сети.
Поиск работает с учетом морфологии русского, английского и
украинского языков – так же, как работает поиск Яндекс по
Интернету. Например, если задан запрос «идти», то в результате
поиска будут найдены ссылки на документы, содержащие слова
«идти», «идет», «шел», «шла» и т.д. Результатом поиска является
список документов, упорядоченных по релевантности, которая
учитывает не только количество найденных документов, но и
контрастность слов (частоту их употребления) и расстояние между
словами [27].

3.1.2. Языки запросов
Информационный запрос –
определенной
информационной
56
это словесное
потребности.
выражение
Запросы
анализируются по своему предметному и формальному содержанию
и описываются в терминах словаря языка запросов прикладной
программы, работающей с корпусом. Процедура поиска заключается
в поочередном сопоставлении поискового образа запроса с
отдельными элементами корпуса и в вычислении их соответствия.
При наличии такого соответствия элементы корпуса текстов
считаются релевантными и подлежат выдаче.
В общем виде модель языка запросов включает в себя
следующие элементы:
1) собственно поисковые элементы (термины, выражающие
информационную потребность и т.д.);
2) средства морфологической нормализации текстовых элементов
запроса;
3) булевы операторы (конъюнкция, дизъюнкция, отрицание);
4) средства
линейной
грамматики
(операторы
расстояния,
позиционные операторы);
5) дополнительные условия поиска:
 поиск в определенных полях корпуса (например, внутри тэгов);
 ограничение области поиска (по произведениям определенных
авторов, по дате создания документов, их типу и т.д.);
6) требование
на
сортировку
(ранжирование)
выдаваемых
результатов;
7) требования к форме представления результатов поиска:
 вид выдаваемых результатов;
 количество выдаваемых документов.
Далее будет рассмотрен язык запросов одного из наиболее
эффективных корпусных менеджеров, Bonito/Manatee1. На примере
этой поисковой системы будет продемонстрировано большинство
основных элементов языка запросов к корпусам текстов, а также
приведены примеры задания запросов к корпусу.
Bonito – название менеджера, Manatee – вся программная подсистема
корпусного обеспечения.
1
57
Корпусный менеджер Bonito представляет собой программное
обеспечение для работы с корпусами текстов. Система Bonito состоит
из двух частей: сервера (Bonitosrv) и графического пользовательского
интерфейса (GUI – graphical user interface) Bonito, созданного
П. Рыхли и группой NLPlab (Natural Language Processing Laboratory)
на факультете информатики Университета им. Масарика (Чехия) и
работающего на стороне клиента.
Для демонстрации работы с системой будет использоваться
корпус английских текстов SUSANNE (Surface and Underlying
Structural Analysis of Natural English) (http://www.grsampson.net/).
Данный корпус был создан в Великобритании в Университете
Сассекса. Он включает в себя более 130 тыс. слов Брауновского
корпуса американского английского языка, аннотированного
согласно схеме SUSANNE.













Основные особенности системы Bonito
Язык запросов
поиск отдельных атрибутов (словоформа, лемма, тэг);
использование регулярных выражений;
логические операторы;
средства задания структуры (границы предложения и др.);
быстрая обработка сложных запросов;
шаблоны.
Конкордансные списки
история запросов пользователя;
просмотр морфологических характеристик словоформы;
отображение леммы.
Операции над конкордансом
сохранение списков в файл;
печать списков;
сортировка по ключевым словам, контексту;
интерактивное неограниченное расширение контекста;
58
 фильтрация (удаление части построенных конкордансов);
 удаление повторений.
Частотное распределение
 частоты слов и других атрибутов в корпусе, контексте;
 неограниченное число уровней группировки.
Другие особенности
 выбор кодировок;
 создание пользовательских подкорпусов;
 произвольный набор тэгов;
 возможность подключения других языков.
Запросы
Пользователь
может
ввести
собственно
запрос,
сформулированный по правилам языка запросов системы, или
шаблон (готовый или созданный пользователем) в окно запросов
(рис. 3).
Рис. 3. Окно корпус-менеждера Bonito с конкордансом
для словоформы "justice"
59
Типы запросов:
Положительный фильтр (P-filter) – совпадающие с запросом
строки выдаются в конкордансном списке;
Отрицательный фильтр (N-filter) – совпадающие с запросом
строки удаляются из конкордансного списка;
Словосочетания (Collocations) – удовлетворяющие запросу
позиции (конкретная словоформа на заданном интервале) в
конкордансе выделяются цветом.
Для
положительного,
отрицательного
фильтров
и
словосочетаний необходимо задавать интервал, в пределах которого
следует искать совпадающие позиции для каждой строки
конкорданса. Пользователь задает границы интервала (окна ввода
"From:" и "To:"). Если значения положительные, то поиск
организуется вправо от исходной позиции, если отрицательные – то
влево. Исходной позицией может служить начало словоформы, конец
словоформы, начало N-ой позиции, конец N-ой позиции. Очень
важно отметить, что все введенные запросы сохраняются в так
называемой Истории запросов (Query History), но если запрос
идентичен одному из предыдущих, он не попадает в Историю
запросов. Достаточно нажать стрелку "вниз" в окне запроса, чтобы
проследить всю Историю, а если необходимо, то вернуться к одному
из предыдущих введенных запросов.
Если ввести имя запроса в окне "name:", запрос сохраняется в
списке "названных" (проименованных) запросов (named queries).
Шаблоны
Шаблон – это вид запроса, который упрощает ввод однотипных
запросов. Это означает, что сложный запрос необходимо создать
только один раз и сохранить как шаблон, а затем просто вводить
значения для данного шаблона.
Например, шаблон для всех словоформ правильного
английского глагола "play" мог бы выглядеть так:
[word="$1" | word="$1s" | word="$1ed" | word="$1ing"]
60
В этом шаблоне использовалась переменная, состоящая из
значка "$" и цифры "1". Количество переменных в шаблоне не
ограничено. При использовании шаблона первый вводимый параметр
соответствует переменной $1, второй – $2 и т.д. Параметры вводятся
через пробел.
Когда шаблон активизируется, он автоматически записывается в
окно запроса. Отличие от обычного запроса состоит лишь в
следующем: первый знак строки – это восклицательный знак (!),
далее идет имя шаблона, двоеточие (:) и параметры, разделяемые
пробелами. Если бы имя приведенного выше шаблона было "regular
verb", то строка запроса для всех форм глагола "play" выглядела бы
так:
!regular verb: play
Примеры запросов
В приведенных ниже примерах наглядно продемонстрированы
элементы языка запросов корпусного менеджера Bonito.
Пример 1. Поиск конкретной словоформы
В окно запроса вводится словоформа "run". Выдается:
announced that he would not <run> for reelection . Georgia
medical benefits paid out would <run> 1 billion or more in the
May , said today Jones will <run> well ahead of his GOP
opponents
reports that he had decided to <run> and wanted Mr. Screvane ,
investigation Street car tracks <run> down the center of Pennsylvania
Система ищет полное соответствие запрашиваемому слову и
выдает результат. Иных словоформ для конкретной словоформы
"run" не будет найдено.
Пример 2. Поиск синтагмы
2.1. В окно запроса вводится "run in". Выдается:
contest . The Orioles got a <run in> the first inning when Breeding
record in the 600 - yard <run in> the Knights of Columbus track
61
The Bears added their last <run in> the sixth on Alusik 's double
for the third Indianapolis <run in> the ninth . Despite the 45
's first major league home <run in> the fifth put the Sox back
Поиск словоформ осуществляется в строго заданном (линейном)
порядке, как неразрывная синтагма.
2.2. Допустим, нужно найти разрывную синтагму "take (smth)
out".
В окно запроса вводится "take". Строится конкорданс для
данной конкретной словоформы. Выбирается тип запроса
Положительный фильтр (P-filter). В оба окна "From:" и "To:" вводится
значение "2", что соответствует второй позиции справа от найденного
слова для "оторванной" части синтагмы (в нашем примере "out"). В
окно запроса вводим "out". Выдается:
for governor would force it to <take> petitions out into voting
the peasant . Nonetheless , they <take> time out -- much time -Mister McBride . You do that or <take> you out a permit right now
Разумеется, можно придумать и более сложные варианты
подобных запросов с неоднократным применением Положительного
фильтра.
Пример 3. Поиск различных форм слова
В окно запроса вводится "runs? in".
В данном запросе используется управляющий символ "?",
который означает, что предшествующая ему буква "s" может
встретиться ноль или один раз. Полученный результат подтверждает
это. Выдается:
tied the game , and single <runs in> the eighth and ninth gave
record in the 600 - yard <run in> the Knights of Columbus track
their eight hits for two <runs in> the sixth . Chuck Hinton
The Bears added their last <run in> the sixth on Alusik 's double
's first major league home <run in> the fifth put the Sox back
Пример 4. Поиск различных форм слова
62
В окно запроса вводится "run(|s|ning)".
Здесь используются группирующие скобки и оператор
альтернативы ( | ) (логическое "или"). Системе дается команда найти
конкретные словоформы "run" или "runs" или "running". Выдается:
announced that he would not <run> for reelection . Georgia
medical benefits paid out would <run> 1 billion or more in the
the group are interested in <running> on the required non lawyer and former FBI man is <running> against the Republican
tied the game , and single <runs> in the eighth and ninth gave
Пример 5. Поиск всех форм слова по лемме
В окно запроса вводится "[lemma="be"] within <head>".
Выдается:
<head>DECISIONS <ARE> MADE</head>Asked to elaborate
<head>LEADERSHIP <IS> HOPEFUL</head>The housing
Nations .<head>FORMULA <IS> DUE THIS WEEK</head>The
year .<head>COULD <BE> SCRAMBLE</head>Some predict
ends .<head>CHOICE <WAS> EXPECTED</head>The selection
<head>TOBACCO ROAD <IS> DEAD . LONG LIVE TOBACCO
Так можно не только искать все словоформы по лемме, но и
находить их в заданных полях документа (в данном примере в
заголовочном поле, обозначенном тэгом <head>). Соответственно,
если ввести несколько лемм подряд, то можно получить все варианты
таких словосочетаний.
Пример 6. Поиск по морфологическим признакам
В окно запроса вводится "[tag="VVZv"]".
Выдается:
charge of the election , " <deserves> the praise and thanks of the
However , the jury said it <believes> " these two offices should be
of Fulton County , which <receives> none of this money " . The
when the new management <takes> charge Jan. 1 the airport be
face is a state law which <says> that before making a first
63
Пример демонстрирует замечательную возможность корпусного
менеджера искать словоформы по морфологическим признакам. Код
"VVZv" означает, что это третье лицо единственного числа (Zv)
значимого глагола (VV). Такая кодировка предложена схемой
аннотирования SUSANNE. Следовательно, данная возможность будет
успешно использоваться, в первую очередь, теми, кто знаком с
принципами данной схемы аннотирования.
Пример 7. Отображение морфологических признаков и леммы
В пункте командного меню выбирается "View  Attributes…" и
отмечаются пункты "lemma" и "tag".
В окно запроса вводится "[lemma="be"]".
Выдается:
in which the election <was/be/VBDZ> conducted . The September
-October term jury had <been/be/VBN> charged by Fulton Superior
stration and election laws " <are/be/VBR> outmoded or inadequate
" these two offices should <be/be/VB0> combined to achieve greater
Department, the jury said, " <is/be/VBZ> lacking in experienced
В конкордансе для каждого вхождения словоформы показана ее
исходная форма и ряд морфологических признаков в виде кода.
Язык регулярных выражений RegEx
Языки запросов корпусных менеджеров, представленные в той
или иной форме (формализованный язык запросов или оконный
интерфейс), как правило, базируются на формализме, который
получил название «язык регулярных выражений». Бóльшую часть
запросов на языке RegEx «скрывают» от пользователя в программном
коде, реализовав их в виде удобного интерфейса. Пользователю
необходимо лишь заполнить определенные поля формы (webстраница с ячейками для заполнения), и его запрос будет
осуществлен. Но все же для сложных запросов полезно знать основы
языка регулярных выражений.
64
Иногда приходится сталкиваться с ситуацией, когда в
операционной системе необходимо найти все файлы с заданным
расширением. Известно, что нужно вызвать функцию поиска файлов
и в поле "Имя" ввести: *.jpg, тем самым сообщая поисковой машине,
что нужно найти файлы, имя которых состоит из любого количества
любых символов (*), а расширение должно быть "jpg". В данном
примере показано использование регулярных выражений.
Регулярные выражения – это строковые записи, задающие
правила поиска на особом языке. Если есть выражение и какая-либо
строка (слово, массив текстов, записи в полях базы данных и т.д.), то
операцию проверки, удовлетворяет ли строка выражению, называют
сопоставлением строки и выражения. Если какая-то строка или часть
строки успешно сопоставилась с выражением, это называется
совпадением (соответствием). Например, при сопоставлении
выражения "группа букв, окруженная пробелами" и строки "помню
чудное мгновенье" совпадением будет строка "чудное" (ведь только
она удовлетворяет данному выражению).
Существует несколько разновидностей языков, используемых
для записи регулярных выражений и работы с ними. У них есть
много общего, но отдельные части все же отличаются. В популярном
языке программирования PHP4 и СУБД MySQL реализован язык
регулярных выражений RegEx.
В языке RegEx каждое выражение состоит из одной или
нескольких управляющих команд. Некоторые из них можно
группировать, и тогда они принимаются за одну команду. Все
управляющие команды разбиваются на три класса:
1) простые символы, а также управляющие символы, играющие роль
их заменителей;
2) управляющие конструкции (квантификаторы повторений, оператор
альтернативы, группирующие скобки и т.д.);
3) так называемые мнимые символы (в строке их нет, но они
"помечают" какую-то часть строки – например, ее конец).
65
Простые символы
Класс простых символов, действительно, самый простой. А
именно, любой символ в строке на языке RegEx обозначает сам себя,
если он не является управляющим. К управляющим символам
причисляются следующие: .*?+[]{}|$^
Например, регулярное выражение "abcd" будет "реагировать" на
строки, в которых встретится последовательность "abcd".
Группы символов
Одним из самых важных управляющих символов является точка
".", обозначающая один любой символ. Например, выражение "л.к"
имеет совпадение для строк "лик", "лук", "лак". Позже будет
показано, как можно с помощью точки обозначить ровно один любой
символ (или, к примеру, ровно пять).
Возможно, понадобится искать не любой символ, а один из
нескольких указанных. Для этого нужно заключить их в квадратные
скобки. К примеру, выражение "л[иуа]к" соответствует строкам, в
которых есть подстроки из трех символов, начинающиеся с "л", затем
одной из букв "и,у,а" и, наконец, "к". Если букв-альтернатив много, и
они идут подряд (в алфавитном порядке), то не обязательно
перечислять их все. Достаточно указать через дефис первую и
последнюю. Например, выражение "[а-я]" обозначает любую букву от
"а" до "я", а выражение "[а-я0-9]" задает любой алфавитно-цифровой
символ.
Существует и другой, иногда более удобный способ задания
больших групп символов. В языке RegEx в квадратных скобках могут
встречаться специальные выражения, обозначающие сразу группу
символов:
 [:alpha:] – буква;
 [:digit:] – цифра;
 [:alnum:] – буква или цифра;
 [:space:] – пробельный символ;
66
 [:punct:] – знак пунктуации.
Отрицательные группы
Иногда, когда альтернативных символов много, бывает
довольно утомительно перечислять их все в квадратных скобках,
особенно если подходят все символы, кроме нескольких. В этом
случае следует воспользоваться конструкцией "[^ ]", которая
обозначает любой символ, кроме тех, что перечислены после "[^" и до
"]". Например, выражение "м[^ао]х" будет соответствовать всем
строкам, содержащим буквы "м" и "х", разделенные любым
символом, кроме "а" или "о".
Управляющие конструкции
Квантификаторы повторений
Перейдем к рассмотрению так называемых квантификаторов –
спецсимволов,
использующихся
для
уточнения
действия
предшествующих им символов первого класса.
Ноль и более совпадений. Звездочка "*" обозначает, что
предыдущий символ может быть повторен ноль или более раз.
Например, выражение "19*8" соответствует строке, в которой есть
цифра "1", затем ноль или более цифр "9" и, наконец, "8".
Одно и более совпадений. Символ плюса "+" обозначает одно
или более совпадений предшествующего символа или группы. Вот
пример выражения, которое определяет слова, написанные через
дефис: "[а-я]+-[а-я]+".
Ноль или одно совпадение. Иногда используют еще один
квантификатор – знак вопроса "?". Он обозначает, что предыдущий
символ может быть повторен ноль или один (но не более!) раз.
Например, выражению "Петров[аы]?" будут соответствовать строки
"Петров", "Петрова" и "Петровы".
Заданное число совпадений. Последний квантификатор
повторения – фигурные скобки "{}". С его помощью можно
67
реализовать все перечисленные выше возможности. Существует
несколько форматов его записи:
 А{n,m} – указывает, что символ "А" может быть повторен от n до
m раз;
 А{n} – символ "А" должен быть повторен ровно n раз;
 А{n, } – символ "А" может быть повторен n или более раз.
Оператор альтернативы
При описании простых символов была рассмотрена конструкция
"[…]", которая позволяла указывать, что в нужном месте строки
должен стоять один из указанных символов. Это ни что иное, как
оператор альтернативы, работающий с отдельными символами.
В языке RegEx есть возможность задавать альтернативы не
одиночных символов, а сразу их групп. Это делается при помощи
оператора "|". Вот несколько примеров его работы:
 "1|2|3" – полностью эквивалентно выражению [123];
 "^пре|^пере" – строки, которые начинаются с "пре" или "пере";
 "давать|давал|давала|давало|давали" – соответствует подстрокам,
разделенным символом альтернативы "|".
Группирующие скобки
В примере "давать|давал|давала|давало|давали" подстрока "дава"
встретилась в выражении пять раз. Для управления оператором
альтернативы существуют группирующие круглые скобки "()". С их
помощью выражение из последнего примера можно было записать
так: "дава(ть|л|ла|ло|ли)". Скобки могут иметь произвольный уровень
вложенности.
Мнимые символы
Мнимые символы – это просто участок строки между соседними
символами, удовлетворяющий некоторым свойствам. Фактически,
мнимый символ – это некая позиция в строке. Например, символ "^"
соответствует началу строки, а "$" – ее концу.
68
Например, выражение "^пере" будет соответствовать любой
строке, начинающейся на "пере", выражение "ть$" – строке
оканчивающейся на "ть", а выражение "^перенять$" – точному
совпадению со строкой "перенять".
3.1.3. Выходные интерфейсы
Результаты поиска (выдача) в корпусных менеджерах обычно
представлены в виде конкорданса.
Конкорданс, согласно толковому словарю иностранных слов, –
это алфавитный перечень слов или понятий с указанием их смысла и
всех случаев употребления в данном тексте. В словаре Collins Cobuild
English Dictionary слово concordance определяется следующим
образом: an alphabetical list of the words in a book or a set of books
which also says where each word can be found and often how it is used.
Ниже приведен фрагмент конкорданса для слова «имение» из
текста «Дубровский» А.С. Пушкина (рис. 4).
Конкорданс KWIC для слова «имение»
с в губерниях, где находилось его
грубиян; я хочу взять у него
чтобы безо всякого права отнять
имение. Постой однако ж. Это
имение. Соседи рады были угождать мал
ейшим его
имение, как ты про то думаешь? – Ваше
имение. Постой однако ж. Это имение
имение принадлежало некогда нам, было
Рис. 4. Пример стандартного конкорданса
Распространенный подход к показу контекстного окружения
состоит также в переходе от формы конкорданса (рис. 4) к широкому
контексту (рис. 5).
69
View 1 examples
id=http://piligrim.iatp.by/article.html title="Мирский замок"
уже не существует &; quot;. Последовало еще несколько писем в газету по
поводу разрушения замка, и лишь после этого разборка его на кирпич
прекратилась. Только через десять лет были, наконец, накрыты четыре
башни Мирского замка гонтовыми крышами. Последующие владельцы радзивилловские отпрыски, породненные с немецкой фамилией Гогенлое Шиллингфюрст, совершенно не интересовались ни поселком, ни замком,
сдавая имение в аренду. Один из арендаторов, некий Антон Путята, занялся
устройством вокруг замка фруктовых и цветочных садов, но дело
закончилось полным разорением предпринимателя и окончательным
запустением замка. К этому времени относятся первые печатные
изображения Мирского замка. В книге Ф. М. Собещанского, изданной в
Варшаве на польском языке в 1849 году, вместе с рисунком замка появилось
и первое его описание как памятника
Рис. 5. Расширенная форма выдачи корпусного менеджера CQP
И конкорданс KWIC, и более полный контекст могут оказаться
полезными в зависимости от того, для каких целей нужен данный
материал, и какая программа есть в наличии.
Простой конкордансер может построить конкорданс отдельных
слов, словосочетаний, знаков пунктуации и т.д. в контекстном
окружении, однако более сложные программы (корпусные
менеджеры) способны строить полные конкордансы, включающие в
себя не только слова, но и другие элементы корпуса. Действительно,
существует множество параметров, которые бывает необходимо
получить из корпуса. Это лемма и морфологические характеристики
слова; позиция слова в предложении и в структуре размеченного
текста (HTML, XML); библиографические и типологические
признаки документа, из которого выбран контекст (автор, название,
источник, год издания, тип текста и т.д.); статистические данные и
многое другое.
Обработка конкордансных данных с учетом статистических
сведений о лексических единицах корпуса позволяет вычислять силу
70
синтагматической связанности между лексемами. Подробнее см.
п. 3.3.3.2.
3.1.4. Корпусные менеджеры нелингвистических корпусов
(WWW)
Информационное наполнение сети Интернет (веб-пространство)
может рассматриваться как огромный многоязычный корпус.
Главный
материал
лингвистического
анализа
–
язык,
зафиксированный в виде речевых произведений, – в Интернете
представлен в огромном объеме и разнообразии и непосредственно
доступен для машинной обработки. Этот факт представляет для
лингвистов большую ценность, так как перевод текстов в машинную
форму и создание корпусов требует временных и материальных
затрат.
Текстовые массивы Интернета широко используются как
источник данных для формирования корпусов. Так же широко
тексты, представленные в Интернете, используются как тестовый
материал для различных программ анализа и обработки текстовой
информации (особенно тех, которые базируются на статистических и
вероятностных методах).
В то же время веб-пространство может рассматриваться и
непосредственно как корпус. Особенно активно эта проблема стала
обсуждаться после доклада А. Килгариффа в 2001 году [45].
Очевидно, что ни один корпус не может сравниться по
репрезентативности языкового материала с вебом, куда включаются
материалы и других Интернет-сервисов (например, электронной
почты). При этом, однако, встает вопрос о сбалансированности вебкорпуса. Очевидно, что в Интернете определенные типы речевых
произведений представлены относительно чаще, чем это было в
языке до сих пор.
При использовании веб-пространства как корпуса роль
корпусных менеджеров выполняют поисковые системы. В Интернете
71
имеются системы классификационного типа, напоминающие
библиотечные каталоги (directories, русское распространенное
название «каталоги-справочники»). Базы данных этих систем в
некотором
смысле
могут
рассматриваться
как
корпусы
семантического типа, однако основным средством поиска
информации в сети являются глобальные информационные
поисковые системы вербального типа (поисковые машины – search
engines), индексирующие все Интернет-пространство. При этом
полезно представлять, как эти индексы вербальных систем строятся
и, соответственно, учитывать эти особенности при использовании баз
данных поисковых систем как материала для лингвистических
исследований.
Существует большое количество таких систем, отличающихся
друг от друга языком запросов, дизайном, сервисом и другими
особенностями. К числу главных поисковых систем вербального типа
(в первую очередь, по объему базы данных) следует отнести
следующие: Google, Fast Search (AllTheWeb), AltaVista, WiseNut,
HotBot, MSN Search, Teoma. Среди российских систем главными
являются три: Яндекс (Яndex, Yandex), Рамблер (Rambler), Апорт!
(Aport).
В составе любой поисковой системы можно выделить три
основные части:
1. Робот – подсистема, обеспечивающая просмотр (сканирование)
Интернета и поддержание инвертированного файла (индексной базы
данных) в актуальном состоянии. Этот программный комплекс
является основным средством сбора информации о наличии и
состоянии информационных ресурсов сети.
2. Поисковая база данных – так называемый индекс – специальным
образом организованная структура данных (англ. index database),
включающая, прежде всего, инвертированный файл, состоящий из
лексических единиц, взятых из проиндексированных веб-документов,
и содержащий разнообразную информацию об этих единицах (в
72
частности, их позиции в документах), а также о самих документах и
сайтах в целом.
3. Поисковая система – подсистема поиска, обеспечивающая
обработку запроса (поискового предписания) пользователя, поиск в
базе данных и выдачу результатов поиска пользователю. Поисковая
система общается с пользователем через пользовательские
интерфейсы – экранные формы программ-браузеров: интерфейс
формирования запросов и интерфейс просмотра результатов поиска.
Индексный файл (или просто индекс) представляет собой набор
связанных между собой файлов, ориентированных на быстрый поиск
данных по запросу. В основе индекса всегда лежит инвертированный
файл. Инвертированная схема организации поискового массива
основана на принципе обеспечения доступа к документам через
идентификаторы содержания. Такую схему получают путем
обработки последовательного массива документов с целью создания
специальных вспомогательных инвертированных файлов – точек
доступа.
Каждая
запись
такого
вспомогательного
массива
идентифицирована соответствующим идентификатором содержания
(дескриптор, ключевое слово, термин, имя автора, название
организации и т.д.) и содержит имена (адреса хранения) всех
документов, в которых он содержится. Для каждого идентификатора
содержания (поискового элемента данных) в инвертированном
массиве вместе с адресом (именем) документа может храниться
дополнительная информация, как-то: имя поля, номер предложения, в
составе которых этот элемент встретился в данном документе, номер
слова в предложении и т.д. Фиксация положения слова в тексте с
точностью до номера предложения и номера слова в предложении
дает возможность построить гибкий язык запросов, позволяющий
задавать расстояние между словами в документе. Позиционные
характеристики также используются при вычислении коэффициента
релевантности и ранжировании документов в выдаче.
73
Как уже говорилось, индексы (инвертированные файлы)
поисковых систем – это, по сути, не что иное, как виртуальные
конкордансы к текстам. Более того, результаты поиска в
информационных поисковых системах в виде кратких описаний
документов, как правило, содержат контексты, в которых искомые
слова встретились в найденных документах. Отличие лишь в том, что
конкордансы обычно составляются к конкретному произведению или
группе произведений (например, все тексты одного и того же автора),
в то время как информационная поисковая система Интернета
индексирует все доступное множество электронных документов.
Главная содержательная проблема при индексировании вебсайтов заключается в том, какие термины приписываются
документам, из которых они берутся. Не все термины из документов
и не всегда попадают в индексы. Активно применяются списки
запрещенных слов (stop-words), которые в индекс не попадают – это
общая, служебная лексика (предлоги, союзы и т.д.) и незначащие
слова. Многие системы индексируют лишь часть документа (обычно
начальную), есть роботы, которые обрабатывают только часть вебстраниц с одного и того же сайта. Знание того, как работают роботы,
каковы их технические характеристики, полезно и для создателей
веб-документов, и для составителей запросов при поиске. Подробное
описание работы роботов можно найти в Сети1.
Важно, какую информацию и в каком виде можно извлечь из
выходных интерфейсов информационной поисковой системы (ИПС).
Интерфейс выдачи (форма представления результатов) у разных
систем включает такие параметры, как статистика слов из запроса,
количество найденных документов, количество найденных сайтов,
количество документов на странице с результатами поиска, средства
управления сортировкой документов в выдаче, описание сайта, с
которого взят соответствующий документ, описание документа.
Последнее, в свою очередь, содержит в своем составе заглавие
1
См., в частности, http://www.searchengineworld.com/robots/norobots.htm
74
документа, URL (адрес в сети), размер документа (объем), дата
создания, кодировка, аннотация (краткое содержание), визуальное
выделение в аннотации слов из запроса, указание на другие
релевантные веб-страницы того же сайта, ссылка на рубрику
каталога, к которой относится найденный документ или сайт,
коэффициент релевантности, ссылки на другие возможности поиска
(поиск похожих документов, поиск в найденном).
Из всех этих реквизитов для задач лингвистического
исследования наибольший интерес представляют частотные
характеристики и выдача контекста. Следует различать два типа
частот, учитываемых и выдаваемых системами, пословную и
подокументную. Сведения о количестве языковых единиц в разных
системах и разных режимах поиска могут относиться как к
словоформам, так и к лексемам. Некоторые системы ведут журнал
запросов с возможностью повторных поисков и с выдачей статистики
по запросам. Полезной и интересной возможностью является также
отнесение документов к тематическим классам [15].
3.2. Обзор существующих корпусов различных типов
3.2.1. Зарубежные национальные корпусы
В настоящее время существуют национальные общеязыковые
корпусы для большинства основных языков мира. Остановимся на
некоторых из них.
Корпус современного американского английского (The Corpus of
Contemporary American English – COCA) является самым большим
корпусом английского языка, находящимся в свободном доступе по
адресу http://corpus.byu.edu/coca/, и единственным большим и
сбалансированным корпусом американского варианта английского
языка. Он был создан М. Дэвисом (Brigham Young University, США) в
2008 году. COCA содержит 410 млн. словоупотреблений и включает
тексты с 1990 года по настоящее время, равномерно представляющие
устную речь, художественную прозу, популярные журналы, газеты и
75
научную литературу. Он обновляется два раза в год и удобен для
наблюдения за текущими изменениями, происходящими в языке.
Из немецких текстовых корпусов необходимо упомянуть о
корпусе DeReKо (das Deutsche Referenz Korpus), доступном по адресу
http://www.ids-mannheim.de/kl/projekte/korpora/.
Электронное
собрание, созданное в рамках проекта Института немецкого языка в
Мангейме (Германия), состоит из беллетристики, научных и
публицистических
текстов
и
содержит
более
4
млрд.
словоупотреблений (по состоянию на 16. 08. 2010). Это, вероятно,
самый большой в мире корпус, однако оформлен он как собрание
отдельных немецкоязычных подкорпусов. Корпус содержит
основанную
на
SGML
морфосинтаксическую
разметку,
разработанную в соответствии с рекомендациями TEI. Корпусный
менеджер COSMAS II, которым снабжен немецкий корпус, позволяет
осуществлять поиск по лексическим единицам и по морфологическим
признакам словоформ.
Британский национальный корпус (BNC) является одним из
больших эталонных корпусов, в нем содержится более 100 млн. слов
разговорного и письменного английского языка. Разработан он был в
Оксфордском
университете
при
участии
Ланкастерского
университета и Британской библиотеки. Работа над созданием
корпуса продолжалась с 1991 по 1994 год. Подкорпус,
представляющий письменный английский язык, составляет 90 %
всего корпуса и включает в себя газеты, периодические научные
издания и журналы, издаваемые для различных возрастов,
популярную
научную
фантастику,
опубликованные
и
неопубликованные письма, школьные и университетские сочинения и
мн. др. Подкорпус устной речи включает в себя речь добровольно
вызвавшихся участвовать в проекте людей различных возрастов,
проживающих в разных частях Великобритании и принадлежащих к
различным социальным классам. Разговорная речь присутствует в
окружении множества контекстов: от речи формальных деловых или
правительственных встреч до радио шоу и телефонных разговоров.
76
Все
тексты
Британского
национального
корпуса
сегментированы на предложения. Словам внутри предложения
присвоены
соответствующие
маркеры,
обозначающие
грамматический класс слова или его часть речи (см. Приложение 4).
Знакам препинания тоже были присвоены соответствующие маркеры.
Сегментацию и автоматическое присвоение слову тэга выполняет
программа CLAWS, разработанная в университете Ланкастера.
Процент ошибочной разметки составляет примерно 1,7%. Кроме
того, если программа автоматической разметки сталкивалась со
случаями, когда она не могла однозначно присвоить слову какой-то
маркер, ему присваивались сразу два маркера (например, VVD-VVN
– первый обозначает глагол прошедшего времени, а второй –
причастие прошедшего времени). Такие «синонимичные» маркеры
составляют примерно 4,7% всего корпуса.
Корпус состоит только из слов современного английского языка,
используемых в Великобритании. Однако слова не британского
происхождения
и
иностранные
слова,
используемые
в
Великобритании, также встречаются в корпусе. Корпус включает
много разных стилей и не ограничен в разнообразии тематик, в
частности, содержит примеры письменной и устной речи.
Тексты, представленные в Британском национальном корпусе,
отбирались по трем основным критериям: время, область, которую
данный текст описывает, и тип издания. По времени все тексты
принадлежат примерно одному периоду, начиная с 1975 года,
исключения делались только для развлекательной литературы,
поскольку некоторые из произведений очень популярны и по сей
день. В BNC присутствуют литературные произведения с 1964 года,
что
подтверждает
синхроничность
корпуса.
К
области
развлекательной литературы принадлежит 25% текстов. 75 %
письменных текстов были взяты из информативных изданий (наука,
искусство, коммерция и финансы, досуг, социология, мировое
обозрение). Учитывались также размер (количество слов), тема,
обсуждаемая в тексте, имя автора, возраст, пол, место рождения,
77
место жительства, возрастная группа людей, которым предназначен
данный текст, а также «уровень» сложности данного текста.
Весь 10-миллионный подкорпус устной речи разделен на две
примерно равные части: 1) демографическую часть, содержащую
транскрипции «спонтанных», естественных диалогов, и 2) часть, в
которой важную роль играл контекст, так называемую контекстноуправляемую часть, содержащую записи, сделанные на каких-либо
публичных мероприятиях.
1) демографическая часть. Всего в записи диалогов участвовало
124 добровольца, действующих по всей территории Великобритании,
которые должны были носить с собой магнитофоны в течение
нескольких дней при выполнении различных действий, фиксируя в
записных книжках, при каких условиях состоялись разговоры, и
другие моменты – кто являлся собеседниками, каковы были их
взаимоотношения, физическое окружение записываемой речи и т.д.
Добровольцы были отобраны так, чтобы было примерно равное
количество мужчин и женщин из каждой возрастной группы и из
различных социальных классов. У тех, кто принимал участие в
записи на пленку, после беседы спрашивали разрешение на то, чтобы
их речь была включена в корпус. Затем эти магнитные записи были
обработаны, и тексты были записаны обычной английской
орфографией. Эти разговоры сейчас используются как основа
изучения характера устной речи, и результаты оказываются
полезными и интересными [42].
2) контекстно-управляемая часть. Создатели преследовали
цель собрать равное количество записей из следующих четырех
довольно широких категорий социального контекста:
 образовательные и информативные собрания, такие как лекции,
программы новостей, обсуждение чего-либо в классе, семинары;
 деловые события, такие как выставки, консультации, интервью,
собрания торговых организаций;
 публичные события, такие как проповедь, политические речи,
заседания парламента;
78
темы, касающиеся досуга, такие как спортивные комментарии,
клубные встречи.
Разработчики создали на основе разметки SGML собственную
программу, которую назвали SARA (SGML Aware Retrieval
Application). SARA была изначально разработана как программа
клиент/сервер, то есть система, где один или более компьютеров
имеют по сети доступ к центральному серверу. В настоящее время
создан новый корпусный менеджер — XAIRA (XML Aware Indexing
and Retrieval Architecture).
Одним из наиболее известных корпусов общего типа является
Чешский национальный корпус (Český národní korpus) (далее ЧНК).
Это синхронический морфологически размеченный корпус,
представляющий современный чешский язык. Созданием корпуса
занимается Институт ЧНК под руководством проф. М. Чермака.
Институт был создан на базе философского факультета Карлова
университета в Праге в 1994 году и функционирует на средства
грантов, спонсоров и при поддержке Министерства образования. С
работой института и самим корпусом можно ознакомиться на сайте
http://uchk.ff.cuni.cz.
Массив текстов на чешском языке, накопленный в корпусе,
делится
на
синхроническую
и
диахроническую
части.
Синхроническая часть, в свою очередь, состоит из следующих
частей: письменные тексты (более 100 млн. словоупотреблений),
разговорные (750 тыс. словоупотреблений) и диалектная речь. Объем
диахронической части – 1750 тыс. словоупотреблений. Кроме того,
как отдельный фонд создается Пражский разговорный корпус.
При формировании ЧНК большое внимание уделялось вопросам
репрезентативности корпуса. Было принято решение, что основную
часть корпуса составят тексты 1990-2000 годов с дополнительной
ретроспективной частью, представляющей собой произведения
чешской литературы до 1950 года.

79
В результате книговедческих исследований была определена
жанровая и тематическая структура корпуса, которая выглядит
следующим образом (табл. 2).
Таблица 2
Фрагмент жанровой и тематической структуры ЧНК
Художественные тексты
Информативные тексты
в том числе:
Публицистические
Научные
в том числе:
Социальные науки
Естественные науки
Искусствоведение
Технические науки
и т.д.
15 %
85 %
60 %
25 %
3,6 %
3,4 %
3,4 %
4,6 %
Все тексты хранятся в трех видах: текстовый архив (в исходном
виде), банк данных (обработанные тексты на языке SGML) и
собственно корпус (тексты в специальном формате и средства работы
с ними). Исходные тексты проходят несколько этапов
конвертирования, в ходе которых осуществляется их перекодировка
(если требуется), структурирование текста, удаление нетекстовых и
иноязычных элементов, удаление дублей и собственно разметка. В
конечном счете, формируется следующая структура: файл, документ,
абзац, предложение, словоформа. Каждая структурная единица
оформляется как элемент языка SGML. Заголовочная часть каждого
файла описывает характеристики процесса конвертирования в
институте,
заголовочная
часть
документа
содержит
библиографические и типологические признаки (автор, название,
источник, год издания, тип текста, жанр и т.п.). Лингвистическая
разметка заключается в лемматизации и приписывании словоформам
морфологических характеристик, записываемых в позиционном
формате как отдельный элемент языка SGML.
80
Синхронный корпус чешских текстов предоставляется
пользователям в двух видах: полный корпус SYN2000 (100 млн.
словоупотреблений) и корпус PUBLIC (20 млн. словоупотреблений),
представляющий собой подмножество SYN2000, сохраняющее все
жанровые процентные соотношения. Корпус PUBLIC свободно
доступен в сети Интернет и имеет следующие функциональные
ограничения:
 поиск только по одной словоформе;
 ограниченный контекст вокруг заданного слова (≤ 60 знаков);
 невозможность
просмотра морфологических характеристик
искомого слова.
На сайте Института ЧНК имеется отдельный вход в
морфологический
анализатор
с
возможностью
получения
характеристик заданного слова вне контекста. Доступ к корпусу
SYN2000 также бесплатный, но предоставляется он на основе
письменного соглашения о некоммерческом использовании корпуса.
Работа с корпусом осуществляется через корпусный менеджер
BONITO (см. п. 3.1.2).
Приведем несколько примеров выдачи из корпуса:
1. Поиск словоупотреблений слова holubí (голубиный).
2. Поиск словосочетания «holubí vejce» (голубиное яйцо) в любой
форме и в любом написании (строчные и прописные)
81
[lemma="holubí"] [lemma="vejce"]
(...)
3. Поиск всех прилагательных (A) в краткой форме (C),
мужского рода (Y), единственного числа (S)
[tag="ACYS.*"]
4. Показ
характеристик
в
конкордансе
леммы
и
морфологических
3.2.2. Корпусы русского языка
3.2.2.1. Первые корпусы русского языка
Первый корпус русского языка Упсальский машинный фонд
русского языка (Upsal'skij korpus russkix tekstov) был создан в
Упсальском университете (Швеция). Он доступен по адресу
82
http://www.slaviska.uu.se/korpus.htm. Корпус состоит из 600 текстов,
его объем составляет 1 млн. словоупотреблений, поровну
распределенных между образцами специальной и художественной
литературы. По замыслу создателей, корпус должен был отражать
современное состояние русского языка. Цель формирования корпуса
заключалась в том, чтобы представить, в первую очередь,
литературный язык, поэтому в массиве нет образцов разговорной
речи. В корпус отбирались специальные тексты (включались не
фрагменты текстов, а целые тексты) с 1985 по 1989 год и
художественные тексты с 1960 по 1988 год. Художественные тексты
представляют более долгий период, поскольку лексика в них не
подвержена быстрым изменениям. В аннотации к корпусу
отмечается, что среди специальных текстов особое внимание уделено
более важным, с точки зрения создателей корпуса, темам (which felt to
be more important), а среди художественных текстов предпочтение
отдано более известным авторам. Соответственно, объем текстов,
относящихся к данным разделам, существенно превышает средний по
корпусу1.
Классификация специальной литературы осуществлялась по
тематике (всего 25 тематических областей: биология, химия, физика и
т.д.), а художественной литературы — по авторам (всего 40 авторов).
Если автор тематически разнообразен, то в выборку включались все
важные тематические области. Каждому тексту в корпусе
сопоставлено формальное описание, в котором содержится
информация о типе текста (специальная vs. художественная
литература), об источнике, тематике, авторе [2]. Кириллический
алфавит исходных текстов передается латиницей. Другие значки
используются для обозначения пунктуации (табл. 3).
Эта информация демонстрирует важный момент создания корпусов текстов –
«создатель корпуса текстов по большей части действует, основываясь на
интуиции и здравом смысле» [2, с. 129], поэтому о каждом принятом решении
он должен проинформировать потенциального пользователя в аннотации к
корпусу.
1
83
Таблица 3
Значки для обозначения пунктуации в Упсальском корпусе
@
@@
&
*
\
{
beginning and end of a main headline
beginning and end of a subsection
new paragraph
capital letter marked as permanent, i.e., which should never become
lower case
comments, e.g. \tablica\ instead of the table
marks the beginning of a string of Latin alphabet characters
Фрагмент корпуса выглядит следующим образом:
&Perestrojka vse glubhe zatragivaet hiznennye interesy millionov, obqestva v
celom. Estestvenno, l~di xot„t lu†we u„snit' sut' i nazna†enie processov obnovleni„,
blihnie i dal'nie celi preobrazovanij, opredelit' svoe otnowenie k nim
Упсальский корпус входит в так называемые «Тюбингенские
корпусы русских текстов», созданные в рамках работы специального
научно-исследовательского сектора SFB 441 Тюбингенского
университета в 1990-е годы с возможностью онлайн-поиска
(http://www.sfb441.uni-tuebingen.de/b1/rus/korpora.html#uppsalakorpus).
Корпусы размечены тэгами морфологической аннотации. Разметка
была осуществлена при помощи статистического тэггера (TnT).
Поиск может производиться как по словоформам, так и по
морфологическим тэгам. Возможен вывод текста вместе с разметкой.
Для ввода поискового выражения и вывода найденного текста можно
выбрать одну из следующих кодировок: кириллицу (KOI8 или
Windows-1251) или транслитерацию латинскими буквами.
В корпусе возможны два вида поиска: простой текстовой поиск
и сложный поиск, который позволяет использовать дополнительные
корпусы текстов и задавать более сложные поисковые выражения. В
простом поиске доступны: Упсальский корпус и корпус текстов
интервью, в сложном поиске – Упсальский корпус, корпус текстов
интервью, а также множество других текстов, которые можно
разделить на три группы: современные тексты (преимущественно
публицистика), литература XX века и литература XIX века.
84
Сложный поиск осуществляется при помощи программы CQP,
представляющей собой систему для управления большими
корпусами, разработанную Институтом машинной обработки языка
Штутгартского университета.
Компьютерный корпус текстов русских газет конца XX-ого
века создан на Филологическом факультете МГУ в 2000-2002 годах в
Лаборатории общей и компьютерной лексикологии и лексикографии.
Подбор обширного газетного материала для корпуса (тексты общим
объемом более 11 млн. словоупотреблений) был осуществлен на
основе принципов включения в него полных номеров 13 российских
газет на русском языке за отдельные даты 1994-1997 годов (23110
текстов), представленности в нем ежедневных и неежедневных (МН,
Новая газета), «левых» (Завтра, Правда, Правда-5) и «правых»,
центральных и местных, общих и профессионально ориентированных
(Литературная газета) газет. Эти принципы позволяют получить
относительно объективную и надежную картину соотношения в
газетном материале текстов различного типа (например, различных
жанров и жанровых типов), их единиц и отношений между ними.
Корпус создан, анализируется и управляется на основе системы
Диктум-1 (разработанной в Лаборатории общей и компьютерной
лексикологии и лексикографии МГУ). С помощью этой системы
тексты и единицы корпуса автоматически и полуавтоматически
маркируются различного рода маркерами: тексты (и, соответственно,
каждое их словоупотребление) – маркерами газеты-источника,
объема текста, его жанра, даты публикации и т.п.; словоупотребления
– маркерами грамматических, лексических, морфемных и иных
категорий.
При подготовке демонстрационного варианта корпуса для
Интернета был выделен фрагмент корпуса общим объемом более 200
тыс. словоупотреблений, проведена автоматическая лемматизация и
морфологическая квалификация словоупотреблений корпуса (с
последующими контролирующими процедурами), а также морфемная
сегментация словоформ и лексем.
85
Обобщение жанровых характеристик привело к объединению
конкретных жанров в 9 жанровых типов:
1. Собственно информационные жанры, содержанием которых
является информация, представленная в максимально объективной
форме, лишенной авторской индивидуальности;
2. Информационно-публицистические жанры, в которых объективное
изложение
информации
сопровождается
ее
субъективной
интерпретацией, эмоциональной или интеллектуальной оценкой.
Следует отметить, что в эту группу попали и неспецифические для
газеты жанры: биография, заявление, приметы.
3. Собственно публицистические жанры, содержанием которых
является переработанная автором информация: доказательство
какого-либо положения, мнение, выражение чувств и т.д. Объективно
новая для читателя информация играет здесь второстепенную роль.
4. Художественно-публицистические жанры, в которых используются
различные приемы изобразительности, создания художественного
текста.
5. Рекламные жанры, включающие как чисто рекламные тексты, так и
рекламные сообщения, облеченные в форму традиционных газетных
жанров (заметки, интервью).
6. Художественные жанры.
7. Разговорные жанры.
8. Официально-деловые жанры.
9. Прочие, куда включены такие развлекательные жанры, как игра,
кроссворд, гороскоп и т.д., жанр религиозной проповеди, а также
такие жанры, отнесение которых к определенному типу пока
затруднительно.
3.2.2.2. Современные корпусы русского языка
3.2.2.2.1. Национальный корпус русского языка
Долгое время не было общедоступного, представительного и
размеченного корпуса русского языка, с которым могли бы работать
86
лингвисты. Непосредственная работа по созданию такого корпуса
началась только в 2000 году, хотя определенные наработки
существовали с 1980-х [32]. Национальный корпус русского языка
(НКРЯ) – это информационно-справочная система, основанная на
собрании русских текстов в электронной форме. Он был впервые
размещен на сайте http://ruscorpora.ru/ в апреле 2004 года. Корпус
предназначен для всех, кто интересуется различными вопросами,
связанными с русским языком: профессиональных лингвистов,
преподавателей языка, школьников и студентов, иностранцев,
изучающих русский язык.
Национальный корпус русского языка отвечает критерию
репрезентативности и другим требованиям, предъявляемым к
современным корпусам, о чем свидетельствуют следующие его
характеристики:
1) объем НКРЯ, который составляет около 176 млн.
словоупотреблений (по данным сайта http://ruscorpora.ru/ на февраль
2011 года);
2) жанровое разнообразие составляющих его текстов, которые
относятся ко всем основным сферам использования русского языка
(научной,
официально-деловой,
публицистической,
церковнобогословской, художественной, разговорно-бытовой, включая устную
и электронную коммуникацию);
3) чрезвычайно разнообразный по основным социологическим
параметрам (возрасту, уровню образования и владения языком,
профессиональной принадлежности, типам речевых культур) состав
авторов, чьи произведения вошли в корпус (не менее 20 тыс.);
4) наличие в НКРЯ текстов, относящихся к разным периодам
создания, что позволяет проследить изменения в употреблении
языковых явлений, и, возможно, установить динамику этих
изменений [11].
В корпусе можно условно выделить две части – современную и
диахроническую. Корпус современных текстов составляют тексты,
период создания которых укладывается в рамки 1951-2007 годов.
87
Объем этой части корпуса – 97,5 млн. словоупотреблений, причем
половина текстов относится к периоду после 2000 года.
Диахроническая часть составляет около 53 млн. словоупотреблений и
объединяет тексты XVIII века (1,1 млн. словоупотреблений), XIX
века (23,3 млн. словоупотреблений прозаических текстов и 2,5 млн.
словоупотреблений в поэтическом корпусе) и 1-й половины XX века
(25,4 млн. словоупотреблений).
Тексты НКРЯ распределены по временным периодам
следующим образом (табл. 4).
Таблица 4
Распределение текстов НКРЯ по периодам
Период
18 век
1800-1830
1831-1870
1871-1900
1901-1910
Млн.
словоупо
1,1
треблени
2,1
11,3
й
10,3
3,4
Период
1911-1920
1921-1930
1931-1940
1941-1950
1951-1960
Млн.
словоупо
3,9
треблени
8,6
4,9
й
3,3
3,5
Период
1961-1970
1971-1980
1981-1990
1991-2000
2001-2007
Млн.
словоупо
5,8
треблени
7,0
7,2
й
23,2
46,8
Основной массив текстов, собранных в НКРЯ, охватывает
период в 200 лет, поэтому он наиболее приспособлен для изучения
коротких (несколько десятилетий) и средних (1-2 столетия) языковых
изменений. Объем корпуса позволяет изучать вариативность и
изменчивость достаточно частотных языковых явлений, а также
получать надежные результаты по следующим направлениям:
1) изучение морфологических вариантов имен, глаголов и т.д. и их
эволюции;
2) исследование словообразовательных вариантов и связанной с
ними проблемы паронимов, продуктивности словообразовательных
моделей и словообразовательных средств;
3) исследование изменения вариантов управления, согласования и
примыкания;
4) исследование акцентологических вариантов и изменений в
акцентной системе русского языка;
5) исследование лексической вариативности, в частности, изменения
88
состава синонимических рядов и тематических групп, а также
семантических соотношений в них [11].
Национальный корпус русского языка в настоящее время
включает следующие подкорпусы:
 глубоко аннотированный корпус, в котором для каждого
предложения построена полная морфологическая и синтаксическая
структура (дерево зависимостей);
 параллельный русско-английский корпус текстов, в котором можно
найти все переводы для определенного русского или английского
слова или словосочетания;
 корпус диалектных текстов, включающий запись диалектной речи
различных регионов России с сохранением их грамматической
специфики; предусмотрен специальный поиск с учетом диалектной
морфологии;
 корпус поэтических текстов, в котором возможен поиск не только
по лексическим и грамматическим, но и по специфическим для
стиха признакам (поиск определенного сочетания в сонетах, в
эпиграммах, в стихотворениях, написанных амфибрахием, с
определенным типом рифмовки и т. п.);
 обучающий корпус русского языка – корпус со снятой омонимией,
разметка которого ориентирована на школьную программу
русского языка;
 корпус устной речи включает расшифровки магнитофонных
записей публичной и частной устной речи, а также транскрипты
кинофильмов 1930-2000-х годов [27].
3.2.2.2.3. Устные корпусы русского языка
Отдельно остановимся на новом типе корпуса, который,
насколько нам известно, отсутствует в других национальных
корпусах. В настоящее время ведется активная работа по созданию
мультимедийных корпусов русского языка. Мультимедийный корпус
89
– это электронный ресурс, предназначенный для изучения звучащей
речи, «погруженной» в обстоятельства ее произнесения. Корпус
такого рода, кроме текстовой составляющей, может включать видеои аудиозаписи процесса коммуникации с привязкой к тексту. Тексты
выравнивают с их расшифровками, что позволяет исследовать не
только языковые единицы, но и речевые действия говорящего в
различных ситуациях общения, его неречевое поведение (мимику,
жесты, позы) [11].
Мультимедийные корпусы являются перспективными с точки
зрения исследования взаимодействия вербальной и невербальной
составляющей естественного диалога. Поскольку устная речь, а
именно, непубличная устная импровизированная речь, по мнению
многих ученых, является самой важной разновидностью языка,
располагающейся ближе всего к его «ядру» и демонстрирующей
наиболее характерные образцы речи [57], необходимо остановиться на
возможностях использования корпусов устной русской речи.
Так, задача одного из исследований с применением
мультимедийного корпуса заключалась в том, чтобы показать, какие
отдельные признаки жестов-иллюстраторов указывают на наличие
границ сегментов дискурса [28]. Для целей исследования был создан
Корпус устных рассказов на русском языке, стимулом для которых
послужил 6-минутный видеосюжет, так называемый «Фильм о
грушах» ("Pear film"). Об этом фильме было записано 8 рассказов,
сделанных студентами МГУ, общей продолжительностью около 20
минут. Всего в корпусе было 595 элементарных дискурсивных
единиц, которые обычно совпадают с простым предложением, и 327
иллюстративных жестов, которые, в соответствии с подходом
Г.Е. Крейдлина, понимаются как носители информации, выступая в
качестве «знаковых кинетических единиц выражения и передачи
информации» [22, с. 10]. На примере из корпуса устных рассказов
исследователям удалось показать, как отдельные признаки жестов и
положения рук могут добавлять дополнительную информацию
касательно организации дискурса, состояния говорящего и процесса
90
коммуникации. Так, изменение положения покоя рук между жестами
достаточно последовательно указывает на границу между сегментами
нарратива. Данный пример демонстрирует предоставляемые
мультимедийным корпусом возможности изучения связи структуры
устного нарратива и иллюстративных жестов [28].
В качестве еще одного примера рассмотрим «звуковой» корпус,
созданный в институте филологических исследований факультета
филологии и искусств СПбГУ. Один речевой день (ОРД) – «звуковой»
корпус современного русского языка повседневного общения. Корпус
создается с целью изучения реальной речи носителей языка в
естественных условиях коммуникации, и в этом его отличие от
абсолютного большинства речевых корпусов, записанных в
лабораторных и других специальных условиях [38].
Первая серия звукозаписей осуществлена осенью 2007 года. Для
этого была отобрана группа информантов из 30 человек,
представляющих разные социальные и возрастные слои населения
Санкт-Петербурга. Информанты получили подробный инструктаж о
методике проведения звукозаписи своих речевых контактов в течение
суток, заполнили социологические анкеты и прошли психологическое
тестирование. Помимо речи информантов, в корпусе представлены
записи их 520 коммуникантов (родственников, друзей, коллег,
знакомых и незнакомых), среди которых были люди самого разного
возраста и разных специальностей. Записи ОРД представлены в 266
файлах, общая длительность записанного материала – 223 часа. Из
записей выделено и проаннотировано 2202 эпизода, из которых
подробно расшифровано 134 (это более 4500 реплик, 39 тыс.
словоупотреблений) (по данным на октябрь 2009 года).
Данный звуковой корпус позволяет изучать лингвистическую
динамику записанного материала: исследовать временные ряды
количественных
переменных
с
помощью
стандартных
статистических методов и анализировать частотные ряды (лексики,
грамматических и, в частности, синтаксических структур, семантики
или разговорных тем, тех или иных акустических явлений или
91
просодических контуров) в зависимости от времени суток и условий
коммуникации в самом широком понимании этого термина [38].
3.2.3. Специальные корпусы
Специальный корпус текстов – это сбалансированный корпус,
как правило, небольшой по размеру (несколько тысяч
словоупотреблений), подчиненный определенной исследовательской
задаче и предназначенный для использования преимущественно в
целях, соответствующих замыслу составителя. Примером может быть
Корпус английских текстов петербургских школьников, созданный на
кафедре прикладной лингвистики РГПУ им. А.И. Герцена. Основной
целью его создания было исследование особенностей английских
текстов, порождаемых русскими школьниками. Аутентичный
текстовый материал был собран в школах Санкт-Петербурга в период
с ноября по декабрь 2007 года. Авторами текстов являются 78
учеников 9-11 классов, предварительно прошедших тестирование.
Уровень владения английским языком был определен как средний /
intermediate (26%) и выше среднего / upper-intermediate (74%). Размер
данного корпуса составляет 38 тыс. словоупотреблений.
Исследование на базе корпуса показало, что систематическое
предпочтение максимально простых структур развернутым и более
естественным моделям стандартного английского языка приводит к
так называемой «структурной бедности» речевых произведений неносителей языка. В репертуаре грамматических структур,
обнаруженных в «Корпусе английских текстов петербургских
школьников», есть такие, которые представляют собой случаи
«переходной грамматики» (интерязыка). Так формируется ядро
грамматики EFL (English as a Foreign Language), которое не совпадает
с
базовыми
грамматическими
структурами
литературного
английского языка. На основании корпусных данных авторы
высказывают предположение о том, что складывающиеся нормы
92
«глобального английского» во многом опираются на «окаменевшие»
модели интерязыка [18].
Сложным объектом с точки зрения создания и стандартизации
являются исторические корпусы, такие как Санкт-Петербургский
Корпус Агиографических1 Текстов XVI-XVII вв. (СКАТ), доступный
на сайте http://project.phil.pu.ru/skat. СКАТ — это электронный
корпус текстов по памятникам древнерусской агиографической
литературы, созданный на кафедре математической лингвистики
филологического факультета СПбГУ. Язык агиографических
произведений во многом обусловил судьбу и характер русского
литературного языка XV–XVII веков. Отображение этого языка
является первостепенной задачей создаваемого корпуса текстов
русских житий того времени, что достигается, в частности, за счет
широкого географического охвата территорий, где в разное время
создавались памятники русской агиографии. В 2006 году объем
корпуса составлял 500 тыс. словоупотреблений [1].
Специальные корпусы текстов могут быть востребованы не
менее, чем национальные, которые ориентированы в основном на
филологию, лексикографию, лингвистику. Любой отраслевой
специальный корпус текстов может пригодиться и в данной
конкретной отрасли, и в смежных областях (кораблестроение,
металлы, экология, навигация и т.д.), поскольку он дает специалисту
самое главное – термины в их профессиональном конкретном
окружении (что тот или иной автор имеет в виду под данным
термином, какое понятие за ним стоит). В связи с этим на первый
план в специальных корпусах выдвигаются такие параметры, как
лемматизация (специалисту-нефилологу трудно работать со
словоформой), показ лексической сочетаемости (большинство
Агиогра́фия (от греч. ἅγιος «святой» и γράφω «пишу») – научная дисциплина,
занимающаяся изучением житий святых, богословскими и историкоцерковными аспектами святости. Жития святых могут изучаться с историкобогословской, исторической, социально-культурной и литературной точек
зрения.
1
93
современных терминов представляют собой словосочетания), особое
выделение определенных понятий, указание на источник [10].
3.3. Корпусные исследования
3.3.1. Пользователи корпусов
Пользователей корпусов, в первую очередь, лингвистов, как
правило, интересует не содержание конкретных текстов, а их
метатекстовая информация и примеры употребления тех или иных
языковых
элементов
и
конструкций.
Первоначальные
лингвистические исследования, проводившиеся с помощью корпусов,
сводились к подсчету частот встречаемости различных языковых
элементов. Статистические методики используются в решении
сложных лингвистических задач, таких как машинный перевод,
распознавание и синтез речи, средства проверки орфографии и
грамматики и т.д. Так, статистическими методами на материале
корпуса можно определить, какие слова регулярно встречаются
вместе и, таким образом, могут быть отнесены к устойчивым
словосочетаниям. Устойчивые словосочетания представляют собой с
семантической точки зрения неделимую смысловую единицу, что
очень важно учитывать в лексикографии и системах автоматической
обработки текста. Корпусы являются богатым источником данных
для исследований по лексикографии и грамматике. С исследованиями
по лексикографии тесно связаны исследования в области семантики.
Наблюдая окружение той или иной лингвистической единицы в
корпусе, можно установить определенные семантические признаки,
характеризующие данную единицу.
Лингвисты-теоретики используют корпусы в качестве
экспериментальной базы для проверки гипотез и доказательства
своих теорий. Прикладные лингвисты (преподаватели, переводчики и
т.д.) используют компьютерные корпусы при обучении языкам и для
решения
своих
профессиональных
задач.
Особый
класс
пользователей представляют компьютерные лингвисты: они
94
пытаются выявить и использовать статистические и лингвистические
закономерности, присутствующие в текстах, для создания
компьютерных моделей языка. Другие специалисты по языку
(литературоведы, редакторы) также в ряде случаев могут получить
ответы на интересующие их вопросы, обратившись к корпусу.
Специалисты по общественным наукам (историки, социологи) могут
изучать свои объекты через язык, используя такие параметры текстов,
как период, автор или жанр. Литературоведы используют корпусы
для
стилеметрических
исследований.
Наконец,
корпусы
используются
для
разработки
и
настройки
различных
автоматизированных систем (машинный перевод, распознавание
речи, информационный поиск).
Чем могут корпусные данные помочь теоретической
лингвистике?
Они
не
могут
заменить
самонаблюдение
(интроспекцию) ученого, а также обеспечить суждения лингвистов о
лексике и грамматике, но они дают специалистам богатый
репрезентативный эмпирический материал. Корпусы могут в
принципе дать три типа данных, которые могут быть использованы в
ходе лингвистических исследований: эмпирическая поддержка,
информация по частотности, экстралингвистическая информация
(метаинформация). Рассмотрим эти типы данных более подробно.
3.3.2. Способы использования корпусов
1. Эмпирическая поддержка
Многие лингвисты используют корпус как «банк примеров», т.е.
пытаются найти эмпирическую поддержку для своих гипотез,
принципов и правил, над которыми они работают. Примеры, конечно,
могут быть придуманы или найдены случайно, но подход корпусной
лингвистики обеспечивает репрезентативность и сбалансированность
языкового материала, а также поисковый инструмент, который
обычно дает возможность хорошей выборки в определенном корпусе.
Многие считавшиеся верными на протяжении длительного времени
95
утверждения были опровергнуты корпусными данными. Например,
было опровергнуто часто повторявшееся утверждение о том, что
частицы в немецких глаголах с отделяемыми приставками не могут
встречаться в начале предложения. В корпусах текстов было найдено
достаточно много грамматически правильных примеров начальной
позиции частицы [49]. Подобно этому, предложения, объявленные
сторонниками
генеративной
лингвистики
грамматически
неправильными,
скорее,
должны считаться
грамматически
правильными, потому что подобные структуры на самом деле
встречаются в современном английском языке (как выявлено в
Интернете, использованном в данном случае как веб-корпус, см.
п. 3.1.4):
 *Harry reminds me of himself [Postal 1970]; ср. Интернет: Joe reminds
me of himself.
 *John will leave until tomorrow [Lakoff 1970, с. 148]; ср. Интернет: I
will leave until tomorrow.
 *What an idiot I thought Tom was [Postal 1968, с. 75]; ср. Интернет:
What an idiot I thought the main character to be. [19].
Об этом же пишет Н.В. Перцов, опровергший суждения
авторитетнейших лингвистов о русском языке, используя материал
Национального корпуса русского языка [30, с. 318]: «...Следует
признать, что возможности корпусов все-таки еще недостаточно
усвоены лингвистической общественностью вообще и лингвистами в
частности. Обращение к корпусным данным еще не стало столь же
привычным и обязательным при формулировке и проверке тех или
иных утверждений относительно фактов языка, как обращение к
грамматикам и словарям, к работам коллег». Даже в тех работах,
авторы которых широко используют корпусы, часто встречаются
утверждения о фактах языка, которые противоречат корпусным
данным:
 *длинные глаза, но продолговатые глаза [Труб 2006, с. 71]: ср.
НКРЯ: Глеб вздрогнул: его длинные глаза какое-то время словно
96
проверяли что-то во мне, ранее подвергавшееся сомнению
(Е. Маркова, 1990-2000).
 *тонкие колени, но острые колени [Труб 2006, с. 71]: ср. НКРЯ:
<...> тонкими коленями обхватила бочонок с натянутой на него
пергаментно сухой кожей <.. > (Д. Рубина, 2003).
 «<...> слово счастье не может обозначать ни событие (оно не может
наступить, произойти, случиться и т.п.), ни его переживание» [ЗЛШ:
164]: ср. НКРЯ: <...> в России счастье, по прогнозам российского
президента, наступит только в 2010 году («Известия», 2001.10.30).
[30]
Свидетельства из корпусов могут быть найдены для
верификации гипотез на каждом языковом уровне от звуков речи до
целых разговоров и текстов. Внутри этой структуры можно повторять
анализ и воспроизводить результаты, что невозможно в ходе
самонаблюдения [42].
2. Информация по частотности
Эмпирическая поддержка представляет собой качественный
метод использования корпуса, но корпусы также обеспечивают
информацию по частотности для слов, фраз и конструкций, которая
может быть использована для количественных исследований.
Количественные
исследования
(которые,
конечно,
часто
основываются на качественном анализе) используются во многих
сферах теоретической и компьютерной лингвистики. Они
показывают сходства и различия между разными группами
говорящих или между разными типами текстов, обеспечивают
данные о частотности для психолингвистических исследований и т.д.
3. Метаинформация
В дополнение к лингвистическому контексту, корпус
представляет
экстралингвистическую
информацию,
или
метаинформацию, по таким факторам, как возраст или пол
говорящего/пишущего, жанр текста, временнáя или пространственная
информация о происхождении текста и т.д. Она позволяет сравнивать
разные типы текстов или разные группы говорящих.
97
По мнению многих ученых, корпусная лингвистика – не
отдельная парадигма лингвистики, а, скорее, ее методология. В
частности, многие известные корпусы английского языка создавались
и применялись для специальных исследований представителями
различных направлений лингвистики. Так, корпус CHILDES,
содержащий транскрипты детской устной речи в различных
коммуникативных ситуациях, широко используется в области
психолингвистики учеными, которые интересуются тем, как дети
овладевают языком [52]. Хельсинкский корпус содержит различные
типы письменных текстов, начиная с ранних периодов английского
языка, и используется в области истории языка для изучения его
эволюции [46]. Бергенский корпус английского языка лондонских
подростков COLT (The Bergen Corpus of London Teenage Language)
содержит речь лондонских подростков (13-17 лет) и используется в
области социолингвистики для исследования языка определенной
возрастной группы [58]. Лингвистов, использующих корпусы в своих
исследованиях, объединяет уверенность в том, что лингвистический
анализ на материале «реального» языка является предпочтительным,
так как он обеспечивает более надежные результаты [53].
3.3.3. Лексикографические исследования, основанные на
корпусах
Лексикографические исследования необходимы, в первую
очередь, для составления словарей, а также для нужд дескриптивной
и прикладной лингвистики. Перед исследованием необходимо
выявить информационную потребность лексикографов. Например,
основные типы запросов автора толкового академического словаря
русского языка заключаются в необходимости найти следующее:
 новое слово по времени его появления,
 исходную форму слова;
 цитаты к уже известным значениям;
98
 цитаты
к
тем
значениям,
которые
в
словаре
не
проиллюстрированы цитатами (чаще всего это грамматически
обусловленные значения, например, страдательные формы русских
глаголов или речевые употребления);
 дополнительные новые цитаты к тому или иному значению;
 новые типы лексической и синтаксической сочетаемости;
 новые фразеологизмы;
 новые современные научные толкования специальных терминов
[9].
Грамматические и лексикографические модели системно
взаимодействуют. Например, в то время как традиционные подходы
могут определить группу синонимичных слов, лексикографические
исследования на базе корпусного подхода пытаются показать, как
соотносимые слова используются в разных ситуациях и как они
применяются в разных контекстах.
В учебнике Д. Байбера, С. Конрад, Р. Реппен «Corpus Linguistics.
Investigating language structure and use» [40] (далее – Corpus
Linguistics) выделяется шесть основных вопросов, стоящих перед
исследователями-лексикографами,
действующими
на
основе
корпусного подхода:
1. Какие значения ассоциируются с конкретным словом?
2. Какова частотность слова относительно других близких к нему
слов?
3. Какие нелингвистические модели имеет данное слово (по
отношению к регистрам, историческим периодам, диалектам и т.д.)?
4. Какие слова обычно встречаются вместе с данным словом, и
каково распределение этих сочетаемостных последовательностей в
разных регистрах?
5. Как распределены смыслы и типы использования слова?
6. Как используются и по-разному распределяются слова, кажущиеся
синонимичными? [40]
99
Одно
из
преимуществ
корпусного
исследования
в
лексикографии состоит в том, что корпус можно использовать для
демонстрации множества контекстов, в которых употребляется слово.
Затем из этих контекстов, используя конкордансные списки (KWIC),
можно выделить разные смыслы, ассоциируемые со словом.
3.3.3.1. Пример одного лексикографического исследования
Одно из предназначений корпуса заключается в том, чтобы
экономить усилия исследователя при изучении проблемной области.
В частности, корпус должен быть не просто строгим подмножеством
текстов проблемной области, но, по возможности, существенно
отличаться от нее по объему. В общем случае, чем более
«экономичен» корпус, тем выше порог отображения. Однако
конкордансы могут представлять слишком большое количество
данных. Объем конкордансов не только для служебных, но иногда и
для знаменательных слов в больших корпусах может достигать
нескольких тысяч страниц, и на один интересный пример может
приходиться сотня тривиальных [2]. Например, для слова deal из 8-ми
миллионного подкорпуса корпуса Лонгман-Ланкастер выдается более
1500 употреблений, что усложняет задачу сгруппировать разные
смыслы слова или рассортировать их по важности. В таком случае
приходится использовать дополнительные инструменты. Так,
большинство программ конкордансов может создавать список
частотности слов, который обычно представляется в алфавитном
порядке, по порядку встречаемости или по частотности. Кроме того,
широкую популярность приобрела система Sketch Engine, которая
выдает ограниченный набор статистических словосочетаний
(коллокаций), упорядоченный по структурно-синтаксическим
моделям.
Приведем пример выявления значений, ассоциируемых со
словом deal в английском языке из учебника Corpus Linguistics.
100
Анализ значения слов осложняется тем, что многие словоформы
в английском языке имеют множество грамматических функций. Так,
словоформа deals может быть использована как глагол в 3-м лице
единственного числа и как существительное во множественном
числе. Deal и dealing могут быть использованы как глагол и как
существительное. Списки частотности, построенные на данных
неаннотированных корпусов, ограничены в своей полезности,
поскольку они не показывают, какие грамматические употребления
слов являются частыми, а какие – редкими.
Для того чтобы определить, сколько раз словоформа deal
встречается как существительное и сколько раз – как глагол, нужно
посмотреть на формы в контексте, определить их грамматические
категории и только потом осуществить подсчет. Такое решение будет
очень затратным по времени для 182 случаев встречаемости
словоформы deal в LOB корпусе и тем более для очень
распространенных слов, таких как look, которое встречается около
500 раз на млн. слов. Более правильное решение в таком случае – это
использование аннотированного корпуса, в котором каждое слово
закодировано со своей грамматической категорией. В таком корпусе
можно произвести автоматические подсчеты для каждой
грамматической формы слова отдельно.
На таблице 5 показан список частотности, выданный
программой TACT (Text-Analysis Computing Tools), который
показывает распределение грамматических форм слова DEAL в
аннотированном корпусе Ланкастер-Осло-Берген. Грамматическая
категория каждого слова следует непосредственно за словом после
символа «подчерк». Так, слово deal встречается как существительное
в единственном числе (граммема nn) 115 раз, как имя собственное
(np) – 1 раз, как глагол (vb) – 66 раз и т.д. С такой информацией из
аннотированного корпуса можно продолжать изучение встречаемости
DEAL более подробно, обращая внимание на распределение его
глагольных и субстантивных форм и сравнивая их использование в
разных регистрах.
101
Таблица 5
Частотность форм DEAL в аннотированном корпусе
Ланкастер-Осло-Берген (LOB)
deal_nn
Deal_np
deal_nns
deal_vb
dealing_vbg
deals_vbz
dealt_vbd
dealt_vbn
115
1
5
66
51
20
14
17
Распределение DEAL по регистрам
Слова часто употребляются по-разному в разных регистрах,
поэтому всеобъемлющие (overall) характеристики слова могут не
отражать реальное положение дел в языке. Сначала рассмотрим
лексему DEAL как существительное в аннотированном корпусе
Ланкастер-Осло-Берген, обращая внимание только на формы
единственного и множественного числа (deal и deals).
Поскольку корпус Ланкастер-Осло-Берген составлен из текстов
разных регистров, таких как научная литература, художественная
проза, приключенческая литература и ковбойские романы, есть
возможность сравнить частотность deal и deals в разных регистрах
(табл. 6).
Таблица 6 включает непосредственные (сырые) подсчеты (raw
counts)
и
нормированные
подсчеты
(normed
counts).
Непосредственные подсчеты показывают количество случаев
встречаемости слова в каждом регистре; например, в репортажах
прессы выявлено 14 случаев встречаемости существительного deal, в
обзорах прессы – 4, в научной литературе – 16 и т.д.
102
Таблица 6
Частотность существительного DEAL в определенных регистрах,
нормированная на 100 тыс. слов
Регистр
Примерное
количество
слов в
подкорпусе
Репортажи прессы
88000
Обзоры прессы
34000
Передовицы
54000
Религиозная
34000
литература
Научная
160000
литература
Научно88000
популярная
литература
Беллетристика
154000
Художественная
58000
проза
Непосредственные
(сырые) подсчеты
для DEAL
14
4
4
5
Нормированные
подсчеты для
DEAL (на 100
тыс. слов)
15,9
11,8
7,4
14,7
16
10,0
11
12,5
24
5
15,6
8,6
Однако эти подкорпусы включают различное количество слов: в
репортажах прессы – 88 тыс. слов, в обзорах прессы – 34 тыс. слов, а
в научной литературе – 160 тыс. слов. По этой причине сравнение
непосредственных подсчетов нельзя использовать как критерий для
вывода о большей или меньшей частотности слова в одном регистре
по сравнению с другим. Ведь если начать анализировать больший
пример текста из того же регистра, вполне вероятно, что раскроются
другие случаи употребления искомого слова. Можно ожидать, что
непосредственные подсчеты для DEAL в репортажах прессы будут
ниже, чем подсчеты в научной литературе, просто потому что
проанализирован намного меньший подкорпус из репортажей прессы,
и это не обязательно означает, что DEAL встречается в репортажах
прессы реже. Скорее, нужны измерения того, как часто читатель
встретит DEAL как существительное.
О таких измерениях говорят как о «нормированной»
(нормализованной)
частотности.
Нормированные
подсчеты
преобразуют количество случаев встречаемости слова по стандартной
103
шкале, обычно в пересчете на 1 млн. словоупотреблений, или, в
данном случае, на 100 тыс. Когда подсчеты нормированы, в
репортажах прессы получается 15,9 случаев встречаемости на 100
тыс. слов, а в научной литературе – всего 10 случаев на 100 тыс. слов
и т.д. Следовательно, только нормированные подсчеты обеспечивают
достоверные основания для сравнения по регистрам.
Когда
случаи
встречаемости
существительного
deal
распределены по регистрам, проблема размера корпуса для
лексикографической работы становится еще более очевидной.
Таблица 6 показывает, что в четырех из восьми подкорпусов
отмечено всего 4-5 случаев встречаемости. Ни в одном из регистров
нет достаточно большого количества употреблений DEAL,
максимальное количество – 24 (художественная проза). Понятно, что
корпус Ланкастер-Осло-Берген слишком мал для детального анализа
использования DEAL в качестве существительного, поэтому далее
будут рассмотрены модели его распределения по регистрам на
материале более солидного по объему корпуса Лонгман-Ланкастер.
Таблица 7
Частотность существительного и глагола deal в подкорпусах из
двух регистров корпуса Лонгман-Ланкастер
Примерное количество
слов в подкорпусе
Нормированные подсчеты на
1 млн. слов (IPM)
существительное
глагол
Всего
4000000
90
119
Художественная
проза
2000000
107
63
Научная
литература
2000000
74
176
Таблица 7 показывает, что в корпусе Лонгман-Ланкастер deal и
deals встречаются намного чаще, и это обеспечивает более солидную
базу для анализа их употребления. Благодаря данным этой таблицы
частотности становятся очевидными несколько интересных моделей.
104
Во-первых, нормированные подсчеты для всех примеров текстов
(всеобъемлющие подсчеты) показывают, что deal/deals как глагол
лишь ненамного чаще встречается, чем deal/deals как
существительное (119 слов на млн. в сравнении с 90 словами на
млн.). Однако если рассмотреть встречаемость по регистрам,
появится другая картина. В научной литературе deal/deals
функционирует как глагол в два раза чаще, чем как существительное
(176 против 74 на млн. слов). Художественная проза показывает
противоположную модель, в которой употребление deal/deals в
качестве существительного намного чаще, чем в качестве глагола
(107 против 63 на млн. слов).
Эти модели употребления DEAL высвечивают и другой важный
момент в создании корпуса: корпус, ограниченный одним из
регистров, не будет представлять язык в других регистрах. Так,
невозможно сделать обобщения на материале одного регистра для
моделей, которые будут найдены в других регистрах. Пример
показывает,
что
относительная
частотность
DEAL
как
существительного и как глагола в научной литературе является
полностью противоположной их относительной частотности в
художественной прозе. Корпус, ограниченный любым из этих
регистров, совсем не показал бы того, что найдено в другом регистре,
и построение моделей языкового использования этого слова было бы
неверным.
Кроме того, этот пример показывает, какими ошибочными и
недостоверными могут быть всеобъемлющие обобщения. Они
скрывают противоположные модели использования, которые в
действительности имеют место, и в результате часто являются
неточными для любой разновидности, описывая тип языка, который
вообще не существует в действительности.
Чтобы ответить на вопрос, что может объяснить разное
распределение субстантивных и глагольных форм по регистрам,
нужно проанализировать разные смыслы слова и способы его
употребления в каждом регистре.
105
Распределение смыслов (значений) по регистрам
Корпусы позволяют исследовать значения слов путем
использования конкордансов. Начать исследование смыслов слов
можно с анализа их коллокатов (collocates) – слов, с которыми
анализируемое слово (часто) встречается вместе. Для каждой
коллокации
(collocation)
существует
сильная
тенденция
ассоциироваться с одним смыслом или значением (хотя более чем
одно сочетание может ассоциироваться с тем же смыслом). Поэтому,
выделяя наиболее частые коллокации слова, можно эффективно и
надежно анализировать смыслы. Далее нужно сравнить то, что
демонстрирует анализ коллокатов существительного DEAL в
корпусе, с его словарными дефинициями.
В таблице 8 приведены коллокаты для существительного deal в
двух регистрах из корпуса Лонгман-Ланкастер. Подобные таблицы,
показывающие
список
сочетаемости,
отсортированный
по
частотности, можно получить с помощью различных программ
конкордансов.
Левые коллокаты – это слова, которые непосредственно
предшествуют существительному deal. Например, из данных,
представленных в таблице 8, следует, что слово good является частым
левым коллокатом для deal. Правые коллокаты – это слова, которые
непосредственно следуют за существительным deal. Например, слово
of является частым правым коллокатом для deal. Списки в этой
таблице представляют только первое слово вправо и влево от deal, но
те же технологии позволяют исследовать сочетаемости на расстоянии
(например, на расстоянии двух или трех слов). Как видно из таблицы,
в научной литературе самым частым левым коллокатом
существительного deal является прилагательное great (45 раз на млн.
слов), затем следует прилагательное good (23 раза на млн. слов).
Следующие по порядку коллокаты (package и that) встретились
дважды, и поэтому не были внесены в таблицу 8, которая показывает
только коллокаты, встретившиеся хотя бы 3 раза на млн. слов в
каждом регистре.
106
Таблица 8
Частые коллокаты существительного deal в двух подкорпусах
(5,7 млн. слов) корпуса Лонгман-Ланкастер
Нормированные подсчеты на 1
млн. слов
Научная литература
(подкорпус 2,7 млн. слов)
Левые коллокаты
Great
Good
Правые коллокаты
of
more
in
to
Художественная проза
(подкорпус 3 млн. слов)
Левые коллокаты
great
good
the
big
Правые коллокаты
of
to
about
more
with
45
23
39
7
3
3
40
28
8
3
28
7
5
3
3
В научной литературе, очевидно, коллокации good deal и great
deal будут обозначать большое количество чего-либо или операции в
бизнесе. При рассмотрении правых коллокатов становится понятным,
что значение, относящееся к количеству, является для deal наиболее
частотным. Это подтверждает и частотность правого коллоката of (39
раз на млн. слов). Частотность следующего коллоката намного
меньше, ср.: more (7 раз на млн. слов), in и to (3 раза на млн. слов).
Итак, существительное deal чаще всего имеет значение количества,
как в словосочетаниях a good/great deal of.
107
Анализ смыслов слова можно проверить, просмотрев списки
конкордансов, которые показывают данные словосочетания.
Например, частые употребления a good/great deal of включают a good
deal of work и a good deal of attention. Другие наиболее частые правые
коллокаты также имеют отношение к количеству. Например,
коллокат more используется в словосочетаниях a great deal more
tolerance и a good deal more inhabited. Коллокаты in и to тоже
используются с существительным deal для обозначения количества,
ср.: a great deal in common, differ a great deal in their understanding, a
great deal to be desired, a great deal to offer.
Таблица 8 показывает, что словосочетания в художественной
прозе имеют интересные сходства и различия со словосочетаниями в
научной литературе. Снова самыми частыми левыми коллокатами
являются great и good. Действительно, совместная встречаемость
good deal и great deal очень похожа в двух регистрах (примерно 68 раз
на млн. слов). Однако в художественной литературе есть
существенное количество случаев встречаемости (96 примеров), не
относящихся к модели «good/great + deal». Коллокаты здесь
распределены более широко – the встречается 8 раз на млн. слов и big
встречается 3 раза на млн. слов, в то время как остальные 37
коллокатов встречаются не чаще двух раз.
Модель словосочетаний предполагает, что значение количества
является для художественной прозы центральным, но не
единственным. Например, левый коллокат the используется c DEAL в
значении договоренности, как в примерах part of the deal is… и Isn’t
that the deal? Коллокат big представляет другой смысл. Он показывает
отсутствие важности в выражениях типа no big deal и what's the big
deal?
Кроме того, многие коллокаты, не частотные индивидуально,
ассоциируются с операциями в бизнесе: property deal, record deal, cash
deal, land deal, mining deal. Хотя эти слова не относятся к пяти
основным коллокатам DEAL, вместе они демонстрируют важный
смысл.
108
Словосочетания с deal в художественной прозе также
раскрывают значение, не найденное в научной литературе. В списке
правых коллокатов есть 4 случая встречаемости table и 1 случай
встречаемости box, когда речь идет о типе дерева (древесины). Эти
коллокаты не являются частотными, но они указывают на еще одно
использование deal в художественной прозе, а их встречаемость в 5
разных текстах говорит о том, что это использование относительно
распространено.
Далее в учебнике Corpus Linguistics сравниваются полученные с
помощью корпусного подхода частотности со словарными
определениями существительного deal. Обзор словарей показывает
поразительное разнообразие его значений. Некоторые словари
показывают только одну главную статью, другие – целых 4. В
словарных статьях количество определений варьирует от 2-3 до 2030. При таком разнообразии представления пользователю достаточно
сложно
догадаться,
каковы
наиболее
частые
значения
существительного deal.
Таблица 9 показывает 7 значений существительного deal,
которые наиболее часто повторяются в пяти словарях. Большинство
словарей упоминает все 7 значений, однако порядок их расположения
различен. Например, значение «большое, но неопределенное
количество» вводится в первой словарной статье в Webster's Third
Dictionary в дефиниции 2 и в Random House Dictionary в дефиниции
21. Сравнивая эти словарные определения с результатами
исследования существительного deal с помощью корпусов, можно
выделить несколько проблем. Употребление существительного deal в
значении количества, бесспорно, является наиболее частотым для
обоих анализируемых регистров корпуса. Тем не менее, этот смысл
не раскрывается до 16-ой или даже 23-ей дефиниции в двух словарях.
Кроме того, анализ коллокатов обнаружил относительно частотный
смысл, не отмеченный в этих словарях: использование big deal в
значении «незначительности». Наконец, во всех пяти словарях
регистровые отличия не принимаются во внимание, хотя более
109
поздние словари, созданные на основе корпусных данных, начинают
учитывать важные регистровые модели.
Таблица 9
Словарные дефиниции существительного deal
значение
large but
indefinite
amount
agreement/
arrangement
distribution of
cards in a
game
treatment
received
act of
distributing
pine or fir
wood
act of buying
or selling/
a business
transaction
Webster’s Webster’s Chamers Random
Longman
Encyclo.
Third
House
Lang. ε Culture
1989
981
1993
1992
entry 1
sense 13
entry 3
sense 3
entry 1
sense 2
entry 1
sense 3
entry 1
sense 21
entry 1
sense 16
entry 1
sense 18
entry 1
sense 16
entry 1
sense 3
____
entry 1
sense 4
entry 1
sense 18
entry 1
sense 21
entry 2
sense 1
entry 2
sense 4
entry 1
sense 15
entry 1
sense 17
entry 2
3 senses
entry 1
sense 13
entry 3
sense 2
____
entry 1
sense 6
____
entry 2
sense 2
____
entry 4
2 senses
entry 3
sense 2
entry 2
sense 1
entry 1
sense 5
entry 1
sense 6
entry 1
sense 23
entry 2
3 senses
entry 1
sense 17
1993
entry 3
sense 1
entry 2
sense 1
Однако здесь следует подчеркнуть один очень важный момент,
называемый «отступлением» корпусной лингвистики. Корпусная
лингвистика не отрицает ценности и необходимости речевых данных,
не представленных в корпусной форме, и признает, что из корпуса
текстов нельзя извлечь все возможные лингвистические выводы, т.е.
то, что корпус текстов не является самодостаточным [31]. Все пять
словарей указывают не обнаруженное в ходе корпусного
исследования значение, относящееся к раздаче карт в игре. Хотя это
одно из первых значений, которые говорящие ассоциируют с
существительным deal, употребляется оно не часто (кроме карточных
110
игр!). Этот пробел высвечивает важность больших представительных
корпусов для лексикографической работы. Он также показывает, как
основанный на корпусе анализ нуждается в проверке интуицией
носителя
языка.
Словарь
должен
включать
значение
существительного deal в карточной игре, даже если оно ни разу не
встретилось в корпусе – каждый носитель английского языка узнает
его. Однако важно полагаться и на корпусный анализ, который
говорит, что это одно из относительно редких употреблений
существительного deal, которое вряд ли встретится изучающим
английский язык, помимо ограниченных областей использования.
Таким образом, лексикографическая работа должна объединять обе
перспективы: выделять все значения, но указывать наиболее частые
или важные значения, принимая во внимание их регистровую
отнесенность.
DEAL как глагол
Значения DEAL как глагола в учебнике Corpus Linguistics
рассматриваются на словосочетаниях с использованием той же
технологии. Коллокация deal with является примером того, как пара
сочетающихся слов может ассоциироваться с разными смыслами.
Пара deal with встречается намного чаще, чем другие
коллокации как в научной литературе, так и в художественной прозе.
В корпусе Лонгман-Ланкастер эта пара встречается примерно 157 раз
на млн. слов в научной литературе и 58 раз в художественной прозе.
Для сравнения, следующий наиболее частый правый коллокат
глагола deal в научной литературе – это only (2,6 cлучаев
встречаемости на млн. слов). В художественной прозе следующая
коллокация – deal in (4,6 случаев встречаемости на млн. слов).
Списки конкордансов для коллокации deal with наглядно
демонстрируют несколько разных смыслов, наиболее частый из них –
это «то, о чем пойдет речь в книге, статье, исследовании и т.д.».
Просмотр всего списка конкордансов показывает, что это значение
111
намного чаще встречается в научной литературе, и в этом регистре
коллокация deal with имеет бóльшую частотность: The second
controversy dealt with the source of nitrogen in plants; An important point
to note is that the preceding discussion has dealt with thermodynamic
acidity...; Other environmental effects are dealt with in other chapters.
Еще одно значение коллокации deal with – «решить проблему»:
When they had dealt with the fire another crisis arose; Moreover many
losses are due to chilling and crushing, both factors that can be dealt with
by good environmental control and housing.
Преимущественно в художественной прозе появляется также
значение «справляться с ситуацией» каким-либо способом без
действительного решения проблемы: He didn’t have the right
temperament to deal with the Hennigs of this world; She would have rather
there been a fight, anger – or even tears and pleadings. These she could
deal with, not this deadly coldness exhibited by Alice; But suffering is also
a fact. It has to be dealt with.
Наконец, коллокация deal with имеет значение, обозначающее
взаимодействие с человеком, особенно с партнером по бизнесу:
Hansie De Beer runs the farm, he’s the one Mehring usually deals with;
The son handed me a small suitcase with the distant eyes of a man dealing
with a chauffeur.
Очевидно, что эти значения коллокации deal with заслуживают
более серьезного анализа. Корпус можно проанализировать на
предмет поиска слов, встречающихся после deal with, закодировав их
по разным семантическим категориям (предмет разговора, проблемы
и т.д.). В таком случае, расширенные сочетаемостные рамки можно
будет использовать для разграничения этих смыслов. Однако здесь
было важно показать, что коллокации не обязательно всегда
ассоциируются с одним и тем же значением. Напротив, в некоторых
случаях одна и та же коллокация может употребляться в разных
значениях, что проявляется в более широком контексте.
112
3.3.3.2. Выделение коллокаций статистическими методами
Применение корпусных методов к анализу лексической
сочетаемости позволяет создавать словари нового типа, в том числе,
словари устойчивых словосочетаний. Использование корпусов
позволяет получать данные о совместной встречаемости лексических
единиц, особенностях их сочетаемости, управления и т.д.
Существующие словари устойчивых словосочетаний, во-первых,
охватывают далеко не полный их перечень, во-вторых, часто делают
это недостаточно последовательно, поэтому возникает потребность в
словаре нового типа, который можно будет назвать интегрированным
словарем устойчивых словосочетаний, или словарем коллокаций, и
который на самом деле будет содержать разные типы устойчивых
словосочетаний (фраземы, или словосочетания, представленные в
толковых словарях за ромбом) [36].
В настоящее время в лингвистике существует несколько
способов для вычисления степени связанности частей той или иной
коллокации. В качестве таких статистических мер могут быть
выбраны меры ассоциации (MI, t-score, log-likelihood), которые чаще
всего используются при вычислении степени близости между
компонентами словосочетаний в корпусе. Линейная близость
компонентов биграммы (сочетания заданного слова со словом,
находящимся справа или слева от него) может оказаться важной
предпосылкой для нахождения устойчивых сочетаний, т.е.
коллокаций, и других типов словосочетаний в текстах.
Для проверки применимости статистических методов для
русского языка и возможности выделения коллокаций на основании
указанных выше мер ассоциаций была проведена серия
экспериментов (далее приводятся эксперименты из работы [36]).
Исследование осуществлялось с помощью корпус-менеджера CQP
(http://corpus1.leeds.ac.uk/ruscorpora.html) на базе корпуса русских
газетных текстов (The corpus of Russian newspapers) за 20012004 годы объемом 78 млн. словоупотреблений, созданного в
113
университете
Лидса
(Великобритания)
под
руководством
С.А. Шарова. Материалом для исследования послужили коллокации
19 существительных, которые были отобраны по следующему
принципу. Первоначально из электронного частотного словаря
русского языка С.А. Шарова [37] были отобраны существительные,
входящие в первую тысячу самых частотных слов. Далее по Малому
академическому словарю (МАС) (Словарь русского языка 1981-1984)
проверялось, имеют ли данные слова омонимы, которые могли бы
искажать их частоту (например, брак в значениях «супружество» и
«изъян»; друг друга, где оба элемента при лемматизации возводятся к
одной лемме). Слова, имеющие омонимы, исключались из списка и
не рассматривались в эксперименте. Затем список оставшихся
существительных сверялся с данными в словаре коллокаций русского
языка Е.Г. Борисовой [6]. В случае отсутствия словарных статей для
данного слова или ограниченной информации о его сочетаемости,
представленной в словаре, такие слова тоже исключались из списка.
Таким образом, был получен следующий список опорных слов:
власть, внимание, возможность, война, вопрос, дождь, жизнь, закон,
любовь, место, мнение, мысль, ночь, ответ, помощь, радость, слово,
случай, смысл. Ниже в таблице 10 приведены данные для первых 10
коллокаций (из 106) с опорным словом война, отсортированные по
значению меры MI (объем взаимной информации), где Joint –
абсолютная частота данной коллокации в корпусе; Freq1 –
абсолютная частота первого слова биграммы, т.е. левого коллоката
для слова война; LL score, MI, T-score – значения мер log-likelihood,
MI и t-score для данной коллокации. Как можно увидеть, в список
попали сочетания, которые, с одной стороны, являются устойчивыми,
а, с другой стороны, обладают довольно высокими показателями
меры MI. Исследование показало, что в диапазоне значений меры MI
от 0 до 1 не были найдены словосочетания, которые можно было бы
причислить к устойчивым.
114
Таблица 10
Значения мер ассоциации для слова война (левый контекст)
Коллокация
Joint
Freq1
LL score
MI
T-score
необъявленный война
9
76
30,19
11,03
3,00
междоусобный война
4
54
12,43
10,35
2,00
45
728
135,77
10,09
6,70
рельсовый война
6
100
18,00
10,05
2,45
победоносный война
9
174
26,31
9,84
3,00
вялотекущий война
6
142
16,92
9,54
2,45
позиционный война
5
128
13,90
9,43
2,23
171
4747
469,90
9,31
13,06
14
457
37,19
9,08
3,73
4
148
10,37
8,90
2,00
партизанский война
холодный война
грянуть война
финляндский война
Это позволяет сделать вывод, что сочетания, значение меры
ассоциации MI которых попадает в данный интервал, оказываются
статистически незначимыми. Для всех полученных сочетаний
наблюдается одинаковая тенденция: чем меньше значение меры, тем
больше вероятность, что эти словосочетания не зафиксированы как
устойчивые в словарях русского языка. Таким образом, можно
сказать, что данные о сочетаемости, приведенные в словарях,
совпадают с данными, полученными на основе мер ассоциации.
Большинство коллокаций (фразем), зафиксированных в словарях,
оказывается в верхней части списка, составленного на основе одной
из мер ассоциации. Это говорит о том, что данные коллокации имеют
высокие показатели связанности.
Важным представляется тот факт, что в результате эксперимента
были выделены сочетания, не зафиксированные ни в одном из
словарей. Анализ подобных сочетаний показал, что биграммы,
находящиеся на самом верху списка (отсортированного по убыванию
115
по одной из мер), с некоторой долей вероятности оказываются
устойчивыми и, следовательно, могут быть внесены в словарь. В
нижней части списка в подавляющем большинстве случаев
оказываются свободные сочетания. Списки словосочетаний,
приведенные в толковых словарях за ромбом, не могут считаться
полными, хотя помещаемые туда единицы и обладают некоторой
степенью устойчивости. Результаты эксперимента, с одной стороны,
говорят о применимости описанных статистических мер в
лексикографической практике, и, с другой стороны, указывают на
известную неполноту существующих словарей.
Выявление коллокаций в специализированном корпусе может
иметь большое практическое значение. Например, сравнивая данные,
полученные на основе корпуса писем Н.В. Гоголя, с данными,
полученными на основе общеязыковых корпусов, в ряде случаев
можно увидеть существенные отличия в сочетаемости, отражающие
особенности авторского словоупотребления. Таким образом, можно
утверждать, что описанные выше методы и средства могут также
быть эффективно использованы для изучения и создания словарей
языка писателей, для выявления особенностей сочетаемости в рамках
того или другого стиля или хронологического периода [36].
Поиск биграмм в корпусах нескольких языков в режиме
демоверсии можно осуществить на сайте http://www.aot.ru/cgibin/bigrams.cgi.
3.3.4. Грамматические исследования, основанные на корпусах
Изучение грамматики связано с пониманием структуры языка,
включая морфологию, синтаксис и другие свойства слов, такие как их
грамматические классы (глаголы, существительные и др.). В отличие
от лексикографии, грамматика не имеет долгой традиции
эмпирических исследований. До недавнего времени изучению того,
как носители языка на самом деле эксплуатируют грамматические
ресурсы своих языков, уделялось мало внимания.
116
Области,
обойденные
вниманием
в
традиционных
исследованиях, оказались сильной чертой основанных на корпусных
данных грамматических исследований, которые могут быть
применены к грамматике на уровне слова, предложения, дискурса.
Здесь будет рассмотрена проблема употребления и функции
морфологических характеристик путем анализа их распределения по
регистрам. С помощью корпуса можно соотнести распределение
морфологической характеристики с контекстами ее употребления и
лучше понять функции, которые она выполняет. В учебнике Corpus
Linguistics пути решения этой задачи проиллюстрированы
распределением номинализаций (производных существительных) по
трем регистрам.
Исследование морфологической характеристики в корпусе
может показать как частотность и распределение характеристики, так
и различие функций отдельных вариантов. В сравнении с анализом
других грамматических характеристик, основанный на корпусных
данных анализ морфологических характеристик относительно прост,
так как морфологические характеристики могут быть выявлены с
использованием функции поиска в программах для составления
конкордансов
путем
анализа
неаннотированного
корпуса.
Большинство
программ
позволяют
пользователю
искать
определенные префиксы и суффиксы, такие как un-, -ment.
3.3.4.1. Распределение и функции номинализаций
Под номинализацией (субстантивацией) в отечественном
языкознании обычно понимают процесс образования абстрактного
существительного от глагола, а также само существительное,
образованное таким способом. В европейском языкознании это
понятие шире, так как номинализацией может также быть
существительное, образованное от прилагательного. Например,
civilization является номинализацией, производной от глагола civilize,
а kindness – номинализацией, производной от прилагательного kind.
117
В учебнике Corpus Linguistics проанализированы четыре
продуктивных суффикса: -tion/-sion, -ness, -ment, -ity (и их формы
множественного числа). Помимо автоматической обработки текстов
корпуса с помощью специальных программ, потребовалась также
ручная обработка для того, чтобы отобрать единицы, по форме
совпадающие с поисковым шаблоном (search template), но не
являющиеся номинализациями (mansion, nation, city).
Анализ номинализаций проводился в трех регистрах. Первые
два – научная литература и художественная проза – представлены
подкорпусами корпуса Лонгман-Ланкастер. Третий регистр – устная
речь – представлен корпусом Лондон-Лунд (объемом 500 тыс.
словоупотреблений). Все частотности здесь нормированы на 1 млн.
слов текста.
Таблица 11
Частотные распределения номинализаций по трем
регистрам
Научная литература
(2,7 млн. с/у)
Количество
номинализаций на 44 000
1 млн. с/у
Художественная
проза (3 млн. с/у)
Устная речь
(0,5 млн. с/у)
11 200
11 300
Таблица 11 показывает частотные распределения для
номинализаций по всем трем регистрам. Очевидно, что в текстах
художественной прозы и устной речи отмечаются близкие
частотности, а в текстах научной литературы частотность
номинализаций в четыре раза больше. Можно попытаться объяснить,
почему регистры имеют такие разные распределения, исследуя
наиболее частые формы в контексте. Авторами учебника Corpus
Linguistics
разработана
специальная
программа,
которая
подсчитывает каждую индивидуальную номинализацию и выдает
списки конкордансов для каждой из них. В то же время она
подсчитывает общую частотность для каждого типа номинализации в
118
каждом регистре, что позволяет исследовать каждый тип
номинализации в контексте.
Специфические номинализации, часто встречающиеся в
регистре, зависят от тем, затронутых в текстах корпуса. Так, в
научной литературе шесть номинализаций встречаются существенно
чаще других с частотностями более 500 на млн. слов: movement
(почти 900 случаев встречаемости на млн. слов), activity, information,
development, relation и equation. Напротив, ни одна из номинализаций
не встречается достаточно часто ни в художественной прозе, ни в
устной речи. Например, movement встречается около 100 раз на млн.
слов в художественной прозе и около 60 раз в устной речи,
development встречается всего 10 раз на млн. слов в художественной
прозе и практически не зафиксировано в устной речи.
Анализ конкордансов для этих шести номинализаций
показывает, что в научной литературе номинализации описывают
действия и процессы как абстрактные объекты, отделенные от
человеческого участия1. Эта модель видна на примере номинализации
movement: The legs and hips, or arms and shoulders, may be used to
initiate movement in any direction. Движение в данном контексте – это
Ю.С. Степанов называет номинализацию яркой особенностью советского
политического дискурса, представляющей одну из общих тенденций языкового
союза, в который входит русский язык. По его мнению, в советском
политическом дискурсе эта тенденция приобрела гипертрофированные
масштабы. Типичным примером использования номинализаций может быть
цитата из доклада Л.И. Брежнева: «Главным источником роста
производительности труда должно быть повышение технического уровня
производства на основе развития и внедрения новой техники и прогрессивных
технологических процессов, широкого применения комплексной механизации и
автоматизации, а также углубление специализации и улучшение
производственного кооперирования предприятий» (по книге «Ленинским
курсом», М.: Изд. Политич. литер., 1973. с. 313). Семантическим итогом таких
бесчисленных номинализаций является исчезновение субъекта, агенса того, о
чем говорится, и все процессы приобретают безличный облик. А после того как
субъект устранен, возможны дальнейшие, уже чисто идеологические
манипуляции с поименованными сущностями [33].
1
119
процесс, представленный с помощью существительного, чтобы его
можно было использовать как подлежащее или дополнение в частях
сложного предложения. В текстах научной литературы обсуждается
обобщенное действие перемещения, а не перемещение какого-либо
субъекта. Художественная проза и устная речь, с другой стороны,
больше обращены к человеку, поэтому в этих регистрах чаще
употребляются глаголы и прилагательные, чтобы описать поведение
людей. Так, эти регистры часто имеют в качестве субъектов действия
конкретных людей, и в них часто употребляется глагол move: Garth
whistled breathily to himself and moved his hand crabwise along the table
(fiction); It’s how much they move it that counts (spoken).
Эту же модель можно увидеть в использовании таких
номинализаций как activity, development и information: The third
Important aspect of information is speed; Sometimes algae can stop the
development and growth of these plants; The experimental results can be
described quantitatively by defining the size and activity of the shoot and
root systems. В художественной прозе и в устной речи те же процессы
и действия представлены с помощью глаголов или прилагательных,
описывающих то, что делают определенные люди: I do hope you know
that never in this country do we develop the sort of mob war that makes a
protest against something however unjust develop into an organized riot
(spoken); I’ve informed the Soviet government of that visit (spoken);
“Aye, the big fellow is active again you’ll be pleased to know.” (fiction).
Эти обобщения приведены здесь для того, чтобы сказать, что
существует ассоциативная связь между регистрами и распределением
номинализаций. Научная литература намного чаще говорит о
статической номинализации, в то время как художественная проза и
устная речь описывают действия конкретных людей с помощью
глаголов и прилагательных.
Распределение и функция суффиксов номинализаций
После исследования номинализаций как группы важно узнать о
том, как распределяется каждый суффикс в отдельности, и,
120
следовательно, о функциях разных типов номинализаций и роли,
которую они играют в разных регистрах.
Таблица 12
Пропорции номинализаций с каждым суффиксом
Суффикс
-tion/-sion
-ment
-ness
-ity
Научная
литература
68%
15%
2%
15%
Художественная
проза
51%
21%
13%
15%
Устная речь
56%
24%
5%
15%
Таблица 12, не показывая действительные частотности,
демонстрирует относительные пропорции номинализаций с каждым
суффиксом в каждом регистре.
1. Хотя
суффикс
-tion/-sion
встречается
в
большинстве
номинализаций во всех трех регистрах, его пропорция намного выше
в научной литературе (68%).
2. Суффикс -ment встречается в большем количестве в устной речи и
художественной прозе, чем в научной литературе.
3. Суффикс -ness чаще встречается в художественной прозе, чем в
каждом из двух других регистров.
Хотя нет абсолютных правил, отвечающих за выбор среди
суффиксов номинализаций, тщательный анализ каждого типа
выявляет определенные системные различия в значении, проливая
свет на модели распределения, показанные в таблице 12. Например,
суффиксы -tion/-sion используются для преобразования глагола в
существительное, обычно обозначающее обобщенный процесс или
состояние (relate/relation и educate/education), поэтому в научной
литературе отмечен самый высокий процент номинализаций с этими
суффиксами.
Суффикс -ment также используется для преобразования глагола
в существительное. Исчисляемые существительные, образованные с
помощью суффикса -ment, часто обозначают процессы производства
чего-либо или активности. Многие из этих номинализаций
121
встречаются во всех трех регистрах, например, movement,
government, achievement, agreement, argument. Тем не менее, многие
номинализации с суффиксом -ment не являются исчисляемыми,
обозначая ментальные состояния: amazement, agreement, astonishment,
disappointment, embarrassment, excitement. Эти виды номинализаций
являются редкими в научной литературе и устной речи, но в
художественной прозе они довольно часто встречаются для описания
ментального
состояния
персонажей:
Patrick
shrugged
in
embarrassment; The assembly cried out savagely and Ralph stood up in
amazement.
Эти же номинализации иногда употребляются и в устной речи: I
can quite see there’s cause for disappointment. Однако чаще ментальные
состояния
в
устной
речи
обозначаются
глаголами
и
прилагательными: you’ll be amazed; are you disappointed by not getting
honors yourself?
Хотя в художественной прозе отмечено наименьшее количество
номинализаций, нормированные подсчеты для номинализаций с
суффиксом -ness являются самыми большими в этом регистре (1430
на млн. слов против 890 в научной литературе и 480 в устной речи).
Суффикс
-ness
обычно
преобразует
прилагательные
в
существительные,
обозначающие
личные
качества.
В
художественной
прозе
количество
существительных,
оканчивающихся на -ness больше, чем в других регистрах: awareness,
bitterness, goodness, happiness, politeness, weakness. Эти слова важны
для детального описания, которое характерно для художественной
прозы: The bitterness in his heart was now mixed with a kind of childlike
excitement; He could see Phyllis’s face in profile, and it radiated energy
and happiness.
В устной речи для описания личных качеств и чувств
употребляются прилагательные, часто в роли определений к
существительному, обозначающему говорящего или адресата: We feel
frustrated and bitter and annoyed; I’m not too happy about this lauding of
language...
122
Об употреблении номинализаций можно было бы сказать
гораздо больше. Можно было бы рассмотреть количество разных
слов с каждым суффиксом, чтобы определить, какой из них является
наиболее
продуктивным;
можно
было
бы
предпринять
диахроническое исследование и проследить за развитием и
употреблением номинализаций. Однако уже данный пример
иллюстрирует силу основанного на корпусных данных подхода к
морфологическим исследованиям. Очевидно, что деривационные
суффиксы имеют ассоциативные связи с определенными регистрами,
отражая первостепенные коммуникативные функции регистров.
3.3.4.2. Распределение грамматических категорий
Поскольку научная литература фокусирует внимание на
абстрактных состояниях, процессах и объектах, а художественная
проза включает более личные описания и действия, выполняемые
конкретными людьми, должны быть различия во всеобъемлющих
частотностях существительных и глаголов во всех трех регистрах.
Действительно, исследователи, характеризуя стили определенных
авторов,
иногда
использовали
сравнительные
подсчеты
существительных и глаголов. Такие подсчеты, по мнению авторов
учебника Corpus Linguistics, могут также показать разницу по
регистрам.
Вопросы подсчета грамматических категорий
С грамматически аннотированным корпусом подсчеты
существительных и глаголов являются относительно легким делом.
Каждое существительное будет иметь ярлык, начинающийся с “n”, а
каждый глагол будет иметь ярлык, начинающийся с “v”. Потому
легко написать новую или использовать готовую программу для
подсчета слов, маркированных одним из этих ярлыков. Более
сложным является вопрос о том, что именно относить к глаголам и к
существительным:
123
1. Считать ли существительные, которые употребляются в роли
определения последующего существительного? Например, должны
ли словосочетания grasshopper ecology и animal groups
подсчитываться как одно существительное или как два? С одной
стороны, grasshopper и animal служат для определения следующих за
ними существительных, и в этом отношении они подобны
прилагательным в словосочетаниях типа general ecology или small
groups. С другой стороны, такое словосочетание как grasshopper
ecology содержит два отдельных референта – кузнечики
(grasshoppers) и экология (ecology). В этом смысле они отличаются от
фраз с прилагательным в качестве определения. Для подсчета
количества глаголов и существительных представляется правильным
включить
существительные,
которые
определяют
другие
существительные.
2. Еще одна проблема касается местоимений. Если местоимения
замещают существительные, в каком-то смысле они обозначают
сущность или абстракцию. Однако они отличаются от
существительных тем, что ничего не обозначают, если употребляются
изолированно. Например, референт для слова he не может быть
идентифицирован без специфического контекста, в отличие от слова
grasshopper. Если нужно подсчитать слова, непосредственно
относящиеся к предметам, местоимения подсчитывать не следует.
3. Подобные вопросы возникают и при подсчете глаголов. Например,
нужно ли включать вспомогательные глаголы в общий подсчет
глаголов? Следующие предложения из художественной прозы
включают вспомогательный глагол в дополнение к смысловому
глаголу: He had left home a little before eight; Joanne and her mother
were talking. Эти вспомогательные глаголы не передают никакого
лексического содержания. Вместо этого, они служат только для
маркировки аспектуального значения (perfect или progressive) или
требуются для построения негативной конструкции. Таким образом,
целесообразно исключить вспомогательные глаголы из общего
подсчета относительной встречаемости глаголов и существительных.
124
Следовательно, принятие принципиального решения в каждом
конкретном случае – это важная задача для составителя корпуса. Для
пользователя важно также определить, как проводились подсчеты в
других исследованиях, прежде чем сравнивать полученные
результаты с результатами других исследований, потому что разные
способы подсчетов дают разные данные о том, насколько
предметным («nouny») является регистр. Таблица 13 показывает
соотношение «существительное-глагол» при использовании трех
разных способов подсчета существительных и глаголов.
Таблица 13
Соотношение «существительное-глагол» в трех регистрах
Научная
литература
А все
существительные
глаголы
и
Б все существительные и
Художественная Устная
проза
речь
2,2 : 1
1,2 : 1
1,2 : 1
2,9 : 1
1,5 : 1
1,6 : 1
2,5 : 1
1,3 : 1
1,3 : 1
глаголы, за исключением
вспомогательных
В существительные, за
исключением использованных
в роли определения, и
глаголы, за исключением
вспомогательных
Строка А включает все существительные и глаголы, строка Б не
включает вспомогательные глаголы, а стока В не включает
существительные в роли определений для других существительных,
равно как и вспомогательные глаголы. Местоимения исключены из
всех подсчетов существительных.
Для подсчетов в каждой строке общее количество
существительных было разделено на общее количество глаголов,
чтобы показать, сколько существительных встречается на каждый
125
глагол. Прежде чем остановиться на одном способе подсчета,
обратим внимание, что относительное количество одинаково для всех
трех подсчетов. Художественная проза и устная речь имеют
одинаковое соотношение «существительное-глагол», в то время как в
научной литературе это соотношение почти в два раза больше. С
любым методом подсчета полученные по всем регистрам модели
одинаковы, хотя точные соотношения в регистрах варьируют.
Сравнение соотношения «существительное-глагол» по
регистрам
Авторами учебника Corpus Linguistics самым подходящим
способом подсчета существительных и глаголов признан подход Б
(см. табл. 13), т.е. исключение местоимений и вспомогательных
глаголов из подсчетов. Соотношение «существительное-глагол» в
научной литературе намного превысило соотношение в других
регистрах
(2,9 : 1
против
1,5 : 1),
что
может
быть
проинтерпретировано так же, как и результат исследования
номинализаций (см. п. 3.3.4.1). Так, следующий пример из текста,
представляющего
научную
литературу,
содержит
10
существительных и только один глагол:
Пример 1. In planning a livestock building or conversion, the
psychological and health requirements of the livestock should undoubtedly
be given absolute priority together with the basic needs of the stockman.
В этом примере виден акцент научной литературы на объектах,
состояниях и процессах, которые обозначены существительными.
Вместо того чтобы описывать, как человек планирует
конструирование здания, здесь используются предметные описания
обобщенных процессов: planning, conversion.
Напротив, типичные примеры из художественной прозы и
устной речи содержат намного больше непосредственных действий.
Следующий пример содержит 7 существительных и 5 глаголов,
описывающих действия определенного человека:
126
Пример 2. He emerged and locked the door. He unsnapped the
protective strap on his holster and scanned the parking lot. He walked
quickly to the glass door of the bank.
Короткий пример неформальной беседы содержит еще больше
глаголов, чем существительных – 14 глаголов и 4 существительных:
Пример 3.
A: Oh yeah, it’s called washing your hair. Don’t you know how to
wash your hair?
B: Might be.
C: I know, I know how to have a bath.
B: Go away, I’m cooking. . . . Excuse me please, I’m trying to
cook. I haven’t got enough potatoes.
В примерах из художественной прозы и устной речи
местоимения занимают место многих существительных, что
уменьшает соотношение «существительное-глагол». Например, в
примере неформальной беседы больше местоимений, чем
существительных: I, me, you и it встречаются 8 раз. В примере из
научной литературы местоимений нет совсем.
Анализ примеров показывает, что существуют важные и
системные модели употребления, ассоциируемые с грамматическими
чертами на всех уровнях. Понимание этих моделей является
ключевым для полного понимания грамматики. Грамматическая
вариативность присуща всем человеческим языкам, и эмпирические
исследования языкового употребления раскрывают функциональную
подоплеку этих структурных вариантов. Эти исследования важны как
для дидактических целей, так и чисто научных. Интуиция носителя
языка не всегда является надежной в предсказании того, что один из
вариантов более предпочтителен, чем другой. Только основанное на
корпусных данных исследование реальных текстов подходит для
выявления этих моделей [40].
127
3.3.5. Исследования дискурса, основанные на корпусах
Закономерности
употребления
многих
лексических
и
грамматических явлений можно полностью понять только путем
анализа их функций в больших дискурсивных контекстах.
Под дискурсом понимают связный текст в совокупности с
экстралингвистическими – прагматическими, социокультурными,
психологическими и другими факторами; текст, взятый в событийном
аспекте; речь, рассматриваемую как целенаправленное социальное
действие, как компонент, участвующий во взаимодействии людей и
механизмах их сознания (когнитивных процессах) [23]. Элементы
дискурса: излагаемые события, их участники, перформативная
информация и "не-события", т.е. а) обстоятельства, сопровождающие
события; б) фон, поясняющий события; в) оценка участников
событий; г) информация, соотносящая дискурс с событиями [12]. В
развитие анализа дискурса значительный вклад могут внести методы
корпусной лингвистики, которые позволят тщательно описать
характеристики определенных типов дискурса и то, до какой степени
отдельный текст соответствует моделям дискурса в данном регистре.
Основанные на корпусах исследования дискурса могут быть
разделены на 4 сферы: 1) организация дискурса и структура текста; 2)
дискурсивно-прагматические
аспекты
взаимодействия;
3)
текстуальные и прагматические коллокации; 4) вариативность в
текстах и в дискурсе. Из этих сфер наиболее перспективными
являются, по мнению Т. Виртанен [61], две последние, так как именно
они выиграют от широкомасштабных исследований, возможных с
помощью корпусов, поскольку вариативность предполагает
устоявшиеся и новые правила, а коллокации предоставляют доступ к
осязаемым и прагматическим явлениям без предварительных
решений, касающихся лексики, грамматики или границ предложений.
Авторы учебника Corpus Linguistics полагают, что двумя
основными способами применения корпусного подхода к
128
исследованию дифференциальных признаков дискурса являются
следующие:
1) для анализа характеристик дискурса целесообразно разработать и
использовать интерактивные компьютерные программы (подобные
программам проверки орфографии). В отличие от человека, они
способны намного быстрее и надежнее выявлять определенные
свойства дискурса, в то же время позволяя исследователю
самостоятельно принимать решения в случаях, не поддающихся
автоматическому анализу;
2) для отслеживания употреблений поверхностно-грамматических
дифференциальных признаков во всем тексте может быть
использован
автоматический
анализ.
Эти
типы
анализа
действительно картируют развитие дискурсивных моделей по всем
текстам, их можно использовать для сравнения текстов, для
выявления специфических моделей, свойственных определенным
регистрам, и для того, чтобы увидеть, как конкретный текст
соотносится с общими регистровыми моделями.
Для конкретного рассмотрения вышеупомянутых способов
применения корпусного подхода к исследованиям в области дискурса
необходимо решить ряд вопросов, например, каким образом
осуществляется разметка такого явления как референция в текстах
различных типов. В учебнике Corpus Linguistics проводится
исследование употребления существительных и местоимений в
четырех регистрах (неформальная беседа и публичная речь из
корпуса Лондон-Лунд и новостной репортаж и научная литература из
корпуса Ланкастер-Осло-Берген (LOB) с целью найти ответ на
следующие вопросы: 1) какие факторы влияют на выбор между
существительными и местоимениями в тексте? 2) какие
существительные представляют «данную» (или «известную»)
информацию, а какие представляют «новую» информацию? 3) как
известные и новые референты распределяются по тексту?
Грамматические связи между предложениями, при помощи
которых осуществляется устный и письменный дискурс, могут быть
129
разделены на три типа: референция, эллипсис и союзы. Референция в
английском языке включает личные местоимения (he, she, it, we, they
и т.д.), указательные местоимения (this, that, these, those),
определенный артикль the и выражение such а. Грамматический
прием замены существительного местоимением называется
прономинализацией (pronominalization). Это местоимение может
относиться к существительному, которое было упомянуто в тексте
раньше, позже, либо выходить за рамки текста, но входить в контекст
дискурса [50]. Выделяют 3 типа референции, если статус информации
определяется как «известная»: анафорическую, экзофорическую и
выводимую. При анафорической референции местоимение заменяет
собой ранее упомянутое в тексте существительное, например: The
room is large. It is light and clean. Экзофорическая референция
представляет собой ссылку на существительное, которое находится за
пределами текста, но подразумевается как часть той ситуации, в
которой происходит действие, и входит в контекст дискурса.
Экзофорическая референция не всегда эксплицитна, т.е. для ее
правильного понимания необходимо быть в курсе происходящих
событий, например: That winter. It was awful. При выводимой
референции информация, требуемая для интерпретации референтного
средства, находится в самом тексте.
Именные конструкции являются основным грамматическим
средством, отсылающим к людям, объектам и другим сущностям в
тексте. Однако тексты, относящиеся к разным регистрам, часто
сильно различаются в использовании этих «отсылочных выражений».
В учебнике Corpus Linguistics рассматривается два примера из
новостного репортажа и неформальной беседы, в которых именные
конструкции выделены курсивом:
Пример 4. Новостной репортаж
Thortec International Inc. said it reached agreements with an
investor group and Wells Fargo Bank under which it will receive loans
and an equity infusion in return for stock that will reduce the number of
shares in public hands by as much as 85 percent. The engineering and
130
consulting firm, which has been plagued by losses for five years, said the
restructuring is required to relieve its debt burden and "acute shortage of
cash."
Пример 5. Неформальная беседа
A: Right, I'm ready. Have you locked the back door? [pause] I
thought we were walking.
B: Well do you want to walk or do you want to go in the car?
A: Well I have to go to the paper shop.
B: Well I'll drop you at the paper shop while I go round.
A: Oh that's a good idea.
Одно хорошо заметное различие между этими примерами
текстов касается формы именных конструкций. В примере из
новостного репортажа в основном употребляются полные именные
конструкции (Thortec International Inc., agreements, an investor group и
др.), тогда как в примере из неформальной беседы более часто
применяются местоимения (I, you, we, that). Кроме того, очевидно,
что в этих примерах употребляются разные типы референции. В
частности, в примере из неформальной беседы присутствует большой
процент экзофорической референции с местоимениями I и you,
напрямую связанными с говорящим и адресатом, а не с каким-либо
объектом, ранее встретившимся в тексте. В примере из новостного
репортажа такого типа референции нет. К тому же, из-за большей
опоры на экзофорическую референцию, большее количество
референтов в примере из неформальной беседы уже знакомо обоим
участникам даже при первом упоминании о них, например: I, you, the
back door, the paper shop, в то время как большее количество
референтов в примере из новостного репортажа изначально
незнакомы, например: agreements, an investor group.
Базирующийся на корпусных данных анализ может быть
применен для исследования характеристик референциальных
выражений и для определения степени различия их использования в
разных регистрах.
131
Характеристики референциальных выражений
Существует много характеристик референциальных выражений,
которые можно исследовать для того, чтобы лучше понять их
употребление в разных текстах и регистрах. В учебнике Corpus
Linguistics анализируется в качестве примера 4 параметра:
1) статус информации: известная :: новая;
2) тип референции для известной информации: анафорическая,
экзофорическая или эндофорическая;
3) форма выражения для анафорической референции: местоимение,
синоним или повтор;
4) расстояние между анафорическим выражением и антецедентом
для анафорической референции.
Каждая из именных конструкций в тексте может быть
классифицирована в соответствии с типом представленной в ней
информации – известной или новой. Так, в примере из новостного
репортажа (пример 4) многие именные конструкции представляют
новую информацию, указывая на человека или объект, ранее не
упомянутый в тексте. Именные конструкции такого типа включают
следующие: Thortec International Inc., an investor group, Wells Fargo
Bank, loans, an equity infusion, stock. Другие референциальные
выражения представляют известную информацию, вводя сущность,
которая уже была упомянута. Так, в первом предложении
местоимение it употреблено дважды, чтобы обозначить известный
референт, а именно: компанию Thortec International Inc.
Выражения, вводящие известную информацию, представляют
три типа референциальных отношений. Многие из таких выражений
являются анафорическими, т.е. относятся к человеку или объекту,
уже упомянутому в тексте – антецеденту. Так, антецедентом для
местоимения it в первом предложении является Thortec International
Inc. Однако другие референты представляют известную информацию
в силу того, что они относятся к человеку или объекту во внешнем
контексте. В примере из неформальной беседы (пример 5)
местоимения I и you прямо указывают на говорящего и адресата. The
132
back door, the car и the paper shop относятся к физическим объектам,
присутствующим в расширенной физической ситуации, которая
понятна обоим участникам разговора. Такие референты называются
экзофорическими. Они являются известными, поскольку их
идентификация возможна благодаря физической ситуации. Напротив,
анафорические референты известны потому, что их идентификация
возможна благодаря предшествующей текстовой референции.
Существуют способы выражения известной информации,
которые классифицировать еще сложнее. В частности, в примере из
новостного репортажа (пример 4) существование restructuring, к
которому обращаются во втором предложении, является
«выводимым» из событий, описанных в первом предложении, но это
существительное не относится анафорически ни к одной из
предшествующих именных конструкций и не относится к внешнему
контексту. Подобным образом, существование debt burden может
быть выведено из того факта, что компания была "plagued by losses,"
но это также не является анафорическим отношением.
Следовательно, категория «выводимый» также важна для
классификации референтов.
Третий параметр касается различных форм представления
анафорических референтов. Они часто выражаются местоимениями,
однако могут быть выражены и синонимическими выражениями,
например, the engineering and consulting firm во втором предложении
относится к Thortec International. Кроме того, анафорические
референты могут быть прямым повтором первоначального
выражения.
Четвертый
параметр
касается
расстояния
между
референциальным выражением и его антецедентом. Так, в примере из
новостного репортажа местоимение it оказывается относительно
близко к антецеденту Thortec International Inc. Более полное
синонимическое выражение The engineering and consulting firm
располагается на большем расстоянии от первоначального
упоминания этой компании.
133
Все четыре параметра вместе могут раскрыть многие модели
использования референции в разных регистрах. Анализ даже
нескольких тысяч слов текста может быть очень затратным по
времени, поэтому для изучения характеристик референциальных
выражений целесообразно использовать корпусный подход.
Техника интерактивного анализа: кодирование характеристик
референциальных выражений
Чтобы проиллюстрировать результаты работы интерактивной
программы по анализу текста с целью выявления референтных типов,
были обработаны первые 200 слов из 40 текстов, взятых из корпусов
Лондон-Лунд и Ланкастер-Осло-Берген. Тексты были представлены
четырьмя жанрами: неформальная беседа (5 текстов), публичная речь
(9 текстов), новостной репортаж (10 текстов) и научная литература
(16 текстов). Спроектированная авторами учебника Corpus Linguistics
программа направлена на выявление и анализ шести характеристик
для каждой именной конструкции:
1) регистр, который предварительно указывается в начале каждого
текста и не вовлекается в последующий анализ;
2) форма именной конструкции (местоимение или существительное),
определяющаяся на основе процедуры аннотирования;
3) статус информации (новая или известная), причем местоимения
автоматически рассматриваются как известная информация, а для
каждого существительного осуществляется проверка, встречается ли
оно в предшествующем фрагменте текста. Если да, то программа
приписывает статус «известная», если нет, то предварительно
отмечает информацию как новую, предлагая эксперту самому решать,
правильно ли это;
4) тип референции (анафорическая, экзофорическая, выводимая),
если статус информации определяется как «известная», причем
местоимения I и you автоматически соотносятся с экзофорическим
типом референции, а местоимения 3-го лица и существительные,
рассматривающиеся как известная информация, размечаются
134
программой как анафорические, но проверяются впоследствии в
интерактивном режиме на экзофорическую и выводимую
референцию;
5) тип выражения (синоним или повтор существительного), если
представлен анафорический тип референции, выраженный
существительным;
6) расстояние между антецедентом и референтным выражением,
вычисляемое как количество находящихся между ними именных
групп.
Интерактивная программа анализа текста позволяет ускорить
работу исследователя и обеспечивает более высокую точность
данных. Сначала проводилась морфологическая разметка всех
текстов, затем интерактивная программа обрабатывала каждый
размеченный текст, останавливаясь на каждом местоимении и
существительном, позволяя пользователю выбрать правильные коды
для именных конструкций. Если первичный анализ информационных
характеристик, автоматически проведенный программой, является
правильным, пользователь просто принимает код, а если нет, то
программа предоставляет список других вероятных вариантов
анализа, из которых можно выбирать путем простого указания
номера, соответствующего правильному варианту.
На рисунке 6 приводится пример работы интерактивной
программы, показывающий, как коды могут быть приняты или
отредактированы. Референциальное выражение (them), которое
подлежит кодированию в момент снимка, представлено в контексте и
обозначено стрелкой.
Под примером текста приведены автоматически присвоенный
код ("ANAPHORIC") и альтернативные варианты кодов. Когда все
именные конструкции проанализированы, коды записываются в
тексте такими строками как:
<<<Ref = anaphoric
и
<<<Status = given
135
*** Code Check ** * (processing file 00057 . TEC; word #366)
impressive that quantum mechanics can take that in its stride . The problems of
interpretation cluster around two issues ; the nature of reality and the nature of
measurement . Philosophers of science have latterly been busy explaining that science
is about correlating phenomena or acquiring the power to manipulate
= = => them
. They stress the theory - laden character of
our pictures of the world and the extent to which
scientists are said to be influenced in their thinking by
the social factor of the spirit of the age .
Such accounts cast doubt on whether an understanding of reality
Automatically assigned code is: REF= ANAPHORIC
ALTERNATE CODES ARE:
1) REF= ANAPHORIC 2) REF= EXOPHORIC
3) REF= INFERRABLE 4)
5)
6)
7)
8)
Type number 1-8 to select alternate code
Push <ENTER> to accept code; * to terminate file;
с for more context
Рис. 6. Пример работы интерактивной программы кодирования
референциальных выражений.
Затем используется другая компьютерная программа для
анализа кодированного текста и создания файла, перечисляющего
информационные характеристики каждой именной конструкции. В
конце
проводится
статистический
анализ,
показывающий
взаимодействие этих характеристик.
Модели использования референциальных выражений в
устных и письменных регистрах
Статистические подсчеты характеристик именных конструкций,
проведенные авторами учебника Corpus Linguistics, раскрывают
особенности разных типов референциальных выражений в разных
регистрах. На рисунке 7 показано распределение известных и новых
136
референциальных выражений по четырем регистрам. Здесь можно
увидеть неожиданные различия. Новостной репортаж имеет
наибольшее количество референциальных выражений, а научная
литература – наименьшее. Неформальная беседа и публичная речь
содержат достаточно большое их количество, несмотря на то, что
устная речь обычно содержит большее количество глаголов по
сравнению с письменной речью. Все четыре регистра совершенно
различны с точки зрения соотношения известной и новой информации.
С одной стороны, более 70 % всех референциальных выражений в
неформальной беседе представляют известную информацию. С другой
стороны, более 65% всех референциальных выражений в научной
литературе представляют новую информацию. Новостной репортаж
показывает наиболее частую встречаемость новой информации.
70
60
50
40
30
20
10
0
беседа
публичная речь
Новая информация
новостной
репортаж
научная
литература
Известная информация
Рис. 7. Частотность референциальных выражений: известные :: новые
То, что в неформальной беседе представлено наибольшее
количество известной информации, можно лучше понять, если
137
рассмотреть разные типы представляющих ее референциальных
выражений.
45
40
35
30
25
20
15
10
5
0
беседа
публичная речь
Экзофорические местоимения
новостной
репортаж
научная
литература
Анафорические местоимения
Анафорические существительные
Рис. 8. Частотность экзофорических и анафорических
референциальных выражений
На рисунке 8 представлена встречаемость референциальных
выражений, представляющих известную информацию, которая
демонстрирует
частотность
экзофорических
местоимений,
анафорических местоимений и анафорических существительных. В
неформальной беседе более половины всех референциальных
выражений, представляющих известную информацию, занимают
экзофорические местоимения. Почти все эти местоимения
используются для обозначения говорящего и адресата, хотя отмечены
случаи экзофорической референции к третьим лицам и объектам,
присутствующим в ситуационном контексте (she, he или it). Пример 6
138
демонстрирует самые частые случаи экзофорической референции,
типичные для неформальной беседы. Случаи референции к
говорящему и слушающему выделены курсивом, а случаи
экзофорической референции к объекту выделены жирным шрифтом с
квадратными
скобками
(также
отмечены
экзофорические
адвербиальные существительные).
Пример 6. Неформальная беседа
A: What are you doing [this afternoon]?
B: I'm going [home]. I've got to teach about half past one. Can you
pick [your own trousers] up?
A: no I don't think it'll be likely. I've got [this meeting at three
thirty] and...
B: well what are we doing [this weekend]? [Tomorrow] I've got
[dancing class] in [the morning]
A: well I've nothing down anyway at all.
B: well [they]'re open [tomorrow afternoon] up till three o'clock,
you remember [last time] we went, and [they] were closed.
Письменные регистры больше полагаются на анафорическую
референцию. Предпочтительные именные формы, используемые в
них для анафорической референции, имеют характерные черты: в
письменных регистрах почти всегда используются полные
существительные, тогда как неформальная беседа и публичная речь
используют приблизительно равное количество анафорических
местоимений и полных существительных.
Разработанная
авторами
учебника
Corpus
Linguistics
компьютерная программа кодировала также расстояние между
анафорическими
референциальными
выражениями
и
их
антецедентами в тексте, при этом расстояние определялось
количеством расположенных между ними именных конструкций.
Основываясь на измерениях расстояния для каждого анафорического
референциального выражения, можно вычислить среднее расстояние для
каждого текста и регистра. Как показывает таблица 14, средние
139
расстояния различны для всех четырех регистров. В неформальной
беседе и публичной речи среднее расстояние существенно ниже, чем в
письменных регистрах. Это важно, если принять во внимание разницу в
обстоятельствах продуцирования и восприятия письменных и устных
регистров. Неформальная беседа и публичная речь должны
восприниматься в реальном времени, кроме того, неформальная беседа
должна также продуцироваться в реальном времени. В таких условиях
легче понимать кореференцию с коротким анафорическим расстоянием.
Напротив, пишущие и читающие располагают достаточным количеством
времени, чтобы произвести и воспринять письменные тексты, и, как
результат, у таких текстов расстояния между кореферентными
выражениями больше.
Таблица 14
Средние расстояния для четырех регистров
Регистр
Среднее расстояние
Неформальная беседа
Публичная речь
Новостной репортаж
Научная литература
4,5
5,5
11,0
9,0
Частое использование в неформальной беседе экзофорических
местоимений, относящихся к говорящему или слушающему, также
является важным фактором, проявляющимся в низком среднем
расстоянии. Так, пример 5 повторяется ниже со всеми случаями
экзофорической референции к говорящему А, выделенными курсивом,
и всеми случаями экзофорической референции к говорящему В,
выделенными жирным шрифтом прописными буквами. Все другие
референциальные выражения заключены в квадратные скобки.
A: Right, I'm ready. Have YOU locked [the back door]?
I thought we were walking.
B: Well do you want to walk or do you want to go in [the car]?
A: Well I have to go to [the paper shop].
140
B: Well I'll drop you at [the paper shop] while I go round.
В этом коротком отрывке случаи референции к говорящему А
имеют среднее расстояние меньше 1, так как многие из них
встречаются подряд без именных конструкций между ними.
Напротив, случаи референции к говорящему В имеют среднее
расстояние около 5.
Подобные результаты, полученные при помощи интерактивных
компьютерных программ и автоматических методов обработки
текста, имеют большое значение для анализа дискурсивной системы.
Особенно целесообразно использование корпусного подхода для
выявления характеристик дискурса, присущих тому или иному
регистру [40, 34].
Распределение обращений в неформальной беседе
Исследование дискурса, предпринятое Дж. Личем, было
посвящено распределению и функционированию обращений в беседе
на американском и британском вариантах английского языка [48].
Объектом основанного на корпусе исследования была грамматика
обращений,
понимаемых
как
субстантивные
свободно
присоединяемые элементы, не являющиеся членами предложения,
относящиеся к адресату высказывания, в котором они встречаются.
Изучая данные собранного добровольцами корпуса, автор выделяет
несколько семантических подкатегорий: ласковое обращение: Honey,
can I use that ashtray, please; обращение к родственникам: Thanks,
mom, ok, talk to you later; фамильяризующее обращение (familiariser):
Got a ticket, mate?
Автор подсчитывает все случаи встречаемости по всем
подкатегориям и выявляет следующие различия в британском и
американском вариантах английского языка: в американском
варианте обращения используются на 25% чаще, чем в британском,
термины родства чаще встречаются в британском варианте,
фамильяризующие обращения чаще употребляются в американском
варианте.
141
В работе исследуются обращения с точки зрения их места в
предложении (табл. 15), а также различные отношения между типом
функции (привлечение внимания, указание на адресата, усиление
социального взаимодействия) и позицией обращения в предложении.
Таблица 15
Место обращения в предложении
Место в предложении
Процент
Пример
Конец предложения
68%
Come on, Sam.
Начало предложения
11,5%
Doug, do you want some more icecream?
Отдельное расположение 11,25%
Mom!
Середина предложения
What have we lost at home, Paulie, this
season?
9, 25%
В сноске указывается, что корпус не совсем репрезентативен,
поскольку приехавшие в Великобританию иностранцы часто с
удивлением отмечают, что к посторонним людям может применяться
ласковое обращение (love, dear), особенно в речи пожилых женщин.
Это наблюдение является относительно редким примером
использования обращения, не вошедшим в корпус, и не
рассматриваемым в работе.
Автору удалось получить новые неожиданные результаты:
1. Люди используют обращение sir в разговоре с официантами, что,
возможно, объясняется сдвигом общества в направлении
демократизации.
2. Обращения чаще всего встречаются в конце предложения, что
может быть объяснено большей важностью их социальной функции
по сравнению с другими, включая функцию привлечения внимания.
Исследование дискурса на материале звукового корпуса
На материале русского языка проводилось исследование
энантиосемии – совмещения в слове противоположных значений,
142
«внутренней антонимии» [24]. Рассмотрение этого явления на
материале звукового корпуса русского языка повседневного общения
Один речевой день (ОРД) (см. п. 3.2.2.2.2) привело автора к мысли о
том, что есть прежде не выявлявшийся лингвистами тип
энантиосемии, часто используемый в разговорной речи, а именно:
риторическая энантиосемия.
Наблюдения над лексикой определенных фрагментов корпуса
ОРД показали, что информант И19 (женщина 30-35 лет, в общей
системе обозначения информантов в базе «Один речевой день»
именуемая И19), не говорит ничего обидного, желает собеседнику
удачи, даже хвалит (молодец, замечательно, хорошо, отлично).
Однако при этом имя ребенка и другие маркеры доверительности
(типа солнышко, заинька, зайка, котик, умница, дорогой, милый,
миленький и т.д.) произносятся без характерных для разговора с
детьми и свойственных доброжелательному адресанту особенностей:
нет ни продления долготы звука сверх обычного для ударных, ни
варьирования частоты основного тона, ни повышения регистра,
ощущается отсутствие эмоциональной составляющей.
В следующих далее фрагментах текста адресант использует
обращения, традиционные для разговоров с близкими людьми
(солнышко, (мое) солнце, (моя) радость), а также само имя ребенка с
уменьшительно-ласкательными суффиксами оньк, очк:
1) Але-о!/ Привет / что все?/ закончилось / у вас закончилось /что
случилось?/ почему? / ты где? то есть она сейчас уже ушла? а
спроси у Иры /да-а/ я же тебе сказала /подойти к Ирине и спросить/
попросить помощи / Да / дойди / дойди солнышко/ давай/ удачи/ ну
тебе/ у тебя все хорошо/ ну замечательно/ ну /угу /хорошо
/солнышко / давай /не теряй времени /подойти к Ирине /попроси
помощи найти Нину Филипповну/и отзвонись мне/ пока //
2) Але /да солнышко /ну так /ну замечательно/ отлично /поздравляю
тебя / молодец /все не так страшно /готовься /что делать/
Держись /держись мое солнце /ну давай / держись / пока //
143
3) Ты выпила водичку? Отлично! <…> Что случилось? Что именно
ты забыла, моя радость? Можно поподробнее? Что ты забыла?
Что сегодня у вас был английский/ ты забыла. <…>Я не поняла, что
да? Зачет?<…>проверка по словам<…> Какие слова? Что/ и сейчас
забыла? И сейчас забыла / какие слова? <…> Из какой лексики/
Лизонька?
4) Лизонька / это Марина Викторовна ваша / такое дурацкое слово
употребляет «лексика» /оно дурацкое / Лизочка / Лексика это всегонавсего слова <…>Лексику вы учите / бред какой /
5) Моя девочка/ <…>ну что делать-то с этой двойкой /моя
хорошая
Была выдвинута гипотеза о том, что особенности
интонирования маркеров доверительности создают конфликт
горизонта ожиданий слушающего и интенций говорящего, а
диссонанс между семантикой слова и нейтральной интонацией (при
ожидаемой экспрессивной) становится основой для аномального
эмоционального фона при общении. Для проверки этой гипотезы был
проведен эксперимент, участникам которого (группа из 30 студентов
и школьников) было предложено прочитать расшифровку и
ответить на такие вопросы: «Часто ли родители так разговаривают с
детьми? Типично ли содержание разговора? Что можно сказать об
этой женщине?» Информанты восприняли текст как банальный,
многие предположили, что ребенок должен сдавать какой-то экзамен
или зачет, которого боится, что в связи с этим мама очень
переживает, волнуется, старается поддержать дочку.
После прослушивания записи предлагалось ответить на вопрос:
«Что нового вы узнали о Лизе?» Информанты реагировали крайне
эмоционально, причем не отвечали на поставленный вопрос, а
выражали мнение по поводу высказываний И19: «Почему она таким
прокурорским тоном разговаривает?» «А Вы можете на нее повлиять,
чтобы она так больше не говорила?» «Вот пойдет в школу у Вас сын,
Вы, может, тоже еще так заговорите!» «Эта женщина, наверное,
просто устала, а дочка у нее еще неизвестно что такое.» Реплики, при
144
всем разнообразии оценок поведения Лизы и ее матери, отражают
одно: в прослушанных фрагментах участники эксперимента ощутили
нечто неприятное, раздражающее, чего невозможно уловить при
письменной передаче текстов.
Значения слов с риторической энантиосемией, участвующих в
коммуникативных актах, не претерпевают никаких трансформаций:
не происходит ни мелиорации, ни пейоративизации значений, не
актуализируются непрямые значения. Вместе с тем, здесь нет и
интонационного отрицания называемых признаков или фактов. Даже
лишенная интонации угрозы или иронии, фраза, включающая
риторическую энантиосемию, создает напряженный эмоциональный
фон. Не случайно при прослушивании звукового файла
продолжительностью 22 мин. 36 сек. (продолжительность разговора с
матерью) девочка пытается заплакать семь раз. На записи слова с
положительной коннотацией, требующие эмоционально окрашенной
интонации, произносятся нейтральным тоном. Многочисленные
повторы ласковых слов (примеры 5, 6, 7), произносимых таким
образом, способствуют нарастанию напряжения, а затем разрешаются
каскадом вопросов или жалобами.
Особую интонацию отстраненности, отчужденности, которая
характеризует примеры (3-7), автор относит к маркерам чуждости.
При этом в записях не наблюдается таких проявлений агрессивности
речевого поведения, как сверхполный тип произношения, понижение
тона, повышение голоса с целью оказать давление на собеседника
[21]. В отличие от нормального (не агрессивного) речевого поведения,
при котором собеседники чувствуют себя равноправными, в условиях
речевой агрессии исключается равноправие участников диалога, один
из них становится агрессором, другой – жертвой. Видимо, в репликах
И19 и проявляется агрессия ради агрессии, с помощью которой за
счет близких людей снижается эмоциональное напряжение
говорящего [24].
Данный пример исследования показывает, что на материале
звукового корпуса могут быть сделаны серьезные теоретические
145
выводы. Автору удалось выявить новый тип энантиосемии –
риторическую энантиосемию, которая заключается в совмещении в
слове (словосочетании, предложении) коънтактоустанавливающей и
деструктивно-агрессивной коммуникативных установок, при котором
семантика рассматриваемой единицы (включая оценочную
составляющую) не меняется.
146
Заключение
Корпусная лингвистика представляет собой новое направление в
лингвистической науке, позволяющее проводить исследование
единиц любого языкового уровня в реальном их употреблении, т. е. с
учетом того, в какой ситуации то или иное высказывание было
произведено. Большие национальные корпусы и корпусы, созданные
для специальных целей, позволяют исследователям осуществлять
автоматический поиск и систематизацию эмпирического материала,
быстро обрабатывать большие массивы языковых данных с помощью
специальных компьютерных программ. Это одна из стремительно
развивающихся областей, и если считать, что корпусная лингвистика
– это, в первую очередь, методология проведения лингвистических
исследований, необходимо подчеркнуть, что прогресс в сфере
компьютерных технологий влечет за собой прогресс в создании и
совершенствовании программ автоматической обработки текста.
Авторы отдают себе отчет в том, что на смену тем или иным
конкретным программам, которые вскоре уйдут в небытие, вероятно,
придут более совершенные и многофункциональные программы,
появятся новые национальные корпусы, изменятся их адреса в сети
Интернет. Задача авторов данного учебника состояла именно в том,
чтобы показать состояние корпусной лингвистики в начале второго
десятилетия XXI века.
147
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Азарова И.В., Алексеева К.Л., Захарова Л.А. Разметка текстовых
фрагментов в корпусе агиографических текстов СКАТ // Труды
международной конференции «Корпусная лингвистика – 2006». –
СПб: изд-во С.-Петерб. ун-та, Изд-во РХГА, 2006. – С. 16-24.
2. Баранов А.Н. Введение в прикладную лингвистику. – М., 2007.
3. Баранов А.Н., Плунгян В.А., Рахилина Е.В. Путеводитель по
дискурсивным словам русского языка. – М., 1993.
4. Беляева Л.Н. Лексикографический потенциал параллельного
корпуса текстов // Труды международной конференции «Корпусная
лингвистика – 2004». – СПб., 2004. – С. 55-64.
5. Богданова С.Ю. Исследование слова и предложения
компьютерными методами // Слово в предложении: кол. монография /
Под ред. Л.М. Ковалевой (отв. ред), С.Ю. Богдановой, Т.И.
Семеновой. – Иркутск: ИГЛУ, 2010. – С. 194-213.
6. Борисова Е.Г. Слово в тексте. Словарь коллокаций (устойчивых
словосочетаний) русского языка с англо-русским словарем ключевых
слов. – Москва, 1995.
7. Гарабик Р., Захаров В.П. Параллельный русско-словацкий
корпус // Труды международной конференции «Корпусная
лингвистика – 2006». – СПб., 2006. – С. 81-87.
8. Гвишиани Н.Б. Практикум по корпусной лингвистике: Учеб.
пособие по английскому языку. – М.: Высшая школа, 2008.
9. Герд А.С. РНК и академическая лексикография // Труды
международной конференции «Корпусная лингвистика – 2006». –
СПб.: Изд-во С.-Петерб. ун-та; Изд-во РХГА, 2006. – С. 88-91.
10. Герд А.С. Несколько слов о Специальном корпусе текстов
(СКТ) // Труды международной конференции «Корпусная
лингвистика – 2006». – СПб.: Изд-во С.-Петерб. ун-та; Изд-во РХГА,
2006. – С. 92-93.
11. Гришина Е.А., Савчук С.О. Национальный корпус русского
языка как инструмент для изучения вариативности грамматических
норм // Труды международной конференции «Корпусная лингвистика
– 2008» 6-10 октября 2008 г. – СПб., 2008. – С. 161-169.
12. Демьянков В.З. Англо-русские термины по прикладной
лингвистике и автоматической переработке текста. Вып. 2. Методы
анализа текста // Всесоюзн. центр переводов. Тетради новых
терминов, 39. – М., 1982.
148
13. Засорина Л.Н. (ред.). Частотный словарь русского языка. – М.,
1977.
14. Захаров В.П. Корпусная лингвистика: Учебно-метод.
пособие. – СПб., 2005.
15. Захаров В.П. Веб-пространство как языковой корпус //
Компьютерная лингвистика и интеллектуальные технологии: Труды
международной конференции "Диалог-2005" (Звенигород, 1-6 июня
2005 г.) – М., 2005. – С. 166-171.
16. ЗЛШ – Зализняк Анна А., Левонтина И.Б., Шмелев А.Д.
Ключевые идеи русской языковой картины мира: Сб. статей. – М.:
Языки славянской культуры, 2005.
17. Зубов А.В., Зубова И.И. Информационные технологии в
лингвистике: Учеб. пособие. – М.: Издательский центр «Академия»,
2004. – 208 с.
18. Камшилова О.Н. Лингвистический объект в интерпретации
корпусных технологий: в пользу доказательной парадигмы //
Материалы V Международной научно-практической конференции
«Прикладная лингвистика в науке и образовании: лингвистические
технологии и инновационная образовательная среда». – СПб.:
«ЛЕМА», 2010. – С. 84-96.
19. Карлсон Ф. Ранняя генеративная лингвистика и эмпирическая
методология // Когнитивные категории в синтаксисе: кол.
монография. – Иркутск: ИГЛУ, 2009. – С. 215-247.
20. Клименко С.В., Рыков В.В. Логические индукция и дедукция
как принципы отражения предметной области в корпусе текстов //
Труды Международного семинара Диалог ‘2001 по компьютерной
лингвистике и ее приложениям. – Аксаково, 2001.
21. Крейдлин Г.Е. Голос и тон в языке и речи // Язык о языке / Отв.
ред. Н.Д. Арутюнова. М.: Языки русской культуры, 2000. – С. 453501.
22. Крейдлин Г.Е. Невербальная семиотика. – М.: Новое литературное обозрение, 2002. – 581 с.
23. ЛЭС – Лингвистический энциклопедический словарь / Под ред.
В.Н. Ярцевой. – М.: Сов. энциклопедия, 1990.
24. Маркасова Е.В. Риторическая энантиосемия в корпусе русского
языка повседневного общения «Один речевой день» // Компьютерная
лингвистика и интеллектуальные технологии. Выпуск 7 (14). По
материалам ежегодной международной конференции «Диалог» (2008)
/ Гл. ред. А. Е. Кибрик. – М., 2008. – C. 352-355.
149
25. Митрофанова О.А., Грачкова М.А., Шиморина А.С.
Автоматическая классификация лексики в параллельных текстах (на
материале текстов из Русско-словацкого корпуса параллельных текстов
PARUS) // Материалы V Международной научно-практической
конференции «Прикладная лингвистика в науке и образовании:
лингвистические технологии и инновационная образовательная
среда». – СПб.: «ЛЕМА», 2010. – С. 231-235.
26. Мордовин А.Ю. К вопросу о жанровой полноценности
современных неспециализированных корпусов текстов // Вестник
ИГЛУ, 2009. – № 2. – С. 48-52.
27. Национальный корпус русского языка. – http://ruscorpora.ru
28. Николаева Ю.В. Кинетические признаки структуры устного
нарратива (корпусное исследование) // Проблемы компьютерной
лингвистики: Сборник научных трудов / Под ред. А.А. Кретова. –
Вып. 4. – Воронеж, 2010. – С. 193-200.
29. Перцов Н.В. К суждениям о фактах русского языка в свете
корпусных данных // Русский язык в научном освещении. – 2006. –
№1 (11). – С. 227-245.
30. Перцов
Н.В. О
роли
корпусов
в
лингвистических
исследованиях // Труды международной конференции «Корпусная
лингвистика – 2006». – СПб.: Изд-во С.-Петерб. ун-та; Изд-во РХГА,
2006. – С. 318-331.
31. Рыков В.В. Корпус текстов как реализация объектноориентированной парадигмы // Труды Международного семинара
Диалог-2002. – М.: Наука, 2002.
32. Сичинава Д.В. Национальный корпус русского языка: очерк
предыстории. 2005. – http://ruscorpora.ru/sbornik2005/03sitch.pdf
33. Степанов Ю.С. Альтернативный мир, Дискурс, Факт и
принцип Причинности // Язык и наука конца XX века: Сб. статей. –
М.: РГГУ, 1995. – С. 35-73.
34. Толпегин П.В. Автоматическое разрешение кореференции
местоимений третьего лица русскоязычных текстов: автореф. дисс. …
канд. техн. наук. – М., 2008.
35. Труб В.М. О возможном подходе к семантическому описанию
частей тела // Московский лингвистический журнал. – 2006. – Т. 8. –
№ 1. – С. 67-73.
36. Хохлова М.В. Экспериментальная проверка методов выделения
коллокаций // Slavica Helsingiensia 34. Инструментарий русистики:
Корпусные подходы. – Хельсинки, 2008. – С. 343-357.
150
37. Шаров С.А. Частотный словарь русского языка. 2002.
http://www.artint.ru/projects/frqlist.asp
38. Шерстинова Т.Ю. «Один речевой день» на временной шкале:
о перспективах исследования динамических процессов на материале
звукового корпуса // Филология. Востоковедение. Журналистика.
Серия 9. – СПб., 2009.
39. Atkins S., Clear J., Ostler N. Corpus Design Criteria. Literary and
Linguistic Computing. – 1992. – Vol. 7, No. 1. – Pp. 1-16.
40. Biber D., Conrad S., Reppen R. Corpus Linguistics. Investigating
language structure and use. Cambridge University Press, 1998.
41. Český národní korpus – úvod a příručka uživatele FF UK / Kocek,
J. – Kopřivová, M. – Kučera, K. – ÚČNK 2000.
42. Finegan E. LANGUAGE: its structure and use. – N.Y.: Harcourt
Brace College Publishers, 2004.
43. Johannessen J.B. Corpus linguistics or corpora in linguistics? //
NODALIDA 2005, the 15th Nordic Conference of Computational
Linguistics. Joensuu, Finland, May 20-21, 2005.
44. Johansson S. Some aspects of the development of corpus linguistics
in the 1970s and 1980s // Lüdeling A., Kytö M., eds. Corpus Linguistics.
An International Handbook. Volume 1. – Berlin & New York: Walter de
Gruyter, 2008. – Pp. 33-53.
45. Kilgarriff A. Web as corpus // Proc. of Corpus Linguistics 2001
conference (Lancaster University). – Lancaster, 2001. – Pp. 342-344.
46. Kytö M., Rissanen M. A language in transition: The Helsinki
Corpus of English texts, ICAME Journal, 1992. – 16: 7-27.
47. Lakoff G. Pronominalization, Negation, and the Analysis of
Adverbs // Jacobs & Rosenbaum, eds. Readings in English
transformational grammar, Ginn & Co, Waltham, MA, 1970. – Pp. 145165.
48. Leech G. The Distribution and Function of Vocatives in American
and British English Conversation // In Hasselgård and Oksefjell eds., 1999.
– Pp. 107-120.
49. Lüdeling A., Kytö M., eds. Corpus Linguistics. An International
Handbook. Volumes 1, 2. – Berlin & New York: Walter de Gruyter, 2008.
–
http://alknyelvport.nytud.hu/muhelyek/elte.../HSK-CorpusLinguistics.../file
50. McCarthy M.J. Discourse Analysis for Language Teachers. –
Cambridge: Cambridge UP, 1991.
151
51. McEnery T., Wilson, A. Corpus Linguistics. – Edinburgh:
Edinburgh University Press, 2001.
52. McWhinney B. The CHILDES Project: Tools for Analyzing Talk. –
Mahwah, NJ. Lawrence Erlbaum Associates. Third Edition, 2000. –
Vol. 1.
53. Meyer Ch. F. English Corpus Linguistics: An Introduction.
Cambridge: Cambridge University Press, 2002. – Xvi + 168.
54. Mitrofanova O., Zacharov V. Automatic Analysis of Terminology
in the Russian Corpus on Corpus Linguistics // Slovko-2009: NLP, Corpus
Linguistics, Cоrpus Based Grammar Research: Proceedings of Fifth
International Conference (Smolenice, Slovakia, 25-27 November 2009) / J.
Levicka, R. Garabik, eds. – Brno: Tribun, 2009. – P. 249-255.
55. Postal P.M. Cross-Over Phenomena. A Study in the Grammar of
Coreference // W.J. Plath (ed.), Specification and Utilization of a
Transformational Grammar. Scientific Report No. 3, 1-239. Yorktown
Heights, New York: IBM Corporation, 1968.
56. Postal P.M. On the Surface Verb ‘remind’ // Linguistic Inquiry,
1970. – 1, 37-120.
57. Sinclair J.M. Preliminary recommendations on text typology. 1996.
EAGLES
Document
EAG-TCWG-TTYP/P.
http://www.ilc.pi.cnr.it/EAGLES96/texttyp/texttyp.html
58. Stenström A-B., Andersen, G. More trends in teenage talk: A
corpus-based investigation of the discourse items cos and innit // C. Percy,
C. Meyer & I. Lancashire (eds). Synchronic corpus linguistics.
Amsterdam: Rodopi, 1996. – Pp. 189-203.
59. Svartvik J., Quirk R. A corpus of English Conversation. – Lund:
Gleerup, 1980.
60. Svartvik J. Directions in Corpus Linguistics. Procedings of Nobel
Symposium 92, Stockholm, 4-8 August 1991. – Berlin: Mouton de
Cruyter, 1992.
61. Virtanen T. Corpora and discourse analysis // Lüdeling A., Kytö M.,
eds. Corpus Linguistics. An International Handbook. Volume 2. – Berlin
& New York: Walter de Gruyter, 2008. – Pp. 1043-1070.
62. Wikipedia – http://en.wikipedia.org/wiki/
152
ПРИЛОЖЕНИЕ 1
Список национальных корпусов
Национальный корпус русского языка
http://ruscorpora.ru
70 млн. слов
Британский национальный корпус
http://www.natcorp.ox.ac.uk/ или
http://sara.natcorp.ox.ac.uk/
100 млн. слов
Венгерский национальный корпус
http://corpus.nytud.hu/mnsz/
100 млн. слов
Корпус испанского языка (исторический)
http://www.corpusdelespanol.org/
100 млн. слов
Корпус современного датского языка
http://www.korpus2000.dk/
50 млн. слов
Корпус современного итальянского языка
CORIS/CODIS
http://www.cilta.unibo.it/ricerca.htm
100 млн. слов
Корпус современного китайского языка (LIVAC
Synchronous Corpus)
http://www.rcl.cityu.edu.hk/livac/
720 млн. слов
(150 млн. иероглифов)
Мангеймский корпус немецкого языка (Institut für
Deutsche Sprache, Mannheim, Germany)
http://corpora.ids-mannheim.de/~cosmas/
1610 млн. слов
Национальный корпус словенского языка
http://www.fida.net/eng/
Более 100 млн. слов
153
ПРИЛОЖЕНИЕ 2
Список терминологических словосочетаний корпусной
лингвистики
Словокомплекс
Частота
корпус текстов
174
национальный корпус
93
корпусная лингвистика
74
семантическая разметка
54
морфологическая разметка
43
корпусные данные
31
разметка текста
30
параллельный текст
27
разметка корпуса
25
параллельный корпус
22
аннотировать корпус
18
частота встречаемости
17
разметить корпус
16
текстовый корпус
15
текстовой корпус
14
агиографический текст
13
корпус параллельных текстов
13
материал корпуса
13
разметить текст
13
семантический фильтр
13
синтаксическая разметка
13
ключевое слово
12
контекст употребления
12
морфологическая разметка текстов
11
частотный список
11
электронная библиотека
11
корпусное исследование
10
окно сверки
10
семантическая помета
10
154
объем корпуса
9
система разметки
9
автоматическая разметка
8
графическое слово
8
корпус современных текстов
8
лингвистический корпус
8
морфологическая разметка текста
8
параллельный корпус текстов
8
пользовательский интерфейс
8
контекстное окно
7
лингвистическая разметка
7
создание корпуса текстов
7
использование корпусных данных
6
пользователь корпуса
6
ручная разметка
6
диахронический корпус
5
коллекция документов
5
корпус стихотворных текстов
5
обучающая выборка
5
паспортизация текста
5
репрезентативность корпуса
5
собрание текстов
5
создание национального корпуса
5
автоматическая морфологическая разметка
4
внешняя разметка
4
корпус агиографических текстов
4
корпус деловой прозы
4
морфологический тег
4
псевдопараллельный текст
4
специальный корпус
4
формирование корпуса
4
характеристика корпуса
4
электронный корпус
4
155
язык семантической разметки
4
Термин
Частота
корпус
1233
разметка
331
корпусный
157
корпусной
154
коллокация
38
аннотирование
33
лемматизация
27
аннотация
23
конкорданс
23
паспортизация
5
156
ПРИЛОЖЕНИЕ 3
Граммемы
Attributes "pos" of the tag <ana>
С – существительное,
П – прилагательное,
Г – глагол в личной форме,
ПРИЧАСТИЕ – причастие;
ДЕЕПРИЧАСТИЕ – деепричастие,
ИНФИНИТИВ – инфинитив,
МС – местоимение-существительное,
МС-П – местоименное прилагательное,
МС-ПРЕДК – местоимениепредикатив,
ЧИСЛ – числительное
(количественное),
ЧИСЛ-П – порядковое числительное,
Attributes "gram" of the tag <ana>
мр, жр, ср – мужской, женский,
средний род;
од, но – одушевленность,
неодушевленность;
ед, мн – единственное,
множественное число;
им, рд, дт, вн, тв, пр, зв – падежи:
именительный, родительный,
дательный, винительный,
творительный, предложный,
звательный;
2 – второй родительный или второй
предложный падежи;
св, нс – совершенный,
несовершенный вид;
пе, нп – переходный, непереходный
глагол;
дст, стр – действительный,
страдательный залог;
нст, прш, буд – настоящее,
прошедшее, будущее время;
Н – наречиие,
пвл – повелительная форма глагола;
ПРЕДК – предикатив,
1л, 2л, 3л – первое, второе, третье
ПРЕДЛ – предлог,
лицо;
СОЮЗ – союз,
0 – неизменяемое.
МЕЖД – междометие,
кр – краткость (для прилагательных
ЧАСТ – частица,
и причастий).
ВВОДН – вводное слово,
сравн – сравнительная форма (для
дфст – слово обычно не имеет
прилагательных).
множественного числа,
имя, фам, отч – имя, фамилия,
опч – частая опечатка или ошибка,
отчество.
жарг, арх, проф – жаргонизм, архаизм, лок, орг – локативность,
профессионализм,
организация.
аббр – аббревиатура.
кач – качественное прилагательное.
157
ПРИЛОЖЕНИЕ 4
Британский национальный корпус: Основной набор тэгов
Ниже приведено краткое описание основного набора тэгов,
используемого для аннотации класса слова в Британском Национальном
Корпусе. Список извлечен из большего документа, A users’ guide to the
Grammatical Tagging of the BNC, с проектом которого можно ознакомиться на
сайте BNC.
Каждый тэг состоит из трех характеристик. Первые две характеристики
определяют общую часть речи, а третий используется, чтобы указать
подкатегорию.
Кодировка грамматических признаков
AJ0 Прилагательное (например, good, old, beautiful)
AJC Сравнительное прилагательное (например, better, older)
AJS Прилагательное превосходной степени (например, best, oldest)
AT0 Артикли (например, the, a)
AV0 Общее наречие: наречие, не подразделяемое классификацией как
AVP или AVQ (см. ниже) (например, often, well, longer (adv.), furthest)
AVP частица (например, up, off, out)
AVQ Wh-наречие (например, when, where, how, why, wherever)
CJC сочинительные союзы (например, and, or, but)
CJS Подчинительные союзы (например, although, when)
CJT Подчинительный союз that
CRD Количественные числительные (например, one, 3, fifty-five, 3609)
DPS Притяжательное местоимение (например, your, their, his)
DT0 Общее притяжательное местоимение
DTQ вопросительные слова, начинающиеся на Wh (например, which,
what, whose, whichever)
EX0 Местоимение there
ITJ Междометие или другое отдельное выражение (например, oh, yes,
mhm, wow
NN0 Имя нарицательное, неисчисляемое (например, aircraft, data,
committee)
NN1 Имя нарицательное в единственном числе (например, pencil, goose,
time, relevation)
NN2 Имя нарицательное во множественном числе (например, pencils,
geese, times, relevations)
NP0 Существительное, имя собственное (например, London, Michael,
Mars, IBM)
ORD Порядковое числительное (например, first, sixth, 77th, last)
PNI Неопределенное местоимение (например, none, everything, one [as
158
pronoun], nobody)
PNP Личное местоимение (например, I, you, them, ours)
PNQ Wh-местоимение (например, who, whoever, whom)
PNX Притяжательное местоимение (например, myself, yourself, itself)
POS притяжательный маркер или маркер родительного падежа 's или '
(например, 'Peter's or somebody else's', последовательность признаков: NP0 POS
CJC PNI AV0 POS)
PRF предлог of. Из-за его частоты и его почти исключительной
постноминальной функции, предлогу "of" назначен особый тэг.
PRP Предлоги (все кроме of) (например, about, at, in, on, on behalf of, with)
PUL Пунктуация: левая скобка [
PUR Пунктуация: правая скобка ]
TO0 Инфинитивная частица to
VBB формы глагола БЫТЬ (to be) в настоящем времени, за исключением
is, ' s: am, are, 'm, 're и be
VBD формы глагола, БЫТЬ (to be) в прошедшем времени (2-ая форма
глагола): was и were
VBG форма глагола, БЫТЬ с окончанием "-ing": being
VBI инфинитивная форма глагола, БЫТЬ: to be
VBN третья форма глагола БЫТЬ: been
VDB глагол, ДЕЛАТЬ (do): do
VDD форма прошедшего времени глагола ДЕЛАТЬ: did
VDG форма глагола ДЕЛАТЬ с окончанием "-ing": doing
VDI инфинитивная форма глагола ДЕЛАТЬ: to do
VDN третья форма глагола ДЕЛАТЬ: done
VDZ форма с "-s" в конце глагола ДЕЛАТЬ: does, 's
VHB инфинитивная форма глагола ИМЕТЬ: have, ‘ve
VHD прошедшая форма глагола ИМЕТЬ: had, 'd
VHG форма глагола ИМЕТЬ с окончанием "-ing": having
VHI инфинитивная форма глагола ИМЕТЬ: to have
VHN третья форма глагола ИМЕТЬ: had
VHZ глагол ИМЕТЬ в третьем лице единственном числе (-s): has, 's
VM0 Модальный вспомогательный глагол (например, will, would, can,
could, 'll, 'd)
VVB глаголы с лексическим значением (например, forget, send, live,
return)
VVD 2 и 3 формы глаголов с лексическим значением (например, forgot,
sent, lived, returned)
VVG форма -ing для лексических глаголов (например, forgetting, sending,
living, returning)
VVI инфинитивная форма для лексических глаголов (например, forget,
send, live, return)
VVN причастие II лексических глаголов (3 форма глагола) (например,
forgotten, sent, lived, returned)
VVZ форма -s лексических глаголов (наст. время; единств. число)
159
(например, forgets, sends, lives, returns)
XX0 отрицательная частица not или n't
ZZ0 Буквенные символы (например, A, a, B, b, c, d)
Коды, используемые для знаков пунктуации
PUL левая скобка (открывающая) «(» или «[»
PUN знаки пунктуации «.», «!», «,», «:», «;», «-», «?», «...»
PUQ знак кавычек
PUR правая скобка «)» или «]»
160
Учебное издание
Захаров Виктор Павлович
Богданова Светлана Юрьевна
КОРПУСНАЯ ЛИНГВИСТИКА
Учебник
Печатается в авторской редакции
Дизайн обложки: А.А. Куйдин
Подписано в печать 17.01.2011.
Поз.пл. № д/п 3. Тираж 500 экз.
ГОУ ВПО «Иркутский государственный лингвистический университет»
664025, г. Иркутск, ул. Ленина, 8
Отпечатано с готового оригинал-макета в типографии
161