Слайды в формате PowerPoint (6 Мб)

ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ
В ПСИХОЛИНГВИСТИКЕ
Ирина А. Секерина ▪ College of Staten Island ▪ CUNY
[email protected]
Московский семинар по когнитивной науке
28 апреля 2005
1
ПЛАН
Когнитивная наука и психолингвистика
 Психология и лингвистика
 Лингвистика и психолингвистика
Понимание как ведущее направление в
психолингвистике
Экспериментальные методы:
 Опосредованные и непосредственные методы
Запись движений глаз:
 Классический и новый методы
2
ПЛАН
Новый метод записи движений глаз
(бесконтактный): Visual world paradigm
 Аппарат для записи движений глаз (ISCAN
ETL-500)
Репрезентативные темы:
 1. Анализ предложения в процессе
понимания (английский и русский)
 2. Просодия и контраст (русский)
3
Когнитивная наука и психолингвистика
Когнитивная наука
Психология
Психолингвистика
Лингвистика
Вычислительная
лингвистика
Компьютерная
наука
Нейролингвистика
Когнитивная
нейронаука
4
Психолингвистика в широком смысле
Психолингвистика это междисциплинарная
наука, которая ставит своей задачей понять
следующее:
• как дети (и взрослые) усваивают язык;
• как они пользуются языком – понимание и
производство;
• каковы биологические предпосылки языка (язык
и мозг).
5
Психолингвистика в широком смысле
(1) Понимание и производство речи взрослыми
носителями языка:
 Речь идет о родном языке
 Взрослые без отклонений в языковом развитии
(2) Усвоение языка:
 Усвоение родного языка детьми
 Усвоение второго языка взрослыми (и детьми)
(3): (1) и (2) с использованием методов
когнитивной нейронауки
(4) Расстройства речи:
 Афазия и синдромы с расстройством речи (Дауна,
Уильямса)
 Возрастные расстройства речи
6
Психолингвистика в узком смысле
Психолингвистика в узком смысле
занимается изучением того, как нормальные
взрослые производят и понимают язык (и речь),
используя для этого экспериментальные методы,
позаимствованные из когнитивной психологии.
7
ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА
Лингвистика
Psycholinguistics
Психолингвистика
Понимание
Фонетика
Фонология
Морфология
Лекс. семантика
Семантика
Синтаксис
Восприятие
речи
Производство
Речевые
ошибки
Ментальный
лексикон
Анализ
предложения
Семантика/
8
прагматика
ПСИХОЛОГИЯ И ЛИНГВИСТИКА
(1) Исследование конкретного
явления:
Психология
Лингвистика
сенсорное восприятие структура языка
память
история языка
научение
усвоение языка
язык
использование
9
ПСИХОЛОГИЯ И ЛИНГВИСТИКА
(2) Выдвижение гипотезы или
разработка модели
(3) Сбор данных с целью проверки
гиотезы или модели
(4) Интерпретация полученных
результатов
10
ПОНИМАНИЕ
Каким образом нам удается вообще понимать
речь, которую мы слышим, или предложения,
которые мы читаем?
Как мы проникаем за поверхностные рамки, чтобы
воссоздать скрытую структуру каждого
высказывания?
Проблема: изучаемые объекты нельзя наблюдать
непосредственно, только опосредованно.
11
ПОНИМАНИЕ: ТЕМЫ
идентификация/распознавание слов;
лексический доступ к словарной статье
в ментальном лексиконе;
синтаксический анализ предложения в
процессе понимания.
12
ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ
1. Опосредованные методы (off-line):
 исследуют процесс понимания после того, как
он уже завершился;
 не связаны с записью времени реакции,
которое уходит на процесс понимания
(субъективная оценка информантов);
 нельзя измерить нагрузку на аппарат
понимания.
13
2. ЭКСПЕРИМЕНТАЛЬНЫЕ МЕТОДЫ
2. Непосредственные методы, или
операционные методы (on-line):
 Исследуют процесс понимания по мере того,
как он происходит;
 записывается время реакции (сколько
времени уходит у испытуемого на анализ);
 можно измерить нагрузку на аппарат
понимания.
14
ОПОСРЕДОВАННЫЕ МЕТОДЫ
Устная речь:
Письменный язык:
локализация щелчка
(click detection)
“метод расширения”
(gating)
опросники и анкеты
повтор предложения
заканчивание
предожения
15
НЕПОСРЕДСТВЕННЫЕ МЕТОДЫ
Устная речь:
Письменный язык:
МОНИТОРИНГ
-- фонемы
чтение с саморегуляцией
-- слога
скорости
-- слова
“лексическое решение”
“аудиторное
запись движений глаз
окно”
(классический вариант)
кросс-модальный прайминг
запись движений глаз
16
КАК ВЫБРАТЬ МЕТОД?
Область психолингвистики
Проверочная гипотеза
Существующая научная традиция
Лабораторные возможности
17
ЛИНГВИСТИКА И ПСИХОЛИНГВИСТИКА
Лингвистика
Psycholinguistics
Психолингвистика
Понимание
Фонетика
Фонология
Морфология
Лекс. семантика
Семантика
Синтаксис
Восприятие
речи
Производство
Речевые
ошибки
Ментальный
лексикон
Анализ
предложения
Семантика/
18
прагматика
ЗАПИСЬ ДВИЖЕНИЙ ГЛАЗ
Классический метод:
 Используется с 1970-х гг.
 Используется при чтении
 Контактный: Требуется иммобилизация
головы испытуемого
Новый метод:
 Используется с 1995 года
 Используется с устной речью
 Бесконтактный: Движения головы не
ограничены
19
ЧТО ИЗМЕРЯЕТСЯ?
Характеристики движений глаз:
 Саккады = движения глаз (30-50 мсек)
 Между саккадами глаза останавливаются =
фиксации (200-300 мсек)
Зависимые переменные:
 Длина саккад
 Длительность фиксаций
 Совокупность всех фиксаций
 Регрессивные саккады
20
КЛАССИЧЕСКИЙ МЕТОД
Rayner, K. (1998). Eye Movements in
Reading and Information Processing: 20
Years of Research. Psychological Bulletin,
124(3), 372-422.
21
НОВЫЙ МЕТОД: ISCAN ETL-500
Tanenhaus, M. K., & Spivey-Knowlton, M. J.
(1996). Eye-Tracking. Language and Cognitive
Processes, 11(6), 583-588.
22
ФИРМЫ-КОНКУРЕНТЫ
Borg Technologies, Inc.
23
ISCAN ETL-500
Демонстрация чтения с помощью данного
аппарата
24
ИСТОРИЯ БЕСКОНТАКТНОГО МЕТОДА
Бесконтактный метод записи движений
глаз стал активно использоваться в
психолингвистике с 1995 г.
Первые исследования опубликованы
группой Майкла Таненхауса и его
учениками (университет г. Рочестера,
штат Нью-Йорк).
25
ЛАБОРАТОРИИ
Rochester University (M. Tanenhaus)
University of Pennsylvania (J. Trueswell)
University of York (G. Altmann)
Brown University (J. Sedivy)
Cornell University (M. Spivey)
Michigan State University (F. Ferreira)
Harvard University (J. Snedeker)
26
РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1)
1. Анализ предложения в процессе
понимания: Присоединение предложной
группы
2. Семантика и референтность:
Прилагательные
3. Просодия и контраст (фокус)
4. Распознавание слова в устной речи
5. Морфология в парадигме визуального
мира
6. Двуязычие и ментальный лексикон
27
1. АНАЛИЗ ПРЕДЛОЖЕНИЯ
Tanenhaus, M. K., Spivey-Knowlton, M.
J., Eberhard, K. M., & Sedivy, J. C. (1995).
Integration of Visual and Linguistic
Information in Spoken Language
Comprehension. Science, 268(5217), 16321634.
Взаимодействие синтаксической
структуры и визуального контекста в
процессе устного понимания (временно)
многозначных предложений
28
ПРОЦЕСС АНАЛИЗА ПРИ ПОНИМАНИИ
В процессе слушания/чтения люди не
ждут конца предложения, чтобы начать
его понимать;
Интерпретация предложения
осуществляется поэтапно, но очень
быстро;
При этом мы постоянно пытаемся угадать
значение фразы во время ее анализа.
29
СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ
ГЛОБАЛЬНАЯ:
Мать любит дочь.
Чтение Маяковского продолжалось за
полночь.
Мужу изменять нельзя.
В публикациях такого рода данные
отсутствуют.
Иван Николаевич был направлен на завод
директором.
30
СТРУКТУРНАЯ МНОГОЗНАЧНОСТЬ
ВРЕМЕННАЯ:
Иван искал девушку в ...
... метро.
... платье.
Банки стимулируют...
... рост производства.
...обещания вернуть Финляндию.
31
ПРЕДЛОЖЕНИЯ “ЗАБЛУЖДЕНИЯ”
Garden-Path (“to lead down the garden
path”)
Иван искал девушку в ...
....метро.
...платье. *** (предложение заблуждения)
Банки стимулируют...
...рост производства.
....обещания вернуть Финляндию. ***
(предложение заблуждения)
32
ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ
Положите лошадку на полотенце.
Положите лошадку на полотенце в миску.
Присоединение ПГ1 на полотенце
временно многозначно:
Как указание места для глагола положите
Как модификация существительного лошадку
33
ПРИСОЕДИНЕНИЕ ПРЕДЛОЖНОЙ ГРУППЫ
Положите лошадку на полотенце...
-- Предпочтение отдается указанию места.
Положите лошадку на полотенце в
миску.
-- Временная многозначность снимается, и
необходимо перейти от интерпретации
места к интерпретации модификации.
34
ДИЗАЙН
35
ЭКСПЕРИМЕНТНЫЕ ФАКТОРЫ (1)
ВИЗУАЛЬНЫЙ КОНТЕКСТ:
1 РЕФЕРЕНТ
2 РЕФЕРЕНТА
36
РЕЗУЛЬТАТЫ
ЭКСПЕРИМЕНТАЛЬНЫЙ ФАКТОР (2):
 Временно многозначная структура:
Положите лошадку на полотенце в миску.
 Немногозначная структура:
Положите лошадку,которая на полотенце, в миску.
ЗАВИСИМЫЕ ПЕРЕМЕННЫЕ:
 Действия: Правильность выполнения (%)
 Движения глаз:
• Пробы, в которых есть движения глаз на пустое
полотенце (%)
• Временная разверстка движений глаз, мсек
37
КОНТЕКСТ: 1-РЕФЕРЕНТ
4
1 2
3
38
КОНТЕКСТ: 2-РЕФЕРЕНТ
2
1
39
ДЕЙСТВИЯ И ПРОБЫ
Ambiguous ("Put the frogadult
on the
napkin in the box.")
means
80
80
70
70
Looks to False Destination
(% of Trials)
Incorrect Action (% of Trials)
Unambiguous ("Put the frog that's on the...")
60
50
40
30
20
10
0
60
50
40
30
20
10
0
Unsupportive
1-Referent
Supportive
2-Referent
Context
Unsupportive
1-Referent
Supportive
2-Referent
Visual Context
40
2-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ
Proportion of Fixations
1
Target
Other
FD
CD
.8
.6
.4
.2
0
Time from onset of "put" (in 1/30 second ticks)
115
110
105
100
95
90
85
80
75
70
65
60
55
box
50
45
40
35
30
25
20
napkin
15
frog
10
5
-.2
0
Put
41
2-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ
1
.8
.6
Target
Other
FD
CD
.4
.2
0
Time from onset of "put" (in 1/30 second ticks)
115
110
105
100
95
90
85
80
75
70
65
60
55
50
box
45
40
35
30
25
napkin
20
15
frog
10
5
-.2
0
Put
42
1-РЕФЕРЕНТ, НЕМНОГОЗНАЧНОЕ
Proportion of Fixations
1
.8
.6
Target
Other
FD
CD
.4
.2
0
Time from onset of "put" (in 1/30 second ticks)
115
110
105
100
95
90
85
80
75
70
55
50
45
40
35
30
25
20
15
65
box
napkin
60
frog
10
5
-.2
0
Put
43
1-РЕФЕРЕНТ, МНОГОЗНАЧНОЕ
Proportion of Fixations
1
Target
Other
ID
CD
.8
.6
.4
.2
0
Time from onset of "put" (in 1/30 second ticks)
115
110
105
100
95
90
85
80
75
70
65
60
50
45
40
35
30
25
55
box
napkin
20
15
frog
10
5
-.2
0
Put
44
РУССКИЙ ВАРИАНТ
45
3 ГРУППЫ ИСПЫУЕМЫХ
Русскоговорящие:
 Взрослые: студенты филфака МГУ (январь
2003 г.), средний возраст 20.7 лет
 Дети: 4-6 лет, С.Петербург (июнь 2003 г.)
Двуязычные взрослые: студенты
Городского университета Нью-Йорка
46
3 ГРУППЫ ИСПЫУЕМЫХ
ПАДЕЖ, НЕМНОГОЗНАЧНОЕ:
 Положите лошадку на полотенце и в коробку.
 Положите лошадку на тарелку и в коробку.
ПАДЕЖ, МНОГОЗНАЧНОЕ
 Положите лошадку на полотенце в коробку.
 Положите лошадку на тарелке в коробку.
47
ВЫВОДЫ
Взрослые испытуемые обращают
внимание на контекст (визуальный).
Имеет место взаимодействие
синтаксической структуры и визуального
контекста в процессе понимания
(временно) многозначных предложений.
Можно избежать неправильного анализа
предложений “заблуждения”.
Гибкий характер процесса анализа
предложения.
48
КОНТРАСТИВНОСТЬ ПРИЛАГАТЕЛЬНЫХ
SEDIVY ET AL. (1999):
“Touch the pink comb…
Медленное время реакции:
“Now touch the yellow bowl.”
Быстрое время реакции:
“Now touch the yellow comb.”
НО: SEDIVY (2003) не удалось повторить результаты.
СЕМАНТИЧЕСКОЕ ОБЪЯСНЕНИЕ: выражение контраста
для цветовых прилагательных не является обязательным.
ПРАГМАТИЧЕСКОЕ ОБЪЯСНЕНИЕ: Можно придать
функцию контраста цветовым прилагательным, если
выбрать реальный предмет и изменить немаркированный
49
цвет: желтый банан  коричневый банан.
КОНТРАСТИВНОСТЬ И ПРОСОДИЯ
Можно ли вызвать (или усилить) функцию контраста при
помощи манипуляции лингвистических средств, например,
просодии?
НО: SEDIVY ET AL. (1999):
Манипуляция просодии не имела
успеха:
“Now touch the YELLOW comb”
“Now touch the yellow comb.”
50
ПОРЯДОК СЛОВ В РУССКОМ ЯЗЫКЕ
Можно вызвать необязательную функцию контраста для
цветовых прилагательных, когда прагматика позволяет
использовать синтаксическую конструкцию в сочетании с
контрастивной просодией.
ПРЯМОЙ ПОРЯДОК СЛОВ
Положите красную звездочку…
SPLIT WORD ORDER
Красную положите звездочку…
 Прагматика визуального контекста.
 Обязательно наличие контрастного ударения на одном
из 2ух компонентов: на ИГ или на прилагательном.
51
РУССКИЙ ЭКСПЕРИМЕНТ
ИСПЫТУЕМЫЕ
 24 студента филфака
СПбГУ
ЗАДАНИЕ
 Прослушать и
выполнить инструкции
по перемещению
картинок на доске
ДИЗАЙН
 Визуальный контекст х
Просодия
52
ВИЗУАЛЬНЫЙ КОНТЕКСТ
1-КОНТРАСТ
2-КОНТРАСТ
Несвязанные
контрастивные пары
Связанные
контрастивные пары
53
ДИЗАЙН
1-КОНТРАСТ
2-КОНТРАСТ
ПРОСОДИЯ:
КРАСную положите звёздочку в Позицию 4. Ранняя
Красную положите ЗВЁЗдочку в Позицию 4. Поздняя
54
РЕФЕРЕНТНАЯ МНОГОЗНАЧНОСТЬ
Существительные “звёздочка” и “птичка” создают
референтную многозначность, поскольку они оба красного
цвета и женского рода.
красную…
звёздочку
птичку
55
ЧЕГО СЛЕДУЕТ ОЖИДАТЬ?
 Испытуемые должны БЫСТРЕЕ выбрать правильную
картинку в ...
визуальном контексте с 1 контрастом, чем с 2 контрастами
Наличие ранней просодии на прилагательном должно
усилить этот эффект.
56
ПРОЦЕДУРА И АНАЛИЗ
ИНСТРУКЦИИ
‘Посмотрите на крест.
Красную положите звёздочку в Позицию 4.
Теперь положите зелёную лягушку в Позицию 3.’
3 ЗОНЫ для анализа движений глаз:
Прилагат. Глагол
Существит.
Красную положите звёздочку
57
ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка
2-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ
1
TARGET
COMPET
Probability of FIxations, %
.8
1
2
1
2
Нужно ждать существительного
Никакого взаимодействия с просодией
.6
.4
.2
0
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
Красную положите звёздочку
58
ДВИЖЕНИЯ ГЛАЗ: звёзочка - птичка
1-КОНТРАСТ, ОБА ТИПА ПРОСОДИИ
1
TARGET
1
COMPET
1
2
Преимущество звёздочки
.8
Probability of FIxations, %
2
Взаимодействие с
просодией в Прилаг. 2
.6
.4
.2
0
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
Красную положите звёздочку
59
1-КОНТРАСТ, РАННЯЯ ПРОСОДИЯ
.9
.8
.7
1
TARGET
COMPET
2
1
2
Преимущество звёздочки
Probability of FIxations, %
.6
.5
.4
.3
.2
.1
0
1
5
9
13
17
21
25
29
33
37
41
45
49
53
57
Красную положите звёздочку
60
1-КОНТРАСТ, ПОЗДНЯЯ ПРОСОДИЯ
1
TARGET
1
COMPET
Probability of FIxations, %
.8
2
1
2
Преимущества звёздочки нет
.6
.4
.2
0
1
5
9
13
17
21
25
Красную
29
33
37
41
45
49
53
57
положите звёздочку
61
Discussion
How do pragmatic and prosodic constraints interact
in resolving referential ambiguity during on-line processing
of contrastive constituents in RUSSIAN?
Both pragmatic properties of the visual context and
prosodic characteristics of spoken instructions
rapidly affect referential ambiguity resolution.
62
Contrastive Prosody
ENGLISH vs. RUSSIAN
The effect of contrastive prosody is not consistent in English:
it was found in some studies but not others.
Our Russian experiment demonstrated a strong effect of
contrastive prosody that emerged much earlier than in those
English studies that did find contrastive color effects
(Sedivy, 2003).
 In English, identification of the target referent was
shown to happen at 300 ms AFTER the onset of the
NOUN.
 In Russian, the target could be identified 500 ms
BEFORE the NOUN.
63
The Power of Russian
Why did some of English experiments fail to find the
effect of contrastive prosody in referential ambiguity
resolution compared to the Russian experiment?
The critical difference must lie in linguistic
instantiation of contrastiveness between the two
languages:
Contrast can be marked grammatically in Russian,
adding to effects of context and prosody.
64
Contrastiveness in English and Russian
CONTRASTIVENESS was instantiated by the following means:
ENGLISH:
 Pragmatics:
Visual context
 Prosody:
Contrastive stress
RUSSIAN
 Pragmatics:
Visual context
 Prosody:
Contrastive stress
 Grammar: Split
word order
construction
65
Referential Functions of Structure
IMPORTANT POINT: Our rapid effects of reference and
interpretation occur in a non-canonical structure:
Split Word Order
A complex structure is much easier to process when the
context supports its referential function.
Similar conclusions were drawn regarding non-canonical
structures in Finnish, where word-order conveys
informational status (Kaiser & Trueswell, in press)
SO… Non-canonical word orders serve specific
pragmatic and referential functions that can be deployed
in real-time.
66
РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (1)
1. Анализ предложения в процессе
понимания: Присоединение
предложной группы
2. Семантика и референтность:
Прилагательные и местоимения
3. Просодия и контраст (фокус)
4. Распознавание слова в устной речи
5. Морфология в парадигме визуального
мира
6. Двуязычие и ментальный лексикон
67
РЕПРЕЗЕНТАТИВНЫЕ ТЕМЫ (2)
СПЕЦИАЛЬНЫЕ ГРУППЫ ИСПЫТУЕМЫХ:
 Дети (The kindergarten-path effect: Studying on-line
sentence processing in young children. Trueswell, J.
C.; Sekerina, I. А.; Hill, N. M.; Cognition, 73(2), 1999.
pp. 89-134.)
 Аутисты (Visual fixation patterns during viewing of
naturalistic social situations as predictors of social
competence in individuals with autism. Klin, A., Jones,
W., Schultz, R., Volkmar, F., & Cohen, D. Archives of
General Psychiatry, 59, 2002. pp. 809-816.)
 Двуязычные взрослые и взрослые,
усваиваюшие второй язык.
68
СПАСИБО ЗА ВНИМАНИЕ!
Контактный электронный адрес:
[email protected]
69