Критерии осознанности в исследованиях имплицитного научения

Измерение осознанности. Старая проблема на новый лад.
Иванчей Иван Иванович, СПбГУ, ivancheyii@gmail.com
Морошкина Надежда Владимировна, кпсн, СПбГУ, moroshkina.n@gmail.com
Исследование поддержано грантом РГНФ № 10-06-00429а и грантом молодых ученых
факультета психологии СПбГУ № 8.23.456.2011
Исследование содержания сознания при решении испытуемым задач
различного рода было исторически первой задачей экспериментальной
психологии. Однако предложенный для этого метод экспериментальной
интроспекции вскоре был подвергнут серьезной критике, что впоследствии
привело многих психологов к полному отказу от исследований сознания и
использования субъективных отчетов испытуемых в качестве источника
научных данных. Но прошло менее ста лет, и психология вновь столкнулась
со старой проблемой. Однако теперь ученые-психологи обратились к
попыткам разработать приемлемый метод измерения осознанности, исследуя
бессознательное. Ведь для того, чтобы утверждать, что некие психические
процессы протекают на неосознанном уровне, необходимо каким-то образом
измерить содержание сознания и доказать, что наблюдаемое поведение не
может быть объяснено исходя из этого содержания. По этой схеме строятся
многочисленные исследования подпорогового восприятия [23], феноменов
функциональной слепоты [1], а также имплицитной памяти и имплицитного
научения.
Наиболее остро обозначенная проблема обсуждается в рамках
исследований имплицитного научения, где несовершенство имеющихся
методов приводит к оспариванию самого факта существования исследуемого
феномена. Согласно определению, предложенному А. Ребером, имплицитное
научение – процесс, посредством которого человек приобретает знание
непреднамеренно и при этом оказывается неспособен его эксплицировать,
т.е. ясно выразить это знание вербально [22]. Бурные исследования данного
феномена начались примерно полвека назад, когда сразу в нескольких
областях
когнитивной
психологии
были
описаны
схожие
1
эффекты
неосознанного приобретения знаний (см. обзор в [4]). Несколько ранее при
исследовании решения творческих задач Я. А. Пономарев обнаружил и
описал функционирование интуитивного знания, которое, по сути, является
аналогом имплицитного [3].
Имплицитное научение наблюдается в задачах, где человеку при
принятии решения приходится учитывать большое количество связанных
между собой параметров. К решению задач такого рода относятся многие
виды практической деятельности, например, постановка медицинского
диагноза, управление активами на фондовом рынке, а говоря шире – любые
задачи классификации с неопределенным заранее набором значимых
признаков. В лабораторных условиях исследование имплицитного научения
обычно проходит по следующей схеме. Испытуемому предъявляется набор
стимулов,
содержащий
некую
неявную
закономерность
(например,
последовательности из букв, созданные по определенным правилам). Задача
испытуемого состоит в том, чтобы научиться различать правильные
(грамматические) и неправильные (аграмматические) последовательности.
Затем его просят сформулировать правила, по которым были составлены
«грамматические» последовательности. Соответственно в ранних работах
А.Ребера и других авторов научение считалось имплицитным, если на уровне
поведения испытуемые демонстрировали успешность выше вероятности
случайного угадывания и при этом в своих вербальных отчетах не могли
верно сформулировать заложенное экспериментатором правило.
Формализация вербальных отчётов как критерия осознанного знания,
которым пользуется человек, была реализована в двух вариантах. В
стандартном эксперименте с искусственными грамматиками Мэтьюз и
коллеги
[16]
просили
своих
испытуемых
после
каждых
десяти
классификационных проб давать инструкцию, на основании каких признаков
нужно классифицировать строки. Таким образом, составлялись развёрнутые
инструкции по классификации от каждого испытуемого. Они и служили
вербальными отчётами, отражающими объём усвоенного в эксперименте
2
эксплицитного знания. От каждого испытуемого такая инструкция поступала
к новому участнику эксперимента, которому только на основании этой
инструкции нужно было классифицировать те же искусственные строки.
Новые испытуемые классифицировали строки правильно чаще случайного,
но при этом процент их правильных ответов был ниже, чем у тех
испытуемых,
которые
составляли
инструкцию.
Это
и
служило
доказательством того, что испытуемые приобрели знание, которое они не
могут передать другим людям, а значит, оно имплицитно. Второй вариант
формализации метода вербального отчёта осуществили Динес, Бродбент и
Берри [9]. Их испытуемые также составляли инструкции, но они попадали не
к новым испытуемым, а ложились в основу прямой симуляции поведения
испытуемого, основанной только на тех правилах, которые они сумели
вербализовать. В этом исследовании были получены такие же результаты:
симуляция даёт больше 50% правильных ответов, но значительно меньше,
чем первоначальные испытуемые.
Результатом первых исследований имплицитного научения стало
провозглашение могущества “Когнитивного бессознательного”, которому
стали приписывать чрезвычайно высокую сложность и скорость переработки
информации, во много раз превышающую возможности сознательных
процессов (см. например, [15]). В соответствии с этой точкой зрения
имплицитные знания представляют собой абстрактные правила, отражающие
взаимосвязи между целым комплексом значимых переменных [21, 22].
Однако вскоре данные положения стали оспариваться другими
исследователями, по мнению которых в основе имплицитного научения
лежит запоминание повторяющихся стимулов или их фрагментов [18].
Иными словами, испытуемый усваивает не абстрактное правило, которое
переносит на новые ситуации, а конкретные сочетания стимулов, на которые
ориентируется при выборе ответа в повторяющихся условиях. При этом
опросы испытуемого не показывают наличия у него осознанного знания,
поскольку делают неадекватный форме этого знания запрос. От испытуемого
3
требуют сформулировать правило, которому он научился, а он всего лишь
запомнил некоторый набор стимулов.
Развернувшаяся в научных кругах бурная дискуссия продолжается и по
сей
день,
стимулируя
все
новые
исследования
[4].
Сторонникам
абстрактности имплицитного знания удалось продемонстрировать эффекты
переноса имплицитных знаний на новые наборы стимулов [7], сторонники
альтернативной точки зрения доказали, что как минимум в ряде ситуаций
испытуемые действительно ориентируются на повторяющиеся фрагменты
стимулов, причем делают это вполне сознательно [19].
В последние годы на первый план вышел вопрос о способах измерения
степени осознанности знаний, получаемых в ходе научения [26]. Еще в
исследованиях подпорогового восприятия было показано, что прямые отчеты
испытуемых не являются достаточно точной процедурой измерения, так как,
с одной стороны, испытуемые склонны домысливать, т.е. реконструировать
собственные воспоминания, исходя из контекста эксперимента, а с другой
стороны
–
недооценивать
важность
некоторых
сведений
для
экспериментатора и не сообщать о них [17]. Кроме того, вербальные отчеты
испытуемых обычно ретроспективны, а значит, существует вероятность того,
что часть информации, которая была осознана в ходе выполнения заданий,
может быть забыта к началу постэкспериментального интервью. Иными
словами, вся критика, которая в свое время была направлена на метод
интроспекции, в полной мере может быть применена и к оценкам
осознанности знаний испытуемого, основанным на его вербальном отчете.
Проанализировав все критические замечания, выдвинутые против
вербальных
отчетов
и
их
вариантов,
Шенкс
и
Сент-Джон
[27]
сформулировали два критерия, которым должны удовлетворять хорошие
тесты осознанности:
 Информационный: тест должен обращаться ко всему знанию, на
котором основана эффективность испытуемого;
4
 Сенситивный: тест должен быть чувствительным к релевантному
эксплицитному знанию.
Для решения поставленной проблемы исследователи пошли по двум
путям: одни попытались усовершенствовать субъективные отчеты, другие
стали разрабатывать более тонкие поведенческие показатели и процедуры,
которые
бы
позволили
оценить
вклад
как
осознаваемых,
так
и
неосознаваемых процессов в результаты научения.
Эволюция субъективных критериев осознанности.
Сторонники субъективных мер осознанности Динес и Берри описали
два критерия, позволяющие, по их мнению, достаточно точно оценивать
статус знания, которым пользуется человек в экспериментах на имплицитное
научение [8]. Эти критерии основаны на оценке уверенности испытуемого в
своих решениях. Большинство экспериментов, направленных на изучение
имплицитного
научения,
состоят
из
множества
однотипных
проб
(классификация строк, моторная реакция на стимул и т.д.). Динес и Берри
предложили методику, в которой испытуемым необходимо оценивать
уверенность в своих ответах после каждой пробы. Анализ соотношения
уверенности и точности ответов позволяет, по мнению авторов, принимать
определённые решения. Если корреляция между точностью ответов и
уверенностью в них положительна, делается вывод о том, что в данном
опыте испытуемый использует некоторое осознанное знание. Этот критерий
был назван «критерием нулевой корреляции». Он позволяет констатировать
наличие осознанного знания, влияющего на решения испытуемого. Чтобы
определить вклад бессознательного в поведение человека в эксперименте,
применяется «критерий угадывания». Он заключается в анализе тех проб, в
которых испытуемый заявляет, что он даёт ответы наугад. Если на самом
деле оказывается, что эффективность испытуемого в этих пробах была выше
уровня случайного угадывания, делается вывод о том, что имело место
неосознанное приобретение знания и его использование. Так, в некоторых
5
экспериментах испытуемые настаивают на том, что они отвечают наугад, но
при этом выполняют задание с эффективностью в 90-100% [27].
Предложенные критерии базируются на теории «мыслей более
высокого порядка» [10, 25], согласной которой некоторое знание является
осознанным, только если мы можем сознательно размышлять о нём, то есть
можем дать себе отчёт о том, что данное знание есть и каково его
содержание. Соответственно, если у нас нет метакогниций такого рода,
знание является неосознанным.
Валидизация критериев обычно происходит следующим образом. В
эксперименте сравниваются результаты применения критерия и предсказания
выбранной автором исследования теории осознанной и неосознанной
обработки
информации.
Приведём
пример
применения
критериев,
основанных на оценке уверенности. Существует большое количество
экспериментальных данных, подтверждающих представление о том, что в
осознанной обработке информации существенную роль играет рабочая
память. Введение дополнительного параллельного задания затрудняет
приобретение осознанного знания, но никак не влияет на неосознанное [24].
Зиори и Динес в своём эксперименте [29] создали аналогичную ситуацию и
применили два описанных критерия: «критерий нулевой корреляции» и
«критерий угадывания». Перед испытуемыми стояла задача классификации:
они должны были обучиться относить стимулы к одной из двух категорий.
После каждой пробы испытуемый оценивал степень уверенности в своём
ответе, отмечая точку на шкале предполагаемой правильности принятого
решения (50% - 100%). Помимо основного задания одна из групп
испытуемых выполняла дополнительное: перед каждой классификационной
пробой испытуемому предъявлялась последовательность их шести цифр.
Ещё одна последовательность предъявлялась после классификационной
пробы. Дополнительное задание состояло в том, что испытуемый после
предъявления второй последовательности цифр должен был сказать,
6
отличалась ли она от той, которая предъявлялась перед классификационной
пробой.
Были получены следующие результаты. В группе, выполнявшей только
одно задание, средний рейтинг уверенности в успешных (правильная
классификация) и не успешных пробах различался достаточно сильно, в то
время как в группе с дополнительным заданием он не различался. Так как
«критерий нулевой корреляции» служит индикатором наличия осознанного
знания, авторы делают вывод о том, что в группе с дополнительным
заданием оно отсутствовало. В пробах, в которых рейтинг уверенности
равнялся 50%, испытуемые чаще случайного отвечали верно, что по
«критерию
угадывания»
свидетельствует
о
приобретении
в
ходе
эксперимента неосознанного знания. Причём процент успешных проб
оказался даже выше в группе с дополнительным заданием.
Совпадение
критериев,
с
результатов,
более
ранними
полученных
данными
с
помощью
служит
тестируемых
доказательством
их
эффективности, по мнению авторов описанного исследования. Другие
ученые утверждают, что критерии, основанные на измерении уверенности,
также обладают своими недостатками. Ранее Мерикл и Рейнгольд [17]
обратили внимание на то, что испытуемые могут говорить, что отвечают
наугад, но на самом деле, иметь некоторое осознанное знание. Зиори и Динес
в своём эксперименте пытались решить эту проблему, давая испытуемым
инструкцию отвечать «гадаю», только если их решение совершенно ни на
чём не основано.
Чтобы мотивировать испытуемых использовать все имеющееся у них
эксплицитное знание, в качестве альтернативы рейтингам уверенности был
предложен ещё один метод измерения осознанности — ставки на
собственный ответ [20]. Он заключается в том, что после каждого
экспериментального задания (пробы) испытуемый делает ставку
на
правильность его выполнения. В исследованиях Персо испытуемые делали
дихотомический выбор: низкая или высокая ставка. Мерой осознанности в
7
данном
критерии
является
общий
«выигрыш»,
который
получает
испытуемый после выполнения серии заданий.
Преимущество предложенного метода заключается в том, что, делая
ставку, испытуемый основывается на имеющемся осознанном знании, но при
этом не должен его вербализовать. К тому же, имея возможность выиграть
деньги (реальные или условные), испытуемый будет действительно
заинтересован в том, чтобы использовать всё имеющееся осознанное знание
для успешной ставки.
Несмотря на его относительную новизну к данному критерию уже
предъявлено большое количество претензий. Так, в его применении авторами
заложено предположение о дискретности состояний сознания: либо что-то
осознано, либо нет. Но если это не так, встаёт вопрос: при какой степени
осознанности начинать высокую ставку? И ответ на этот вопрос будет сильно
варьироваться от испытуемого к испытуемому [5]. Кроме того, в принятии
решения о ставке может играть роль уверенность в правильном ответе. И
вопреки идее авторов критерия, страх потерять деньги может заставить
испытуемого не проявить имеющееся у него осознанное знание, в котором он
не уверен [11] Ещё одним недостатком критерия может служить тот факт,
что в некоторых условиях могут существовать оптимальные стратегии
ставок, не связанные со степенью осознанности [5]. Таким образом, мы
видим, что критерий ставки на собственный ответ имеет много недостатков,
которые приходится учитывать при его применении.
Эволюция объективных мер осознанности.
Начиная с девяностых годов для оценки осознанности приобретённого
в эксперименте знания стали применяться дополнительные к основным тесты
со стимульным материалом. Есть несколько вариантов таких тестов:
 узнавание: определение предъявленной последовательности стимулов
как возможной или невозможной в выполнявшемся задании;
 генерация:
8
◦ продолжающая (inclusive): предсказание стимулов, которые были
или могли быть в задании;
◦ исключающая (exclusive): предсказание стимулов, которых не могло
быть в задании.
Первоначально
в
качестве
объективного
теста
на
наличие
у
испытуемых неких эксплицитных знаний использовалось узнавание. Однако,
как
справедливо
замечают
некоторые
исследователи,
результаты
неосознаваемой обработки информации почти всегда примешиваются к
результатам
сознательно
контролируемой
обработки,
выявляемым
с
помощью традиционных тестов, таких как свободное воспроизведение или
узнавание [13].
Для оценки вклада осознаваемых и неосознаваемых процессов была
предложена
Процедура
диссоциации
процессов.
Сначала
она
была
разработана и применёна Л. Якоби в исследованиях имплицитной памяти [13,
14], а затем стала применяться и в исследованиях имплицитного научения.
Данная процедура заключается в том, что испытуемых сначала просят
выполнить тест на дополнение слов, используя при этом ранее запомненные
стимулы (продолжающая генерация), а затем – снова выполнить тест на
дополнение слов, но, уже не используя ранее запомненные стимулы
(исключающая генерация). Предполагается, что знаниями, приобретенными
неосознанно, испытуемый не может управлять: какая бы инструкция ни
была,
в
его
сознании
всё
время
будут
непроизвольно
всплывать
обработанные ранее стимулы (такая автоматичность обработки информации
лежит
в
основе
запоминание
психической
было
интерференции).
неосознанным,
то
в
Следовательно,
тестах
если
продолжающей
и
исключающей генерации испытуемый покажет примерно одинаковые
результаты, а в случае осознанного запоминания результаты будут значимо
различаться.
Дестребек
и
Клирманс
адаптировали
процедуру
диссоциации
процессов к исследованиям имплицитного научения [6]. Эксперимент
9
проводился в парадигме заучивания последовательностей: испытуемому
последовательно предъявляются стимулы в одном из четырёх возможных
мест экрана. Задача испытуемого — нажать соответствующую месту
появления стимула клавишу. Последовательность стимулов подчинена
некоторой закономерности (как правило, это повторяющиеся паттерны
стимулов). Стандартный эффект имплицитного научения состоит в том, что
испытуемые начинают быстрее реагировать на появление стимулов, чем
контрольная группа, в которой стимулы предъявляются в случайном порядке.
Чтобы варьировать степень осознанности научения в задаче Дестребек
и Клирманс воздействовали на рабочую память испытуемых. Для этого они
изменяли временной интервал между ответом испытуемого на предыдущий
стимул и предъявлением следующего стимула. В первой группе этот
интервал был равен нулю, а во второй – 250мс. Предполагалось, что группа с
нулевым интервалом будет демонстрировать имплицитное научение, и в
отличие от второй группы не будет иметь осознанного знания о структуре
последовательности предъявленных стимулов.
Результаты эксперимента подтвердили выдвинутые гипотезы. В
продолжающем тесте генерации 40% стимулов, предложенных группой № 1
были в выполняемом ранее задании (при том, что 33% - уровень случайного
угадывания). В группе № 2 этот показатель равнялся 55%. В исключающем
тесте, в то время как группа № 2 сгенерировала 31% ранее предъявлявшихся
стимулов, снизив свой показатель более чем на 20%, группа № 1 выдала 35%
старых
стимулов.
То
есть
хотя
испытуемые
группы
№
1
и
продемонстрировали эффект научения в основной серии эксперимента, они
почти не имели контроля над полученным знанием и опирались на него в
тесте генерации непроизвольно.
Таким
образом,
процедура
диссоциации
процессов
оказалась
чувствительной к различиям имплицитного и эксплицитного знания,
получаемого в ходе научения последовательностям.
10
Заключение.
Анализ работ последних лет показал, что от попыток доказательства
существования феномена имплицитного научения и споров о том, является
ли научение в конкретной задаче имплицитным или эксплицитным, ученые
перешли к попыткам оценить вклад сознательно контролируемых и
неосознанных процессов переработки в общую эффективность. Это
потребовало от учёных построения более тонких экспериментальных и
диагностических процедур, основанных на регистрации как субъективных,
так и объективных данных.
Стали проводиться исследования, направленные на определение
факторов, влияющих на эффективность эксплицитного и имплицитного
научения в различных задачах. Основными факторами, сдвигающими баланс
неосознанных и осознаваемых процессов обработки информации в сторону
чисто имплицитного научения, является ограничение функционирования
рабочей памяти. Сокращение времени между ответом испытуемого и
предъявлением следующего стимула во многих экспериментах ведет к
снижению объёма осознанного знания, получаемого человеком, но никак не
влияет на неосознанное знание [12]. Введение дополнительного задания,
параллельного основному, вызывает аналогичный эффект [24]. Появились
данные, свидетельствующие о том, что введение дополнительного задания,
требующего сознательного контроля, может даже усиливать эффект
имплицитного научения [26]. Эти результаты согласуются с полученными
ранее при исследовании задач на переключение. В частности в наших
экспериментах было показано, что переключение сознательного контроля на
чередование арифметических операций способствует снижению количества
арифметических ошибок в простых вычислительных задачах [2].
В то же время можно констатировать, что некоторые вопросы пока
остаются без внимания исследователей. В частности, в большинстве работ
делается упор на разработку методов фиксации по возможности всех
эксплицитных знаний (метазнаний), способствующих научению. Однако
11
пока
не
нашли
своего
объяснения
случаи
формирования
ложного
эксплицитного знания, иногда сопровождающего имплицитное научение.
Данный вопрос вообще кажется нам мало изученным по понятным
причинам.
Поскольку
экспериментатор
точно
знает
о
неявной
закономерности, которую он заложил в свой стимульный материал, вопросы
постэкспеиментального интервью обычно направлены на прояснение именно
тех знаний испытуемого, которые ее отражают. Однако весьма вероятно, и
иногда это наблюдается в исследованиях, что помимо истинных знаний об
особенностях предъявленных стимулов, у испытуемых формируются и
ложные эксплицитные знания, происхождение которых остается неясным.
Подводя итоги, можно сказать, что наличие методических трудностей,
связанных
с
измерением
осознанности
знаний,
вернуло
ученых
к
необходимости решения фундаментальной проблемы – объяснению роли
сознания в процессе познания. И эта необходимость начинает осознаваться
исследователями все с большей и большей ясностью.
Список использованной литературы
1.
Кувалдина М.Б., Адамян Н. А.
Исследование неосознаваемой
переработки стимула при индуцировании слепоты по невниманию. (в
этом сборнике)
2.
Морошкина
мнемических
Н.В.,
задачах
Гершкович
и
В.А.
задачах
Сознательный
научения.
//
контроль
Вестник
в
Санкт-
Петербургского Университета. Серия 12: Психология. Социология.
Педагогика, 2008. — № 2. — С. 91-100
3.
Пономарёв Я. А. Психология творческого мышления. М., 1960.
4.
Cleeremans, A., Destrebecqz, A., & Boyer, M. Implicit learning: news from
the front. // Trends in Cognitive Sciences, 1998, 2(10), 587-590.
5.
Clifford, C., Arabzadeh, E., & Harris, J. Getting technical about
awareness. // Trends in Cognitive Sciences, 2008, 12(2), 54–58.
12
6.
Destrebecqz, A., & Cleeremans, A. Can sequence learning be implicit? New
evidence with the process dissociation procedure. // Psychonomic bulletin &
review, 2001, 8(2), 343-50.
7.
Dienes, Z., & Altmann, G. T. M. (1997). Transfer of implicit knowledge
across domains: How implicit and how abstract? // In D. C. Berry (Ed.), How
implicit is implicit learning? 1997, Vol. 5, pp. 107-123: Oxford University
Press.
8.
Dienes, Z. and Berry, D.C. Implicit learning: below the subjective
threshold // Psychonomic Bull. Rev., 1997, 4, 3–23.
9.
Dienes, Z., Broadbent, D. E., & Berry, D. C. Implicit and explicit knowledge
bases in artificial grammar learning. // Journal ofExperimental Psychology:
Learning, Memory, & Cognition, 1991, 17,875-887.
10.
Dienes, Z., & Perner, J. A theory of implicit and explicit knowledge. //
Behavioral and Brain Sciences, 1999 22, 735-808.
11.
Dienes, Z., & Seth, A. Gambling on the unconscious: A comparison of
wagering and confidence ratings as measures of awareness in an artificial
grammar task. // Consciousness and Cognition, 2010, 19, 2, P. 674-681.
12.
Frensch, P. A, & Miner, C. S. Effects of presentation rate and individual
differences in short-term memory capacity on an indirect measure of serial
learning. // Memory & Cognition, 1994, 22, 95-110.
13.
Jacoby L.L. A process dissociation framework: Separating automatic from
intentional uses of memory // Journal of memory and Language, 1991, No 30,
p. 513-541.
14.
Jacoby, L. L., Toth, J. P., & Yonelinas, A. P. (1993). Separating conscious
and unconscious influences of memory: Measuring recollection. Journal of
Experimental Psychology: General, 122, 139-154.
15.
Lewicki P., Hill T. & Czyzewska M. Nonconscious acquisition of
information. // American Psychologist, 1992, Vol. 47, No 6, p. 796-801.
16.
Mathews, R. C., Buss, R. R., Stanley, W. B., Blanchard-Fields, F., Cho, J.R., & Druhan, B. The role of implicit and explicit processes in learning from
13
examples: A synergistic effect. // Journal of Experimental Psychology:
Learning, Memory. & Cognition, IS, 1989, 1083-1100.
17.
Merikle P.M., & Reingold E.M. Measuring unconscious perceptual
processes. // In: Bornstein RF, Pittman TS (eds) Perception without awareness:
cognitive, clinical, and social perspectives, 1992, Guildford Press, New York,
pp 55–80.
18.
Perruchet P., Pacteau C. Synthetic grammar learning: Implicit rule
abstraction or explicit fragmentary knowledge? // Journal of Experimental
Psychology: General, 1990, 119, p. 264-275.
19.
Perruchet, P., Vinter, A., & Gallego, J. Implicit learning shapes new
conscious percepts and representations. // Psychonomic Bulletin & Review,
1997, 4, 43-48.
20.
Persaud, N., McLeod, P., & Cowey, A. Post-decision wagering objectively
measures awareness. // Nature Neuroscience, 2007, 10(2), 257–261.
21.
Reber, A.S. Implicit learning of artificial grammars. // Journal of Verbal
Learning and Verbal Behavior, 1967, 6, p. 855-863.
22.
Reber, A.S. Implicit learning and tacit knowledge: An essay on the cognitive
unconscious. New York, 1993.
23.
Reingold, E. M. & Merikle , P. M. Using Direct and Indirect Measures to
Study Perception Without Awareness. // Perception and Psychophysics, 1988,
44:563-575.
24.
Roberts, P. L., & MacLeod, C. Representational consequences of two modes
of learning. // Quarterly Journal of Experimental Psychology, 1995, 48A, 296–
319.
25.
Rosenthal, D.M. (2000).Consciousness, Content, and Metacognitive
Judgments. // Consciousness and Cognition, 9, 203-214.
26.
Sandberg, K., Timmermans, B., Overgaard, M., & Cleeremans, A.
Measuring consciousness: is one measure better than the other? //
Consciousness and cognition, 2010, 19(4), 1069-78.
14
27.
Shanks, D.R. and St John, M.F. Characteristics of dissociable human
learning systems // Behav. Brain Sci., 1994, 17, 367–447.
28.
Weiskrantz L. Consciousness lost and found. Oxford University Press,
Oxford, 1997.
29.
Ziori, E., & Dienes, Z. Subjective measures of unconscious knowledge of
concepts. // Mind & Society, 2006, 5(1), 105-122.
15