Распознавание типа решаемой в уме задачи по нескольким
advertisement
ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Г.А. ИВАНИЦКИЙ Институт высшей нервной деятельности и нейрофизиологии РАН, Москва geivanit@aha.ru РАСПОЗНАВАНИЕ ТИПА РЕШАЕМОЙ В УМЕ ЗАДАЧИ ПО НЕСКОЛЬКИМ СЕКУНДАМ ЭЭГ С ПОМОЩЬЮ ОБУЧАЕМОГО КЛАССИФИКАТОРА Аннотация Разработана методика распознавания типа решаемой человеком когнитивной задачи по коротким единичным записям энцефалограммы (ЭЭГ), основанная на оценке пространственно-частотного распределения ритмов мозга. Распознавание осуществлялось с помощью простой двухслойной искусственной нейросети «Pattern Associator». Данная работа имела своей целью показать, что: 1. Выполнение в уме задач различного типа сопровождается перестройками ритмов ЭЭГ. 2. Характер ритмических рисунков, возникающих в результате этих перестроек, специфичен для каждого типа мыслительных задач и для каждого испытуемого. 3. Признаки характерных ритмических рисунков для данного испытуемого устойчивы во времени и воспроизводимы (сохраняются на протяжении, по крайней мере, нескольких месяцев). 4. Эти признаки хорошо выражены, что дает возможность на основе минимума показателей, полученных в результате предварительной обработки нескольких секунд ЭЭГ, распознавать тип решаемой задачи с помощью обучаемого классификатора. 5. Обучаемый классификатор также позволяет решать обратную задачу – находить характерные для данного типа задач признаки ЭЭГ. С его помощью также можно проводить очистку исходной выборки записей ЭЭГ и извлекать из нее подвыборку типичных записей. Методы Было проведено две серии экспериментов. В первой серии участвовали пять здоровых испытуемых, правшей, мужского пола, в возрасте от 21 до 41 года, средний возраст 32 года. Запись ЭЭГ велась по 14 каналам (F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5, T6). Сигналы были оцифроУДК 004.032.26(06) Нейронные сети 217 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 ваны с частотой опроса 200 Гц и в последующем хранились в памяти компьютера. Испытуемым предъявлялись на экране монитора задачи двух типов – арифметические и пространственные. В первом случае нужно было в уме произвести арифметические действия, во втором – найти из трех фигур такую, которая при совмещении с помеченной образовывала бы квадрат (рис. 1). Решив задачу, испытуемый произносил ответ (число или цвет искомой фигуры) и нажимал кнопку. Задачи появлялись в случайной последовательности со случайными в пределах от 10 до 20 с интервалами; время выполнения задач не было ограничено. Всего во время эксперимента испытуемый решал около 70 задач каждого типа. Из общего непрерывного массива записи ЭЭГ данного испытуемого выбирались отрезки, соответствующие решению задач в уме, и отрезки, соответствующие интервалам между предъявлением задач (несколько секунд перед предъявлением). Для дальнейшей обработки брались только отрезки ЭЭГ свободные от неглазодвигательных артефактов, а от глазодвигательных производилась отстройка. Выбранные отрезки формировали выборку данных испытуемого, которая случайным образом разделялась на две подвыборки – обучающую и конРис. 1. Примеры заданий трольную. Все отрезки ЭЭГ были затем подвергнуты предварительной обработке согласно методам, перечисленным в табл. 1. Предобработка имела целью редуцировать число показателей, соответствующих одному отрезку ЭЭГ. Полученные таким образом вектора (размерностью от 1 до 4326, в зависимости от метода) служили входами обучаемых классификаторов. Использовались два их типа: двухслойная нелинейная искусственная нейросеть с обучением по дельта-правилу [Rumelhart et al., 1986] и система линейных уравнений. Последняя могла быть, в зависимости от размерности векторов, недоопределенной или переопределенной и решалась обобщенной инверсией с требованием, соответственно, минимальной нормы решения или наилучшего квадратичного приближения правой части. УДК 004.032.26(06) Нейронные сети 218 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 Таблица 1 Методы предобработки № Описание метода предобработки 1 Общая (суммарная по всем каналам) мощность отрезка ЭЭГ в диапазоне 5 – 20 Гц Общая мощность отрезка ЭЭГ в диапазонах , , и (5 8, 8 - 13, 13 - 20 Гц) Распределение мощности по каналам (карта мощности) в диапазоне 5 – 20 Гц Распределения мощности по каналам (карты мощности) в диапазонах , , и То же, что № 4, но каждая карта нормирована на свое максимальное значение Коэффициенты кросс-корреляции между каналами в диапазонах , , и Квадраты модуля преобразования Фурье от отрезка ЭЭГ (единичные спектры) в диапазоне 5 – 20 Гц для всех каналов 2 3 4 4’ 5 6 Кол-во параметров, описывающих отрезок ЭЭГ 1 3 14 42 42 273 4326 Классификатор обучался по учебной выборке и затем тестировался по контрольной на три класса: решение в уме арифметической задачи, решение в уме геометрической задачи и состояние ожидания предъявления задания неизвестного типа. Обучение и тестирование проводились отдельно для каждого испытуемого и для каждого метода предобработки. Показателем успешности классификации служил процент правильно распознанных паттернов в контрольной выборке. Классификатор состояний был также применен для очистки исходной выборки записей и извлечения из нее ядра, состоящего из наиболее типичных записей. В ходе процедуры очистки классификатор вначале обучался, как обычно, по учебной выборке. После тестирования контрольной выборки неправильно распознанные записи выбрасывались из нее, и она становилась обучающей выборкой, а бывшая обучающая – контрольной. После исключения неправильно распознанных записей из нее, она вновь становилась обучающей, и т.д. Этот итеративный процесс продолжался до сходимости, т.е. до момента, когда при переходе к очередной итерации УДК 004.032.26(06) Нейронные сети 219 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 обучения-тестирования новых плохих записей не обнаруживалось. Сумма оставшихся учебной и контрольной выборок и считалась ядром исходной выборки. Во второй серии экспериментов особое внимание было уделено уравниванию физических свойств стимула, сложности задач и характера ответа испытуемого. В ней приняли участие 13 испытуемых. Во второй серии экспериментов особое внимание было уделено уравниванию физических свойств стимула, сложности задач и характера ответа испытуемого. Использовались два типа задач: пространственная (сходная с задачей в первой серии, но немного упрощенная: с тремя фигурами на поле) и абстрактно-вербальная. В последнем случае испытуемому предлагалось определить, есть ли противоречие в высказывании типа: «Саша старше Пети и младше Васи, а Вася старше Пети и Саши». В обоих типах задач испытуемый отвечал движением джойстика вправо или влево без произнесения ответа. Классификатором служила нейросеть. На ее вход подавались единичные спектры 14 каналов ЭЭГ в частотном диапазоне 5-20 Гц (метод № 6 в таблице). Вторую серию опытов отличали два важных дополнительных момента. Во-первых, в поток предъявляемых заданий были включены задания повышенной сложности (четыре фигуры более сложной формы или более разветвленное логическое утверждение). Вовторых, с каждым из испытуемых был проведен повторный эксперимент спустя 3-6 месяцев после первого. Нейросеть всегда обучалась по отрезкам ЭЭГ, соответствующим решению простых задач в первом опыте. Распознавались же отрезки ЭЭГ, соответствующие, как простым, так и сложным задачам; как из первого, так и из второго опыта. Результаты Среднее время решения задач и в первой, и во второй серии было приблизительно одинаковым (11,0 и 9,2 с для пространственной и арифметической задач в первой серии; 7,8 и 6,9 с для (простых) пространственной и логической – во второй). Это косвенно свидетельствует о приблизительно равной трудности заданий двух типов. На рис. 2 показана зависимость процента правильного распознавания данных контрольной выборки в зависимости от метода предобработки в первой серии опытов. Из рисунка видно, что устойчивая классификация на уровне 85 % в среднем по испытуемым и состояниям достигается, начиная с метода № 4. Этот метод производит максимальную редукцию входных данных при сохранении информации и о частотных, и о проУДК 004.032.26(06) Нейронные сети 220 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 странственных свойствах ЭЭГ. Таким образом, в основе классификации лежит пространственно-частотное распределение ритмов мозга, устанавливающееся при выполнении данного типа задания. 100 90 80 70 60 50 40 30 20 10 0 А 1 2 3 4 4' 5 6 Арифм. 35 30 Простр. Б 25 20 Ожидание 15 10 5 0 1 2 3 4 4' 5 6 Рис. 2. А. Средний по испытуемым процент правильного распознавания контрольной выборки для трех состояний испытуемого (два типа задач и состояние ожидания). Б. Разброс между испытуемыми (среднеквадратичное отклонение) процента правильного распознавания. По оси абсцисс – номер метода в соответствии с таблицей 1. По оси ординат – процент правильного распознавания (А) или разброс этой величины (Б) Применение системы линейных уравнений вместо нейросети в качестве обучаемого классификатора не изменило результатов принципиально, но уменьшило процент правильной классификации, который в среднем по испытуемым и состояниям был в этом случае равен 78 % (для метода предобработки № 6). Очевидно, преимущество нейросети состоит в ее нелинейности и итеративном характере обучения. Во второй серии экспериментов интересно было узнать, насколько воспроизводимы и сохранны во времени характерные для данного типа задач и данного индивида пространственно-частотные паттерны ЭЭГ. Интересно также было выяснить, насколько сильно признаки типов задаУДК 004.032.26(06) Нейронные сети 221 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 ний выражены во время решения усложненных задач. Для тестовых данных, полученных в тот же день, что и обучающие, средний по всем испытуемым и обоим (пространственная и логическая) типам задач процент правильной классификации составил 87 % для простых и 89 % для сложных задач. Для данных, полученных через 3-6 месяцев, эта величина составила, соответственно, 81 и 89 %. Из приведенных цифр видно, что признаки, во-первых, сохранны во времени и, во-вторых, сильнее выражены при решении усложненных задач. Обсуждение Итак, нами выяснено, что в процессе выполнения испытуемыми когнитивных заданий в их энцефалограмме появляются характерные ритмические паттерны. Паттерн образуется изменением пространственночастотного рисунка ритмов ЭЭГ и исчезает сразу после окончания выполнения задания (в промежутке между заданиями устанавливается свой собственный паттерн «ожидания»). На протяжении выполнения задания характерные ритмы носят, однако, тонический характер. Этот вывод получен в результате дополнительного исследования, в котором анализируемые отрезки ЭЭГ выбирались из разных частей процесса решения задачи; при этом окончательный результат (процент правильного распознавания контрольных данных) существенно не изменился. Наблюдаемые характерные ритмические паттерны в высокой степени специфичны для каждого типа задач и для каждого индивида. Они воспроизводимы и сохранны во времени на протяжении, по крайней мере, нескольких месяцев. Можно сказать, что способность к установлению определенных ритмических паттернов при определенного рода когнитивных нагрузках составляет индивидуальный энцефалографический портрет личности. Возникает вопрос о физиологической природе возникающих перестроек ритмов мозга. Рядом авторов изучался вопрос о роли ритмов различных частот в базовых физиологических процессах. Ритмы верхнего тетадиапазона (5-8 Гц) связывают с эмоциональным состоянием испытуемого [Ильюченок и др., 2001]; верхнего тета- и нижнего альфа-диапазона (59,5 Гц) с лимбико-кортикальным взаимодействием и, как следствие, с эпизодической памятью и фазическим вниманием [Klimesch, 1997; Başar et al., 1997]. Ритмы верхнего альфа-диапазона (10-13,5 Гц) с внутрикорковыми межмодальными процессами [Petsche et al., 1997], а нижнего бетадиапазона – со специальными когнитивными операциями, как, например, УДК 004.032.26(06) Нейронные сети 222 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 пространственное вращение или семантическое кодирование [Николаев, 1994]. Анализ классифицирующих весов, найденных искусственной нейронной сетью в процессе обучения, показал, что наибольший вклад в распознавание типа решаемых задач дают ритмы альфа-диапазона. С учетом наблюдаемой тонической природы этих ритмов, можно сделать предположение, что при различных типах выполняемых заданий на все время когнитивного усилия у испытуемых устанавливаются различные моды фазического внимания и обращения к процедурной памяти, а также «включается» различный эмоциональный фон, что и служит основой классификации. Такой «спектр» привычных тонических неспецифических психических процессов оказывается, однако, в высшей степени специфичным для каждого типа мышления и каждого конкретного индивида. Более специфические процессы (такие, как семантическое кодирование или пространственное вращение) все же дают свой вклад в классификацию. В дополнительных исследованиях во второй серии экспериментов проводили распознавание, раздельно используя только тета-диапазон частот (3-8 Гц), только альфа- (8-13 Гц) и только нижний бета-диапазон частот (13-18 Гц). Процент правильного распознавания был, соответственно, 72; 82 и 61 %, т.е. во всех случаях ниже, чем при использовании широкого частотного диапазона (87 %). Тем не менее, результат для бета-диапазона находится на пороге достоверно неслучайной классификации (59,6 % для N = 70 и p = 0,05). Искусственная нейронная сеть осуществляет взвешенную оценку одновременно многих признаков классифицируемого сигнала, что повышает ее помехоустойчивость. Вместе с выраженностью ритмических признаков, это делает возможным распознавание типа решаемой человеком мыслительной задачи по коротким отрезкам записи электрической активности мозга – практически в реальном времени. Разработанная технология может найти применение в сложных системах человек-машина, в частности при пилотировании космических аппаратов. Исследование поддержано грантом РГНФ № 05-06-06-215а, программой Президиума РАН «Фундаментальные науки – медицине», программой ОБН РАН «Интегративные механизмы регуляции функций в организме». Список литературы 1. Rumelhart D.E., Hinton C.E., Williams R.J. (1986) Learning representations by back-propagating errors // Nature. v. 323, p. 533-536. УДК 004.032.26(06) Нейронные сети 223 ISBN 5-7262-0634-7. НЕЙРОИНФОРМАТИКА – 2006. Часть 3 2. Ильюченок И.Р., Савостьянов А.Н., Валеев Р.Г. (2001) Динамика спектральных характеристик тета- и альфа-диапазонов ЭЭГ при негативной эмоциональной реакции // Журн. высш. нервн. деят. т. 51, с. 563-571. 3. Klimesch W. (1997) EEG-alpha rhythms and memory processes // Int. J. Psychophysiol. v. 26, p. 319-340. 4. Başar E., Schürmann M., Başar-Eroglu C., Karakaş S. (1997) Alpha oscillations in brain functioning: an integrative theory // Int. J. Psychophysiol. v. 26, p. 5-21. 5. Petsche H., Kaplan S., von Stein A., Filz O. (1997) The possible meaning of the upper and lower alpha frequency ranges for cognitive and creative tasks // Int. J. Psychophysiol. v. 26, p. 77-97. 6. Николаев А.Р. (1994) Исследование этапов мысленной ротации сложных фигур методом картирования внутрикоркового взаимодействия // Журн. высш. нервн. деят. v. 44, с. 441-447. УДК 004.032.26(06) Нейронные сети 224
