Интерфейс мозг-компьютер: тенденции и потенциал в

Интерфейс мозг-компьютер:
тенденции и потенциал
в технологиях,
науке и искусстве
Сергей Шишкин, к.б.н.
Курчатовский НБИК-центр
Биофак МГУ им. М.В.Ломоносова
5th International Brain Computer Interface Conference
(Sept. 22-24 2011, Graz, Austria)
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R. Wolpaw. Invited lecture at 5th Int. BCI Conference, Graz, 24
Oct. 2011.
• Что такое интерфейс мозг-компьютер (ИМК)
• ИМК и «выход мозга»
• Управление через внимание:
- руководство лабораторией через ИМК
- наши работы по ИМК
• Поиск новых приложений для ИМК
Лекции по ИМК на UniverTV.ru
• А.Я.Каплан. Интерфейс мозг-компьютер:
теоретическая коллизия, экспериментальная
парадигма, практическая необходимость или бизнеспроект? Школа «В будущее наук о мозге»,
06.11.2009.
http://univertv.ru/video/psihologiya/psihofiziologiya/shkola_v_buduwee_nauk_o_mozge_i_intellekte_1/interfejs_mozgkompyuter_teoretich
eskaya_kolliziya_eksperimentalnaya_paradigma_prakticheskaya_neobhod/?mark=all
• А.Я.Каплан. МКИ. Биотехническая
нейрокоммуникация на основе биотоков мозга: на
пороге новых открытий. Школа БиоН, 27.09.2010.
http://univertv.ru/video/biology/obwaya_biologiya/shkola_proekta_bion_bioekonomika_osnovannaya_na_znaniyah_politika_innovacionno
go_puti_razvitiya_biot/mki_biotehnicheskaya_nejrokommunikaciya_na_osnove_biotokov_mozga_na_poroge_novyh_otkrytij/
• Вадим Никулин. Экспериментальные методы в МКИ.
Школа БиоН, 27.09.2010.
http://univertv.ru/video/biology/obwaya_biologiya/shkola_proekta_bion_bioekonomika_osnovannaya_na_znaniyah_politika_innovacionno
go_puti_razvitiya_biot/eksperimentalnye_metody_v_mki/
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
ИМК - интерфейс между целостным
мозгом и компьютером.
Отличие ИМК от большинства
исследовательских техник
• Вместо статистического исследования достаточно
больших выборок - получение скорейшего отклика с
минимальной вероятностью ошибки.
→ Необходимо высокое соотношение «сигнал/шум»!
«Управляющие
компоненты»
сигнала
Стимулы
Задача
пользователя
Основные задачи пользователя, используемые в
современных неинвазивных ИМК
• Моторное воображение → десинхронизация и
синхронизация (ERD/ERS) в альфа- и бетадиапазонах.
• Внимание к мелькающему свету → потенциалы
стабильного состояния (steady-state visual evoked
potentials, SSVEP).
• Внимание к целевым стимулам → потенциалы,
связанные с событиями, в особенности волна Р300.
• Избирательное пространственное внимание без
использование стимулов - топографически
специфическое подавление альфа-ритма (группа
O.Jensen).
Пример: SSVEP BCI
Основное назначение современных ИМК
• «Протезирование» моторной функции у больных с ее
полным (locked-in) или значительным нарушением.
ИМК для здоровых: ожидания неспециалистов
• Свобода
– мысль → действие (без материальных ограничений!)
• Скорость
– без ущерба для точности и надежности
• Усиление мозга компьютером
– «счетные» операции, доступ к БД и т.п.
В обозримом будущем – невозможно!
Еще ожидания
• Резервное копирование памяти
• Перенос сознания
(без комментариев)
Скорость
срабатывания
интерфейса на
моторном
воображении
The time needed to
activate the gripper and
the cumulative sum of
activations for each of
the subjects and for all
four runs.
Horki et al. Med Biol Eng
Comput (2011) 49:567–577.
Может быть, прогресс замедляет малое
число инвазивных исследований?
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
→ Компьютер должен помогать не
только в «расшифровке» сигналов мозга,
но и в низкоуровневом управлении
движениями.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R. Wolpaw. Brain–computer
interfaces as new brain output pathways.
J Physiol 579.3 (2007) pp 613–619.
Wolpaw & Wolpaw, in press.
Новый выход мозга: что это?
Где его создать?
?
Требования к «выходу мозга»
?
Феномен, к которому можно «подключить» компьютер,
должен быть:
• Динамичным
• Он или его корреляты - доступными регистрации и
распознаванию, по возможности в single-trial
• Поддающимся управлению со стороны психики
• Частично или полностью свободным от других
функций
Существующие «выходы мозга» для ИМК
?
• Воображение (обычно моторное)
• Внимание (разные виды)
• Релаксация/напряжение
Отдельный класс: потенциалы, связанные с ошибкой.
Обусловливание, по-видимому, может дать и другие
«выходы» (Neumann et al., 2003 – при управлении с
помощью SCP; Kaplan et al., 2005 – неосознаваемый
цветовой ИМК; возможно, парадигмы Emotiv), но
лишь при длительном обучении.
Управление через внимание
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer
interface for long-term independent home use. Amyotrophic
Lateral Sclerosis
SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer
interface for long-term independent home use. Amyotrophic
Lateral Sclerosis
SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer
interface for long-term independent home use. Amyotrophic
Lateral Sclerosis
SELLERS, VAUGHAN, WOLPAW (2010) A brain-computer
interface for long-term independent home use. Amyotrophic
Lateral Sclerosis
Jonathan R.Wolpaw
Invited lecture at 5th Int. BCI
Conference, Graz, 24 Oct. 2011.
ИМК-игры: модель для поиска новых путей
развития ИМК и потенциальный тренажер внимания
Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. (2011) Calibration of
the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference
2011, Graz, pp. 256-259.
Высокая эффективность нового протокола
Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. (2011) Calibration of
the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference
2011, Graz, pp. 256-259.
ВАШЕ ВНИМАНИЕ ЖМЕТ НА
КНОПКИ! СМОЖЕТЕ ЛИ ВЫ
СТАТЬ ВНИМАТЕЛЬНЕЕ?
Конференция «Когнитивная наука в Москве: новые
исследования». Москва, 16 июня 2011 г.
Попытка улучшить управление вниманием с
помощью ИМК
• Однопробный режим (singletrial) – приближение
обратной связи к
«мысленному действию»
• Игровая задача,
обеспечивающая:
- постоянное тестирование
внимания
- эмоциональную обратную
связь
- стабильный интерес
• 4 сессии
Ганин, Шишкин, Каплан (2011)
Индивидуальные данные по 4 сессиям
Ganin I.P., Shishkin S.L., Kaplan A.Y. (2011) A P300 BCI with stimuli presented on moving
objects. In: Proceedings of the Fifth International BCI Conference 2011, Graz, pp. 308-311.
• Стабильный интерес
• Достаточная точность
• Но – нет роста точности – нет улучшения внимания
Как добиться эффекта?
•
•
•
•
Увеличить соотношение сигнал/шум
Увеличить число сессий
Усилить мотивацию испытуемых
Варьировать инструкции
В случае успеха → тренажер внимания.
Полет дизайнерской мысли
http://brain.bio.msu.ru/
http://www.youtube.com/moscowbci
http://www.neuroscience.ru/ > Блоги > SSh