Перспективы объективного исследования слуховои обработки речевых стимулов

Перспективыобъективного
исследованияслуховоиобработки
речевыхстимулов
VishakhaW.Rawool(профессораудиологии,отделениекоммуникационных
наукикоммуникационныхрасстройствЗападно‐Виргинского
Университета,Моргантаун,ЗападнаяВиргиния)
AudiologyToday,Jul/Aug2015
Один из способов изучения слуховой обработки речевых стимулов заключается в регистрации потенциалов, вызванных речевыми стимулами, и построении на их основе спектрограмм. Многие современные методики исследования обработки речевых стимулов основаны на повторении испытуемым услышанных стимулов, таких как слоги, слова или фразы. Стимулы предъявляются либо в неизмененном формате, но в сложных условиях прослушивания, например, дихотическое предъявление, либо в измененном формате, например, фильтрованная или сжатая во времени речь. Для того, чтобы пациент смог повторить речевой стимул, необходима активация сложной нейронной сети, точная работа которой требует правильной обработки сигнала с целью сравнения поступившего стимула со стимулами, хранящимися в памяти, и последующего речевого воспроизведения стимула. Нарушения любого из этих процессов могут привести к неточности ответа (рис. 1). Рис. 1: Гипотетическая возможность (выделена курсивом на черном фоне) объективного исследования слуховой обработки речевых стимулов на примере упрощенной модели реакции на слуховые стимулы. Специалисты, непосредственно работающие с пациентом, обычно комбинируют информацию, полученную из разных источников, включая речеязыковое исследование, с целью дифференциации проблем, связанных с нарушением слуховой обработки, и обусловленных другими факторами, такими как расстройства внимания или нарушение воспроизведения стимула. Однако, было бы неплохо иметь в своем арсенале методику, позволяющую объективно оценить эффективность или неэффективность слуховой обработки речевых стимулов. Расшифровкасигналовголовногомозгасцельюизучения
обработкиречи
Одним из возможных способов объективного исследования обработки речевых стимулов может стать регистрация потенциалов, вызванных речевыми стимулами, и построение спектрограмм, основанных на этой вызванной активности. В таком случае активность, вызванная речью, должна регистрироваться с поверхности ассоциативной слуховой коры в области верхней височной извилины с помощью непроникающих многоэлектродных массивов. Затем зарегистрированная активность декодируется для считывания и распознавания отдельных слов. Конкретнее, зарегистрированные нервные сигналы используются для построения спектрограмм с изменяющейся во времени спектральной энергией в диапазоне от 180 до 7000 Гц. Для проверки точности расшифровки построенная спектрограмма сравнивается со спектрограммой исходного речевого сигнала (Pasley и соавт., 2012). При таком подходе точность расшифровки зависит от ряда факторов, в том числе: 1. Точное размещение электродов в наиболее информативной области, а именно, задне‐
верхней височной извилине. 2. Регистрация информации в верхнем диапазоне гамма‐ритма (70‐170 Гц). 3. Достаточно большое число электродов. 4. Хорошее отношение сигнал‐шум (Pasley и соавт., 2012). Доступные коммерческие системы, например, Enobio (Neuroelectrics), обладают встроенной функцией спектрального анализа исходной ЭЭГ. Другиеобластиприменениярасшифровкисигналовголовногомозга
Помимо исследования слуховой обработки, регистрацию потенциалов головного мозга можно использовать у людей с синдромом "запертого человека", что позволит им выражать свои мысли посредством компьютера. Пациенты с этим синдромом обладают сохранным сознанием и чувствительностью, но не могут воспользоваться речевыми артикуляторами из‐за паралича. Им можно помочь, если использовать преобразование нервной активности в речь посредством нейрокомпьютерного интерфейса (BCI). Например, беспроводной внутрикорковый нейронный протез используется в настоящее время для восстановления речи у 26‐летнего мужчины с синдромом "запертого человека". У него электрод имплантирован на границе левой первичной и премоторной коры; эта зона, по‐
видимому, участвует в планировании устных высказываний. В данном случае используется специальный нейротрофический электрод, созданный для постоянной имплантации в мозг человека. Электрод состоит из полого стеклянного конуса, один из концов которого содержит три покрытых золотом тефлоновых провода, погруженных в фактор роста нервов. С противоположной стороны электрода находится разъем. Фактор роста нервов способствует прорастанию нейритов близлежащих нейронов в узкий конец стеклянного конуса. Через три‐четыре месяца после имплантации нейриты преобразуются в миелинизированные аксоны. Вросшие в конус электрода аксоны образуют тканевой мостик, фиксирующий электрод в ткани мозга (Bartels и соавт., 2008). Улавливаемые электродом нервные сигналы посылаются беспроводным путем в синтезатор речи, генерирующий речь в реальном времени (Guenther и соавт., 2009). Описанная выше технология была усовершенствована, что позволило регистрировать нервные сигналы без проникновения в ткани мозга (патент США № 7,187,967,В2). Под кожей черепа закрепляются два шурупа. Разностный потенциал усиливается и передается в приемник, связанный с компьютером, анализирующим сигналы (Kennedy, 2007). Факторы,препятствующиеобъективнымисследованиям
Существует ряд потенциальных препятствий на пути развития и практического применения описанных выше методик для исследования слуховой обработки. К их числу относятся необходимость выполнения экстракраниальной регистрации активности головного мозга, финансовые затраты и опасность создания технологий, позволяющих читать мысли. Ниже мы подробнее остановимся на этих опасениях. Экстракраниальнаярегистрацияактивностиголовногомозга
В описанных выше методиках применялась регистрация посредством интракраниальных электродов. Необходимо создать предпосылки для получения таких же данных с использованием экстракраниальных электродов или иных экстракраниальных методов. К перспективным направлениям развития относится создание новых эластичных электродных массивов, способных регистрировать нервную активность неинвазивным путем (Rawool, 2015). Эти электроды содержат кремниевые электронные компоненты, устойчивые к искривлению и обладающие механическими свойствами, сходными с кожей. Тесное соприкосновение подобных эластичных электродных массивов с кожей обеспечивает достаточную электрическую связь для выполнения высокоточных измерений с максимальным отношением сигнал‐шум. Эластичные, имитирующие кожу мембраны подобны нанесенному на кожу рисунку; при этом они содержат не только электродные массивы, но и электронные компоненты, источники питания и коммуникационные интерфейсы для подключения к компьютерам и иным внешним устройствам (Kim и соавт., 2011). Коммерческое производство таких "электронных татуировок" осуществляет компания MC10 Inc., выпускающая биоштампы, наносимые на кожу пользователя с помощью устройств, подобных обычным чернильным печатям. Полученные посредством этих технологий записи ЭЭГ можно синхронизировать с записями внешних звуковых событий, используя специальные приложения, например, AudioNote‐Notepad и Voice Recorder, позволяющие научить компьютер связывать конкретные звуковые сигналы с ЭЭГ, зарегистрированной в области височной извилины. Регистрациянервнойактивностиспомощьюразмещенныхвблизи
головыдатчиков
Существуют и другие способы регистрации нервных сигналов. Например, патент США № 6,011,991 описывает систему и способ отслеживания активности головного мозга с последующей беспроводной передачей информации (например, через спутник) в удаленный компьютер. Там образцы активности головного мозга сравниваются с предварительно записанными электрическими потенциалами мозга в поисках существенных совпадений. Существенные совпадения предварительно записанной и переданной активности головного мозга позволяют компьютеру установить, что именно пытается сказать человек. В этом случае датчики либо прикрепляют к коже черепа, либо размещают рядом с головой (Mardirossian, 2000). Многие люди с нарушением слуховой обработки могут распознавать речевые стимулы в тишине. Поэтому нервные сигналы, связанные с речевыми стимулами в тишине, могут использоваться для обучения компьютера распознаванию образцов ЭЭГ, связанных с конкретными словами. В дальнейшем можно записать нервную активность в ответ на предъявление слов при малой избыточности или в условиях реверберации, шума или дихотического прослушивания. В результате компьютер сможет определить, правильно ли мозг расшифровал слово или же оно было понято неправильно. Удаленныйнейромониторинг
Нейронные процессы можно регистрировать без датчиков и электродов, расположенных на черепе или вблизи него. Для этого нужно с помощью антенн направить в мозг два электромагнитных сигнала разной частоты (например, 100 и 210 МГц) под разным углом. Сигналы независимо проникают в череп и взаимодействуют друг с другом, формируя волну (например, 210 – 100 = 110 МГц), модулируемую электромагнитным излучением, создаваемым протекающими в мозге процессами. Таким образом, нейронная активность человека оказывается включенной в результирующий сигнал, который излучается в пространство и может быть зарегистрирован удаленной антенной. После этого сигнал подвергается демодуляции. В результате мы получаем запись активности головного мозга, которую можно усилить, отобразить на экране и проанализировать для отслеживания мыслительных процессов человека. Меняя угол сканирования и направленность антенн, можно просканировать весь мозг или отдельную его область (Malech, 1976). Передаваемые в мозг электромагнитные сигналы можно поддерживать на достаточно низком уровне во избежание перегрева тканей мозга. Финансовыезатраты
Некоторых специалистов беспокоит стоимость многоэлектродных массивов. На самом деле, в нейро‐гейминге и других приложениях виртуальной реальности успешно используются относительно недорогие массивы электродов. С их помощью регистрируются сигналы мозга пользователя, позволяющие приспособить игру к эмоциональному состоянию игрока – скуке, разочарованию, удовольствию. Некоторые компании, например, NeuroSky и Emotiv, предлагают недорогие устройства, основанные на регистрации ЭЭГ, и соответствующие программные продукты для дальнейшего усовершенствования игровых приложений. Обратите внимание на краудсорсинговый проект под названием "Запертый в собственном мозге: Устройство для чтения мыслей NeuroSky iOS". Идея заключается в регистрации возникающих в мозге волн, что позволит компьютеру "читать мысли" пользователя. Проект предполагает создание коммуникационных приложений для людей с травматическими повреждениями головного мозга, церебральным параличом, рассеянным склерозом и амиотрофическим боковым склерозом. Для считывания волн головного мозга и передачи их в мобильное устройство (iPhone, iPad, Android) используется недорогой ($129) интерфейс в форме наушников. Специалисты NeuroSky надеются, что сочетание возможностей iPad и считывателя ЭЭГ позволит создать простое коммуникационное приложение, способное помочь людям, утратившим возможность говорить. Еще один пример – устройство Muse, позиционируемое создателями в качестве тренажера мозга. Muse улавливает активность мозга и передает ее по Bluetooth в планшет или смартфон для формирования слуховой и зрительной обратной связи. Несмотря на то, что в устройстве используются 7 датчиков ЭЭГ, оно стоит всего лишь около $300. Боязнь"чтениямыслей"
Одним из препятствий на пути объективной оценки слуховой обработки речевых стимулов является потенциальная возможность создания технологий чтения мыслей. А отсюда следует опасность похищения интеллектуальной собственности непосредственно из мозга. Звучит как научная фантастика и, тем не менее, следует помнить об этом при разработке подобных средств. Известно, что некоторые игровые приложения виртуальной реальности могут похищать секретную информацию пользователя, например, ПИН‐коды банковских карт (Martinovic и соавт., 2012). Однако, это вряд ли остановит дальнейшую разработку таких технологий, т.к. они могут оказаться весьма востребованными в некоторых сегментах общества. 1. Развлечения (нейро‐развлечения) и игры (нейро‐игры). Первое практическое применение касается индустрии развлечений. Многие пользователи современных технологий с удовольствием делятся частной информацией в соцсетях, например в Facebook. Они вполне могут заинтересоваться интерфейсами "мозг‐компьютер", невзирая на их стоимость и возможные риски. Хорошим примером таких нейро‐развлечений сможет служить MindPlay. В процессе игры это устройство отслеживает активность мозга игрока или зрителя посредством надетого на голову ободка. Сигналы мозга передаются в компьютер, после чего игра или фильм адаптируются к происходящим в мозге процессам. Например, в зависимости от способности зрителя следить за ходом действия и принимать мысленные решения, фильм "Большой побег" предусматривает 5 взаимодействий зрителя с героями, 6 различных концовок и 10 альтернативных схем развития сюжета. 2. Здоровье и благополучие. Как уже было отмечено, некоторые технологии позволят людям, лишенным возможности устного общения, выражать свои мысли посредством интерфейсов "мозг‐компьютер". Кроме того, они смогут мысленно управлять вспомогательными устройствами. Например, парализованный человек сможет дать команду поднести стакан с напитком к своему рту. Не исключено также положительное влияние новых технологий на когнитивные способности. В качестве примера можно привести приложение MindLight, представляющее собой видеоигру, предназначенную для детей с тревожными расстройствами в возрасте 8‐12 лет. Игра включает специальные коррекционные методики (например, обратная связь и десенсибилизация), помогающие детям преодолеть свои страхи. 3. Научные исследования. Нейротехнологии можно использовать для изучения таких состояний, как заикание и афазия. Например, при нейрогенном заикании может возникнуть нарушение плавности/равномерности обработки сигнала. Регистрируя ЭЭГ, ученые могут установить, на каком именно этапе происходит это нарушение и назначить соответствующие коррекционные методики. Если плавность нарушается в тот момент, когда заику просят повторить сказанное, наиболее эффективными окажутся методики улучшения слуховой обработки. Если же нарушение плавности связано с этапом передачи сигнала в моторные зоны речеобразования, надо сосредоточиться именно на двигательной тренировке. Подробную информацию о научных разработках в этой сфере можно найти на сайте конференции Brain Tech, проходившей в Израиле в 2013 году: http://conference.israelbrain.org/conference/videos. 4. Военное, оборонное (нейро‐война) применение и предотвращение преступлений. Возможность "чтения мыслей" позволит выявлять скрытые намерения развязывания войны, терроризм и т.п. В качестве примера можно привести проект Агентства перспективных оборонных исследовательских проектов США (DARP) под названием "Выявление и категоризация аномалий", представленный в рамках Решений малого бизнеса в области инновационных исследований (SBIR, 2011). Основная цель этого проекта – выявление подозрительного и злонамеренного поведения для устранения его вредоносных последствий. Еще одна возможная область использования нейромониторинга – компьютерная коррекция последствий ошибочного восприятия команд. Например, если пилот получил команду развернуть самолет на 90 градусов, но не расслышал ее и собирается развернуться на 80 градусов, специальный шлем, регистрирующий волны его мозга, исправит ошибку и повторит правильный вариант команды (Pasternak, 2000) или же передаст правильную команду в компьютер, который сам развернет самолет на 90 градусов. 5. Юридические вопросы. В ряде случаев размеры материальной компенсации за нарушение слуха частично определяются способностью работника разбирать речь. Воздействие промышленных ототоксических веществ может не только привести к кохлеарной патологии, но и вызвать первичное или вторичное нарушение слуховых проводящих путей, ведущее к дефициту слуховой обработки (Rawool, 2012). Таким образом, в ряде случаев работник может утверждать, что он плохо понимает речь. Невозможно подтвердить или опровергнуть это заявление, если просто попросить человека повторять предъявляемые речевые стимулы. Работник вполне может намеренно не реагировать на стимулы или повторять их с ошибками. В таких случаях неоценимую услугу окажет регистрация ЭЭГ на уровне коры головного мозга, т.к. это позволит подтвердить нарушение обработки речи. Данные сканирования мозга уже используются для подтверждения энцефалопатии, вызванной токсичными растворителями, и исключения других возможных причин патологии мозга. В 1998 году суд Массачусетса отклонил претензию истца к доказательной достоверности фотонной эмиссии и подтвердил, что фотонная эмиссия является надежным и достоверным средством диагностики энцефалопатии, вызванной токсичными растворителями. В 1995 году суд Чикаго оставил в силе решение, касающееся использования данных позитронно‐
эмиссионной томографии и МРТ для исключения дополнительных факторов в развитии энцефалопатии, вызванной марганцем. 6. Нейромаркетинг. Нейромониторинг можно использовать с целью маркетинга. Занимающиеся нейромаркетингом фирмы могут регистрировать реакцию мозга на различную продукцию или рекламу, чтобы установить, является она положительной или отрицательной. Например, изучались возможности фМРТ в прогнозировании популярности музыки. В одной из работ регистрировали фМРТ у 14 девочек и 13 мальчиков в возрасте 12‐18 лет при прослушивании 15‐секундной записи песни относительно неизвестных музыкантов. Дети также оценивали узнаваемость и привлекательность музыки. В следующие три года отслеживалась популярность этой же песни на основании продаж. Оказалось, что количество продаж коррелирует с активностью вентрального ядра полосатого тела (одна из расположенных в мозге зон поощрения), но не связано с субъективной оценкой привлекательности. Полученные результаты доказывают, что нейронные реакции небольшого числа людей могут предсказать будущие продажи в масштабах всей популяции. Например, при пороговом значении успешности продаж, равном 15'000 единиц товара, можно правильно классифицировать 80% потенциально неудачных и 30% потенциально удачных образцов товара. Потенциально неудачным товарам соответствует достаточно низкая активность в зонах поощрения головного мозга. Одной из гипотетических причин невозможности прогнозирования будущих продаж на основании исходной субъективной привлекательности товара может быть необходимость эффективного использования когнитивных стратегий при формировании суждения, включая эффективную слуховую обработку стимулов. При этом нужно соотнести прослушиваемую песню с уже известными песнями и предсказать ее будущую постоянную привлекательность при повторном прослушивании. Напротив, реакции мозга могут быть обусловлены подсознательными процессами, в меньшей степени зависящими от когнитивных способностей (Berns, Moore, 2012). Авторы предположили, что средства нейровизуализации способны помочь звукозаписывающим фирмам эффективнее использовать маркетинговые ресурсы, учитывая что лишь около 10% новых продуктов бывают прибыльными (Vogel, 2007). Защитаотнеэтичного/преступногоудаленногонейромониторинга
Повышение осведомленности о существовании удаленного нейромониторинга и принятие этого обстоятельства могут привести к созданию стратегий защиты от него. Примером может служить создание более эффективного защитного снаряжения в ответ на появление более смертоносного огнестрельного оружия. Член Французской комиссии по атомной энергии Denis Le Bihan на заседании Французского национального биоэтического комитета в 1998 году признал, что "мы почти научились читать мысли людей" с помощью технологий визуализации. Эта угроза была воспринята весьма серьезно. Было проведено научное исследование, целью которого являлась разработка возможных мер предосторожности (Butler, 1998). C тех пор прошло более 15 лет. Осведомленные читатели наверняка знают о современном состоянии вопроса. По словам Zack Lynch, основателя и исполнительного директора американской Промышленной организации нейротехнологий (NIO), "конфиденциальность мозга, т.е. право защиты собственных мыслей от проникновения извне" может стать одной из ведущих гражданских свобод нашего века (Lynch, 2013). После рассекречивания технологий чтения мыслей появятся юридические права по защите мыслей, позволяющие принимать меры по защите от перехвата сознательных и даже подсознательных мыслей без ведома индивидуума. Аналогичным образом появится встроенная защита видеоигр, использующих сенсорные или нейро‐игровые платформы, от взлома и проникновения в мозг игрока с целью похищения конфиденциальной информации. Заключение
Высока вероятность появления в ближайшем будущем экономически эффективных, объективных и более точных подходов к исследованию обработки речи в слуховой системе. Это обусловлено следующими причинами: 1. Усовершенствование существующих технологий позволит реконструировать спектрограммы корковых реакций на речевые стимулы с последующим их сравнением со спектрограммами исходных слов, использовавшихся в качестве стимулов. Близкое их совпадение будет свидетельствовать об эффективности обработки речи. 2. Появление гибких эластичных датчиков (биоштампов), состоящих из электродов, источника питания, электронных и коммуникационных компонентов для связи с компьютерами и иными устройствами. 3. Доступность нейромониторинга путем размещения датчиков, регистрирующих электромагнитное излучение, вблизи или вокруг головы. 4. Доступность экономически эффективных технологий благодаря массовому спросу на нейро‐игровые приложения. К преимуществам использования новых технологий можно отнести: 1. Объективное исследование восприятия речи в разном возрасте (от новорожденных до взрослых). 2. Объективное исследование восприятия речи у работников, претендующих на материальную компенсацию в связи с нарушением разборчивости речи, вызванным условиями труда. 3. Понимание процессов, лежащих в основе обработки речи на корковом уровне. 4. Разработка встроенной защиты нейро‐игровых платформ для предотвращения их взлома и проникновения в мозг игрока с целью похищения конфиденциальной информации. 5. Разработка юридических прав защиты собственных мыслей (конфиденциальность мозга). Литература