Мы используем файлы cookies для улучшения работы сайта НИУ ВШЭ и большего удобства его использования. Более подробную информацию об использовании файлов cookies можно найти здесь, наши правила обработки персональных данных – здесь. Продолжая пользоваться сайтом, вы подтверждаете, что были проинформированы об использовании файлов cookies сайтом НИУ ВШЭ и согласны с нашими правилами обработки персональных данных. Вы можете отключить файлы cookies в настройках Вашего браузера.

  • A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

«Перспективно, хотя и звучит фантастично»: Ольга Драгой — о реконструкции речи и будущем нейротехнологий

«Перспективно, хотя и звучит фантастично»: Ольга Драгой — о реконструкции речи и будущем нейротехнологий

© Высшая школа экономики

Весной 2023 года в Высшей школе экономики стартовал пятый стратегический проект в рамках программы «Приоритет-2030» — «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде». Он объединяет ученых из всех кампусов университета. Какие технологии уже сегодня создают нейроисследователи, что их вдохновляет, как строятся междисциплинарные прикладные работы, «Вышка.Главное» узнала у одного из руководителей стратпроекта, директора Центра языка и мозга НИУ ВШЭ Ольги Драгой.

От фундаментальных исследований к помощи

Думаю, что все мы, кто в этом году стал частью большой команды стратегического проекта, подошли в исследованиях к той точке, когда интересно попробовать создать что-то прикладное, инструменты и разработки, которые могут помочь людям прямо сейчас. Наш центр уже начал их делать: летом мы запустили первое приложение Вышки в RuStore для диагностики речевых расстройств у детей (КОРАБЛиК — Клиническая оценка развития базовых лингвистических компетенций). Это результат пятилетнего фундаментального труда и потом еще нескольких лет попыток воплотить результат в удобное приложение. 

В рамках стратегического проекта «Устойчивый мозг» Центр языка и мозга ведет два больших направления. Первое посвящено нейроинтерфейсам и цифровым инструментам для коррекции речевых расстройств. За 10 лет, которые центр работает в Вышке, мы многое поняли о том, как различные нарушения устроены у взрослых и детей. Теперь мы готовы предлагать инструменты для их коррекции. С технологической точки зрения это, конечно, вызов: приходится многое изучать заново, находить новых партнеров. В рамках второго направления мы работаем над созданием клинических протоколов для восстановления речи после инсульта посредством совмещения стимуляции мозга и научно обоснованных программ логопедической коррекции. 

Нейроинтерфейсы на основе электроэнцефалографии (ЭЭГ)

В этом году мы начали сотрудничество с Лабораторией прикладных нейротехнологий Института Чен (Китай). Там группа профессора Гервина Шалка разработала упрощенную ЭЭГ-систему с четырьмя электродами. Для сравнения: обычно таких электродов в аналогичных системах 64 и более. Прибор размером с телефон крепится на голову и считывает электрическую активность мозга. На его основе мы разрабатываем нейрокомпьютерный интерфейс для терапии нарушений речи (афазии) на русском языке. Уже создана схема терапии, подобран и запрограммирован лингвистический материал для нее, сейчас мы совмещаем наши программные наработки с ЭЭГ-системой.

© Высшая школа экономики

Эта разработка позволит врачам и пациентам заниматься коррекцией аномии. Аномия — самый частый симптом при любых видах афазий, при которой человек испытывает сложности с подбором слов в спонтанной речи и в номинации (назывании): может сказать вместо слова «чехол» — «коробка» или произнести не «чехол», а похожее слово «чучело».

Вместо громоздких и дорогостоящих установок, шапочек с десятками электродов, сложных алгоритмов мы предлагаем компактное и довольно простое в применении устройство.

Уже этой зимой мы проведем апробацию с участием здоровых людей, следующий год займет работа с пациентами, к концу 2024-го должен быть результат — готовый программно-аппаратный комплекс, который сможет использовать любой врач в своей практике.

«Перспективно, хотя и звучит фантастично»

При некоторых нейрогенных повреждениях человек не может произнести ни слова, но  способен проговаривать слова и предложения про себя, то есть его внутренняя речь остается сохранной. Причины этого могут быть разные: нарушения проводящих путей, атрофия артикуляторного аппарата и другие.  

Один из возможных способов помочь таким пациентам — электродные решетки. Во время операции их размещают на коре головного мозга, что позволяет регистрировать электрические сигналы мозга, которые затем с помощью языковых моделей переводят в звуки или в письменный текст. 

Во всем мире сейчас идет работа по расширению словарей, обучающих модели машинного обучения не на отдельных словах, а на предложениях. Первыми  свои результаты опубликовали ученые из Великобритании три года назад, они научились распознавать 50 отдельных слов. До чтения мыслей еще далеко, но это первый шаг. Лингвистические модели помогут расширению словаря и переходу от однословной реконструкции к предложениям. В этой области мы сотрудничаем с компьютерными лингвистами из Вышки, с командой Ольги Ляшевской, автора частотного словаря русского языка.

© Высшая школа экономики

Звучит как фантастика, но эксперименты уже проводятся, и достигнут определенный  прогресс. Пока основная проблема всех таких технологий — скорость. Нейропротезы, созданные на основе инвазивной ЭЭГ, очень медленные и сложные для рутинного использования в практике.

Я вижу огромную фундаментальную пользу в исследованиях в этой области. Мы говорим о технологии, для которой не нужно моторное усилие. Благодаря вживлению электродов в кору головного мозга с помощью специальных алгоритмов мы сможем реконструировать речь. Причем не только в звучащей форме, ее можно закодировать единицами и нулями и передать другому человеку, отправить куда угодно. Мне кажется, это перспективно, хотя и звучит фантастично. Но если получится, то мы сможем передавать внутреннюю речь без слов, создадим новый канал коммуникации.

Я не знаю, согласятся ли здоровые люди вживлять себе электроды. Необходимо, чтобы сначала этот канал коммуникации показал свою эффективность для пациентов, нуждающихся в ней. Горизонт моих ожиданий, связанный с этой технологией, — 10–20 лет.

Подготовка к фантастическим технологиям — картирование речи

А пока мы занимаемся подготовкой к этим фантастическим технологиям. Мы учимся точно и быстро опознавать электрическую активность головного мозга, связанную с различными аспектами речи.

Над этим мы работаем параллельно с командой Центра биоэлектрических интерфейсов Алексея Осадчего. Проводим исследования с пациентами, которым по медицинским показаниям вживлены в мозг решетки электродов. Пациенты выполняют различные речевые задания (называют рисунки, повторяют слова, слушают тесты), а мы картируем, где именно возникает электрический сигнал, связанный с этой языковой работой. Наша команда нейролингвистов разрабатывает речевые парадигмы (лингвистические задания), которые позволят эффективно картировать речь в разных участках мозга. Мы сопоставляем речевые карты по каждому заданию и понимаем, какой аспект речи реализуется в различных отделах мозга — лобной доле, или височной, или теменной.

Терапия как игра 

Также вместе с лингвистами ВШЭ мы создали терапевтическое планшетное приложение-игру для преодоления аномии (тех самых частых проблем c подбором слов) у пациентов после инсульта. Пациент видит на планшете рисунки, задача — назвать их. В случае правильного ответа на экране стрела летит в цель; если ответ не совсем верен, стрела попадает рядом с целью; если пациент совсем ошибся — летит мимо.

© Высшая школа экономики

Такая тренировка с обратной связью лежит в основе любой грамотной терапии. Но даже в самых продвинутых клинических учреждениях лечение длится три недели, а наше приложение можно скачать и заниматься сколько угодно. Пока это единственное в мире игровое приложение, нацеленное на преодоление речевых расстройств.

Помощь людям с инсультами через стимуляцию мозга

Часть нашей команды во главе с Ольгой Буйволовой работает над восстановлением речи с помощью неинвазивной стимуляции головного мозга — электрической (микрополяризация) либо транскраниальной магнитной стимуляции (ТМС). Особый интерес вызывают инсульты левого полушария, где преимущественно локализована речь, — именно его повреждения вызывают афазию. 

При инсульте происходит дисбаланс активности между полушариями. Работа левого полушария подавляется, а правое по законам природы, наоборот, перевозбуждается. Еще лет 20 лет назад ученые выдвинули идею, что можно затормозить активность правого полушария и тем самым вернуть активность в работающие зоны левого полушария. Это очень привлекательная идея, и большинство ученых в нее верит. Но на деле помогает она 50% пациентов. Вопрос — почему? Мы выдвинули гипотезу, что успех или неудача зависит от количества сохраненного мозгового вещества в левом полушарии. При одном объеме поражения возврат этой активности может быть продуктивен и эффективен, а при другой нет.

© Высшая школа экономики

Чтобы найти ответ на этот вопрос, мы исследуем эффективность восстановления левого полушария в зависимости от остаточного языкового субстрата. Метрикой этого остаточного языкового субстрата выступает объем дугообразного пучка, вокруг которого строится вся языковая система.

Дугообразный пучок соединяет речевые отделы во лбу с виском и с теменем. Есть горячая гипотеза, что индивидуальные речевые зоны находятся ровно там, куда приходит в кору этот пучок. То есть он не просто так туда приходит, а чтобы соединить одну речевую зону с другой и обеспечить работу всей речевой сети. А значит, структура отражает функцию.

Мы хорошо знаем анатомию пучка, поэтому, измерив с помощью трактографии его остаточный объем (в кубических миллиметрах), мы сможем обоснованно говорить, имеет ли смысл проводить этот вид терапии конкретному пациенту.

Сейчас мы проводим клиническое испытание с группами пациентов с разными объемами дугообразного пучка. В одной группе идет настоящая терапия со стимуляцией, во второй — терапия без стимуляции, в третьей пациенты получают только стимуляцию. Это позволит нам понять, что выступает главным фактором успешного восстановления речи — объем оставшегося языкового вещества в левом полушарии, наличие ТМС или наличие логопедической терапии. И как только мы это узнаем, можно будет превращать наши наработки в технологию — внедрять клинический протокол лечения афазии с четким указанием, кому она поможет, а кому нет.

Робот Гэри рекомендует

Мы создали робота Гэри и назвали его в честь Гэри Селдона, умеющего предсказывать будущее персонажа писателя-фантаста Айзека Азимова. В его основе модель машинного обучения. Она подбирает новости исходя из поведенческих метрик пользователей на портале Вышки.

Не волнуйтесь, мы не собираем для этого персональные данные.

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации). Подробнее…

«Вместо компьютерных игр изучайте математику, комбинаторику, числа Каталана»

В начале ноября прошел финал ИТ-чемпионата True Tech Champ от МТС, собравшего более 12,5 тысячи школьников, студентов и молодых специалистов. Победителем трека «Алгоритмическое программирование» стал студент факультета компьютерных наук (ФКН) НИУ ВШЭ Александр Бабин.

19 ноября

Как обеспечить себе место в магистратуре НИУ ВШЭ заранее

1 декабря состоится вебинар «В магистратуру Вышки без экзаменов», на котором представители университета расскажут о проектах преднабора, дающих преференции при поступлении в магистратуру. Мероприятие ориентировано на студентов и выпускников бакалавриата/специалитета, заинтересованных в дальнейшем обучении. Для участия требуется регистрация.

13 ноября

НИУ ВШЭ открывает прием заявок на юбилейную Ясинскую конференцию

Высшая школа экономики объявила о приеме заявок с научным докладом на XXV Ясинскую (Апрельскую) международную научную конференцию. Программа конференции ориентирована на пять научных тем по проблемам развития экономики и общества, сохранит междисциплинарность и будет открыта для участия ведущих ученых России и мира. Основные мероприятия XXV ЯМНК пройдут в Москве с 15 по 18 апреля 2025 года.

18 ноября

Путь девушек в IT: исследование Яндекс Образования и НИУ ВШЭ

Более четверти студентов образовательных проектов Яндекса — девушки, и их количество с годами растет. Наибольшее число женщин учится на совместных с вузами бакалаврских и магистерских программах (41%) и в сервисе онлайн-образования Практикум (42%). В Школе анализа данных их доля составляет 36%, в Лицее 24%. С целью выяснить, что помогает девушкам на пути в IT, Яндекс Образование и НИУ ВШЭ провели исследование «Факторы, способствующие профессиональному закреплению женщин в IT».

21 ноября

Вам также может быть интересно:

«Мы создаем медицину будущего»

Доктор Гервин Шолк — профессор Фуданьского университета в Шанхае, партнер Центра языка и мозга НИУ ВШЭ в рамках стратегического проекта «Устойчивый мозг». Доктор Шолк известен как создатель универсальной некоммерческой программы для интерфейсов мозг — компьютер BCI 2000. В своем интервью он рассказал о современных нейроинтерфейсах, методах реабилитации после инсульта, новом подходе к нейрохирургии и поделился своим взглядом на будущее нейротехнологий.

Речевая (не)норма: в Вышке представили инструменты для оценки ментальных проблем

Зачастую люди с неврологическими и психическими расстройствами обладают определенными особенностями речи. В современной клинической практике могут быть востребованы цифровые инструменты, позволяющие проводить речевую терапию и реабилитацию при нарушениях речи. Кроме того, в перспективе цифровые инструменты способны помочь медикам оценивать тяжесть симптоматики таких расстройств.

«Можно что-то сделать? Или меня отчислят?»: ИИ-помощники в образовании

Искусственный интеллект может значительно облегчить жизнь студентов и преподавателей университетов. Например, он способен автоматизировать некоторые учебные процессы, а также составить прогноз возможностей трудоустройства выпускников.

Стратегии роста: как корпорациям добиться антихрупкости в период турбулентности

Школа финансов факультета экономических наук НИУ ВШЭ 7 ноября представила подготовленную группой ученых и практиков финансового управления коллективную монографию «Российские корпорации в новой реальности. Финансовые стратегии на пути к антихрупкости», вышедшую в издательском доме университета. В презентации и обсуждении результатов исследования приняли участие авторы книги и представители бизнес-сообщества.

Онлайн-юрист, чат-ассистент и аватар профессора: как ученые Вышки применяют ИИ-технологии

Молодые ученые Вышки представили собственные проекты на Объединенном научном семинаре стратегического проекта «ИИ-технологии для человека» (реализуется в рамках программы «Приоритет-2030»). Решения, предложенные исследователями на базе ИИ-алгоритмов, будут полезны для развития гостиничного бизнеса, выявления манипуляций с эмпирическими данными в научных статьях, автоматизации создания юридических документов, а также во многих других сферах деятельности.

Исследователи Центра языка и мозга НИУ ВШЭ представили новые цифровые инструменты для оценки когнитивных функций

В Центре языка и мозга НИУ ВШЭ — Санкт-Петербург, входящем в Институт психологии здоровья, прошел объединенный научный семинар стратегического проекта «Устойчивый мозг». Исследователи представили цифровые инструменты для оценки и коррекции речевых и когнитивных расстройств, в том числе с использованием технологий искусственного интеллекта.

Ученые Вышки представили разработки, связанные с применением ИИ в медицине

Искусственный интеллект не заменит врача, но может стать ему отличным помощником. При этом здравоохранение нуждается в высокотехнологичных продуктах, которые способны быстро анализировать и контролировать состояние пациентов. Ученые Вышки применили ИИ для предоперационного планирования и постоперационной оценки результатов в спинальной хирургии и разработали автоматическую интеллектуальную систему для оценки биомеханики рук и ног.

Популярные или результативные: какие программы ДПО выбирают взрослые

Как показывают исследования, люди, получившие дополнительное образование, зарабатывают на 5–20% больше, чем те, кто не проходил такого обучения. Ученые Института образования НИУ ВШЭ впервые проанализировали влияние на повышение зарплат слушателей различных образовательных организаций и предлагаемых ими программ.

В Вышке упростили разработку интеллектуальных сервисов

Ученые НИУ ВШЭ разработали MLOps-платформу, применение которой поможет внедрять эффективные и безопасные ИИ-решения во всех кампусах и подразделениях университета. В дальнейшем рассматривается возможность масштабирования инструмента на внешний рынок.

Заглянуть в будущее: как вышкинцы изучают меняющийся мир

Молодые ученые Вышки представили свои исследовательские проекты, ставшие победителями конкурса стратпроекта «Национальный центр научно-технологического и социально-экономического прогнозирования». Они будут строить прогнозы финансовых показателей российских компаний и развития вторичных санкций, просчитывать размер инвестиций в системы теплоснабжения, изучать причины готовности населения к благотворительности, учиться применять новые методы форсайта, а также изучать возможности использования методов научной фантастики.