Нейросетевые методы декодирования мультимодальных данных нейровизуализации тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Семенков Илья Владимирович

• Семенков Илья Владимирович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Семенков Илья Владимирович

Введение

Глава 1. Минимизация задержки оценки ритмов мозга с помощью

нейронных сетей

1.1 Ритмы мозга и нейрообратная связь

1.2 Существующие методы оценки альфа-ритма в реальном времени

1.3 Методы

1.3.1 Обработка сигналов

1.3.2 Обучение нейросети и механизм ее оценки

1.3.3 Выбор архитектуры нейросети

1.3.4 Данные

1.3.5 Метрики качества

1.4 Результаты

1.4.1 Определение оптимальной архитектуры нейронной сети

1.4.2 Фильтрация с низкой задержкой с использованием TCN

1.5 Эффективность нейросетей для нейрообратной связи

Глава 2. Модифицированный алгоритм анализа представлений

данных мозга

2.1 Анализ сходства представлений

2.2 Методы

2.2.1 Постановка проблемы

2.2.2 Анализ сходства представлений в пространстве источников

2.2.3 Representational dissimilarity component analysis (ReDisCA)

2.2.4 Описание симуляций

2.3 Метрики качества

2.3.1 ROC кривые

2.3.2 Измерение качества в реалистичных симуляциях

2.4 Результаты

2.4.1 Симуляции

2.4.2 Анализ реальных данных

Стр.

2.5 Ограничения ReDisCA, перспективы для модификаций и

приложений

Глава 3. Декодирование BOLD-сигнала из данных ЭЭГ

3.1 Две ключевые неинвазивные модальности нейровизуализации: ЭЭГифМРТ

3.2 Существующие методы

3.3 Задача декодирования среднего сигнала и дифференциальных колебаний вокруг него

3.3.1 Описание подхода

3.3.2 Набор данных

3.3.3 Архитектура

3.3.4 Результаты

3.4 BrainWaveLinker: компактная архитектура для декодирования BOLD

3.4.1 Описание подхода

3.4.2 Набор данных

3.4.3 Архитектура

3.4.4 Метрики качества

3.4.5 Стратегия обучения и тестирования

3.4.6 Результаты

3.5 Ограничения подходов и дальнейшие направления развития

Глава 4. Речевое картирование пациентов с использованием

машинного обучения

4.1 Картирование речевых зон

4.2 Методы

4.2.1 Пассивное картирование речи, ECM

4.2.2 Картирование коры посредством электрической стимуляции, ESM

4.2.3 Описание данных

4.2.4 Предобработка аудиопотока

4.2.5 Предобработка иЭЭГ

4.2.6 Обработка иЭЭГ для идентификации зон, связанных с речью

4.2.7 Извлечение признаков

Стр.

4.2.8 Разметка целевых меток и вычисление ROC-кривых

4.2.9 Алгоритмы классификации

4.2.10 Оценка уверенности

4.2.11 Процедура кросс-валидации

4.3 Результаты

4.3.1 Пример на одном пациенте

4.3.2 Оценка качества моделей

4.4 Исследование полученного решения

4.5 Ограничения и направления развития

Глава 5. SIGNAL: набор данных для семантического и выведенного

грамматического нейрофизиологического анализа языка

5.1 Выравнивание процессов обработки языка в языковых моделях и мозге

5.2 Сравнение корпусов данных

5.3 Методы

5.3.1 Генерация стимулов

5.3.2 Онлайн-валидация стимулов

5.3.3 ЭЭГ-эксперимент

5.3.4 Пробинг LLM

5.4 Записи данных

5.5 Валидация набора данных

5.5.1 Валидация ЭЭГ

5.5.2 Валидация пробингом LLM

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Нейросетевые методы декодирования мультимодальных данных нейровизуализации»

Введение

Одна из наиболее интригующих областей современной науки связана с исследованиями принципов работы головного мозга. В таких исследованиях важная роль принадлежит методам функциональной нейровизуализации, позволяющим зарегистрировать активность нейронных ансамблей, исследовать присущие им закономерности и использовать последние для решения как сугубо практических задач, так и для более глубокого изучения принципов работы нервной системы. Электроэнцефалография (ЭЭГ) и функциональная магнитно-резонансная томография (фМРТ) — две наиболее распространенные модальности функциональной нейровизуализации, обладающие взаимодополняющими свойствами пространственно-временного разрешения. ЭЭГ регистрирует электрическую активность головного мозга и позволяет исследовать быстропро-текающие нейрональные процессы с характерной длительностью в несколько десятков миллисекунд. При этом способность ЭЭГ локализовать нейрональные источники на поверхности коры головного мозга оказывается ограниченной пространственным разрешением, измеряемым в единицах сантиметров. Временное разрешение фМРТ принципиально ограничено скоростью гемодинамических процессов и составляет порядка 1 секунды. Используя эту модальность, однако, возможно локализовать активные нейрональные источники с пространственным разрешением порядка нескольких миллиметров. Кроме того, в отличие от ЭЭГ, фМРТ чувствительна и к активности глубинных структур головного мозга, но громоздкость оборудования фМРТ существенно ограничивает область применения этой технологии. Помимо таких неинвазивных методов измерения активности головного мозга при нейрохирургических вмешательствах используют технологии записи электрической нейрональной активности непосредственно с коры головного мозга при помощи специальных электродов-сеток. Такой метод получил название электрокортикография (ЭКоГ). Пространственное разрешение ЭКоГ ограничено расстоянием между контактами на электроде-сетке и составляет единицы миллиметров. Еще один инвазивный подход называется стерео-ЭЭГ и заключается в погружении через небольшие отверстия в черепе электродов-спиц, содержащих от 6 до 16 контактов.

В последнее десятилетие машинное обучение и искусственный интеллект (ИИ) достигли значительного прогресса. Благодаря их высокой эффективности

в решении разнообразных задач эти технологии нашли применение как в повседневной жизни, так и в научно-исследовательской деятельности человека. Неудивительно, что в настоящее время ведется активная работа по исследованию возможности современных методов ИИ и глубинных нейросетей в анализе данных нейровизуализации, включая электроэнцефалографию, функциональную магнитно-резонансную томографию, а также магнитоэнцефалографию (МЭГ) — технологию, обладающую беспрецедентным для неинвазивного метода сочетанием пространственного и временного разрешения (0.5 - 1 см, 0.01 с). Однако по сравнению с областями, в которых доступны по-настоящему большие данные, прогресс в применении современных методов машинного обучения в анализе сигналов активности мозга весьма невелик. Сложившаяся ситуация подчеркивает необходимость более вдумчивого и интенсивного внедрения методов машинного обучения и глубоких нейросетевых архитектур в задачи и приложения функциональной нейровизуализации.

Одно из захватывающих применений ЭЭГ связано с обучением навыкам управления активностью собственного мозга, что, в свою очередь, может использоваться для борьбы с такими заболеваниями, как гиперактивность и дефицит внимания, депрессия, а также для повышения устойчивости к стрессу, сосредоточенности и когнитивных способностей. Данная методология использует парадигму нейрообратной связи, которая подразумевает демонстрацию пациенту определенного параметра активности его собственного мозга и приобретение навыка произвольно влиять на данный параметр. Парадигмы нейрообратной связи требуют анализа мозговых сигналов в режиме реального времени, и, как было показано, сокращение задержки между нейрональной активностью и моментом генерации обратной связи заметно повышает эффективность тренингов, увеличивая процент испытуемых, способных научиться такому управлению [1].

Как правило, в качестве тренируемого параметра выступает ритмическая активность головного мозга (альфа-ритм, бета-ритм). Классические методы обработки сигналов для нейрообратной связи часто включают полосовую фильтрацию (для выделения релевантных ритмов) и вычисление огибающей или фазы. Однако извлечение узкополосной нейронной осцилляции (например, альфа-ритма) с помощью традиционных фильтров сопровождается неизбежной задержкой, так как фильтр должен накопить достаточный объем данных для оценки мгновенной амплитуды ритмического сигнала, соответствующего определенной частоте. Эта задержка в классических методах значительно снижает эффективность обратной

связи, поскольку мозг фактически получает информацию о своем прошлом состоянии, а не о текущем. Положительный эффект снижения задержки был уже продемонстрирован в [1]. Тем не менее, ключевые решения этой проблемы по-прежнему опираются на классические фильтры [2; 3], несмотря на достижения в области прогнозирования временных рядов. Альтернативные решения используют простые авторегрессионные предсказательные модели поверх классических фильтров [4], коэффициенты которых настраиваются под текущие данные при помощи сложной процедуры перебора таких гиперпараметров, как порядок авторегрессионной модели. Данные методы не только не представляют весь спектр современных нейросетевых подходов к работе с временными рядами, но также игнорируют возможность моделей глубокого обучения выучивать скрытую структуру данных и использовать ее для решения вышеописанной задачи динамической фильтрации.

Как уже было замечено, ЭЭГ и фМРТ относятся к наиболее применимым и распространенным модальностям функциональной нейровизуализации, обладающим взаимодополняющими свойствами. Одно из главных достоинств фМРТ -возможность регистрации активности подкорковых структур мозга, отвечающих за ряд ключевых функций, включая функции лимбической системы. Стоимость, сложность применения и ограниченная доступность фМРТ-томографов, скорее всего, являются ключевыми причинами недостаточной изученности принципов функционирования таких структур у человека. Одним из перспективных направлений в данной области является попытка создания цифрового двойника фМРТ, заключающегося в реконструкции подкоркового Blood Oxygenation Level Dependent (BOLD) сигнала из ЭЭГ. Простой метод машинного обучения, примененный к аккуратно отобранным признакам, показал свою эффективность в такой задаче [5]. Важно понимать, что отбор наиболее эффективных признаков является одной из ключевых целей использования нейросетевых архитектур в сравнении с более простыми методами машинного обучения. Поэтому применение нейросетевых моделей может значительно повысить качество декодирования. Новый подход на основе глубокого обучения с использованием интерпретируемого энкодера был продемонстрирован в [6] на небольшом открытом наборе данных, представляющем собой синхронизированные BOLD- и ЭЭГ-временные ряды. Он показал значимую эффективность в задаче предсказания гемодинамики ряда подкорковых структур мозга на основе поверхностной ЭЭГ. Данные работы подтверждают перспективы и актуальность данного направления. Несмотря

на их успех, пока что не было продемонстрировано полноценного сравнения ряда методов на большом открытом наборе данных. Также в силу ограниченности совместных ЭЭГ-фМРТ данных до сих пор не было разработано компактных ней-росетевых архитектур, способных, с одной стороны, адаптироваться в процессе обучения, а с другой - обеспечивать нейрофизиологически приемлемую интерпретацию выученных правил декодирования ЭЭГ в гемодинамику подкорковых структур. Помимо всего прочего стоит отметить, что продемонстрированная точность даже на внутренних наборах данных оставляет желать лучшего и должна быть существенно повышена, прежде чем цифровой двойник можно будет использовать на практике.

Функциональная нейровизуализация не ограничивается неинвазивными модальностями, такими как фМРТ и ЭЭГ. Инвазивная регистрация активности головного мозга активно используется при нейрохирургических вмешательствах для локализации критически важных отделов коры головного мозга, резекции которых необходимо избегать при нейрохирургическом вмешательстве. Традиционным методом для данной задачи является метод картирования посредством электрической стимуляции. Однако он сопряжен со значимым риском возникновения судорог, прерывающих процессы картирования или приводящих к досрочному завершению операции. Альтернативой является метод бесстимульно-го электрокортикографического картирования. Однако его точность недостаточна в традиционном подходе. В работе [7] была показана эффективность использования модели глубокого обучения на электрокортикографических данных для предсказания речевых зон. Однако авторы допустили ряд методологических неточностей, что не позволяет судить о реальной эффективности нейросетевого подхода к этой задаче. Разработка новых методов интерпретации ЭКоГ в контексте локализации невосполнимых зон коры головного мозга приведет к снижению риска нейрохирургических вмешательств и обеспечит более полное иссечение патологических участков коры при сохранении ключевых функций.

Описанный выше утилитарный подход, предполагающий использование методов машинного обучения для анализа сигналов активности мозга — лишь одно из многообещающих направлений. С учетом фантастических способностей современных больших языковых моделей отдельной темой исследований является сопоставление принципов обработки информации головным мозгом и нейросетями.

Некоторые архитектуры и подходы изначально были вдохновлены работой человеческого мозга. В эпоху попыток создания общего искусственного интеллекта сопоставление активности мозга с работой нейросетевых моделей несет особенную ценность. Понимание обработки информации человеческим мозгом и алгоритмом ИИ может привести к прогрессу в изучении обеих областей. С одной стороны, на базе информации о работе мозга можно разрабатывать более эффективные архитектуры и подходы для ИИ. С другой стороны, это открывает возможности применения существующих нейросетевых методик для углубленного понимания принципов обработки и представления информации в человеческом мозге. Данная задача особенно актуальна для речевых стимулов в силу стремительного развития больших языковых моделей. Так, в [8] авторы, используя языковую модель, предсказывали величину отклика мозга, связанного с каждым предложением. Важно заметить, что в работе [8] использовалась модальность фМРТ, характеризующаяся временным разрешением порядка 1 секунды, что не позволяет исследовать быстропротекающие нейрональные процессы при восприятии речи. Для данной задачи с речевыми стимулами существует ряд корпусов данных с записями активности мозга [9—15]. Однако для эффективного сопоставления активаций мозга и нейросети необходим строгий контроль ключевых лингвистических характеристик обрабатываемых стимулов. Также прирост в понимании различий обработки языковой информации может дать анализ не только обычных, но и аномальных предложений с различными типами ошибок.

Сопоставление принципов обработки и представления информации, реализованных в головном мозге и в больших языковых моделях, может быть выполнено с помощью метода анализа представлений информации на различных этапах обработки [16]. Для исследования корковых представлений языковой информации применяют данные электро- и магнитоэнцефалографии, поскольку эти методы обеспечивают высокое временное разрешение, необходимое для регистрации быстрых нейрональных процессов. Однако необходимость решать некорректно поставленную обратную задачу для обнаружения активных зон коры снижает эффективность анализа. Комбинированный подход, реализующий поиск корковых источников с заданным профилем репрезентации, позволит существенно повысить эффективность сопоставления принципов обработки, реализованных в различных системах.

Целью данной работы является разработка методического обеспечения исследований, направленных на углубленное понимание принципов функцио-

нирования головного мозга, в том числе и посредством сопоставления их с таковыми, реализуемыми в современных искусственных нейросетевых архитектурах. Практическая составляющая данной работы обусловлена разработкой готовых к использованию алгоритмических средств, а также демонстрацией применения этих подходов в реальной жизни, в частности, в задаче бесстимульного и безопасного для пациента картирования речевой функции во время нейрохирургического вмешательства. Движение к этой цели обеспечит углубленное понимание функционирования мозга посредством интеграции методов машинного обучения и искусственного интеллекта в ключевые задачи фундаментальных нейронаук и практической медицины.

Поставленная цель определила следующие задачи:

1. Разработать и протестировать методику выделения альфа-ритма в реальном времени с использованием нейросетей:

а) На основе задачи предсказания временных рядов определить оптимальную нейро сетевую архитектуру.

б) Разработать на основе выбранной архитектуры методику для эффективной фильтрации данных ЭЭГ в реальном времени с минимальной задержкой.

в) Сравнить подход с конкурирующими решениями на синтетических и реальных данных.

2. Разработать и протестировать метод анализа компонент различий представлений:

а) Разработать метод выделения пространственно-временных компонентов вызванных откликов, соответствующих искомым профилям представлений.

б) Сравнить эффективность данного метода с классическими решениями на синтетических данных.

в) Осуществить валидацию метода на реальных данных.

3. Разработать и протестировать архитектуры для декодирования BOLD-сигнала из ЭЭГ:

а) Разработать интерпретируемую нейросетевую архитектуру для предсказания среднего BOLD-сигнала и колебаний вокруг него из данных ЭЭГ

б) Протестировать архитектуру на открытом наборе реальных данных.

в) Разработать нейросетевую архитектуру для предсказания BOLD-сигнала из данных ЭЭГ.

г) Сравнить архитектуру с конкурирующими решениями на большом наборе реальных данных с совместной ЭЭГ и фМРТ.

4. Разработать и протестировать методику пассивного речевого картирования с использованием моделей машинного обучения:

а) Разработать подход на основе машинного обучения для осуществления пассивного картирования речевых зон мозга.

б) Протестировать эффективность дополнения признаков сигнала мозга признаками соответствующего аудиосигнала.

в) Сравнить ряд моделей машинного обучения в задаче идентификации речевых зон в биполярном и монополярном сценариях на реальных данных.

г) Проанализировать зависимость решения от частотного диапазона признаков и от количества эпох.

5. Создать набор данных ЭЭГ с конгруэнтными и неконгруэнтными языковыми стимулами, контролируемыми по структуре и лингвистическим характеристикам:

а) Сгенерировать набор предложений, контролируемых по структуре и ключевым лингвистическим характеристикам, с четырьмя вариациями каждого предложения: обычное предложение и три его аномальные вариации.

б) Отобрать лучшие предложения с помощью валидации реальными людьми.

в) Записать данные ЭЭГ при отобранных стимулах.

г) Осуществить валидацию качества ЭЭГ и стимулов.

Основные результаты и выводы. Мы провели детальный анализ качества

прогнозирования альфа-ритма ЭЭГ пятью нейросетевыми методами, построенными в соответствии с различными базовыми принципами на пяти различных типах синтетических данных. По результатам анализа была выбрана лучшая архитектура, на основе которой была разработана методика выделения альфа-ритма из ЭЭГ-сигнала. Далее мы провели сравнение разработанного метода с классическими подходами на синтетических и реальных данных. Также в сравнение была добавлена модель с существенно большим числом обучаемых параметров, построенная на тех же сверточных блоках. Сравнительный анализ показал

более высокое качество и большую робастность нейросетевых подходов, как в оценке огибающей, так и в оценке фазы. При этом методы демонстрировали минимальную задержку и были более устойчивы к высокому уровню шума, чем классические подходы. Ограничением разработанного метода можно считать необходимость дообучения модели на данных конкретного испытуемого, что ограничивает применение этой модели на практике.

Был разработан метод локализации компонент различий представлений в данных ЭЭГ и МЭГ. Данный метод способен обнаруживать пространственные и временные компоненты в многоканальных сигналах активности мозга, соответствующие заданным представлениям. Его основное преимущество заключается в снятии необходимости решения обратной задачи. При наличии прямой электромагнитной модели найденные пространственные компоненты могут быть соотнесены с кортикальными источниками, что и было продемонстрировано. Этот метод был протестирован в симуляционных сценариях с одним и с четырьмя активными источниками. Метод показал значительно более высокое качество в сравнении с несколькими вариациями классического анализа сходства представлений. Далее метод применялся к двум наборам реальных данных ЭЭГ и МЭГ, записанных при восприятии зрительных стимулов. Временные и пространственные компоненты, найденные новым методом, оказались хорошо интерпретируемыми с точки зрения современных представлений о нейродинами-ке обработки зрительной информации.

Были разработаны и протестированы две архитектуры для разных подзадач декодирования BOLD-сигнала из ЭЭГ Первая архитектура тестировалась в задаче реконструкции среднего BOLD-сигнала и колебаний вокруг него на наборе данных с использованием углеродной петли. Архитектура показала корреляции выше 30% для ряда глубинных областей мозга, а также была интерпретирована благодаря использованию сверток, имитирующих пространственную и временную фильтрацию. Вторая архитектура представляет собой компактную сверточную модель для декодирования BOLD-сигнала. Архитектура сравнивалась с двумя конкурирующими решениями на большом наборе ЭЭГ-фМРТ данных и показала значительно более высокое качество, достигающее в среднем 34.73% для подкорковых регионов и 40.09% для кортикальных. Для данной модели был проведен анализ качества в зависимости от задержки между ЭЭГ и фМРТ, а также сравнение с рядом модификаций данной архитектуры, включающей дополнительную временную фильтрацию.

Был проведен анализ ряда моделей машинного обучения для пассивного картирования речи в монополярном и биполярном сценариях. Исследовалось девять различных алгоритмов классификации, а также эффективность дополнения признаков из сигналов мозга признаками аудиосигнала. Лучший результат в среднем показала модель на основе опорных векторов, достигая 0.9081 и 0.8760 по метрикам площади под кривыми Receiver Operating Characteristic (AUC ROC) и Precision-Recall (AUC PR) соответственно. Для данной модели была проанализирована зависимость качества от выбора частотного диапазона для фильтрации сигналов из мозга и от числа эпох, а также проведен анализ паттернов. Лучшим частотным диапазоном оказался 100-150 Гц, что согласуется с литературой. Паттерны показали достаточно сильную корреляцию для разных наборов участников и высокую интенсивность в окне от -500 мс до 0 мс относительно начала речи. При уменьшении числа эпох качество падает, но остается достаточно высоким даже для более низких значений, что может свидетельствовать об эффективности пассивного картирования без необходимости проведения множества проб.

Наконец, был собран и валидирован набор ЭЭГ-данных во время чтения предложений. Предложения были сгенерированы с одним из трех видов структур. Далее для каждого из них создавались 3 аномальных варианта: с семантической ошибкой, с грамматической ошибкой, с обеими ошибками. В предложениях строго контролировался ряд ключевых лингвистических параметров, чтобы они не вносили дополнительные переменные в анализ данных мозга. Далее стимулы были провалидированы разметчиками в онлайн-исследовании. Лучшие 600 стимулов были отобраны для записи ЭЭГ. 64-канальная ЭЭГ регистрировалась у 21 участника при частоте дискретизации 1000 Гц. Валидация данных подтвердила их пригодность для дальнейших экспериментов. Набор данных был опубликован.

Научная новизна:

1. Впервые была разработана методика с использованием сверточных ней-росетей для извлечения альфа-ритма из ЭЭГ-сигналов. Эффективность методики была продемонстрирована на ряде синтетических и реальных данных: она показала более высокое качество и меньшую задержку по сравнению с классическими подходами.

2. Впервые разработан алгоритм анализа компонент различий представлений, способный находить пространственно-временные компоненты вызванных ответов, соответствующих искомым профилям представлений, а также не требующий решения обратной задачи.

3. Впервые разработана интерпретируемая гибридная модель с использованием методов контрастивного обучения для реконструкции среднего BOLD-сигнала и колебаний вокруг него.

4. Впервые была разработана компактная сверточная архитектура BrainWaveLinker, превзошедшая конкурирующие подходы на большом наборе ЭЭГ-фМРТ данных в задаче предсказания BOLD-сигнала из многоканальной ЭЭГ.

5. Впервые был разработан и проанализирован подход пассивного речевого картирования на основе модели опорных векторов, которая использует информацию о признаках активности мозга и соответствующие аудио-признаки, в монополярном и биполярном сценариях.

6. Впервые был собран и опубликован набор данных с ЭЭГ и текстовыми предложениями, контролируемыми по ключевым лингвистическим характеристикам, с четырьмя вариациями предложений, включая аномальные.

Теоретическая и практическая значимость. С точки зрения теории:

- Разработана методика обучения, использования и валидации нейросете-вых алгоритмов для задачи фильтрации ЭЭГ в реальном времени.

- Разработан метод анализа компонент различий представлений, способный находить пространственно-временные компоненты вызванных ответов, соответствующих искомым профилям представлений, а также не требующий решения обратной задачи.

- Разработана интерпретируемая гибридная архитектура для декодирования среднего BOLD-сигнала и колебаний вокруг него.

- Разработана компактная сверточная архитектура для декодирования BOLD-сигнала подкорковых и кортикальных зон мозга.

- Разработан подход пассивного картирования с использованием предложенного механизма создания признаков, с последующей их обработкой моделью машинного обучения на основе опорных векторов.

С точки зрения практики:

- Проанализирован ряд нейросетевых моделей и найдена высококачественная и компактная архитектура, на основе которой разработана методика для извлечения альфа-ритма из ЭЭГ в реальном времени с низкой задержкой.

- Реализован и апробирован метод анализа компонент различий представлений на синтетических и реальных данных ЭЭГ и МЭГ

- Реализована система пассивного картирования речи с использованием машинного обучения, что имеет высокое практическое значение для клинических приложений.

- Собран и опубликован набор высококачественных данных с тщательно сгенерированными и отобранными предложениями и записями ЭЭГ.

Методология и методы исследования. Проведенные исследования опираются на методы цифровой обработки сигналов, математической оптимизации, машинного обучения и глубокого обучения.

Основные положения, выносимые на защиту:

1. Эмпирически отобрана архитектура Temporal Convolutional Network, и на ее основе разработана методика выделения альфа-ритма в реальном времени с минимальной задержкой. Модель показала лучшее и более ро-бастное качество оценки огибающей и фазы, а также низкую задержку.

2. Разработан метод Representational dissimilarity component analysis (ReDisCA) для выделения временных и пространственных компонент, соответствующих желаемому профилю представлений, не требующий решения обратной задачи. Метод показал более высокое качество, чем классические подходы и выявил интерпретируемые компоненты на реальных данных ЭЭГ и МЭГ.

3. Разработана интерпретируемая гибридная архитектура для решения задачи декодирования среднего BOLD-сигнала и колебаний вокруг него. Архитектура показала значения корреляции, превосходящие 30% на ряде глубинных структур мозга.

4. Разработана компактная сверточная архитектура BrainWaveLinker для декодирования BOLD из ЭЭГ, которая показала более высокие средние корреляции на большом наборе ЭЭГ-фМРТ данных, чем два ключевых конкурентных метода.

5. Разработана методика пассивного картирования речи с использованием машинного обучения, показывающая высокие метрики в монополярном сценарии при добавлении признаков из аудио.

Список литературы диссертационного исследования кандидат наук Семенков Илья Владимирович, 2025 год

Список литературы

1. Short-delay neurofeedback facilitates training of the parietal alpha rhythm [Text] / A. Belinskaia [et al.] // Journal of Neural Engineering. — 2020. — Dec. — Vol. 17, no. 6. — P. 066012. — URL: https://iopscience.iop.org/article/10.1088/ 1741-2552/abc8d7.

2. Digital Filters for Low-Latency Quantification of Brain Rhythms in Real Time [Text] / N. Smetanin [et al.] // Journal of Neural Engineering. — 2020. — Aug. — Vol. 17, no. 4.—P. 046022.

3. A State Space Modeling Approach to Real-Time Phase Estimation [Text] / A. Wodeyar [et al.] // eLife. — 2021. — Vol. 10. — e68803.

4. The Shaky Ground Truth of Real-Time Phase Estimation [Text] / C. Zrenner [et al.] // Neurolmage. - 2020. - July. - Vol. 214. - P. 116761.

5. Development and validation of an fMRI-informed EEG model of reward-related ventral striatum activation [Text] / N. Singer [et al.] // Neurolmage. — 2023. — Vol. 276. — P. 120183. — URL: https://www.sciencedirect.com/science/article/ pii/S1053811923003348.

6. Kovalev, A. fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [Text] / A. Kovalev, I. Mikheev, A. Os-sadtchi. — 2022. — arXiv: 2211.02024 [physics.med-ph]. —URL: https: //arxiv.org/abs/2211.02024.

7. Deep Learning provides exceptional accuracy to ECoG-based Functional Language Mapping for epilepsy surgery [Text] / H. RaviPrakash [et al.] // Frontiers in neuroscience. — 2020. — Vol. 14. — P. 409.

8. Driving and suppressing the human language network using large language models [Text] / G. Tuckute [et al.] // Nature Human Behaviour. — 2024. — Vol. 8, no. 3.—P. 544—561.

9. The ERP response to the amount of information conveyed by words in sentences [Text] / S. L. Frank [et al.] // Brain and language. — 2015. — Vol. 140. — P. 1—11.

10. ZuCo, a simultaneous EEG and eye-tracking resource for natural sentence reading [Text] / N. Hollenstein [et al.] // Scientific data. — 2018. — Vol. 5, no. 1. — P. 1-13.

11. ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation [Text] / N. Hollenstein [et al.] // Proceedings of the Twelfth Language Resources and Evaluation Conference / ed. by N. Calzolari [et al.]. — Marseille, France : European Language Resources Association, 05/2020. — P. 138—146. — URL: https://aclanthology.org/2020.lrec-1.18/.

12. The Alice Datasets: fMRI & EEG Observations of Natural Language Comprehension [Text] / S. Bhattasali [et al.] // Proceedings of the Twelfth Language Resources and Evaluation Conference / ed. by N. Calzolari [et al.]. — Marseille, France : European Language Resources Association, 05/2020. — P. 120—125. — URL: https://aclanthology.org/2020.lrec-1.15/.

13. Frank, S. L. An eye-tracking-with-EEG coregistration corpus of narrative sentences [Text] / S. L. Frank, A. Aumeistere // Language Resources and Evaluation. — 2023. — P. 1—17.

14. Oseki, Y. Design of BCCWJ-EEG: Balanced corpus with human electroencephalography [Text] / Y. Oseki, M. Asahara // Proceedings of the Twelfth Language Resources and Evaluation Conference. — 2020. — P. 189—194.

15. Strong Prediction: Language model surprisal explains multiple N400 effects [Text] / J. A. Michaelov [et al.] // Neurobiology of language. — 2024. — Vol. 5, no. 1.—P. 107—135.

16. Kriegeskorte, ^.Representational similarity analysis - connecting the branches of systems neuroscience [Text] / N. Kriegeskorte, M. Mur, P. A. Bandettini // Frontiers in Systems Neuroscience. — 2008. — Vol. 2.

17. Real-time low latency estimation of brain rhythms with deep neural networks [Text] /1. Semenkov, N. Fedosov, I. Makarov, A. Ossadtchi // Journal of Neural Engineering (Q1). — 2023. — Vol. 20, no. 5. — P. 056008.

18. Representational dissimilarity component analysis (ReDisCA) [Text] / A. Ossadtchi, I. Semenkov, A. Zhuravleva, V. Kozunov, O. Serikov, E. Voloshina // Neurolmage (Q1). — 2024. — Vol. 301. — P. 120868.

19. Dagaev, N. EEG-Based fMRI Digital Twin: Towards a Cheap and Ecological Approach to Measure Subcortical Brain Activity [Text] / N. Dagaev, I. Semenkov, A. Ossadtchi // 27th European Conference on Artificial Intelligence,

19-24 October 2024, Santiago de Compostela, Spain - Including 13th Conference on Prestigious Applications of Intelligent Systems (PAIS 2024) (Core A). — 2024.

20. Мгновенная нейрообратная связь (INeurofeedback) [Текст] / Н. П. Федосов, И. В. Семенков, В. А. Аксиотис, Ю. Ю. Некрасова, А. Е. Осадчий // Сборник тезисов XXIV съезда физиологического общества им. И. П. Павлова, 11-15 сентября 2023 года. — 2023.

21. Buzsaki, G. Rhythms of the Brain [Text] / G. Buzsaki. — Oxford University Press, 10/2006.

22. Quigley, C. Forgotten rhythms? Revisiting the first evidence for rhythms in cognition [Text] / C. Quigley // European Journal of Neuroscience. — 2022. — Vol. 55, no. 11/12. - P. 3266-3276.

23. Iemi, L. Moment-to-Moment Fluctuations in Neuronal Excitability Bias Subjective Perception Rather than Strategic Decision-Making [Text] / L. Iemi, N. A. Busch // eNeuro. — 2018. — June. — Vol. 5, no. 3. — ENEUR0.0430—17.2018.

24. Persistence of eeg alpha entrainment depends on stimulus phase at offset [Text] / M. Otero [et al.] // Frontiers in human neuroscience. — 2020. — Vol. 14. — P. 139.

25. Does Alpha Phase Modulate Visual Target Detection? Three Experiments with tACS-phase-based Stimulus Presentation [Text] / T. A. Graaf [et al.] //European Journal of Neuroscience. — 2020. — June. — Vol. 51, no. 11. — P. 2299—2313.

26. Foxe, J. J. The role of alpha-band brain oscillations as a sensory suppression mechanism during selective attention [Text] / J. J. Foxe, A. C. Snyder // Frontiers in psychology. — 2011. — Vol. 2. — P. 154.

27. The Phase of Sensorimotor Mu and Beta Oscillations Has the Opposite Effect on Corticospinal Excitability [Text] / M. Wischnewski [et al.] // Brain Stimulation. — 2022. — Sept. — Vol. 15, no. 5. — P. 1093—1100.

28. Guiding Transcranial Brain Stimulation by EEG/MEG to Interact with Ongoing Brain Activity and Associated Functions: A Position Paper [Text] / G. Thut [et al.] // Clinical Neurophysiology. — 2017. — May. — Vol. 128, no. 5. — P. 843--857.

29. Aksiotis, V. Prestimulus Beta Rhythm Influence Reaction Time during RealTime Brain-Dependent Stimuli Presentation [Text] / V. Aksiotis, A. Ossadtchi // 2022 Fourth International Conference Neurotechnologies and Neurointerfaces (CNN). - 09/2022. - P. 6-9.

30. The Rate of Transient Beta Frequency Events Predicts Behavior across Tasks and Species [Text] / H. Shin [et al.] // eLife. - 2017. - Nov. - Vol. 6. - e29086.

31. On the intrinsic time scales involved in synchronization: a data-driven approach [Text] / M. Chavez [et al.] // Chaos: An Interdisciplinary Journal of Nonlinear Science. — 2005. — Vol. 15, no. 2. — P. 023904.

32. The brain time toolbox, a software library to retune electrophysiology data to brain dynamics [Text] / S. van Bree [et al.] // Nature Human Behaviour. — 2022. - Vol. 6, no. 10. - P. 1430-1439.

33. ^-Rhythm Extracted With Personalized EEG Filters Correlates With Corticospinal Excitability in Real-Time Phase-Triggered EEG-TMS [Text] / N. Scha-woronkow [et al.] // Frontiers in Neuroscience. — 2018. — Vol. 12. — P. 954. — URL: https://www.frontiersin.org/article/10.3389/fnins.2018.00954.

34. TMS Motor Mapping Methodology and Reliability: A Structured Review [Text] / R. E. Sondergaard [et al.] // Frontiers in Neuroscience. — 2021. — Aug. — Vol. 15.—P. 709368.

35. No Trace of Phase: Corticomotor Excitability Is Not Tuned by Phase of Pericentral Mu-Rhythm [Text] / K. H. Madsen [et al.] // Brain Stimulation. — 2019. — Sept. — Vol. 12, no. 5. — P. 1261—1270.

36. McNamara, C. G. Stable, Interactive Modulation of Neuronal Oscillations Produced through Brain-Machine Equilibrium [Text] / C. G. McNamara, M. Rothwell, A. Sharott // Cell Reports. - 2022. - Nov. - Vol. 41, no. 6. - P. 111616.

37. Kamiya, /.The first communications about operant conditioning of the EEG [Text] / J. Kamiya // Journal of Neurotherapy. — 2011. — Vol. 15, no. 1. — P. 65—73.

38. Rutishauser, U. A Method for Closed-Loop Presentation of Sensory Stimuli Conditional on the Internal Brain-State of Awake Animals [Text] / U. Rutishauser, A. Kotowicz, G. Laurent // Journal of Neuroscience Methods. — 2013.— Apr. — Vol. 215, no. 1.—P. 139—155.

39. Real-time brain oscillation detection and phase-locked stimulation using autoregressive spectral estimation and time-series forward prediction [Text] / L. L. Chen [et al.] // IEEE transactions on Biomedical Engineering. — 2011. — Vol. 60, no. 3. — P. 753—762.

40. Matsuda, T. Time Series Decomposition into Oscillation Components and Phase Estimation [Text] / T. Matsuda, F. Komaki // Neural Computation. — 2017. — Feb. — Vol. 29, no. 2. — P. 332—367.

41. Wiener, V.Nonlinear Problems in Random Theory [Text] / N. Wiener. — MIT Press, 1966.

42. Bai, S. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling [Text] / S. Bai, J. Z. Kolter, V. Koltun. — 2018. — URL: https://arxiv.org/abs/1803.01271.

43. Pagnotta, M. F. Nested oscillations and brain connectivity during sequential stages of feature-based attention [Text] / M. F. Pagnotta, D. Pascucci, G. Plomp // Neurolmage. — 2020. — Vol. 223. — P. 117354.

44. Real-time low latency estimation of brain rhythms with deep neural networks [Text] /1. Semenkov [et al.] // Journal of Neural Engineering. — 2023. — Vol. 20, no. 5.—P. 056008.

45. Real-Time Brain Oscillation Detection and Phase-Locked Stimulation Using Autoregressive Spectral Estimation and Time-Series Forward Prediction [Text] / L. L. Chen [et al.] // IEEE Transactions on Biomedical Engineering. — 2013. — Mar. — Vol. 60, no. 3. — P. 753—762.

46. Attention is All you Need [Text] / A. Vaswani [et al.] // Advances in Neural Information Processing Systems. Vol. 30 / ed. by I. Guyon [et al.]. — Curran Associates, Inc., 2017. — URL: https://proceedings.neurips.cc/paper/2017/file/ 3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.

47. Are Transformers Effective for Time Series Forecasting? [Text] / A. Zeng [et al.]. — 2022. — URL: https://arxiv.org/abs/2205.13504.

48. N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting [Text] / C. Challu [et al.]. — 2022. — URL: https://arxiv.org/abs/2201.12886.

49. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter [Text] /V. Sanh [etal.]. — 2020. — arXiv: 1910.01108 [cs.CL].

50. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [Text] / C. Raffel [et al.]. — 2020. — arXiv: 1910.10683 [cs.LG].

51. Language Models are Few-Shot Learners [Text] / T. B. Brown [et al.]. — 2020. — arXiv: 2005.14165 [cs.CL].

52. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale [Text] / A. Dosovitskiy [et al.]. — 2021. — arXiv: 2010.11929 [cs.CV].

53. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers [Text] / E. Xie [et al.]. — 2021. — arXiv: 2105.15203 [cs.CV].

54. Darts: User-Friendly Modern Machine Learning for Time Series [Text] / J. Herzen [et al.] // Journal of Machine Learning Research. — 2022. — Vol. 23, no. 124. — P. 1—6. — URL: http://jmlr.org/papers/v23/21-1177.html.

55. Loshchilov, I. Fixing Weight Decay Regularization in Adam [Text] / I. Loshchilov, F. Hutter // CoRR. — 2017. — Vol. abs/1711.05101. — arXiv: 1711.05101. —URL: http://arxiv.org/abs/1711.05101.

56. Klimesch, W The frequency architecture of brain and brain body oscillations: an analysis [Text] / W. Klimesch // European Journal of Neuroscience. — 2018. — Vol. 48, no. 7. — P. 2431—2453.

57. Repovs, G. Dealing with noise in EEG recording and data analysis [Text] / G. Re-povs // Informatica Medica Slovenica. — 2010. — Vol. 15, no. 1. — P. 18—25.

58. Klonowski, W Everything you wanted to ask about EEG but were afraid to get the right answer [Text] / W. Klonowski // Nonlinear biomedical physics. — 2009. — Vol. 3, no. 1.—P. 1—5.

59. Time Evolution of the Skin-Electrode Interface Impedance under Different Skin Treatments [Text] /B. B. Murphy [etal.] // Sensors. —2021. — Vol. 21, no. 15. — P. 5210.

60. Luo, Y. Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation [Text] / Y. Luo, N. Mesgarani // IEEE/ACM Transactions on Audio, Speech, and Language Processing. — 2019. — Aug. — Vol. 27, no. 8. — P. 1256—1266.—URL: https://doi.org/10.1109%2Ftaslp.2019.2915167.

61. ^-Rhythm Extracted With Personalized EEG Filters Correlates With Corticospinal Excitability in Real-Time Phase-Triggered EEG-TMS [Text] / N. Scha-woronkow [et al.] // Frontiers in Neuroscience. — 2018. — Dec. — Vol. 12. — P. 954.

62. Optuna: A Next-generation Hyperparameter Optimization Framework [Text] / T. Akiba [et al.] // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2019.

63. Aydore, S. A note on the phase locking value and its properties [Text] / S. Aydore, D. Pantazis, R. M. Leahy // Neuroimage. — 2013. — Vol. 74. — P. 231—244.

64. Mathematical relations between measures of brain connectivity estimated from electrophysiological recordings for Gaussian distributed data [Text] / G. Nolte [et al.] // Frontiers in Neuroscience. — 2020. — Vol. 14. — P. 577574.

65. Hindriks, R. Dissociation between phase and power correlation networks in the human brain is driven by co-occurrent bursts [Text] / R. Hindriks, P. K. Tewarie // Communications biology. — 2023. — Vol. 6, no. 1. — P. 286.

66. Closed-loop brain training: the science of neurofeedback [Text] / R. Sitaram [et al.] //Nature Reviews Neuroscience. — 2017. — Vol. 18, no. 2. —P. 86—100.

67. Мгновенная нейрообратная связь (^Neurofeedback) [Текст] / Н. П. Федосов [и др.] // Сборник тезисов XXIV съезда физиологического общества им. И. П. Павлова, 11-15 сентября 2023 года. — 2023.

68. Hindriks, R. Intra-cortical propagation of EEG alpha oscillations [Text] / R. Hindriks, M. J. van Putten, G. Deco // Neurolmage. — 2014. — Dec. — Vol. 103. — P. 444—453. — URL: https://doi.org/10.1016/j.neuroimage.2014.08.027.

69. Edelman, S. Representation is representation of similarities [Text] / S. Edelman // Behavioral and brain sciences. — 1998. — Vol. 21, no. 4. — P. 449—467.

70. Op de Beeck, H. Inferotemporal neurons represent low-dimensional configurations of parameterized shapes [Text] / H. Op de Beeck, J. Wagemans, R. Vogels // Nature neuroscience. — 2001. — Vol. 4, no. 12. — P. 1244—1252.

71. Fast readout of object identity from macaque inferior temporal cortex [Text] / C. P. Hung [et al.] // Science. — 2005. — Vol. 310, no. 5749. — P. 863—866.

72. A cortical region consisting entirely of face-selective cells [Text] / D. Y. Tsao [et al.] // Science. — 2006. — Vol. 311, no. 5761. — P. 670—674.

73. Carlson, T. A. Patterns of activity in the categorical representations of objects [Text] / T. A. Carlson, P. Schrater, S. He // Journal of cognitive neuroscience. — 2003. — Vol. 15, no. 5. — P. 704—717.

74. Cox, D. D. Functional magnetic resonance imaging (fMRI)"brain reading": detecting and classifying distributed patterns of fMRI activity in human visual cortex [Text] /D. D. Cox, R. L. Savoy//Neuroimage. — 2003. — Vol. 19, no. 2. — P. 261-270.

75. Aguirre, G. K. Continuous carry-over designs for fMRI [Text] / G. K. Aguirre // Neuroimage. — 2007. — Vol. 35, no. 4. — P. 1480—1494.

76. Matching categorical object representations in inferior temporal cortex of man and monkey [Text] / N. Kriegeskorte [et al.] // Neuron. — 2008. — Vol. 60, no. 6.-P. 1126-1141.

77. Shea, ^.Representation in cognitive science [Text] / N. Shea. — Oxford University Press, 2018.

78. Kriegeskorte, ^.Representational geometry: integrating cognition, computation, and the brain [Text] / N. Kriegeskorte, R. A. Kievit // Trends in cognitive sciences. — 2013. — Vol. 17, no. 8. — P. 401—412.

79. Cichy, R. M. Similarity-based fusion of MEG and fMRI reveals spatio-temporal dynamics in human cortex during visual object recognition [Text] / R. M. Ci-chy, D. Pantazis, A. Oliva // Cerebral Cortex. — 2016. — Vol. 26, no. 8. — P. 3563—3579.

80. King, J.-R. Characterizing the dynamics of mental representations: the temporal generalization method [Text] / J.-R. King, S. Dehaene // Trends in cognitive sciences. — 2014. — Vol. 18, no. 4. — P. 203—210.

81. Kozunov, V. Categorization for faces and tools—two classes of objects shaped by different experience—differs in processing timing, brain areas involved, and repetition effects [Text] / V. Kozunov, A. Nikolaeva, T. A. Stroganova // Frontiers in Human Neuroscience. — 2018. — Vol. 11. — P. 650.

82. Standardized low-resolution brain electromagnetic tomography (sLORETA): technical details [Text] / R. D. Pascual-Marqui [et al.] // Methods Find Exp Clin Pharmacol. — 2002. — Vol. 24, Suppl D. — P. 5—12.

83. Mosher, J. C. EEG and MEG: forward solutions for inverse methods [Text] / J. C. Mosher, R. M. Leahy, P. S. Lewis // IEEE Transactions on biomedical engineering. — 1999. — Vol. 46, no. 3. — P. 245—259.

84. De Munck, J. C. EEG and MEG: forward modeling [Text] / J. C. De Munck, C. H. Wolters, M. Clerc // Handbook of neural activity measurement. — 2012. — Vol. 19.-P. 192-248.

85. Mosher, J. C. Source localization using recursively applied and projected (RAP) MUSIC [Text] / J. C. Mosher, R. M. Leahy // IEEE Transactions on signal processing. — 1999. — Vol. 47, no. 2. — P. 332—340.

86. Representational dissimilarity component analysis (ReDisCA) [Text] / A. Os-sadtchi [et al.] // NeuroImage. — 2024. — Vol. 301. — P. 120868.

87. Independent component analysis of electroencephalographic data [Text] / S. Makeig [et al.] // Advances in neural information processing systems. — 1995.— Vol. 8.

88. Nikulin, VA novel method for reliable and fast extraction of neuronal EEG/MEG oscillations on the basis of spatio-spectral decomposition [Text] / V. Nikulin, G. Nolte, G. Curio // Neuroimage. — 2011.

89. SPoC: a novel framework for relating the amplitude of neuronal oscillations to behaviorally relevant parameters [Text] / S. Dähne [et al.] // NeuroImage. — 2014.-Vol. 86.-P. 111-122.

90. Mosher, J. C. Multiple dipole modeling and localization from spatio-temporal MEG data [Text] / J. C. Mosher, P. S. Lewis, R. M. Leahy // IEEE transactions on biomedical engineering. — 1992. — Vol. 39, no. 6. — P. 541—557.

91. Mutual information spectrum for selection of event-related spatial components. Application to eloquent motor cortex mapping [Text] / A. Ossadtchi [et al.] // Frontiers in Neuroinformatics. — 2014. — Vol. 7. — P. 53.

92. Mensen, A. EEG differentiation analysis and stimulus set meaningfulness [Text] / A. Mensen, W. Marshall, G. Tononi // Frontiers in psychology. — 2017. — Vol. 8.—P. 1748.

93. Reliability of dissimilarity measures for multi-voxel pattern analysis [Text] / A. Walther [et al.] // Neuroimage. — 2016. — Vol. 137. — P. 188—200.

94. Fixed versus mixed RSA: Explaining visual representations by fixed and mixed feature sets from shallow and deep computational models [Text] / S.-M. Khaligh-Razavi [et al.] // Journal of Mathematical Psychology. — 2017. — Vol. 76. — P. 184-197.

95. Kaniuth, P. Feature-reweighted representational similarity analysis: A method for improving the fit between computational models, brains, and behavior [Text] / P. Kaniuth, M. N. Hebart // Neuroimage. — 2022. — Vol. 257. — P. 119294.

96. Maris, E. Nonparametric statistical testing of EEG-and MEG-data [Text] / E. Maris, R. Oostenveld // Journal of neuroscience methods. — 2007. — Vol. 164, no. 1.—P. 177—190.

97. On the interpretation of weight vectors of linear models in multivariate neu-roimaging [Text] / S. Haufe [et al.] // Neuroimage. — 2014. — Vol. 87. — P. 96--110.

98. Localization of brain electrical activity via linearly constrained minimum variance spatial filtering [Text] / B. Van Veen [et al.] // IEEE Transactions on Biomedical Engineering. — 1997. — Vol. 44, no. 9. — P. 867—880. — URL: https://doi.org/10.1109/10.623056.

99. Pfurtscheller, G. EEG-based brain-computer interface using subject-specific spatial filters [Text] / G. Pfurtscheller, C. Guger, H. Ramoser // Engineering Applications of Bio-Inspired Artificial Neural Networks: International Work-Conference on Artificial and Natural Neural Networks, IWANN'99 Alicante, Spain, June 2-4, 1999 Proceedings, Volume II 5. — Springer. 1999. — P. 248—254.

100. Ossadtchi, A. Phase shift invariant imaging of coherent sources (PSIICOS) from MEG data [Text] / A. Ossadtchi, D. Altukhov, K. Jerbi // NeuroImage. — 2018. — Vol. 183.—P. 950—971.

101. Decoding and interpreting cortical signals with a compact convolutional neural network [Text] / A. Petrosyan [et al.] // Journal of Neural Engineering. — 2021. — Mar. — Vol. 18, no. 2. — P. 026019. — URL: https://dx.doi.org/10.1088/1741-2552/abe20e.

102. ERP CORE: An open resource for human event-related potential research [Text] / E. S. Kappenman [et al.] // NeuroImage. — 2021. — Vol. 225. — P. 117465.

103. Rossion, B. ERP evidence for the speed of face categorization in the human brain: Disentangling the contribution of low-level visual cues from face perception [Text] / B. Rossion, S. Caharel // Vision research. — 2011. — Vol. 51, no. 12.-P. 1297-1311.

104. Haxby, J. V. The distributed human neural system for face perception [Text] / J. V. Haxby, E. A. Hoffman, M. I. Gobbini // Trends in cognitive sciences. — 2000. - Vol. 4, no. 6. - P. 223-233.

105. Sato, T. K. Traveling waves in visual cortex [Text] / T. K. Sato, I. Nauhaus, M. Carandini // Neuron. — 2012. — Vol. 75, no. 2. — P. 218—229.

106. Waves traveling over a map of visual space can ignite short-term predictions of sensory input [Text] / G. B. Benigno [et al.] // Nature Communications. — 2023.-Vol. 14, no. 1.-P. 3409.

107. Haist, F. Functional development of the brain's face-processing system [Text] / F. Haist, G. Anzures // Wiley Interdisciplinary Reviews: Cognitive Science. — 2017. - Vol. 8, no. 1/2. - e1423.

108. Ayzenberg, V. The dorsal visual pathway represents object-centered spatial relations for object recognition [Text] / V. Ayzenberg, M. Behrmann // Journal of Neuroscience. — 2022. — Vol. 42, no. 23. — P. 4693—4710.

109. Almeida, J. The role of the dorsal visual processing stream in tool identification [Text] / J. Almeida, B. Z. Mahon, A. Caramazza // Psychological science. — 2010. — Vol. 21, no. 6. — P. 772—778.

110. Early dissociation of face and object processing: A magnetoencephalographic study [Text] / A. Susac [et al.] // Human brain mapping. — 2009. — Vol. 30, no. 3.—P. 917—927.

111. Frontal-occipital connectivity during visual search [Text] / S. P. Pantazatos [et al.] // Brain Connectivity. — 2012. — Vol. 2, no. 3. — P. 164—175.

112. Guggenmos, M. Multivariate pattern analysis for MEG: A comparison of dissimilarity measures [Text] / M. Guggenmos, P. Sterzer, R. M. Cichy // Neuroimage. — 2018. — Vol. 173. — P. 434—447.

113. Kay, S. M. Fundamentals of Statistical Signal Processing: Estimation Theory [Text] / S. M. Kay. - Prentice Hall, 1997.

114. Predicting the time course of individual objects with MEG [Text] / A. Clarke [et al.] // Cerebral cortex. — 2015. — Vol. 25, no. 10. — P. 3602—3612.

115. Review on solving the inverse problem in EEG source analysis [Text] / R. Grech [et al.] // Journal of neuroengineering and rehabilitation. — 2008. — Vol. 5. — P. 1-33.

116. Hierarchical Bayesian inference for the EEG inverse problem using realistic FE head models: depth localization and source separation for focal primary currents [Text] / F. Lucka [et al.] // NeuroImage. — 2012. — Vol. 61, no. 4. — P. 1364-1382.

117. Reconstructing subcortical and cortical somatosensory activity via the RAMUS inverse source analysis technique using median nerve SEP data [Text] / A. Rezaei [et al.] // Neuroimage. — 2021. — Vol. 245. — P. 118726.

118. Truncated rap-music (trap-music) for MEG and EEG source localization [Text] / N. Mäkelä [et al.] // NeuroImage. — 2018. — Vol. 167. — P. 73—83.

119. Influence of tissue conductivity anisotropy on EEG/MEG field and return current computation in a realistic head model: a simulation and visualization study using high-resolution finite element modeling [Text] / C. H. Wolters [et al.] // NeuroImage. — 2006. — Vol. 30, no. 3. — P. 813—826.

120. Driscoll, L. ^.Representational drift: Emerging theories for continual learning and experimental future directions [Text] /L. N. Driscoll, L. Duncker, C. D. Harvey // Current Opinion in Neurobiology. — 2022. — Vol. 76. — P. 102609.

121. Neural representations of anxiety in adolescents with anorexia nervosa: a multivariate approach [Text] / R. Seiger [et al.] // Translational Psychiatry. — 2023. — Vol. 13, no. 1.—P. 283.

122. Learn to interpret voltage maps: an atlas of topographies [Text] / M. T. Foged [et al.] // Epileptic Disorders. — 2022. — Vol. 24, no. 2. — P. 229—248.

123. Kozunov, V. V. GALA: group analysis leads to accuracy, a novel approach for solving the inverse problem in exploratory analysis of group MEG recordings [Text] / V. V. Kozunov, A. Ossadtchi // Frontiers in Neuroscience. — 2015. — Vol. 9.—P. 107.

124. Multi-subject MEG/EEG source imaging with sparse multi-task regression [Text] / H. Janati [et al.] // NeuroImage. — 2020. — Vol. 220. — P. 116847.

125. Single-trial detection in EEG and MEG: Keeping it linear [Text] / L. Parra [et al.] // Neurocomputing. — 2003. — Vol. 52. — P. 177—183.

126. Laakso, A. Content and cluster analysis: assessing representational similarity in neural systems [Text] / A. Laakso, G. Cottrell // Philosophical psychology. — 2000. — Vol. 13, no. 1. — P. 47—76.

127. Topographic organization of the human subcortex unveiled with functional connectivity gradients [Text] / Y. Tian [et al.] // Nature neuroscience. — 2020. — Vol. 23, no. 11.-P. 1421-1432.

128. Subcortical cognition: The fruit below the rind [Text] / K. Janacsek [et al.] // Annual Review of Neuroscience. — 2022. — Vol. 45. — P. 361—386.

129. The basal ganglia and motor control [Text] / H. J. Groenewegen [et al.] // Neural plasticity. — 2003. — Vol. 10, no. 1/2. — P. 107—120.

130. Pierce, J. E. The basal ganglia and the cerebellum in human emotion [Text] / J. E. Pierce, J. Péron // Social cognitive and affective neuroscience. — 2020. — Vol. 15, no. 5.—P. 599—613.

131. Role of subcortical structures on cognitive and social function in schizophrenia [Text] / D. Koshiyama [et al.] // Scientific reports. — 2018. — Vol. 8, no. 1. — P. 1183.

132. Salloway, S. Subcortical structures and neuropsychiatric illness [Text] / S. Sal-loway, J. Cummings // The Neuroscientist. — 1996. — Vol. 2, no. 1. — P. 66—75.

133. Concurrent EEG/fMRI analysis by multiway partial least squares [Text] / E. Martinez-Montes [et al.] // Neurolmage. — 2004. — Vol. 22, no. 3. — P. 1023-1034.

134. EEG-correlated fMRI of human alpha activity [Text] / H. Laufs [et al.] // Neuroimage. — 2003. — Vol. 19, no. 4. — P. 1463—1476.

135. Hemodynamic correlates of EEG: A heuristic [Text] / J. Kilner [et al.] // NeuroImage. — 2005. — Vol. 28, no. 1. — P. 280—286. — URL: https://www. sciencedirect.com/science/article/pii/S1053811905004167.

136. Abreu, R. EEG-Informed fMRI: A Review of Data Analysis Methods [Text] / R. Abreu, A. Leal, P. Figueiredo // Frontiers in Human Neuroscience. — 2018. — Vol. 12. — URL: https://www.frontiersin.org/article/10.3389/fnhum.2018. 00029.

137. The richness of task-evoked hemodynamic responses defines a pseudohierarchy of functionally meaningful brain networks [Text] / P. Orban [et al.] // Cerebral cortex. — 2015. — Vol. 25, no. 9. — P. 2658—2669.

138. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations [Text] / A. Baevski [et al.] // Advances in Neural Information Processing Systems. Vol. 33 / ed. by H. Larochelle [et al.]. — Curran Associates, Inc., 2020. — P. 12449—12460. — URL: https://proceedings.neurips.cc/paper/2020/ file/92d1e1eb1cd6f9fba3227870bb6d7f07-Paper.pdf.

139. Dagaev, N. EEG-Based fMRI Digital Twin: Towards a Cheap and Ecological Approach to Measure Subcortical Brain Activity [Text] / N. Dagaev, I. Semenkov, A. Ossadtchi // 27th European Conference on Artificial Intelligence, 19-24 October 2024, Santiago de Compostela, Spain - Including 13th Conference on Prestigious Applications of Intelligent Systems (PAIS 2024). — 2024.

140. Speech decoding from a small set of spatially segregated minimally invasive intracranial EEG electrodes with a compact and interpretable neural network [Text] / A. Petrosyan [et al.] // Journal of Neural Engineering. — 2022. — Nov. — Vol. 19, no. 6. — P. 066016. — URL: https://dx.doi.org/10.1088/1741-2552/ aca1e1.

141. "Eyes Open - Eyes Closed" EEG/fMRI data set including dedicated "Carbon Wire Loop" motion detection channels [Text] / J. van der Meer [et al.] // Data in Brief. — 2016. — Vol. 7. — P. 990—994. — URL: https://www.sciencedirect. com/science/article/pii/S2352340916301056.

142. Decreased volume of left and total anterior insular lobule in schizophrenia [Text] / N. Makris [et al.] // Schizophrenia research. — 2006. — Vol. 83, no. 2/ 3. —P. 155—171.

143. Conformer: Convolution-augmented Transformer for Speech Recognition [Text] / A. Gulati [et al.]. — 2020. — arXiv: 2005 . 08100 [eess.AS]. — URL: https://arxiv.org/abs/2005.08100.

144. Learning Transferable Visual Models From Natural Language Supervision [Text] / A. Radford [et al.]. — 2021. — arXiv: 2103.00020 [cs.CV]. — URL: https://arxiv.org/abs/2103.00020.

145. Neuroscience [Text] / ed. by D. Purves [et al.]. — 2nd. — Sunderland (MA) : Sinauer Associates, 2001.

146. An open-access dataset of naturalistic viewing using simultaneous EEG-fMRI [Text] / Q. K. Telesford [et al.] // Scientific Data. — 2023. — Vol. 10, no. 1. — P. 554.

147. EEGNet: a compact convolutional neural network for EEG-based brain-computer interfaces [Text] / V. J. Lawhern [et al.] // Journal of neural engineering. — 2018. — Vol. 15, no. 5. — P. 056013.

148. Fries, P. Rhythms for cognition: communication through coherence [Text] / P. Fries // Neuron. — 2015. — Vol. 88, no. 1. — P. 220—235.

149. Aperiodic neural activity reflects metacontrol [Text] / C. Zhang [et al.] // Cerebral Cortex. — 2023. — Vol. 33, no. 12. — P. 7941—7951.

150. A neurophysiological basis for aperiodic EEG and the background spectral trend [Text] / N. Brake [et al.] // Nature Communications. — 2024. — Vol. 15, no. 1. — P. 1514.

151. Pani, S. M. Clinical applications of EEG power spectra aperiodic component analysis: A mini-review [Text] / S. M. Pani, L. Saba, M. Fraschini // Clinical Neurophysiology. — 2022. — Vol. 143. — P. 1—13.

152. Hendrycks, D. Gaussian Error Linear Units (GELUs) [Text] / D. Hendrycks, K. Gimpel. — 2023. — arXiv: 1606.08415 [cs.LG]. — URL: https://arxiv. org/abs/1606.08415.

153. Han, D. Deep Pyramidal Residual Networks [Text] / D. Han, J. Kim, J. Kim. — 2017. — arXiv: 1610.02915 [cs.CV]. — URL: https://arxiv.org/abs/1610. 02915.

154. Taylor, A. ./.Characterization of the hemodynamic response function across the majority of human cerebral cortex [Text] / A. J. Taylor, J. H. Kim, D. Ress // Neurolmage. — 2018. — Vol. 173. — P. 322—331.

155. Methods for Simultaneous EEG-fMRI: An Introductory Review [Text] / R. J. Huster [et al.] // Journal of Neuroscience. — 2012. — Vol. 32 (18). — P. 6053-6060.

156. Exploring the advantages of multiband fMRI with simultaneous EEG to investigate coupling between gamma frequency neural activity and the BOLD response in humans [Text] / M. Uji [et al.] // Hum Brain Mapp. — 2018. — Vol. 39. — P. 1673-1687.

157. EEG-correlated fMRI of human alpha activity [Text] / H. Laufs [et al.] // Neuroimage. — 2003. — Vol. 19 (4). — P. 1463—1476.

158. Concurrent EEG/fMRI analysis by multiway partial least squares [Text] / E. Martinez-Montes [etal.] //Neuroimage. — 2004. — Vol. 22. — P. 1023—1034.

159. Correlation of BOLD Signal with Linear and Nonlinear Patterns of EEG in Resting State EEG-Informed fMRI [Text] / G. V. Portnova [et al.] // Frontiers in Human Neuroscience. — 2018. — Vol. 11. — URL: https://www.frontiersin.org/ article/10.3389/fnhum.2017.00654.

160. Leite, M. Transfer function between EEG and BOLD signals of epileptic activity [Text] / M. Leite, A. Leal, P. Figueiredo // Frontiers in Neurology. — 2013. — Vol. 7.

161. Warbrick, T. Simultaneous EEG-fMRI: What Have We Learned and What Does the Future Hold? [Text] / T. Warbrick // Sensors. — 2022. — Vol. 22, no. 6.

162. 1953.6 The Hemodynamic Response of EEG Features [Text] / J. de Munck [et al.] // Simultaneous EEG and fMRI: Recording, Analysis, and Application. — Oxford University Press, 04/2010. — eprint: https : / / academic. oup. com/ book/ 0 / chapter /158884040/ chapter - ag - pdf / 44934789 /book\_10764 \ _section\_158884040.ag.pdf. — URL: https://doi.org/10.1093/acprof:oso/ 9780195372731.003.0013.

163. Ritaccio, A. L. Electrical stimulation mapping of the brain: basic principles and emerging alternatives [Text] / A. L. Ritaccio, P. Brunner, G. Schalk // Journal of Clinical Neurophysiology. — 2018. — Vol. 35, no. 2. — P. 86—97.

164. Incidence of gliomas by anatomic location [Text] / S. Larjavaara [et al.] // Neuro-oncology. — 2007. — Vol. 9, no. 3. — P. 319—325.

165. How many patients require brain mapping in an adult neuro-oncology service? [Text] / A. Giamouriadis [et al.] // Neurosurgical Review. — 2020. — Vol. 43. — P. 729—738.

166. Risk factors for intraoperative seizures in glioma surgery: electrocorticography matters [Text] / C. Lettieri [et al.] // Journal of Clinical Neurophysiology. — 2023. - Vol. 40, no. 1. - P. 27-36.

167. Intraoperative brain shift and deformation: a quantitative analysis of cortical displacement in 28 cases [Text] / D. W. Roberts [et al.] // Neurosurgery. — 1998. — Vol. 43, no. 4. — P. 749—758.

168. Electrocorticographic gamma activity during word production in spoken and sign language [Text] / N. Crone [et al.] // Neurology. — 2001. — Vol. 57, no. 11. — P. 2045—2053.

169. A model for visual naming based on spatiotemporal dynamics of ECoG high-gamma modulation [Text] / R. Arya [et al.] // Epilepsy & Behavior. — 2019. — Vol. 99.—P. 106455.

170. Spatiotemporal dynamics of auditory and picture naming-related high-gamma modulations: A study of Japanese-speaking patients [Text] / N. Ikegaya [et al.] // Clinical Neurophysiology. — 2019. — Vol. 130, no. 8. — P. 1446—1454.

171. Forseth, K. Cortical Dynamics Of Language [Text] : PhD thesis / Forseth Kiefer. — The University of Texas, 2021.

172. CortiQ-based real-time functional mapping for epilepsy surgery [Text] / C. Kapeller [et al.] // Journal of clinical neurophysiology. — 2015. — Vol. 32, no. 3. — e12—e22.

173. Spatial-temporal functional mapping of language at the bedside with electrocor-ticography [Text] / Y. Wang [et al.] // Neurology. — 2016. — Vol. 86, no. 13. — P. 1181-1189.

174. Electrocorticographic functional mapping identifies human cortex critical for auditory and visual naming [Text] / M. C. Cervenka [et al.] // Neuroimage. — 2013. - Vol. 69. - P. 267-276.

175. Language mapping using high gamma electrocorticography, fMRI, and TMS versus electrocortical stimulation [Text] / A. Babajani-Feremi [et al.] // Clinical Neurophysiology. — 2016. — Vol. 127, no. 3. — P. 1822—1836.

176. Arya, R ECoG high-gamma modulation versus electrical stimulation for presur-gical language mapping [Text] / R. Arya, P. S. Horn, N. E. Crone // Epilepsy & Behavior. — 2018. — Vol. 79. — P. 26—33.

177. Multimodality language mapping in patients with left-hemispheric language dominance on Wada test [Text] / K. Kojima [et al.] // Clinical neurophysiology. — 2012.-Vol. 123, no. 10.-P. 1917-1924.

178. So, E. L. A guide for cortical electrical stimulation mapping [Text] / E. L. So, A. Alwaki // Journal of Clinical Neurophysiology. — 2018. — Vol. 35, no. 2. — P. 98-105.

179. The Dutch Linguistic Intraoperative Protocol: A valid linguistic approach to awake brain surgery [Text] / E. De Witte [et al.] // Brain and Language. — 2015.— Vol. 140.—P. 35—48.

180. Neural correlates of high-gamma oscillations (60-200 Hz) in macaque local field potentials and their potential implications in electrocorticography [Text] / S. Ray [et al.] // Journal of Neuroscience. — 2008. — Vol. 28, no. 45. — P. 11526—11536.

181. Advances in human intracranial electroencephalography research, guidelines and good practices [Text] / M. R. Mercier [et al.] // Neuroimage. — 2022. — Vol. 260.-P. 119438.

182. Scikit-learn: Machine Learning in Python [Text] / F. Pedregosa [et al.] // Journal of Machine Learning Research. — 2011. — Vol. 12. — P. 2825—2830.

183. Chen, T. XGBoost: A Scalable Tree Boosting System [Text] / T. Chen, C. Guestrin // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Vol. 11. — ACM, 08/2016. — P. 785—794. — (KDD '16). — URL: http://dx.doi.org/10.1145/2939672. 2939785.

184. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods [Text] / J. Platt [et al.] // Advances in large margin classifiers. — 1999. — Vol. 10, no. 3. — P. 61—74.

185. Calibration of medical diagnostic classifier scores to the probability of disease [Text] / W. Chen [et al.] // Statistical methods in medical research. — 2018. — Vol. 27, no. 5. — P. 1394—1409.

186. 149 Dynamical Network State Sequences for Human Language Production [Text] / K. Forseth [et al.] // Neurosurgery. — 2024. — Vol. 70, Supplement_1. — P. 33-34.

187. Eelbrain, a Python toolkit for time-continuous analysis with temporal response functions [Text] / C. Brodbeck [et al.] // Elife. — 2023. — Vol. 12. — e85012.

188. Mapping of language and motor function during awake neurosurgery with intraoperative optical imaging [Text] / M. Oelschlägel [et al.] // Neurosurgical Focus. — 2020. — Vol. 48, no. 2. — E3.

189. Caucheteux, C. Evidence of a predictive coding hierarchy in the human brain listening to speech [Text] / C. Caucheteux, A. Gramfort, J.-R. King // Nature human behaviour. — 2023. — Vol. 7, no. 3. — P. 430—441.

190. Contextual feature extraction hierarchies converge in large language models and the brain [Text] / G. Mischler [et al.] // Nature Machine Intelligence. — 2024. — Nov. — Vol. 6, no. 12. — P. 1467—1477. — URL: http://dx.doi.org/10.1038/ s42256-024-00925-4.

191. Antonello, R. Predictive coding or just feature discovery? An alternative account of why language models fit brain data [Text] / R. Antonello, A. Huth // Neurobiology of Language. — 2024. — Vol. 5, no. 1. — P. 64—79.

192. Reading time data for evaluating broad-coverage models of English sentence processing [Text] / S. L. Frank [et al.] // Behavior Research Methods. — 2013. — Vol. 45.-P. 1182-1190.

193. Spatiotemporal dynamics of argument retrieval and reordering: an FMRI and EEG study on sentence processing [Text] / L. Meyer [et al.] // Frontiers in psychology. — 2012. — Vol. 3. — P. 523.

194. Neurophysiological dynamics of phrase-structure building during sentence processing [Text] / M. J. Nelson [et al.] // Proceedings of the National Academy of Sciences. — 2017. — Vol. 114, no. 18. — E3669—E3678.

195. De-Wit, L. Predictive coding and the neural response to predictable stimuli [Text] / L. De-Wit, B. Machilsen, T. Putzeys // Journal of Neuroscience. — 2010. - Vol. 30, no. 26. - P. 8702-8703.

196. /ones, D. S. Elementary information theory [Text] / D. S. Jones. — Oxford : Clarendon Press, 1979.

197. Hollenstein, ^.Towards best practices for leveraging human language processing signals for natural language processing [Text] / N. Hollenstein, M. Barrett, L. Beinborn // Proceedings of the second workshop on linguistic and neurocog-nitive resources. — 2020. — P. 15—27.

198. Finding syntax in human encephalography with beam search [Text] / J. Hale [et al.] // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) / ed. by I. Gurevych, Y. Miyao. — Melbourne, Australia : Association for Computational Linguistics, 07/2018. — P. 2727—2736. — URL: https://aclanthology.org/P18-1254/.

199. Ren, Y. CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [Text] / Y. Ren, D. Xiong // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) / ed. by C. Zong [et al.]. — Online : Association for Computational Linguistics, 08/2021. — P. 3758—3769. — URL: https://aclanthology.org/2021. acl-long.291/.

200. Decoding Part-of-Speech from Human EEG Signals [Text] / A. Murphy [et al.] // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) / ed. by S. Muresan, P. Nakov, A. Villavicencio. — Dublin, Ireland : Association for Computational Linguistics, 05/2022. — P. 2201—2210. — URL: https://aclanthology.org/2022.acl-long.156/.

201. Toneva, M. Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain) [Text] / M. Toneva, L. Wehbe // Advances in Neural Information Processing Systems. Vol. 32 / ed. by

H. Wallach [et al.]. — Curran Associates, Inc., 2019. —URL: https://proceedings. neurips.cc/paper_files/paper/2019/file/749a8e6c231831ef7756db230b4359c8-Paper.pdf.

202. Luck, S. J. An introduction to the event-related potential technique [Text] / S. J. Luck. — Cambridge : MIT press, 2014.

203. Sentence processing: How words generate syntactic structures in the brain [Text] / J. Martorell [et al.] // Language Electrified: Principles, Methods, and Future Perspectives of Investigation. — Springer, 2023. — P. 551—579.

204. RuSentEval: Linguistic Source, Encoder Force! [Text] / V. Mikhailov [et al.] // Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing / ed. by B. Babych [et al.]. — Kiyv, Ukraine : Association for Computational Linguistics, 04/2021. — P. 43—65. — URL: https://aclanthology.org/2021.bsnlp-

I.6/.

205. Национальный корпус русского языка 2.0: новые возможности и перспективы развития [Текст] / С. О. Савчук [и др.] // Вопросы языкознания. — 2024.—№2. —С. 7-34.

206. Korobov, M. Morphological Analyzer and Generator for Russian and Ukrainian Languages [Text] / M. Korobov // Analysis of Images, Social Networks and Texts / ed. by M. Y. Khachay [et al.]. — Cham : Springer International Publishing, 2015. — P. 320—332.

207. Brysbaert, M. How many words do we read per minute? A review and metaanalysis of reading rate [Text] / M. Brysbaert // Journal of memory and language. — 2019. — Vol. 109. — P. 104047.

208. MEG and EEG data analysis with MNE-Python [Text] / A. Gramfort [et al.] // Frontiers in Neuroscience. — 2013. — Vol. 7. — P. 267. — URL: https://www. frontiersin.org/article/10.3389/fnins.2013.00267.

209. Benjamini, Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing [Text] / Y. Benjamini, Y. Hochberg // Journal of the Royal statistical society: series B (Methodological). — 1995. — Vol. 57, no. 1. — P. 289-300.

210. Kuratov, Y. Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language [Text] / Y. Kuratov, M. Arkhipov. — 2019. — arXiv: 1905. 07213 [cs.CL]. — URL: https://arxiv.org/abs/1905.07213.

211. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Text] / J. Devlin [et al.]. — 2019. — arXiv: 1810.04805 [cs.CL].— URL: https://arxiv.org/abs/1810.04805.

212. Conneau, A. SentEval: An Evaluation Toolkit for Universal Sentence Representations [Text] / A. Conneau, D. Kiela // Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)/ ed. by N. Cal-zolari [et al.]. — Miyazaki, Japan : European Language Resources Association (ELRA), 05/2018. — URL: https://aclanthology.org/L18-1269/.

213. Kutas, M. Event-related brain potentials to semantically inappropriate and surprisingly large words [Text] / M. Kutas, S. A. Hillyard // Biological Psychology. — 1980. — Vol. 11, no. 2. — P. 99—116. — URL: https://www.sciencedirect. com/science/article/pii/0301051180900460.

214. Hickok, G. The cortical organization of speech processing [Text] / G. Hickok, D. Poeppel // Nature Reviews Neuroscience. — 2007. — Vol. 8. — P. 393-402.

Список рисунков

1.1 В режиме реального времени фильтрация выполняется следующим образом. Предварительно обученная нейросеть получает на вход зашумленный широкополосный ЭЭГ-сигнал х(£) и выдает комплексный узкополосный аналитический сигнал £(£), соответствующий целевому ритму, с минимальной задержкой. Параллельно с этим с помощью некаузального ОТЖ-фильтра извлекается эталонный сигнал — V) со смещением I (обычно 100-300 мс), который служит основой для отложенной оценки качества работы модели. Метрики, вычисляемые по этому задержанному истинному сигналу, могут потенциально использоваться в реальном времени для дополнительной настройки

параметров сети «на лету».........................25

1.2 Схема генерации данных, обучения и оценки производительности нейронной сети для фильтрации с низкой задержкой ..........27

1.3 Общая схема, примененная в эксперименте по прогнозированию синтетических данных для выбора оптимальной архитектуры нейронной сети ............................... 31

1.4 Примеры временных рядов синтетических и реальных данных .... 33

1.5 Круговое стандартное отклонение в градусах при прогнозировании синтетических данных для обоих сценариев «Sines». Хотя значения ошибок невысоки, прослеживается разделение: модели DLinear, NLinear и TCN (1, 3 и 4) демонстрируют лучшие показатели по сравнению с двумя другими архитектурами (2и5)............39

1.6 Метрики точности прогнозирования синтетических данных в сценарии «Filtered pink». При попарном сравнении между TCN и другими моделями были соединены скобкой те пары, в которых TCN демонстрировал лучшее среднее значение метрики. Рядом со скобкой указан уровень значимости с помощью p-значения: *** р < 0.0005; ** р < 0.005; * р < 0.05 или n.s. (не значимо) при р > 0.05. Из результатов очевидно резкое снижение средних показателей Трансформера и возрастание разброса его ошибок. Кроме того, Трансформер предоставляет ограниченный горизонт прогнозирования на уровне 50 мс.....................40

1.7 Метрики точности прогнозирования синтетических данных для обоих «State space» сценариев. При попарном сравнении между TCN и другими моделями были соединены скобкой те пары, в которых TCN демонстрировал лучшее среднее значение метрики. Рядом со скобкой указан уровень значимости с помощью p-значения: ***

р < 0.0005; ** р < 0.005; * р < 0.05 или n.s. (не значимо) при р > 0.05. Можно явно увидеть, что модель TCN показывает лучшие метрики оценки огибающей и фазы, учитывая ее горизонт прогнозирования в 100 мс..........................41

1.8 Устойчивость алгоритмов прогнозирования при варьировании уровня шума в сценарии «Filtered pink». На левой панели показано влияние роста уровня шума на точность оценки огибающей, на правой — на точность восстановления фазы, а в центральной панели отражена эффективная задержка в мс...................43

1.9 Устойчивость алгоритмов прогнозирования при варьировании уровня шума в сценарии «STSP pink». На левой панели показано влияние роста уровня шума на точность оценки огибающей, на правой — на точность восстановления фазы, а в центральной панели отражена эффективная задержка в мс ................... 44

1.10 Сравнение четырех методов на синтетических данных в сценарии «Filtered pink». При попарном сравнении между TCN и другими моделями были соединены скобкой те пары, в которых TCN демонстрировал лучшее среднее значение метрики. Рядом со скобкой указан уровень значимости с помощью p-значения: *** р < 0.0005; ** р < 0.005; * р < 0.05 или n.s. (не значимо) при р > 0.05. Наблюдаются более высокие показатели качества и устойчивости оценок от TCN и Conv-TasNet.......................47

1.11 Сравнение четырех методов на синтетических данных в сценариях «State space». При попарном сравнении между TCN и другими моделями были соединены скобкой те пары, в которых TCN демонстрировал лучшее среднее значение метрики. Рядом со скобкой указан уровень значимости с помощью p-значения: *** р < 0.0005; ** р < 0.005; * р < 0.05 или n.s. (не значимо) при р > 0.05. Наблюдается поэтапное улучшение характеристик четырех методов в следующем порядке: cFIR; фильтр Калмана; TCN и Conv-TasNet. При этом TCN и Conv-TasNet выделяются более устойчивыми оценками мгновенной фазы и меньшей задержкой оценки огибающей по сравнению с другими двумя методами ................... 48

1.12 Устойчивость алгоритмов фильтрации при варьировании уровня шума в сценарии «Filtered pink». На левой панели показано влияние роста уровня шума на точность оценки огибающей, на правой — на точность восстановления фазы, а в центральной панели отражена эффективная задержка в мс ......................... 49

1.13 Устойчивость алгоритмов фильтрации при варьировании уровня шума в сценарии «STSP pink». На левой панели показано влияние роста уровня шума на точность оценки огибающей, на правой — на точность восстановления фазы, а в центральной панели отражена эффективная задержка в мс ......................... 50

1.14 Метрики фильтрации реальных данных. При попарном сравнении между TCN и другими моделями были соединены скобкой те пары, в которых TCN демонстрировал лучшее среднее значение метрики. Рядом со скобкой указан уровень значимости с помощью p-значения: *** р < 0.0005; ** р < 0.005; * р < 0.05 или n.s. (не значимо) при

р > 0.05. Здесь различия в производительности оказываются менее заметными. Тем не менее, Conv-TasNet по всем оценочным метрикам сохраняет лидерство. При этом существенно более компактная модель TCN демонстрирует сопоставимое качество...........51

1.15 На примере реальных данных одного из испытуемых представлены оценки огибающей, гистограммы ошибок оценки фазы, а также соответствующие задержки для моделей TCN (верхний ряд) и фильтра Калмана (нижний ряд). Из полученных результатов видно, что фильтрация на базе TCN обеспечивает меньшую дисперсию ошибок оценки фазы по сравнению с «эталоном», полученным

офлайн с помощью HFIR-фильтра с задержкой 100 мс..........52

2.1 Диаграммы RSA в пространстве источников. (a) RSA, примененный к усредненному вызванному отклику (AV). Сначала обратный оператор применяется к уже усредненным данным вызванного отклика Xp, полученным в условияхр (р = 1,..., С). Затем элементы эмпирической RDM вычисляются как квадратичная разность между временными рядами активности источников для условий ci = р и

Cj = q. (b) RSA, примененный к отдельным эпохам (single trial, S.T.). Обратный оператор применяется к каждой 1-й эпохе, после чего вычисляется квадратичная разность, а затем она усредняется по всем эпохам внутри каждого условия. В обоих подходах могут использоваться разные обратные операторы (WM = {w^}). В данной главе было испытано два метода решения обратной задачи — MNE и LCMV BF..............................64

2.2 Теоретические матрицы RDM для каждого из четырех смоделированных источников, сгенерированные в рамках примера итерации Монте-Карло...........................74

2.3 Схема ReDisCA. Задача поиска пространственных компонент, выходные ВП которых соответствуют заданной RDM, сводится к оптимизации ковариации, аналогичной SPoC. Вместо матриц ковариаций для временных окон C(e) и связанных с ними значений поведенческой переменной z(e) для набора е = 1,... Е1, ReDisCA использует матрицы ковариаций разностей активаций Rpi? и элементы

теоретической RDM соответственно (см. также таблицу 2).....76

2.4 Результаты 100 итераций Монте-Карло в сценарии обнаружения единственного источника. (a) и (с) — ROC-кривые для ReDisCA и четырех версий RSA в пространстве источников (см. раздел 2.2) при двух разных уровнях SNR. (b) и (d) — усредненные ВП-временные ряды: зашумленные (синие) и без шума (красные) для двух значений SNR, а также теоретическая матрица различия, использованная в симуляциях..................................79

2.5 Результаты 100 итераций Монте-Карло для реалистичных симуляций с M = 4 случайно размещенными источниками и С = 6 условиями. (a) и (с) Распределения ошибки локализации для ReDisCA, BF S.T. и MNE S.T. при SNR=0.4 и SNR=0.2 соответственно. (b) и (d) распределения коэффициентов корреляций при SNR=0.4 и SNR=0.2 соответственно между истинной топографией и паттерном, полученным ReDisCA; между истинной топографией и вектором весов пространственного фильтра ReDisCA; между истинной RDM и RDM, полученными из многоканальных данных с использованием первого пространственного фильтра ReDisCA..............81

2.6 Средняя медианная ошибка локализации четырех одновременно активных источников (каждый со своей RDM) в зависимости от числа условий С для трех методов: ReDisCA, RSA на отдельных эпохах с формирователем луча и RSA на отдельных эпохах с MNE. Как и ожидалось, увеличение числа условий приводит к снижению ошибки локализации. ReDisCA демонстрирует наилучшую производительность при любом С ; при С = 6 средняя медианная ошибка оказывается менее 2 см.......................83

2.7 Анализ восприятия осмысленных и бессмысленных стимулов. (a) Теоретическая RDM, контрастирующая два типа стимулов. (b) Цветовая карта р-значений по компонентам: строки соответствуют компонентам, столбцы — времени. (с) Топография (паттерн) первой и единственной значимой компоненты в интервале около t = 400 мс. (d) Временные профили нескорректированных р-значений для

первой компоненты. Значимый сегмент отмечен звездочками......85

2.8 ReDisCA, примененный к данным из работы [81] с матрицей RDM, контрастирующей осмысленные («лицо» («face»), «инструмент» («tool»)) и бессмысленные («необ.» («nons.»)) категории (см. рис. 2.13(c)).................................... 86

2.9 Анализ восприятия осмысленных и бессмысленных стимулов. Топография, пространственно отфильтрованные временные ряды и наблюдаемые RDM для трех последовательных временных срезов

около t = 400 мс (см. также рис. 2.7(d))..................87

2.10 Теоретические RDM, соответствующие лицам (а) и автомобилям (b) . . 88

2.11 ReDisCA откликов, специфичных для лиц, с использованием RDM, изображенной на рис. 2.10(a). В верхней панели показана топография (паттерн) первой и единственной значимой компоненты ReDisCA. Топография соответствует источнику в правой веретенообразной извилине — области, ключевой для восприятия лицевой информации. На центральной панели представлены соответствующие компоненты ВП в четырех условиях. Эмпирическая RDM показана в нижней панели и демонстрирует

высокий коэффициент корреляции 0.82 с теоретической RDM.....89

2.12 Две значимые компоненты, обнаруженные методом ReDisCA с использованием RDM для детекции автомобилей (рис. 2.10(b)) при задержке t = 170 мс.............................90

2.13 Три теоретические матрицы RDM, использованные для анализа

набора данных [81] .............................91

2.14 ReDisCA, примененная к данным из работы [81] с теоретической RDM, специфичной для лиц (см. рис. 2.13(a)). Панели (a)-(c) соответствуют первым трем компонентам ReDisCA. В каждой панели верхний график показывает временные профили для шести подкатегорий («face 1», «face 2», «tools 1», «tools 2», «nons. 1» и «nons. 2»), см. легенду, а заголовок указывает соответствующее р-значение. Нижний график отображает пространственный паттерн компоненты ................................. 92

2.15 Метод ReDisCA, примененный к данным из [81] с теоретической матрицей RDM, специфичной для инструментов (см. рис. 2.13(b)) ... 93

2.16 (a) Небинарная теоретическая матрица RDM, примененная для задания специфических геометрических соотношений временных рядов компонентов. (b) Данная матрица требует, чтобы отклики на категории «лицо» и «инструмент» были максимально разнесены друг относительно друга и при этом находились на одинаковом расстоянии от откликов на бессмысленные изображения. Расстояния

в пунктах (a) и (b) закодированы одними и теми же цветами ...... 95

2.17 Компоненты анализа различий представлений в наборе данных [81], полученные с использованием небинарной теоретической матрицы RDM, показанной на рис. 2.16.......................96

2.18 Карта коры, отражающая первый главный угол между подпространством различий, порожденным топографиями с рис. 2.17, и подпространствами, сформированными топографиями

произвольно ориентированного диполя в каждой точке кортикальной поверхности (см. уравнение (2.14)). Это наглядно демонстрирует потенциальный вклад кортикальных источников в многомерную активность, соответствующую заданной пользователем RDM. Буквы A, P, S, L, R обозначают передний (anterior), задний (posterior), верхний (superior), левый (left) и правый (right) угол...........98

3.1 Принцип цифрового двойника фМРТ на основе ЭЭГ. Одновременные записи ЭЭГ и фМРТ используются для обучения индивидуальной для субъекта нейронной сети, способной предсказывать региональные BOLD-сигналы на основе многоканальных ЭЭГ-данных. После построения модели только данные ЭЭГ пропускаются через нее, и

сеть выдает предсказания гемодинамики мозга..............107

3.2 Модель глубокого обучения для задачи предсказания BOLD по ЭЭГ. Полная архитектура представлена на панели (a). Специализированные модули подробно показаны в отдельных блоках (b), (c) и (d). Примечание: во время инференса блок кодировщика BOLD отключается во избежание утечки данных и используется только при обучении для сокращения межмодального разрыва между эмбеддингами ЭЭГ и BOLD ........................112

3.3 Полученные значения коэффициентов корреляции с соответствующими стандартными отклонениями для 14 глубоких областей мозга (ROI) и усредненного общего сигнала..........114

3.4 a) Временные паттерны (представленные в частотной области) и b) пространственные паттерны, полученные на основе весов блока извлечения признаков согласно [101] и соответствующие

источникам, оказавшимся ключевыми для задачи декодирования .... 115

3.5 Архитектура BramWaveLinker. Модель принимает на вход многоканальные данные ЭЭГ, пропускает их через пространственный фильтр и функцию активации Gaussian Error Linear Unit (GELU). Затем она направляет данные в сверточные модули пирамидального снижения частоты дискретизации (pyramidal downsampling). Обратите внимание, что, так как наш финальный фильтр не использует паддинг, последовательность BOLD-сигнала

берется на 10 секунд короче, чем последовательность ЭЭГ Мы оцениваем задержку между последовательностями ЭЭГ и BOLD

относительно их центров..........................118

3.6 Примеры восстановленных BramWaveLinker стандартизованных временных рядов BOLD на тестовом разбиении для ROI правого таламуса во всех задачах одного участника................125

3.7 Точность декодирования на тестовом разбиении в зависимости от задержки между ЭЭГ и фМРТ для отдельных областей мозга. См. также рисунок 3.5 и раздел 3.4.3 для описания стратегии выравнивания ЭЭГ и фМРТ ........................126

4.1 Обзор системы электрокортикографического картирования речи. Данные иЭЭГ и аудиосигналы собираются с помощью усилителя и обрабатываются на сервере для получения ЕСМ-оценок в диапазоне от 0 до 1, отражающих степень вовлеченности каждого канала в речевые процессы. Для получения целевых меток выполняется

электрическое стимуляционное картирование ..............137

4.2 (A) Количество эпох ECM, зарегистрированных у каждого пациента, распределенных на общее число эпох и на эпохи, включенные после детекции голоса. (B) Количество информативных каналов у каждого пациента, идентифицированных с помощью ESM............138

4.3 (A) Тепловая карта признаков х = [^stim, ^voice] для различных электродов во времени: левая часть выровнена по моменту предъявления стимула, правая — по началу речи (красные штриховые линии указывают точки выравнивания). (B) Оценки ECM по электродам. Прямоугольник отображает С/50%, «усы» — С^95% (C) Метки ESM для каждого канала, указывающие на отрицательные результаты или на специфические положительные реакции ....... 143

4.4 Монополярная оценка. (A) ROC-кривые и (B) PR-кривые для девяти различных классификаторов: XGBoost, AdaBoost, SVC, Logistic Regression (LR), Random Forest (RF), KNN, Decision Tree (DT), Multilayer Perceptron (MLP) и Gaussian Naive Bayes (NB)........148

4.5 Значения ROC AUC и PR AUC как функция от частотного диапазона . 151

4.6 Паттерны и их корреляции между фолдами кросс-валидации. Начало речи при ¿ = 0................................152

4.7 Значения ROC AUC и PR AUC в зависимости от числа эпох. LR обозначает логистическую регрессию...................153

5.1 Пример одного предложения из веб-интерфейса для разметчиков . . .168

5.2 Схема проведения эксперимента с записью ЭЭГ.............171

5.3 Топографические карты значимо различных ВП между условиями во времени. Примечание. Данные представляют значимо различные попарные ВП между условиями (не)конгруэнтности, полученные с помощью z-оценок и пермутационных тестов с коррекцией FDR при а = 0.016. Соответствующие временные интервалы показаны в окне продолжительностью 100 мс. Normal - конгруэнтное условие. Sem Incongruent - семантически неконгруэнтное условие. Gram Incongruent - грамматически неконгруэнтное условие. S&G Incongruent - семантико-грамматически неконгруэнтное условие . . . .177

5.4 Корковые источники, контрастирующие ВП между различными условиями (не)конгруэнтности. Примечание. Корковые профили соответствуют латентности пиковых амплитуд различия ВП между указанной парой условий..........................178

5.5 Результаты пробинга SIGNAL по слоям. Нижний треугольник -точности попарной классификации (не)конгруэнтности. Верхний треугольник - ящики с усами точности по 20 запускам для каждого слоя LLM и каждой пары условий. Normal - конгруэнтное. Sem Incongruent - семантически; Gram Incongruent - грамматически; S&G Incongruent - семантико-грамматически неконгруэнтное ........179

5.6 Результаты пробинга исходного набора данных, взятого из RuSentEval, по слоям. Нижний треугольник - точности попарной классификации (не)конгруэнтности. Верхний треугольник - ящики с усами точности по 20 запускам для каждого слоя LLM и каждой пары условий. Normal - конгруэнтное. Sem Incongruent - семантически; Gram Incongruent - грамматически; S&G Incongruent -семантико-грамматически неконгруэнтное................181

Список таблиц

1 Сравнение количества параметров в моделях и количество эпох для

обучения. Число эпох указано для синтетического state-space

датасета с розовым шумом (см. раздел 1.3.4)...............30

2 Соответствие основных переменных SPoC [89] и переменных,

используемых для определения ReDisCA в данной главе........67

3 Значения корреляций для нашей модели (BWL) и базовых методов. Первые две строки представляют средние значения корреляций (в %) по всем ROI, субъектам и задачам для экспериментов с подкорковыми и кортикальными ROI. Ниже приведены метрики для каждого подкоркового ROI. Жирным выделены наилучшие значения

корреляции для каждого эксперимента и ROI...............123

4 Количество обучаемых параметров для нашей модели (BWL) и

базовых моделей на основе глубокого обучения. В связи с различным числом ROI для кортикальных и подкорковых структур размеры моделей в этих конфигурациях также отличаются............124

5 Значения корреляций для BrainWaveLinker на наборе данных с применением и без полиномиального детренда. Первые две строки представляют средние значения корреляций (в %) по всем ROI, субъектам и задачам для экспериментов с подкорковыми и кортикальными ROI. Ниже приведены метрики для каждого подкоркового ROI. Жирным выделены наилучшие значения корреляции для каждого эксперимента и ROI...............127

6 Значения корреляций для BrainWaveLinker и его вариаций. Первые две строки представляют средние значения корреляций (в %) по всем ROI, субъектам и задачам для экспериментов с подкорковыми и кортикальными ROI. Ниже приведены метрики для каждого подкоркового ROI. Жирным выделены наилучшие значения корреляции для каждого эксперимента и ROI...............128

7 Количество обучаемых параметров для BrainWaveLinker и его вариаций. В связи с различным числом ROI для кортикальных и подкорковых структур размеры моделей в этих конфигурациях также отличаются .................................. 129

8 Площадь под ROC- и PR-кривыми, полученная при процедуре кросс-валидации leave-one-patient-out для сценариев монополярной и биполярной оценки. Исключение аудио-признаков приводит к снижению эффективности .........................149

9 Точность пассивного картирования речи относительно золотого стандарта ESM. Коды локализации имплантации: LF — левая лобная (left frontal), LP — левая теменная (left parietal), LT — левая височная (left temporal), RF — правая лобная (right frontal), RP — правая теменная (right parietal), RT — правая височная (right temporal). Дополнительные обозначения: TP — истинно-положительные, TN — истинно-отрицательные, FP — ложно-положительные, FN — ложно-отрицательные. Sens. — чувствительность, Spec. — специфичность, Возр. — возраст. Значения чувствительности и специфичности при p^resft, = 0.2 приведены в таблице.........150

10 Сравнение нашего набора данных SIGNAL с существующими ЭЭГ-корпусами. Примечание. Reg. означает обычные предложения без неконгруэнтных аномалий. SS+/SS- означает контролируемую/неконтролируемую синтаксическую структуру. WF+/WF- означает контролируемую/неконтролируемую частоту слов в предложениях. WL+/WL- означает

контролируемую/неконтролируемую длину слов в предложениях. Столбцы: К - корпус, У - число участников, П - количество вопросов на понимание, В - количество людей в валидационном исследовании,

Л - наличие локализации источников ...................160

11 Ключевые параметры предложений внутри каждой группы. В таблице M означает среднее значение (mean), SD - стандартное отклонение (standard deviation), а IPM - количество повторений слова на один миллион слов корпуса (instances per million words).......167