Методы и средства автоматизированного проектирования микроархитектуры нейроморфных процессоров на транзакционном уровне описания тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Лукашов Иван Викторович

• Лукашов Иван Викторович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Лукашов Иван Викторович

Реферат

Synopsis

Введение

ГЛАВА 1. Существующие методы проектирования

нейроморфных процессоров

1.1 Введение

1.2 Обзор методов проектирования специализированных вычислителей

1.2.1 Метод атомарных переходов состояний

1.2.2 Подход расширения существующих языков описания аппаратуры

1.2.3 Методы конструирования и генерации аппаратного описания на базе языков общего назначения

1.2.4 Метод автоматизированного синтеза аппаратуры на

основе алгоритмического описания

1.2.5 Метод транзакционно-ориентированного моделирования

1.2.6 Параметризируемые СФ-ядра

1.2.7 Инструментальные средства конструирования из шаблонных компонентов

1.2.8 Гибридные методы

1.2.9 Обзор неформализованных описаний микроархитектуры

1.2.10 Функциональная спецификация

1.2.11 Микроархитектурная спецификация

1.3 Модели импульсных нейронных сетей

1.3.1 Leaky Integrate-and-Fire

1.3.2 Leaky Integrate-and-Fire с адаптивным порогом

1.3.3 Модель Ходжкина-Хаксли

1.3.4 Модель Ижикевича

1.3.5 Другие модели

1.3.6 Этапы обработки сигналов в импульсных нейронных сетях

1.3.7 Сравнительный анализ областей применения моделей . . . 121 1.4 Особенности микроархитектур нейроморфных процессоров

1.4.1 Выводы по главе

ГЛАВА 2. Транзакционный метод проектирования

нейроморфных процессоров

2.1 Введение

2.2 Потоки данных в нейроморфных процессорах

2.3 Нейроморфная транзакционная модель вычислений

2.3.1 Определение транзакции

2.3.2 Формализация спайковой транзакции

2.3.3 Формализация нейронной транзакции

2.3.4 Модель вычислений

2.4 Область применимости нейроморфной транзакционной модели вычислений

2.4.1 Обобщённая дискретная модель импульсного нейрона

2.4.2 Доказательство эквивалентности

2.5 Метод проектирования нейроморфных процессоров на основе транзакций

2.5.1 Синтез спайковой транзакции

2.5.2 Синтез нейронной транзакции

2.5.3 Модель микроархитектуры

2.6 Метод оптимизации арбитража к синаптической памяти на

основе транзакций

2.7 Выводы по главе

ГЛАВА 3. Разработка инструментального средства описания микроархитектуры нейроморфных процессоров на

транзакционном уровне описания

3.1 Разработка архитектуры системы автоматизированного проектирования

3.1.1 Организация системы автоматизированного проектирования

3.1.2 Среда программно-управляемого синтеза аппаратуры (Hardware Construction/Generation Framework)

3.1.3 Этапы транзакционного синтеза

3.2 Уровень пользовательского описания

3.2.1 Лексический и синтаксический уровни

3.2.2 Формализация архитектурного пространства

3.2.3 Транзакционное описание

3.2.4 Построение абстрактного синтаксического дерева

3.2.5 Формирование символьной таблицы

3.2.6 Построение промежуточного представления

3.3 Семантический уровень

3.3.1 Семантический анализ

3.3.2 Базовая нейроморфная микроархитектурная модель

3.3.3 Построение плана компоновки

3.3.4 План привязки к фазам

3.3.5 План управления

3.4 Уровень генерации RTL

3.4.1 Соглашение именований

3.4.2 Генерация и сборка ядра

3.4.3 Экспорт

3.4.4 Результаты транзакционного синтеза

3.5 Выводы по главе

ГЛАВА 4. Проектирование микроархитектуры нейроморфного

процессора на транзакционном уровне

4.1 Введение

4.2 Разработка экспериментального нейроморфного ядра

4.2.1 Анализ существующих решений

4.2.2 Спецификация экспериментального нейроморфного ядра

4.2.3 Микроархитектурная спецификация экспериментального нейроморфного ядра

4.2.4 Разработка микроархитектуры на транзакционном уровне

4.3 Оценка результатов проектирования

4.3.1 Результаты синтеза и использование ресурсов

4.3.2 Метрики проектного кода и сопоставление с RTL

4.4 Выводы по главе

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение

Приложение

Приложение

Тексты публикаций

Реферат

Введение диссертации (часть автореферата) на тему «Методы и средства автоматизированного проектирования микроархитектуры нейроморфных процессоров на транзакционном уровне описания»

Общая характеристика диссертации Актуальность темы

Современное развитие методов искусственного интеллекта сопровождается ростом масштабов применения нейросетевых моделей и, как следствие, возрастанием требований к производительности аппаратных платформ, обеспечивающих их вычисления. Используемые в настоящее время решения на основе графических и тензорных процессоров характеризуются высокими энергетическими затратами, что становится критическим фактором как для центров обработки данных, так и для систем граничных вычислений. Это обусловливает необходимость поиска энергоэффективных архитектур и специализированных средств вычислительной поддержки алгоритмов искусственного интеллекта.

Одним из перспективных направлений в данной области являются нейро-морфные процессоры, обеспечивающие реализацию импульсных нейронных сетей с существенно меньшими энергозатратами. Активное развитие моделей импульсных нейронных сетей и соответствующих архитектур ускорителей требует комплексного исследования проектных решений, направленных на повышение эффективности их реализации и совместной оптимизации моделей и аппаратных платформ.

При этом проектирование аппаратных средств, и особенно разработка микроархитектуры специализированных цифровых процессоров, остаётся трудоёмким процессом, требующим специальных компетенций и значительных временных затрат. Существующие методы и средства, начиная от классических языков аппаратного описания и заканчивая высокоуровневыми методами, не являются компромиссным решением между скоростью проектирования и гибкостью и не обеспечивают достаточно глубокого конфигурирования микроархитектуры для описания специализированных нейроморфных вычислителей.

Таким образом, существует выраженная потребность в развитии методов и инструментальных средств, направленных на повышение эффективности проектирования микроархитектуры нейроморфных процессоров, обеспечивающих

сокращение трудоёмкости и времени разработки при сохранении возможностей тонкой настройки архитектуры под характеристики целевой вычислительной нагрузки.

Степень разработанности проблемы

Современные методы высокоуровневого проектирования микроархитектуры нейроморфных процессоров можно условно разделить на два класса: (1) универсальные технологии высокоуровневого описания и синтеза аппаратуры и (2) специализированные инструментальные фреймворки, ориентированные на ней-роморфные архитектуры.

1. Универсальные методы высокоуровневого проектирования, применяемые при разработке нейроморфных архитектур, включают: поведенческий (высокоуровневый) синтез (High-Level Synthesis, HLS) [P. Paulin, G.D. Micheli], обеспечивающий абстракцию алгоритмов от микроархитектуры, но ограниченный статическим расписанием операций; моделирование на уровне транзакций (Transaction-Level Modeling, TLM) [B. Vanthournout, J. Aldis, и др.], направленное на абстракцию вычислений и коммуникаций в системах-на-кристалле, но не пригодное для описания синтезируемой микроархитектуры вычислительных блоков; метод атомарных транзакций языка Bluespec [Bourgeat T., Pit-Claudel C., и др.], формализующий управление переходами состояний, но не автоматизирующий создание вычислительных конвейеров; транзакционный подход к проектированию реализованный подмножеством TL-Verilog [Hoover S., Salman A.], обеспечивающий разделение данных и управляющих структур в конвейерах, но ограниченный в расширяемости и поддержке пользовательских типов данных.

2. Специализированные фреймворки проектирования нейроморфных архитектур, реализующие различные подходы к автоматизированной генерации аппаратных описаний, включают: RANC (Reconfigurable Architecture for Neuromorphic Computing) — симулятор и СФ-ядро с параметризуемой

нейроморфной архитектурой, ограниченной фиксированной организацией микроархитектуры [J. Mack, R. Purdy и др.]; Spiker+ — генератор VHDL-кода на основе Python-конфигураций с использованием шаблонных микроархитектурных блоков, обладающий ограниченными возможностями глубокой настройки архитектуры [A. Carpegna, A. Savino и др.]; SODA — гибридный подход, сочетающий HLS и шаблонные микроархитектуры, но ориентированный преимущественно на формальные нейронные сети (ANN) с ограниченной поддержкой импульсных нейронных сетей (ИмНС) [M. Minutoli, V. Giovanni Castellana, и др.].

Цель

Повышение эффективности проектирования микроархитектуры нейроморф-ных процессоров путем применения методов и средств автоматизированного проектирования, адаптированных к типовым микроархитектурным решениям в нейроморфных процессорах.

Задачи

Задача 1. Проанализировать методы спецификации и аппаратного описания нейроморфных вычислительных систем.

Задача 2. Формализовать транзакционный уровень и нейроморфные типы транзакций.

Задача 3. Разработать модель вычислений для обработки нейроморфных транзакций.

Задача 4. Разработать базовую микроархитектурную модель нейроморфных процессоров.

Задача 5. Разработать методы описания и синтеза микроархитектуры нейроморфных процессоров на транзакционном уровне.

Задача 6. Разработать набор инструментальных средств, реализующих транзакционные методы автоматизированного проектирования нейроморф-ных процессоров.

Задача 7. Разработать экспериментальное ядро нейроморфного процессора с использованием оригинальных средств автоматизированного проектирования и произвести оценку результатов.

Методы исследования

В работе использовались методы структурного, процедурного и объектно-ориентированного программирования, методы построения абстрактного синтаксического дерева (АСД) для описания целевых микроархитектурных механизмов, методы адаптивной параметризации проектируемых архитектур, а также методы оценки сложности программных решений с использованием метрик программной сложности.

Основные положения, выносимые на защиту

1. Метод описания микроархитектуры нейроморфных процессоров на основе транзакций, отличающийся жизненным циклом транзакций, основанным на обработке потоков данных, характерных для нейроморфных вычислений.

2. Метод генерации микроархитектуры нейроморфных процессоров на основе базовой микроархитектурной модели, отличающийся конфигурированием управления потоком данных, основанным на семантике транзакционного описания аппаратуры.

3. Метод упаковки и выборки синаптических параметров на основе семантики транзакционного описания, позволяющий минимизировать число обращений к памяти и предотвращать конфликты при параллельной обработке потоков данных.

4. Архитектура САПР нейроморфных процессоров, реализующая предлагаемые методы в рамках среды программно-управляемого синтеза аппаратуры (Hardware Construction/Generation Framework).

Научная новизна

1. Формализовано понятие транзакции как основной абстракции для описания микроархитектуры нейроморфных процессоров, определены свойства её жизненного цикла и соответствие аппаратным механизмам.

2. Предложена нейроморфная транзакционная модель вычислений и метод описания микроархитектуры на транзакционном уровне, обеспечивающие явное разделение логики обработки потоков данных от механизмов управления потоком и возможность их гибкой комбинации.

3. Разработана базовая микроархитектурная модель для синтеза нейроморфных процессоров, поддерживающая автоматическое конфигурирование механизмов буферизации и синхронизации вычислительных потоков.

4. Предложен алгоритм автоматизированного синтеза микроархитектуры на основе транзакционного описания, обеспечивающий генерацию эффективной аппаратной инфраструктуры управления потоком данных.

Объект исследования

Процесс автоматизации проектирования нейроморфных процессоров с использованием высокоуровневого описания для синтеза цифровых нейроморфных процессоров.

Предмет исследования

Разработка подхода к согласованному синтезу микроархитектуры с учётом характера потоков данных, циркулирующих в аппаратных структурах. Применение подхода генерации аппаратного описания, позволяющее авто-

матизировать процесс реализации управления потоком при этом оставив возможность гибкого и глубокого конфигурирования потока данных.

Теоретическая значимость

Теоретическая значимость работы заключается в формализации транзак-ционного подхода к проектированию нейроморфных процессоров на основе нейроморфной модели вычислений. Это позволяет использовать предложенные методы для исследования пространства проектных решений и систематизации вариантов построения специализированных нейроморфных процессоров.

Практическая значимость

Практическая значимость определяется возможностью повторного применения микроархитектурных компонентов, что сокращает трудоёмкость и время разработки. Разработанные методы и их реализация сокращают затраты на адаптацию элементов микроархитектуры к целевой функциональной спецификации и обеспечивают повышение производительности и эффективности проектируемых систем в рамках класса цифровых синхронных нейроморфных процессоров.

Определение новых терминов и понятий

Транзакция, транзакционный синтез

Достоверность

Достоверность полученных результатов и сформулированных научных положений обеспечивается комплексной методологией исследования, включающей: обоснование актуальности разработки новых инструментальных средств для проектирования микроархитектуры нейроморфных процессоров; анализ теоре-

тических и прикладных источников по методам специфицирования и описания аппаратуры; формулирование научных гипотез и их проверку посредством экспериментальных исследований. Достоверность результатов применения методов подтверждается публикационной активностью автора в рецензируемых журналах, а также апробацией основных положений на пяти профильных всероссийских и международной научно-технических конференциях, среди которых XI-XIV конгрессы молодых ученых и SPIE/COS Photonics Asia 2024. Полученные результаты согласуются с данными других исследований по реализациям нейроморфных процессоров, демонстрируя сопоставимые затраты аппаратных ресурсов с нейроморфным процессором Darwin (Ma и др., 2017) и более высокую гибкость проектирования по сравнению с СФ-ядром RANC (Mack и др., 2020). Также подтверждением является практическая реализация нейроморфного ядра и его внедрение в рамках НИР «Разработка гибридного масштабируемого нейропроцессора на основе тензорных и нейроморфных ядер».

Внедрение результатов работы

Результаты работы были использованы в НИОКР Научно-исследовательская работа в сфере искусственного интеллекта (НИРСИИ) (640097) // Экспериментальная разработка (01.12.2024 - 31.05.2026)

Апробация результатов работы

Результаты диссертационного исследования были представлены на пяти научных конференциях международнего и всероссийских статусов:

1. SPIE/COS Photonics Asia 2024 (12.10.2024 — 14.10.2024)

2. XI Конгресс молодых ученых (КМУ) (04.04.2022 — 08.04.2022)

3. XII Конгресс молодых ученых (КМУ) (03.04.2023 — 06.04.2023)

4. XIII Конгресс молодых ученых (КМУ) (08.04.2024 — 11.04.2024)

5. XIV Конгресс молодых ученых (КМУ) (07.04.2025 - 11.04.2025)

Публикации

Основное содержание диссертационной работы изложено в пяти публикациях, из них две публикации — в изданиях, рецензируемых Scopus, одна публикация — в журнале из перечня ВАК и две публикации — в изданиях, индексируемых в РИНЦ. Публикации в научных изданиях, входящих в международные реферативные базы данных и системы цитирования:

1. Lukashov I., Antonov A., Tabunschik S. High-level design of neuromorphic processors based on explicit decoupling of computations and transaction flow control // Proceedings of SPIE, 2024, Vol. 13239, pp. 132391K.

2. Lukashov I., Antonov A. Transaction-level designing of neuromorphic processors microarchitecture // 24th International Multidisciplinary Scientific GeoConference SGEM, 2024, Vol. 24, No. 2.1, pp. 81-88.

Публикации в научных изданиях, входящих в перечень российских рецензируемых журналов:

1. Лукашов И.В., Антонов А.А., Кустарев П.В. Метод высокоуровневого проектирования микроархитектуры нейроморфных процессоров на основе явного отделения вычислений от потока транзакций // Известия вузов. Приборостроение. 2025. Т. 68, № 3. С. 228-238.

Публикации в изданиях, индексируемых в РИНЦ:

1. Лукашов И.В., Сыдыкова Э. Обзор архитектур импульсных нейронных сетей // Сборник трудов XII Конгресса молодых ученых. Санкт-Петербург, 2023. Т. 1. С. 340-351.

2. Лукашов И.В. Обзор моделей и фреймворков импульсных нейронных сетей // Сборник трудов XI Конгресса молодых ученых. Санкт-Петербург, 2022. Т. 1. С. 243-246.

Опубликованные работы в полной мере отражают результаты диссертационного исследования. В статьях [1-3] представлены оригинальные методы проектирования микроархитектуры нейроморфных процессоров на транзак-ционном уровне: формализовано понятие транзакции, предложена модель вычислений и метод генерации аппаратного описания. Статьи [4, 5] содержат аналитический обзор моделей и архитектур импульсных нейронных сетей, а

также фреймворков для их проектирования и исследования. В совокупности публикации демонстрируют маршрут проектирования нейроморфных процессоров с описанием микроархитектуры на уровне транзакций.

Основное содержание работы

Во введении обосновывается актуальность темы диссертационного исследования. Во-первых, рост числа применений моделей и методов искусственного интеллекта демонстрирует устойчивый тренд на исследование специализированных вычислительных средств, ориентированных на ускорение алгоритмов искусственных нейронных сетей. Во-вторых, возрастание объёмов вычислений сопровождается ростом энергопотребления и, как следствие, актуализирует поиск энергоэффективных решений для обучения и вывода моделей. Одним из перспективных направлений в области энергоэффективных ускорителей искусственных нейронных сетей являются нейроморфные процессоры, развитие которых в настоящее время опирается на зафиксированные базовые принципы, но требует уточнения характеристик ускоряемых моделей импульсных нейронных сетей. Дальнейшее совершенствование таких моделей, их валидация и исследование архитектурных возможностей создают необходимость ускоренного изучения пространства проектных решений при разработке и совместной оптимизации целевых моделей и нейроморфных процессоров. При этом проектирование аппаратуры в целом, и разработка микроархитектуры цифровых процессоров в частности, остаётся трудоёмкой задачей, особенно в части создания и адаптации управляющих механизмов вычислений. Это подчёркивает актуальность задачи автоматизации процессов проектирования микроархитектуры.

Исходя из этого, в качестве ключевых аспектов актуальности диссертационного исследования можно выделить следующие положения:

— Рост числа применений методов искусственного интеллекта и возрастание требований к аппаратным платформам.

— Увеличение энергопотребления при выполнении вычислений алгоритмов искусственного интеллекта.

— Необходимость ускоренного исследования проектных решений нейроморф-ных процессоров для реализации импульсных нейронных сетей.

— Высокая трудоёмкость проектирования управляющих механизмов микроархитектуры и потребность в их автоматизации.

В первой главе рассматриваются методы проектирования специализированных цифровых вычислителей с фокусом на нейроморфные процессоры, а также методы спецификации для постановки требований к проектируемым вычислителям. Затем анализируется целевая нагрузка нейроморфных процессоров — импульсные нейронные сети: излагаются используемые модели и этапы обработки спайков, после чего систематизируются архитектурные и микроархитектурные особенности нейроморфных систем.

Систематизированный анализ существующих подходов к проектированию вычислительных систем и нейроморфных процессоров показывает, что применяемые методы можно условно разделить на технологии общего назначения и специализированные средства.

К первому классу относятся HDL/RTL-подходы, языки правил (Bluespec), расширения и надстройки над HDL (TL-Verilog, LiteX/Migen), языки конструирования аппаратуры (Chisel, SpinalHDL, Genesis2), средства высокоуровневого синтеза (Vitis HLS, Intel HLS и др.) и транзакционно-ориентированные средства моделирования (SystemC/TLM). Они обеспечивают различные уровни абстракции и автоматизации, однако либо требуют значительных трудозатрат для разработки управляющей логики, либо ограничены механизмами работы с событийной динамикой и динамическими потоками данных.

Второй класс составляют специализированные решения для нейроморфных архитектур, включая параметризуемые аппаратные ядра, конструкторы на базе шаблонов и гибридные фреймворки. Эти средства обеспечивают быстрый переход к аппаратной реализации моделей импульсных нейронных сетей, но, как правило, ограничивают глубину микроархитектурной конфигурации и управление механизмами обработки событий.

Дополнительно был выполнен обзор методов спецификации вычислителей, включая концептуальные и функциональные описания, а также микроархитектурные представления. Анализ показал наличие разрыва между функциональной моделью и КГЬ-описанием. При этом устойчиво выделяется уровень микроархитектуры, оперирующий фазами обработки, очередями, банками памяти, механизмами квитирования и др. Это формирует требования к методу проектирования и обосновывает использование транзакционного уровня как основы для автоматизированной генерации микроархитектуры.

Переход к транзакционному уровню также обусловлен характером целевой нагрузки нейроморфных процессоров, представленной импульсными нейронными сетями. Модели этого класса варьируются от биореалистичных с большим числом параметров и высокой вычислительной сложностью до упрощённых вычислительных моделей.

Обработка данных в импульсных нейронных сетях осуществляется на основе последовательных дискретных шагов, активируемых поступлением и дальнейшим распространением спайков. Независимо от выбранной модели нейрона процесс описывается последовательностью этапов, включающей:

1. приём входных спайков и формирование входного тока;

2. интеграцию входных воздействий с учётом утечки;

3. адаптационные и нелинейные модификации состояния;

4. пороговую проверку;

5. генерацию выходного спайка;

6. сброс состояния и рефрактерный период.

Таким образом, формируется универсальный механизм обработки информации, характерный для всего класса дискретных моделей импульсных нейронов.

Учет особенностей нейроморфных вычислений позволяет выделить основные архитектурные и микроархитектурные свойства таких процессоров:

— гомогенная обработка входных спайков и повторяемость вычислительных блоков;

— выполнение вычислений вблизи памяти;

— фазовая организация обработки;

— массовый параллелизм обработки;

— разреженность вычислений.

Эти свойства формируют требования к аппаратным блокам и механизмам управления потоками. В частности, необходимы буферы спайков, контроллеры выборки нейронов и арбитры доступа к памяти синаптических параметров. Такая организация способствует применению транзакционной абстракции, позволяющей инкапсулировать механизмы управления потоком и явно определять порядок обработки входящих данных.

Так была сформулирована гипотеза исследования: проектирование микроархитектуры нейроморфных процессоров на транзакционном уровне, формализующем механизмы обработки входящих спайков и обновления состояний импульсных нейронов, а также использование типовых примитивов с автоматической генерацией КГЬ-описания позволит ускорить проектные итерации, повысить воспроизводимость решений и сохранить контроль над критически важными микроархитектурными аспектами.

Во второй главе последовательно рассматриваются этапы формализации проектирования на уровне транзакций. Сначала структурируются потоки данных в микроархитектуре нейроморфных процессоров. Затем формализуются доменные типы транзакций (спайковые и нейронные) с определением их жизненных циклов. На этой основе создаётся нейроморфная модель вычислений, описывающая правила обработки транзакций в рамках фаз вычислительного процесса (синаптической и соматической). Далее предлагается формализация метода проектирования, включающая спецификацию микроархитектуры на транзакционном уровне и транзакционный синтез для отображения описания в модель микроархитектуры.

Первым этапом формализации является структурирование потоков данных, циркулирующих внутри нейроморфного процессора. Эти потоки определяют жизненный цикл обработки информации и служат основой для последующего описания транзакций.

В типичном нейроморфном процессоре можно выделить следующие основные потоки данных:

Рисунок 1 — Основные потоки данных в нейроморфном процессоре

— поток входящих спайков, формируемый внешними источниками и поступающий во входящую очередь;

— поток обновления динамических параметров нейронов на основе синап-тических параметров (весов, типов синапсов и др.), формируемый в синаптической фазе;

— поток обновления динамических параметров нейронов на основе их собственных параметров (мембранный потенциал, адаптивный порог и др.), формируемый в соматической фазе;

— поток исходящих спайков, генерируемых в результате активации нейронов и поступающий в исходящую очередь;

— пост-обновления динамических параметров нейронов, выполняемые после генерации спайков (рефрактерный период).

Каждый из потоков ассоциирован с одной из двух фаз вычислений:

синаптическая фаза приём спайков и обработка синаптических связей;

— соматическая фаза — применение функции активации нейрона и генерация исходящего спайка.

Для систематического описания вычислений на уровне транзакций вводится определение транзакции как структуры данных, имеющих единый для её полей порядок инициализации, циркуляции и завершения в рамках тракта данных аппаратного блока, и вызывающая модификацию внутренних и внешних

состояний согласно заданным функциям обработки в процессе циркулирования по стадиям данного тракта.

Порядок обработки транзакции описывается через её жизненный цикл, включающий три основные стадии:

— инициализация — начало обработки транзакции в тракте данных аппаратного блока;

— циркуляция — последовательная обработка транзакции в функциональных блоках, сопровождаемая выполнением операций над её полями и изменением состояний памяти и самой транзакции;

— завершение — окончание обработки и переход к следующей фазе вычислений.

На основе анализа потоков данных выделяются два доменных типа тран-

— спайковая транзакция представляет собой структуру данных, ассоциированную с параметрами синаптических связей и инициируемую поступлением входящего спайка. Она циркулирует по стадиям синаптической фазы, извлекает параметры синапсов (вес, задержка, тип и др.) и изменяет динамические состояния постсинаптических нейронов согласно заданной функции обработки;

— нейронная транзакция представляет собой структуру данных, ассоциированную с параметрами нейронов и инициируемую переходом к нейронной фазе обработки. Она циркулирует по стадиям нейронной фазы, извлекает статические параметры нейрона (параметры утечки, пороговый потенциал и др.), обновляет его динамическое состояние согласно заданной функции обработки и, при выполнении порогового условия, формирует выходной спайк и выполняет пост-обновление состояния.

Спайковая транзакция определяется структурой нейронной сети

где $ С ЖрГе х — множество синаптических связей. Для каждого

(прге,пр0^) € £ задан набор параметров

закций:

(1)

Р(Прге,Прощ) = {Р1, . . . ,рк}

(2)

Инициализация транзакции происходит при поступлении спайка от прге, представляемого бинарной функцией

!1, спайк в момент £,

(3)

0, иначе

Для каждого входящего спайка множество постсинаптических нейронов определяется как

Щпрге) = { ^post 1 ("^рге > "^розО е 5 } (4)

Динамическое состояние каждого пр^ е Я(прте) обновляется по правилу

^(*) ^ Ф^(1),р(пр-Про^) (5)

где Ф — фиксированная композиция операций, определённая транзакционным описанием. Спайковая транзакция завершается после обработки всех спайков входной очереди.

Нейронная транзакция определяется множеством нейронов

N = {п} (6)

для каждого п е N задаются динамические и статические параметры

хп(Ъ), вп (7)

Инициализация транзакции соответствует дискретному переходу времени

г ^ г + 1 (8)

после чего выполняется обновление состояния нейрона.

Состояние нейрона после накопления вкладов из синаптической фазы определяется как

^ Хп(1) + Дп(*) (9)

где Дп(£) — суммарный вклад входящих спайков.

Далее состояние обновляется по правилу

Хп (I + 1) = Ф пеиг( Хп

Выходное событие определяется предикатом

у„{1 + 1) = Ф(х„Ц + 1), 0„) £ {0,1}

(11)

При уп(Ь + 1) = 1 выполняется пост-обновление

хп (г + 1) ^ Хп

(12)

и индекс нейрона помещается в выходную очередь событий, после чего нейронная транзакция завершается.

Нейроморфная транзакционная модель вычислений основана на доменных типах транзакций (спайковых и нейронных), которые формируют последовательные фазы обработки: синаптическую и соматическую. Алгоритм вычислений имеет вид, представленный на рис. 2.2).

В синаптической фазе обрабатываются входящие спайки и формируется накопленный вклад Дп(£). В соматической фазе для каждого нейрона вычисляется новое состояние хп(р + 1), проверяется условие эмиссии уп(Ь + 1), и при необходимости генерируется выходной спайк и выполняется пост-обновление.

Таким образом, модель задаёт циклический процесс обработки спайковых и нейронных транзакций, обеспечивающий дискретное распространение активности в сети. Данное представление формирует абстрактный уровень вычислений, независимый от конкретной аппаратной реализации, и служит основой для отображения транзакционного уровня на микроархитектурные структуры.

Список литературы диссертационного исследования кандидат наук Лукашов Иван Викторович, 2025 год

Литература

1. The cost of training machines is becoming a problem [Электронный ресурс] // The Economist. 020. Режим доступа: https://www.economist.com/technology-quarterly/ 2020/06/11/the-cost-of- training-machines-is-becoming-a-problem. (дата обращения: 10.02.20230.

2. Auge D. et al. A survey of encoding techniques for signal processing in spiking neural networks //Neural Processing Letters. 2021. Т. 53. №. 6. С. 4693-4710.

3. Paugam-Moisy H., Bohte S. M. Computing with spiking neuron networks //Handbook of natural computing. 2012. Т. 1. С. 1-47.

4. Izhikevich E.M. "Simple model of spiking neurons," in IEEE Transactions on Neural Networks, vol. 14, no. 6, pp. 1569-1572, Nov. 2003, doi: 10.1109/TNN.2003.820440.

5. Gerstner W., & Kistler W. M. (2002). Spiking neuron models: Single neurons, populations, plasticity. Cambridge University Press. https://doi.org/10.1017/CB09780511815706.

6. Nitzsche S., Pachideh B., Luhn N. and Becker J. "Digital Hardware Implementation of Optimized Spiking Neurons," 2021 International Conference on Neuromorphic Computing (ICNC), Wuhan, China. 2021. pp. 126-134, doi: 10.1109/ICNC52316.2021.9608391.

7. Aamir S. A. et al. An accelerated LIF neuronal network array for a large-scale mixed-signal neuromorphic architecture //IEEE Transactions on Circuits and Systems I: Regular Papers. 2018. Т. 65. №. 12. С. 4299-4312.

8. Soleimani H., Ahmadi A., Bavandpour M. Biologically inspired spiking neurons: Piecewise linear models and digital implementation //IEEE Transactions on Circuits and Systems I: Regular Papers. 2012. Т. 59. №. 12. С. 2991-3004.

9. Basu A. et al. Spiking neural network integrated circuits: A review of trends and future directions //2022 IEEE Custom Integrated Circuits Conference (CICC). IEEE. 2022. С. 1-8.

10. Richter O. et al. Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline //arXiv preprint arXiv:2304.06793. 2023.

11. Kim S. et al. SNPU: An Energy-Efficient Spike Domain Deep-Neural-Network Processor With Two-Step Spike Encoding and Shift-and-Accumulation Unit //IEEE Journal of SolidState Circuits. 2023.

12. Kim S. et al. C-DNN: A 24.5-85.8 TOPS/W complementary-deep-neural-network processor with heterogeneous CNN/SNN core architecture and forward-gradient-based sparsity generation //2023 IEEE International Solid-State Circuits Conference (ISSCC). IEEE. 2023. С. 334-336.

13. Liu Y. et al. AA 22nm 0.43 pJ/SOP Sparsity-Aware In-Memory Neuromorphic Computing System with Hybrid Spiking and Artificial Neural Network and Configurable Topology //2023 IEEE Custom Integrated Circuits Conference (CICC). IEEE. 2023. С. 1-2.

14. ReckOn: A Spiking RNN Processor Enabling On-Chip Learning over Second-Long Timescales [Электронный ресурс] // GitHub. Режим доступа: https://github.com/ChFrenkel/ReckOn. (дата обращения: 10.02.20230).

15. OpenSpike [Электронный ресурс] // GitHub. Режим доступа: https//github.com/sfmth/OpenSpike. (дата обращения: 10.02.20230).

16. Spiking Neural Network RTL Implementation [Электронный ресурс] // GitHub. - Режим доступа: https://github.com/jasha64/SNN-FPGA. (дата обращения: 10.02.20230.

17. Гришанов Н.В. и др. Нейроморфный процессор «Алтай» для энергоэффективных вычислений //Наноиндустрия. 2020. №. S96-2. С. 531-538.

18. Camunas-Mesa L.A. et al. A configurable event-driven convolutional node with rate saturation mechanism for modular ConvNet systems implementation //Frontiers in neuroscience. 2018. Т. 12. С. 63.

19. Chen G.K. et al. A 4096-neuron 1M-synapse 3.8-pJ/SOP spiking neural network with on-chip STDP learning and sparse weights in 10-nm FinFET CMOS //IEEE Journal of SolidState Circuits. 2018. Т. 54. №. 4. С. 992-1002.

20. Davies M. et al. Loihi: A neuromorphic manycore processor with on-chip learning //Ieee Micro. 2018. Т. 38. №. 1. С. 82-99.

21. Roy A. et al. A programmable event-driven architecture for evaluating spiking neural networks //2017 IEEE/ACM International Symposium on Low Power Electronics and Design (ISLPED). IEEE. 2017. С. 1-6.

22. Bouvier M. et al. Spiking neural networks hardware implementations and challenges: A survey //ACM Journal on Emerging Technologies in Computing Systems (JETC). 2019. Т. 15. №. 2. С. 1-35.

23. Zhang J. et al., "A 28nm configurable asynchronous snn accelerator with energy-efficient learning," in 2021 27th IEEE International Symposium on Asynchronous Circuits and Systems. IEEE, 2021. pp. 34-39.

24. Peeters A. et al., "Click elements: An implementation style for datadriven compilation," in 2010 IEEE Symposium on Asynchronous Circuits and Systems. IEEE. 2010. pp. 3-14.

25. Kuang Y. et al "A 64k-neuron 64m-1b-synapse 2.64 pj/sop neuromorphic chip with all memory on chip for spike-based models in 65nm cmos," IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 68, no. 7. pp. 2655-2659, 2021.

26. Wong M. et al "A 2.1 pj/sop 40nm snn accelerator featuring onchip transfer learning using delta stdp," in ESSDERC 2021-IEEE 51st European Solid-State Device Research Conference. 2021. pp. 95-98.

27. Senapati M. et al. THOR--A Neuromorphic Processor with 7.29 G TSOP $A 2$/mm $Л 2$ Js Energy-Throughput Efficiency //arXiv preprint arXiv:2212.01696. 2022.

XII KoHrpecc Monogbix ynëHbix. TOM 1

28. Stuijt J. et a, "^brain: An event-driven and fully synthesizable architecture for spiking neural networks," Frontiers in neuroscience. vol. 15. p. 538. 2021.

29. Wang D. et al "Always-on, sub-300-nw, event-driven spiking neural network based on spike-driven clock-generation and clock-and powergating for an ultra-low-power intelligent device," in 2020 IEEE Asian Solid-State Circuits Conference (A-SSCC). IEEE. 2020. pp. 1-4.

30. Kuang Y. et al "A 64k-neuron 64m-1b-synapse 2.64 pj/sop neuromorphic chip with all memory on chip for spike-based models in 65nm cmos," IEEE Transactions on Circuits and Systems II: Express Briefs, vol. 68, no. 7. pp. 2655-2659. 2021.

31. Frenkel C. et al "A 0.086-mm, 12.7-pj/sop 64k-synapse 256-neuron online-learning digital spiking neuromorphic processor in 28-nm cmos," IEEE transactions on biomedical circuits and systems, vol. 13. no. 1. pp. 145-158. 2018.

32. Lee J.H., Delbruck T. and Pfeiffer M. 2016. Training Deep Spiking Neural Networks Using Backpropagation. Frontiers in Neuroscience 10, (November 2016). 508-508.

33. Orchard, G., Jayawant, A., Cohen, G. K., and Thakor, N. 2015. Converting Static Image Datasets to Spiking Neuromorphic Datasets Using Saccades. Frontiers in Neuroscience 9, (November 2015). pp.437-437.

34. Kheradpisheh S.R. et al. STDP-based spiking deep convolutional neural networks for object recognition //Neural Networks. 2018. T. 99. C. 56-67.

35. Guo Wenzhe & Yantir Hasan & Fouda Mohammed E. & Eltawil Ahmed & Salama Khaled. 2020. Towards Efficient Neuromorphic Hardware: Unsupervised Adaptive Neuron Pruning. Electronics. 9. 1059. 10.3390/electronics9071059.

36. Kim S. et al. Spiking-yolo: spiking neural network for energy-efficient object detection //Proceedings of the AAAI conference on artificial intelligence. 2020. T. 34. №. 07. C. 11270-11277.

37. Chen H. T. et al. Spike latency coding in biologically inspired microelectronic nose //IEEE transactions on biomedical circuits and systems. 2011. T. 5. №. 2. C. 160-168.

38. Loiselle S. et al. Exploration of rank order coding with spiking neural networks for speech recognition //Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005. IEEE. 2005. T. 4. C. 2076-2080.

39. Wysoski S.G., Benuskova L., Kasabov N. Adaptive spiking neural networks for audiovisual pattern recognition //Lecture notes in computer science. 2008. T. 4985. C. 406-415.

40. Wysoski S.G., Benuskova L., Kasabov N. Text-independent speaker authentication with spiking neural networks //Artificial Neural Networks-ICANN 2007: 17th International Conference, Porto, Portugal, September 9-13, 2007, Proceedings, Part II 17. - Springer Berlin Heidelberg. 2007. C. 758-767.

41. Bellec G. et al. Long short-term memory and learning-to-learn in networks of spiking neurons //Advances in neural information processing systems. 2018. T. 31.

42. Hamedani K. et al. Detecting dynamic attacks in smart grids using reservoir computing: A spiking delayed feedback reservoir-based approach //IEEE Transactions on Emerging Topics in Computational Intelligence. 2019. T. 4. №. 3. C. 253-264.

43. Joseph G.V., Pakrashi V. Spiking Neural Networks for Structural Health Monitoring //Sensors. 2022. T. 22. №. 23. C. 9245.

44. Henderson A. et al. Detection and Classification of Drones Through Acoustic Features Using a Spike-Based Reservoir Computer for Low Power Applications //2022 IEEE/AIAA 41st Digital Avionics Systems Conference (DASC). - IEEE. 2022. C. 1-7.

45. Sungho Jeon, Jong-Wo Shin, Young-Jun Lee, Woong-Hee Kim, Young Hyoun Kwon, and Hae-Yong Yang. Empirical study of drone sound detection in real-life environment with deep neural networks. In 2017 25th European Signal Processing Conference (EUSIPCO), pages 1858-1862. IEEE. 2017.

46. Cabrera-Ponce A. A., Martinez-Carranza J., Rascon C. Detection of nearby UAVs using CNN and Spectrograms //International Micro Air Vehicle Conference and Competition (IMAV)(Madrid). 2019.

47. Al-Emadi S., Al-Ali A., Al-Ali A. Audio-based drone detection and identification using deep learning techniques with dataset enhancement through generative adversarial networks //Sensors. 2021. Т. 21. №. 15. С. 4953.

48. Anwar M.Z., Kaleem Z., Jamalipour A. Machine learning inspired sound-based amateur drone detection for public safety applications //IEEE Transactions on Vehicular Technology. 2019. Т. 68. №. 3. С. 2526-2534.

49. Kirkland P. et al. UAV detection: a STDP trained deep convolutional spiking neural network retina-neuromorphic approach //Artificial Neural Networks and Machine Learning-ICANN 2019: Theoretical Neural Computation: 28th International Conference on Artificial Neural Networks, Munich, Germany, September 17-19, 2019, Proceedings, Part I 28. - Springer International Publishing. 2019. С. 724-736.

50. Kaiser J. et al. Towards a framework for end-to-end control of a simulated vehicle with spiking neural networks //2016 IEEE International Conference on Simulation, Modeling, and Programming for Autonomous Robots (SIMPAR). IEEE. 2016. С. 127-134.

51. Gutierrez-Galan D. et al. NeuroPod: a real-time neuromorphic spiking CPG applied to robotics //Neurocomputing. 2020. Т. 381. С. 10-19.

52. Dupeyroux J. et al. Neuromorphic control for optic-flow-based landing of MAVs using the Loihi processor //2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2021. С. 96-102.

УДК 004.81

ОБЗОР МОДЕЛЕЙ И ФРЕЙМВОРКОВ ИМПУЛЬСНЫХ НЕЙРОННЫХ СЕТЕЙ

И.В. Лукашов Научный руководитель — к.т.н., доцент А.Ю. Кузнецов

Университет ИТМО e-mail: [e-mail]

Аннотация

В работе осуществлен обзор фреймворков для моделирования импульсных нейронных сетей. Обзор выполнен в рамках исследования методов автоматизированного проектирования нейроморфных процессоров. С этой целью были выделены ключевые возможности рассматриваемых реализаций, а именно: преобразование нейронных сетей в импульсную форму, параметры преобразований, методы обучения и кодирования, экспорт моделей, а также трансляция и компиляция моделей в набор команд процессора. Ключевые слова

Нейроморфный процессор, импульсная нейронная сеть, фреймворк нейронных сетей, компиляция, трансляция, модель нейронной сети.

Для работы нейроморфных процессоров требуется модель импульсной нейронной сети. Зачастую, аппаратные платформы не поддерживают обучение на кристалле, поэтому модель нейронной сети предобучена. Общий принцип работы такой системы приведен на рис. 1.

Рис. 1. Принцип работы импульсной нейронной сети на нейроморфном процессоре

Чтобы запустить модель импульсной нейронной сети на нейроморфном процессоре сначала нужно эту модель создать. Для моделирования импульсных нейронных сетей существует ряд прикладных программ для моделирования, например:

1. 2.

3.

4.

5.

GENESIS.

Neuron.

Brian.

NEST.

SpikeNET.

Как правило, эти программы применяются нейробиологами и нейроинформатиками. Они имеют большое количество параметров и ориентированы на моделирование биологических нейронов и их свойств с целью исследования. Для реализации алгоритмов искусственных импульсных нейронных сетей могут использоваться системы компьютерной алгебры или специализированные фреймворки.

Зачастую используется метод преобразования нейронных сетей второго поколения в импульсные нейронные сети. При преобразовании топология нейронной сети может оставаться исходной, но могут изменяться ее характеристики. Например, функции активации нейронов. Так, при преобразовании обычной нейронной сети в импульсную нейронную сеть функция активации нейронов ReLu (1) может быть заменена на функцию активации LIF (2) для импульсного нейрона.

у = тах (0, Wi * xt), (1)

y(t + 1)=y(t) + Zi wi*Xi(t). (2)

Также, для обучения имупульсных нейронных сетей используются переработанные или специальные методы обучения и различные методы кодирования, демонстрирующие различную эффективность.

После получения модели импульсной нейронной сети она должна быть экспортирована. Существуют различные форматы для представления, одним из популярных форматов является XML-подобный формат Sonata. Пример листинга экспортированной модели импульсной нейронной сети в формате Sonata приведен на рис. 2.

cchannelDensity id="gbar_In" ionChanneU'Ini" condDensity="0.00043788364247700001 S_per_cm2" erev="-107.0 nV" segnientGroup="so™" ion="k7>

«hannelDensity id="gbar_Ih" ionChannel="Ih" cordDensity="0.0019922075246600001 S_per_cm2" erev="-45 mV" segnentGroup="so<ra" ion="hcn7>

«hannelDensity id="gbar_ltaTs" ionChannel="NaTs" condDensity="0.71282189194300005 S_per_an2" erev="53.0 «V segmentGroup="s(fflo" ion="na7>

cchannelDensity id="gbar_Nap" ionChanneb'Nap" condDensity="0.0012493753876800001 S_per.cm2" erev="53.0 «V" segmentGroup="soira" ion="ra'/>

«hannelDensity id="gbar_KJ>" ionChonnel="K_P" condDensity="0.034836377263399998 S_per_c»2" erev="-107.0 mV" segmentGroup="s<™" ion="k"/>

cchannelDensity id="gbar_K_T" ionChonneVKJ" condDensity="0.0166428509042 S_per_cm2" erev="-107.0 mV" segnentGroup="sona" ion="k"/>

<channelDensity id="gbar_SK" ionCtonneVSK" condDensity=-0.00024972209054299998 S_per_c»2" erev="-107.0 mV" segmentGroup="soro" ion="k7>

cchannelDensity id="gbar_Kv3J" ionChannel="Kv3_l" condDensity="0.28059766435600003 S_per_c»2" erev="-107.0 mV" segmentGroup="soma" ion=T/>

cchannelDensity id="g_pas_sana" ion(hannel="pas" condDensity="0.00092865666454699993 S_per_ai2" erev="-85.6125717163 mV" seg»entGroup="sora" ion="non_specific7>

cchannelDensity id="g_pas_axon- ionCharnel="pos" condDensity="0.000914230933548999861 S_per_an2" erev="-85.6125717163 mV" segmentGroup="axon" ion="non_specific7>

cchannelDensity id="g_pQS_dend" ionChanneWpas" coiidDensity="3.8264043188599994e-06 S_per_ai2" erev="-85.6125717163 mV" segmentGroup="dend" ion="non_specific7>

cchannelDensity it"g_pas_apic" ionChanneWpas" condDensity="2.1U45615996e-06 S_per_ai2" erev="-85.6125717163 mV" seginentGroup="opiс" ion="non_specific"/>

cchannelDensityNernst id="gbar_Ca_HVA" ionChanneb'CaJVA" condDensity="0.00015339031713199999 S_per_a»2" segment6roup="soro" ion="co"/>

cchannelDensityNernst id="gbar_Ca_LVA" ionChannel="Ca_LVA" condDensity="0.0033469316039000004 S_per_a«2" segmentGroup="soira' ion="ca"/>

<species segmentGroup="soma" id="ca" concentrationNodeVCoDynamics" ion="ca" initialConcentration="0.0001 ««" initialExtConcentration="2 «H"/>

Рис. 2. Листинг модели импульсной нейронной сети в формате Sonata

Далее сеть транслируется с учетом параметров и ограничений самого процессора, такими как дискретизация синаптических весов, дискретизация функции активации нейрона, количество входов нейрона и т.д. [1-3]. Примером такой трансляции является набор команд NISA. Далее сеть компилируется в набор команд конкретной нейроморфной архитектуры.

На основе обзора были выделены ключевые особенности фреймворков, а именно:

- преобразование нейронных сетей второго поколения в импульсную форму;

- изменяемые характеристики при преобразовании;

- методы обучения импульсных нейронных сетей;

- методы кодирования импульсных нейронных сетей;

- экспорт и форматы экспорта;

- изменяемые параметры компиляции;

- трансляция в команды микроархитектуры процессора.

Сравнительный анализ фреймворков, с учетом выделенных особенностей реализации, приведен в таблице.

Таблица

Сравнение фреймворков импульсных нейронных сетей

Фреймворк Преобразование II поколения ИНС в III Изменение паров преобразования Поддержка методов обучения Изменение методов кодирования ИмИНС Экспорт моделей Поддержка пар-тров компиляции Трансляция в набор команд

Spyke Torch да, из Torch да нет нет да нет нет

PyNN нет нет да да NeuroML NineML SONATA нет нет

NetPyNE нет нет да да Sim Config Net Params simData нет нет

Open Source Brain нет нет да да Neuro ML 2 да да

Nengo keras-spiking да, из Keras да нет да да да да

Tensorsan dbox да, из Tensorflo w да да нет нет нет нет

Brian2 да да да да да да да

Snntorch да, из Torch да да да да нет нет

pyNeuroM L нет нет да да да да нет

Таким образом, в статье были рассмотрены реализации фреймворков для моделирования импульсных нейронных сетей с целью их применения в нейроморфном вычислителе (процессоре). Наиболее подходящим вариантом представляется фреймворк Brain2. Brain2 реализует наиболее релевантный, для поставленной цели, функционал.

Литература

1. Christoph S, Wolfgang M. Optimized spiking neurons can classify images with high accuracy through temporal coding with two spikes // Nature Machine Intelligence. 2021. №3(3). С. 230-238.

2. Chankyu L., Syed S.S., Priyadarshini P., Gopalakrishnan S., Kaushik R. Enabling Spike-Based Backpropagation for Training Deep Neural Network Architectures // Front. Neurosci. 2020. №14(119). [Электронный ресурс]. Режим доступа: https://www.frontiersin.org/articles/10.3389/fnins.2020.00119/full (дата обращения: 15.04.2022).

3. Jibin W., Yansong C., Malu Z., Guoqi L., Haizhou L., Kay C.T. A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks // IEEE Transactions on Neural Networks and Learning Systems. 2021. №7(1). С. 1-15.