Методы и средства эффективной обработки мультимодальной информации в системах управления роботами тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Зайцев Владимир Владимирович

• Зайцев Владимир Владимирович
• кандидат наук
• 2026

Оглавление диссертации кандидат наук Зайцев Владимир Владимирович

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИТИЧЕСКИЙ ОБЗОР СОВРЕМЕННЫХ МЕТОДОВ И СРЕДСТВ ОБРАБОТКИ МУЛЬТИМОДАЛЬНОЙ ИНФОРМАЦИИ

1. 1 Особенности распределенной обработки мультимодальной информации с автономных устройств

1.2 Аналитический обзор существующих методов обработки мультимодальной информации

1.3 Обзор современных средств обработки мультимодальной информации

1.4 Постановка задачи диссертационной работы

Выводы по главе

ГЛАВА 2 РАЗРАБОТКА ФОРМАЛИЗОВАННОГО ПРЕДСТАВЛЕНИЯ ОБРАБОТКИ МУЛЬТИМОДАЛЬНОЙ ИНФОРМАЦИИ С АВТОНОМНЫХ УСТРОЙСТВ

2.1 Формализация задачи распознавания образов при наличии нечетких признаков задаваемых объектов

2.2 Разработка математической модели нечетко заданного объекта распознавания

2.3 Разработка математической модели динамической кластеризации мультимодальных данных

2.4 Разработка алгоритма выделения признаков объекта распознавания

Выводы по главе

ГЛАВА 3 РАЗРАБОТКА МЕТОДИКИ ОБРАБОТКИ МУЛЬТИМОДАЛЬНОЙ ИНФОРМАЦИИ С АВТОНОМНЫХ УСТРОЙСТВ В СИСТЕМАХ УПРАВЛЕНИЯ РОБОТАМИ

3.1 Разработка алгоритма динамической кластеризации мультимодальной с учетом признаков объекта распознавания

3.2 Разработка алгоритма распознавания образа в мультимодальной информации

3.3 Разработка метода планирования задач обработки мультимодальной информации

3.4 Разработка методики обработки мультимодальной информации с автономных устройств в системах управления роботами

Выводы по главе

ГЛАВА 4. РАЗРАБОТКА И ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ СИСТЕМЫ УПРАВЛЕНИЯ МОБИЛЬНЫМИ РОБОТАМИ

4.1 Разработка архитектуры системы управления мобильными роботами

4.2 Верификация результатов экспериментальных исследований по применению системы управления мобильными роботами в задаче классификации воздушных целей

4.3 Верификация результатов экспериментальных исследований по применению системы управления мобильными роботами при обнаружении объектов в зоне ЧС

4.4 Оценка эффективности и рекомендации по использованию результатов диссертационной работы

Выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А

ПРИЛОЖЕНИЕ Б

117

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Методы и средства эффективной обработки мультимодальной информации в системах управления роботами»

Актуальность проблемы

В связи с развитием технологий и увеличением количества собирающих данные автономных устройств, объем обрабатываемой информации в системах управления роботами постоянно возрастает: по данным информационного агентства TAdviser этот рынок активно развивается и в 2024 году его потенциал достиг 11,4 млрд рублей. По прогнозам аналитиков, ожидается дальнейший рост в среднем на 11% в год. [1-5].

При этом вопросам эффективной обработки информации в системах управления роботами в разное время посвящали свои труды зарубежные и отечественные ученые и инженеры Г. Бостельман, М.И. Сондхи, Д.А. Беркли, В.Е. Шукшунов, Ю.А. Бакулов, В.Н. Григоренко, М.В. Якубовский, С.А. Ку-рицин, А.Д. Снегов, А.З. Цыпкин, Р.Л. Стратанович, В.И. Тихонов и многие другие. [6-20].

Однако, в настоящее время специалисты отмечают снижение точности идентификации объектов с нечеткими признаками при обработке мультимо-дальной информации (МИ) с автономных устройств в системах управления роботами, приводящее к необходимости ручной проверки результатов идентификации и увеличению времени обработки данных и формированию управляющего воздействия. Мультимодальная информация имеет разный формат и структуру, что усложняет интеграцию и анализ данных, вызывает потерю целостности и достоверности данных [21, 22].

Отмеченные недостатки обусловлены наличием проблемной ситуации -отсутствием эффективных методов и средств распознавания объектов с нечетко заданными признаками в МИ, - причины которой заключаются в сложности определения нечетких или неопределенных признаков объектов; недостатке обучающих данных; высокой вычислительной сложности обработки МИ.

Существующий процесс распознавания образов основан на сравнении множества признаков объекта с набором сформированных и хранящихся в базе знаний характеристик. Однако, в условиях нечетко заданных признаков объектов и мультимодальности информации возникает динамическая нестабильность категорий и правил категорирования объектов. Данный факт позволяет утверждать, что обработка МИ представляет собой сложную динамическую задачу и требует разработки новых моделей, методов и алгоритмов систематизации процедуры сравнения.

Таким образом, тема исследований, направленных на разработку моделей, алгоритмов и методов обработки МИ и формирования управляющего воздействия в системах управления роботами с целью идентификации объектов с нечетко заданными признаками, является весьма своевременными и актуальными.

Цель диссертации заключается в повышении скорости и точности обработки МИ в системах управления роботами в условиях нестабильности признаков заданных объектов на основе методов нечеткого моделирования.

Для достижения поставленной цели необходимо решить следующие основные задачи:

1. Осуществить аналитический обзор существующих методов и средств обработки МИ с автономных устройств.

2. Разработать формализованное представление обработки МИ с автономных устройств в системах управления роботами.

3. Разработать методику обработки МИ с автономных устройств в системах управления роботами.

4. Разработать алгоритм динамической кластеризации мультимодальной информации.

5. Разработать метод планирования задач обработки МИ в системах управления роботами.

6. Осуществить программную реализацию предложенных решений в виде системы управления мобильными роботами.

7. Провести экспериментальные исследования, оценить эффективность и осуществить верификацию полученных результатов.

Методы исследования. Теоретические и практические исследования основаны на положениях формального аппарата дискретной математики, теории графов, теории нечеткой логики и нечетких множеств, методов обработки изображений, методов математического и системного анализа.

Научная новизна. Диссертационная работа представляет собой совокупность обоснованных научных и технических разработок, направленных на повышение эффективности обработки МИ в системах управления роботами. Получены следующие новые научные результаты:

1. Разработана математическая модель распознавания образов при наличии нечетких признаков заданного объекта, позволяющая получать параметры целевого состояния идентификации объекта с учетом временных и вычислительных ограничений.

2. Разработана методика обработки МИ с автономных устройств в системах управления роботами, отличающаяся динамической кластеризацией данных и позволяющая на 37% повысить скорость идентификации заданных объектов и увеличить точность идентификации на 11%.

3. Разработан алгоритм динамической кластеризации МИ с учетом признаков объекта распознавания, позволяющий формировать категории и правила категорирования объектов, учитывать изменение базы сравнений муль-тимодальной информации. Алгоритм позволяет в 4 раза уменьшить динамическую нестабильность категорий мультимодальных данных и увеличить на 70% точность кластеризации нечетко заданных объектов.

4. Разработан метод планирования задач обработки МИ на основе недетерминированного конечного автомата, отличающийся представлением процесса обработки МИ как перехода между состояниями идентификации, упорядоченными по времени. Метод позволяет определять все возможные варианты перехода от начального состояния к целевому с учетом временных ограничений и наилучшего значения переменной состояния.

Достоверность полученных результатов подтверждается их теоретической обоснованностью и проведенными экспериментальными исследованиями. Основные результаты получены с использованием современных теоретических и практических методов, известных и широко применяемых в научных исследованиях. Предложенные решения подтверждаются аналитическими расчетами, имитационным моделированием и анализом результатов экспериментов.

Теоретическая и практическая значимость работы заключается в том, что полученные результаты обеспечивают повышение эффективности обработки МИ с автономных устройств в системах управления роботами, заключающееся в уменьшении времени и увеличении точности идентификации заданных объектов, в том числе с нестабильными признаками.

1. Разработано формализованное представление задачи распознавания образов при наличии нечетких признаков задаваемых объектов, позволяющее получать параметры целевого состояния идентификации объекта с учетом временных и вычислительных ограничений.

2. Разработана методика обработки МИ с автономных устройств в системах управления роботами, позволяющая на 37% повысить скорость идентификации заданных объектов с точностью более 11%.

3. Разработан алгоритм динамической кластеризации мультимодальной информации с учетом признаков объекта распознавания, позволяющий в 4 раза сократить динамическую нестабильность категорий мультимодальных данных.

4. Разработан метод планирования задач обработки МИ в системах управления роботами на основе недетерминированного конечного автомата, позволяющий рассматривать мультимодальную информацию в виде дерева, корень которого соответствует началу обработки данных, а каждый узел -точке ветвления с возможными переходами в другие состояния.

Теоретические результаты диссертационной работы используются в об-

разовательном процессе НИУ МИЭТ в дисциплинах «Технологии параллельного программирования», «Параллельное и распределенное программирование», «Большие данные», «Архитектура высокопроизводительных вычислительных систем», «Теория систем и системный анализ».

Результаты диссертационной работы внедрены на производственных предприятиях. Акты внедрения прилагаются.

Соответствие паспорту научной специальности. Диссертационная работа полностью соответствует паспорту специальности 2.3.1 «Системный анализ, управление и обработка информации, статистика», в частности, пп. 4, 5.

Личный вклад автора. Все основные результаты диссертационной работы получены лично автором, в том числе:

1. Проведен аналитический обзор современных методов и средств обработки МИ.

2. Разработана математическая модель процесса распознавания образов с нечетко заданными признаками.

3. Разработана методика обработки МИ с автономных устройств в системах управления роботами.

4. Разработан алгоритм динамической кластеризации мультимодаль-ной информации с учетом признаков объекта распознавания.

5. Разработан метод планирования задач обработки МИ с автономных устройств в системах управления роботами.

6. Осуществлена программная реализация предложенных решений, проведены экспериментальные исследования для оценки эффективности и верификации полученных результатов.

Положения, выносимые на защиту

1. Математическая модель распознавания образов при наличии нечетких признаков заданного объекта, позволяющая получать параметры целевого состояния идентификации объекта с учетом временных и вычислительных ограничений.

2. Методика обработки МИ с автономных устройств в системах управления роботами, повышающая на 37% скорость идентификации объектов с нечетко заданными признаками и точность идентификации на 11%.

3. Алгоритм динамической кластеризации мультимодальных данных с учетом признаков идентифицируемого объекта, в 4 раза сокращающий динамическую нестабильность категорий мультимодальных данных и увеличивающий на 70% точность идентификации нечетко заданных объектов.

4. Метод планирования задач обработки МИ с автономных устройств в системах управления роботами на основе недетерминированного конечного автомата, учитывающий отношения предшествования между операциями по выделению признаков объекта распознавания, временные и вычислительные ограничения.

Апробация работы. Основные результаты диссертационной работы докладывались на научных конференциях. В частности,

1. V научно-практическая конференция с международным участием «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2024», Москва, МИЭТ.

2. II международная конференция «Современные технологии научного приборостроения и информационно-измерительных систем», Москва, НТЦ УП РАН, 2024 г.

3. Международная научно-техническая конференция студентов, аспирантов и молодых учёных «Научная сессия ТУСУР - 2023».

4. XXXII Всероссийская межвузовская научно-техническая конференция студентов и аспирантов Микроэлектроника и информатика - 2025.

5. VIII Международная научно-практическая конференция «Инновации в информационных технологиях, машиностроении и автотранспорте», Кузбасс, 2024.

6. Russia Section Young Researchers in Electrical and Electronic Engineering Conference (2017 ElConRus), Москва, 2017 г.

7. IX Всероссийская межвузовская научно-практическая конференция

«Актуальные проблемы информатизации в науке, образовании и экономике», Москва, 2016 г.

Публикации. По теме диссертации опубликовано 15 работ, из них 5 статей в журналах, рекомендованных ВАК, и 3 свидетельства о регистрации программы для ЭВМ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка используемой литературы и приложений. Общий объем диссертации составляет 127 страниц, 5 таблиц и 10 рисунка. Список использованной литературы состоит из 112 наименований на 12 страницах.

ГЛАВА 1 АНАЛИТИЧЕСКИЙ ОБЗОР СОВРЕМЕННЫХ МЕТОДОВ И СРЕДСТВ ОБРАБОТКИ МУЛЬТИМОДАЛЬНОЙ ИНФОРМАЦИИ

1.1 Особенности распределенной обработки мультимодальной информации с автономных устройств

Распределенная обработка мультимодальной информации - это процесс сбора, анализа и обработки данных с различных устройств, таких как датчики, сенсоры, мобильные устройства и другие автономные системы, с целью получения полезной информации. Мультимодальная информация отличается разнообразием по структуре, формату и содержанию и может быть представлена в виде текстовых, числовых, графических и других типов данных. Кроме того, мультимодальная информация имеет разный уровень достоверности, актуальности и полноты в зависимости от источника получения [23-25].

В связи с чем возникают проблемы, связанные с объединением и согласованием данных из разных источников с разными форматами и структурами. Различия в форматах данных приводят к конфликтам и несоответствиям при попытке объединить информацию из разных источников. Обеспечение актуальности и согласованности данных при их постоянном обновлении также является нетривиальной задачей обработки мультимодальной информации. Кроме того, мультимодальная информация может содержать конфиденциальные данные, что требует дополнительных мер безопасности для защиты данных. Следовательно, сложность обработки мультимодальной информации требует разработки специализированных методов и инструментов для эффективного анализа и использования данных [26].

Для решения обозначенных проблем обработки мультимодальной информации в настоящее время применяются методы интеграции данных, стандартизации форматов, использование ЕТЬ-процессов (извлечение, трансформация, загрузка), а также технологии обработки больших данных и машинного обучения.

Интеграция данных в случае обработки мультимодальной информации представляет собой сложную задачу из-за различной природы, формата, структуры и источников получения данных. Как уже отмечалось выше, муль-тимодальная информация поступает из различных источников, в том числе реляционных баз данных, NoSQL хранилищ, файловых систем, API, датчиков, контрольно-измерительных приборов и т.д., следовательно, применяемые методы интеграции должны поддерживать такое разнообразие источников. Данное утверждение верно и в отношении форматов данных: JSON, XML, CSV, текстовые, графические файлы и т.д. Дополнительно усложняет процесс интеграции различная структура данных, - требуется использование методов трансформации данных для приведения их к общему формату или структуре. Кроме того, мультимодальная информация, как правило, связана с большими объемами данных, что требует от методов интеграции поддержки работы с большими нагрузками и наличием методов управления схемами данных для обеспечения их согласованности [27, 28].

Стандартизация форматов данных при обработке мультимодальной информации позволяет обеспечить согласованность данных и упростить их дальнейшую обработку за счет приведения данные из различных источников к общему формату. Кроме того, при стандартизации форматов возможно провести очистку данных, удаление повторов, корректировку, что способствует повышению качества данных. Очевидно, что использование стандартизированных форматов упрощает процесс интеграции данных из различных источников, так как данные уже находятся в едином формате [29]. При этом, стандартизация форматов позволяет использовать общие методы и инструменты для работы с данными, что повышает эффективность обработки и анализа информации. Создание единого представления данных упрощает понимание информации и обеспечивает ее однозначную интерпретацию.

ETL (Extract, Transform, Load) — это процесс извлечения данных из различных источников, их преобразования в нужный формат и загрузки в целе-

вую базу данных или хранилище [30]. Использование ETL-процессов позволяет повысить эффективность обработки мультимодальной информации, поскольку:

- ETL-процесс позволяет извлекать данные из различных источников: базы данных, файлы различных форматов (CSV, Excel, XML и другие), API и др.

- полученные данные преобразуются в единый формат, производится корректировка информации, обеспечение требований выбранного стандарта качества, возможно объединение нескольких источников данных и других манипуляций для подготовки к загрузке.

- после преобразования данные загружаются в целевое хранилище, из которого они доступны для анализа, отчетности и других целей.

- использование ETL-процессов позволяет автоматизировать многие шаги обработки данных, что уменьшает вероятность ошибок и увеличивает эффективность их обработки.

Следовательно, при обработке мультимодальной информации ETL-про-цессы позволяют приводить данные из различных источников к общему формату, что обеспечивает их согласованность и удобство дальнейшей обработки.

В настоящее время распределенная обработка мультимодальной информации с автономных устройств представляет своевременную и актуальную задачу. Практически во всех сферах деятельности используется множество автономных устройств и требуется обработка большого количества разнообразных данных в различных целях, от мониторинга до принятия управленческих решений.

Основная проблема обработки мультимодальной информации заключается в высокой степени децентрализации - автономные устройства обрабатывают информацию независимо друг от друга, что требует эффективных механизмов синхронизации и координации между устройствами. При этом, автономные устройства имеют ограниченные вычислительные и энергетические ресурсы, что ограничивает их способность обрабатывать большие объемы

данных. Необходимо оптимизировать алгоритмы обработки данных для эффективного использования доступных ресурсов.

Поскольку автономные устройства могут находиться в разных местах и иметь ограничения по сетевому соединению, следует эффективно передавать информацию между устройствами, минимизируя задержки и потери данных.

Обработка мультимодальной информации с автономных устройств требует особых мер безопасности, защиты данные от утечек, несанкционированного доступа и других угроз. Шифрование данных и механизмы аутентификации позволяют выполнить требования безопасности.

Важным аспектом обработки информации с автономных устройств является способность принимать решения на основе обработанных данных без необходимости постоянного взаимодействия с централизованной системой

[31, 32].

Таким образом, распределенная обработка мультимодальной информации с автономных устройств требует комплексного подхода, учитывающего специфику устройств, ограничения ресурсов, безопасность данных и эффективную передачу информации между устройствами.

Отдельное внимание заслуживают такие особенности распределенной обработки мультимодальной информации, как синхронизация данных, связанная с тем, что информация поступает асинхронно из различных источников. Распределенная обработка мультимодальной информации требует эффективного управления ресурсами, такими как вычислительная мощность, сетевая пропускная способность и хранилища данных. Данный аспект особенной актуален для обработки больших объемов данных.

Различные источники поставляют информацию в различных форматах и структурах, что требует гибких методов обработки и адаптации к разнообразию данных. Кроме того, распределенные системы подвержены риску отказов узлов или сетевых соединений, в связи с чем важно обеспечить надежность и отказоустойчивость обработки информации.

Решение обозначенных проблем требует разработки специализированных алгоритмов обработки потоков данных, их кластеризации и классификации, использования распределенных вычислительных платформ, таких как Apache Kafka, Apache Flink, Apache Spark, развертывания высокопроизводительных вычислительных кластеров и применения методов управления данными в реальном времени [33-36].

Дополнительным обоснование актуальности разработки эффективных методов и алгоритмов распределенной обработки мультимодальной информации является:

- С постоянным ростом числа подключенных устройств Интернет вещей (IoT) возникает необходимость обрабатывать большие объемы мультимодальной информации, поступающей от различных устройств, в режиме реального времени.

- Автономные транспортные средства, роботы, дроны и другие автономные системы генерируют большие объемы данных, требующих обработки на месте для принятия быстрых и точных решений.

- С постоянным увеличением объемов данных требуется разработка методов обработки и анализа данных на распределенных системах для эффективного извлечения ценной информации.

- Проекты, основанные на краудсорсинге и распределенных сетях, требуют обработки мультимодальной информации, поступающей от различных участников и устройств.

- Эффективные методы обработки мультимодальной информации позволяют решать задачи обеспечения безопасности и конфиденциальности данных, особенно в случае автономных устройств.

Следовательно, разработка эффективных методов распределенной обработки мультимодальной информации позволит улучшить производительность, снизить задержки, повысить безопасность и эффективность работы автономных устройств, а также извлечь ценные знания из больших объемов данных.

1.2 Аналитический обзор существующих методов обработки мультимодальной информации

Обработка мультимодальной информации требует специализированных методов и инструментов для эффективной работы с разнообразными данными, поступающими в реальном времени. В настоящее время наиболее распространенными являются централизованный и децентрализованный метод обработки информации, распределенные хранилища информации, методы машинного обучения [37].

Обработка мультимодальной информации в независимости от выбранного метода включает в себя следующие этапы:

1. Предварительная обработка данных. На данном этапе производится фильтрация и очистка данных, удаление шума и выбросов, ненужных или поврежденных данных. Нормализация и стандартизация позволяют привести данные к общему формату и структуре для обеспечения их согласованности.

2. Интеграция данных. Происходит объединение данных из различных источников для создания единого потока информации. Для преобразования разнообразных структур данных следует использовать выравнивание схем данных.

3. Анализ и обработка в реальном времени. Как правило, на данном этапе используются алгоритмы машинного обучения для анализа и классификации данных в реальном времени. Кроме того, рекомендуется использование специализированных методов для выявления аномалий и нештатных ситуаций в потоке данных.

4. Хранение и управление данными. Для обеспечения масштабируемости и отказоустойчивости при работе с большим объемом данных применяются методы управления версиями данных, позволяющие отслеживать изменений в потоке информации.

5. Визуализация и отчетность для наглядного отображения результатов обработки потоковой информации. Автоматизированное создание отчетов на

основе результатов анализа потоковых данных.

6. Управление потоком информации с помощью систем управления сообщениями (в частности, Apache Kafka) для обеспечения эффективной обработки и передачи информации.

Централизованный метод обработки мультимодальной информации подразумевает использование единого централизованного инструмента или платформы для сбора, обработки и анализа различных типов данных из разных источников. Выделим основные принципы и компоненты централизованного метода обработки мультимодальной информации:

- Использование централизованного хранилища информации для сбора и хранения различных типов данных (структурированных, полуструктурированных, неструктурированных). Используются облачные или локальные базы данных.

- Использование единого процесса обработки данных, включающего в себя этапы сбора, очистки, трансформации и анализа информации из различных источников.

- Интеграция различных источников данных, таких как базы данных, приложения, датчики IoT, веб-сервисы и др.

- Стандартизация форматов данных, схем и протоколов передачи информации.

- Использование инструментов для мониторинга, управления и отслеживания потоков данных с целью обеспечения высокой доступности и надежности системы.

- Использование механизмов шифрования, аутентификации и авторизации для защиты данных и выполнения требований по обеспечению безопасности и сохранения конфиденциальности информации.

Централизованный метод обработки мультимодальной информации позволяет упростить управление данными, повысить эффективность анализа и обеспечить единый источник для принятия решений. К достоинствам цен-

трализованного метода обработки мультимодальной информации следует отнести простое управление данными и процессами обработки, поскольку все данные сосредоточены в одном месте; высокий контроль доступности и использования данных; консистентность данных; высокая производительность и эффективность обработки данных из-за централизованного доступа к информации. Однако, недостатками централизованного метода обработки мульти-модальной информации являются: единовременная высокая нагрузка на сервер, связанная с одновременным доступом к данным; низкая отказоустойчивость из-за использования единого хранилища; ограниченная масштабируемость система, вытекающая из ограничений ресурсов центрального сервера; требование постоянного соединения с центральным сервером для доступа к данным, что снижает надежность системы при ненадежной или медленной сети [38, 39].

Следует отметить, что при разработке систем обработки мультимодаль-ной информации с центральной базой данных широко используется архитектура клиент-сервер, основанная на организации взаимодействия клиента и сервера при управлении централизованным хранилищем [40].

В архитектуре клиент-сервер применяется распределенное управление сервером и клиентами (рабочими станциями, автономными устройствами) для максимально эффективного использования вычислительных мощностей. Сервер - узловая станция вычислительной системы обработки мультимодальной информации, предназначенная для хранения и управления данными с автономных устройств и для обработки запросов, поступающих от клиентов. Клиент - рабочая станция (автономное устройство), обращающаяся к информации, предоставляемой другим клиентом и хранящейся на сервере (рис.1.1).

Список литературы диссертационного исследования кандидат наук Зайцев Владимир Владимирович, 2026 год

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. Andalo F. A., Goldenstein S. Computer Vision Methods Applicable to Forensic Science //Workshop of Theses and Dissertations in SIBGRAPI 2013 (XXVI Conference on Graphics, Patterns and Images).

2. Bailing Z. Off-Line Signature Verification and Identification by Pyramid Histogram of Oriented Gradients // International Journal of Intelligent Computing and Cybernetics. 2010. Issue 3 (4). P. 611-630. DOI: 10.1108/17563781011094197.

3. David E. E. Jr., Selfridge O. G. Eyes and Ears for Computers // Proceedings of the IRE. 1962.Vol. 50. Issue 5. P. 1093-1101. DOI: 10.1109/JRPROC. 1962.288011.

4. Hafemann L. G., Sabourin R., Soares De Oliveira L. E. Analyzing Features Learned for Offline Signature Verification Using Deep CNNs // 23rd International Conference on Pattern Recognition. 2016. P. 2989-2994. DOI: 10.1109/ICPR.2016.7900092.

5. Hafemann L. G., Sabourin R., Soares De Oliveira L. E. Offline Handwritten Signature Verification - Literature Review // 2017 Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA). 2017

6. Sondhi M.M. The History of Echo Cancellation. - IEEE signal processing magazine, 2006. P. 95-102.

7. Young P. Recursive estimation and time-series analysis, 1984.

8. Widrow B. Thinking about Thinking: The discovery of the LMS Algorithm. -IEEE signal processing magazine, 2005. P. 100-105.

9. Шукшунов В.Е. «Состояние, перспективы развития и повышения эффективности инновационной деятельности высшей школы России» // Инновации, №. 6, 2005, С. 11-18..

10. F.P.G. Marquez, N. Zaman Digital Filters and Signal Processing, 2013-307с

11. Lee H., Grosse R., Ranganath R., Ng A.Y. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations.

Proceedings of the 26th Annual International Conference on Machine Learning. 2009.

12. Vigyan Singhal, Starting Formal Right from Formal Test Plannin, Oski Technology, Verification Academy at DAC-201

13. Bengio Y. Learning deep architectures for AI // Foundations and Trends in Machine Learning, 2009.

14. Hinton G.E., Salakhutdinov R.R. Reducing the dimensionality of data with neural networks // Science. 2006.

15. LeCun Y. LeNet-5, convolutional neural networks. Retrieved 16 November 2013.

16. Bengio Y., Courville A., Vincent P. Representation learning: A review and new perspectives. Pattern Analysis and Machine Intelligence // IEEE Transactions. 2013.

17. Bengio Y., LeCun Y. Scaling learning algorithms towards AI / eds. L. Bottou, O. Chapelle, D. DeCoste, J. Weston. Large Scale Kernel Machines. MIT Press, 2007.

18. Thorsten B., Franz A. Web 1T 5-gram Version 1 LDC2006T13. DVD. Philadelphia: Linguistic Data Consortium, 2006.

19. Britz D. Implementing a CNN for Text Classification in TensorFlow, 2015.

20. Lee H., Grosse R., Ranganath R., Ng A.Y. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations. Proceedings of the 26th Annual International Conference on Machine Learning. 2009.

21. Bengio Y. Learning deep architectures for AI. Foundations and Trends in Machine Learning, 2009.

22. Hinton G.E., Salakhutdinov R.R. Reducing the dimensionality of data with neural networks. Science. 2006.

23. LeCun Y. LeNet-5, convolutional neural networks. Retrieved 16 November 2013.

24. Bengio Y., Courville A., Vincent P. Representation learning: A review and new perspectives. Pattern Analysis and Machine Intelligence. IEEE Transactions. 2013.

25. Bengio Y., LeCun Y. Scaling learning algorithms towards AI. eds. L. Bottou, O. Chapelle, D. DeCoste, J. Weston. Large Scale Kernel Machines. MIT Press, 2007.

26. АндерсонДж. Дискретная математика и комбинаторика. — М.: Вильямс, 2006. — 960 с.

27. Sunil P. Khatri, Kanupriya Gulati. Advanced techniques in logic synthesis, optimizations and applications. Springer, 2011. - 85с.

28. P. M.Maurer. Generating Test Data with Enhanced Context-Free Grammars. IEEE Software, 7(4):50-55,July1990.

29. T. O'Malley, D.Richardson, and L.Dillon. Efficient Specification-Based Oracles for Critical Systems. In Proc. Of the California Software Symposium, 1996.

30. Акчурин P.M. Задача автоматизации программирования имитационно диалоговых систем // Программирование. - 1982. - №3.

31. Ярославский, Л.П. Введение в цифровую обработку изображений / Л.П. Ярославский - М.: Изд-во «Советское радио», 1979 - 312 с.

32. Грузман, И.С. Цифровая обработка изображений в информационных системах: учебоне пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор - Новосибирск: ИПК НГТУ, 2000 - 168 c.

33. Применение цифровой обработки сигналов / Под ред. Э. Оппенгейма -М.: Изд-во «Мир», 1980 - 552 с.

34. Прэтт, Е. Цифровая обработка изображений / Е. Прэтт - М.: Изд-во «Мир», 1982 - кн. 1 - 312 с..

35. Шевнина Ю.С., Зайцев В.В., Винокуров А.А., Хвостик П.М., Портнов Е.М. Прогностическое моделирование дефектов микроэлектроники на основе нейросетевых ансамблей // Известия высших учебных заведений. Электроника. 2025 г., Т.30. №4. С. 487-497.

36. Ахмед, Н. Ортогональные преобразования при обработке цифровых сигналов. Под ред. Фоменко И.Б. / Н. Ахмед Н, К. Рао - М.: Изд-во «Связь», 1980 - 248 с.

37. Даджеон, Д. Цифровая обработка многомерных сигналов» / Д. Даджеон, Р. Мерсеро - М.: Изд-во «Мир», 1988 - 486 с.

38. Калиниченко Ю.В Анализ алгоритмов выделения контуров цифровых изображений/Научные труды SWorld. 2015. Т. 4. № 1 (38). С. 14-17.

39. Калиниченко Ю.В. Локально-адаптивные методы повышения контрастности изображений// Научные труды SWorld. 2016. Т. 2. № 44. С. 40- 43.

40. Салыкова Д.А., Утемисов А.Н., Рудникович А.С. Повышение контрастно-частотных характеристик изображений с применением фильтра Винера// Сборник избранных статей научной сессии ТУСУР. 2018. № 1-1. С. 109112.

41. Шевелев, Ю.П. Дискретная математика: учебное пособие / Ю.П. Шевелев. -Санкт-Петербург: Лань, 2008. - 592 с.

42. Галушкин, А.И., Единый подход к решению задач обучения и самообучения систем распознавания образов / А.И. Галушкин // Труды МИЭМ. №26, 1970 - С. 104-120.

43. Вапник, В.Н. Теория распознавания образов. Статистические проблемы обучения / В.Н. Вапник, А.Я. Червоненкис - М.: ИД «Наука», 1974 - 274 с.

44. Журавлев, Ю.И. Непараметрические задачи распознавания образов / Ю.И. Журавлев // Кибернетика. №6, 1976 - С. 93-103.

45. Журавлев, Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации / Ю.И. Журавлев // Проблемы кибернетики. №.33, 1978 - С. 5-68.

46. Вентцель Е. С., Овчаров Л.А. Задачи и упражнения по теории вероятностей. - Учеб. пособие для втузов. - 3-е изд., стер. - М: Высш. шк., 2000. -366 с.: ил.

47. Мокеев А.В., Мокеев В.В.Об эффективности распознавании лиц с помощью линейного дискриминантного анализа и метода главных компонент// Бизнес-информатика. 2015. № 3 (33). С. 44-54.

48. Шевнина Ю.С., Зайцев В.В., Хвостик П.М., Винокуров А.А., Конюхов Е.В. Адаптивное управление совмещением и позиционированием элементов при автоматизации сборочных операций // Известия высших учебных заведений. Электроника. 2025 г., Т.30. №3. С. 303-312.

49. Галеев С.Ф. Модификация алгоритма Виолы-Джонса для распознавания лиц в режиме реального времени// Современная техника и технологии. 2017. № 5 (69). С. 29. 135

50. LeCun, Y. Back-Propagation Applied to Handwritten Zip Code Recognition / Y. Lecun, B. Boser, J. Denker, D. Henderson, R. Howard, W. Hubbard, L. Jackel // Neural Computation. Vol. 1, no. 4, 1998 - pp. 541-551.

51. LeCun, Y. Handwritten Digit Recognition with a Back-Propagation Network / Y. Lecun, B. Boser, J. Denker, D. Henderson, R. Howard, W. Hubbard, L. Jackel // Advances in Neural Information Processing System. Vol. 2, 1990 -pp. 396- 404.

52. Зайцев В.В. Проблемы обработки мультимодальной информации мобильными роботами // Научно-технический вестник Поволжья. 2025. № 8. С. 69-72.

53. Glorot, X. Deep Sparse Rectifier Neural Networks / X. Glorot, A. Bordes, Y. Bengio // Journal of Machine Learning Research. Vol. 15, 2011 - pp. 315- 323.

54. Glorot, X. Understanding the Difficulty of Training Deep Feedforward Neural Networks / X. Glorot, Y. Bengio // Proceedings of the International Conference on Artificial Intelligence and Statistics. Vol. 9, 2010 - pp. 249-256.

55. He, K. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification / K. He, X. Zhang, Sh. Ren // Proceedings of IEEE International Conference on Computer Vision. Vol. 7, no.13, 2015 - pp. 10261034.

56. Ioffe, S. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift / S. Ioffe, C. Szegedy // In Proceedings of the 32nd International Conference on Machine Learning. Vol. 37, 2015 - pp. 448-456.

57. Arora, S. Provable bounds for learning some deep representations / S. Arora, A. Bhaskara, R. Ge, T. Ma // International Conference on Machine Learning, 2014 - pp. 584-592.

58. Зайцев В.В., Казначеев А.А., Слюсарь В.В. Онтологический подход при систематизации входных данных нейронных сетей // Оборонный комплекс - научно-техническому прогрессу России. 2017. № 1 (133). С. 3-6.

59. Гагарина Л.Г., Зайцев В.В., Гаращенко А.В., Высочкин А.В., Федотова Е.Л. Разработка генератора верификационных тестов для многоядерных структур // Информатизация и связь № 3, 2017. С 87-94.

60. Szegedy, C. Rethinking the Inception Architecture for Computer Vision / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna // In Proceedings of the 16th IEEE Conference on Computer Vision and Pattern Recognition, 2016 -pp. 2818- 2826. 136

61. Szegedy, C. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna // In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017 - pp. 4278-4284.

62. Chen J., Tu X. An identification method of pinus massoniana pest area using improved Googlenet//Fresenius Environmental Bulletin. 2021. Т. 29. № 12. С. 10788-10798.

63. Воронцова Е.А., Гасников А.В., Горбунов Э.А. Ускоренные спуски по случайному направлению и безградиентные методы с неевклидовой прок-сструктурой // e-print, 2017. - URL: https: //arxiv.org/pdf/1710.00162. pdf

64. Wen L., Jo K.H. Fast lidar R-CNN: residual relation-aware region proposal networks for multiclass 3-D object detection//IEEE Sensors Journal. 2022. Т. 22. № 12. С. 12323-12331.

65. Зайцев В.В. Алгоритм формирования конфигураций автоматизированных систем управления технологическими процессами и производствами // Сборник избранных статей научной сессии ТУСУР, Томск, 17-19 мая 2023 г.: в 3 ч. -Ч. 2. - С. 146-148.

66. Зайцев В.В. Хвостик П.М., Винокуров А.А. Диагностическая обработка данных при моделировании процессов управления // II международная конференция «Современные технологии научного приборостроения и информационно-измерительных систем», 2024 г. Сборник трудов. С. 123127.

67. Arora N., Kumar Y., Karkra R., Kumar M. Automatic vehicle detection system in different environment conditions using fast RCNN//Multimedia Tools and Applications. 2022. Т. 81. № 13. С. 18715-18735.

68. Fang K. Recurrent Autoregressive Networks for Online Multi-object Tracking / K. Fang, Y. Xiang, X. Li, S. Savarese. // 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). - 2018. - Pp. 466-475.

69. Ren, S. Faster R-CNN: Towards real-time object detection with region proposal networks / S. Ren, K. He, R. Girshick, J. Sun // Advances in Neural Information Processing Systems, 2015 - pp. 91-99.

70. Everingham, M. The Pascal Visual Object Classes (VOC) Challenge / M. Ever-ingham, L. Van Gool, C. K. Williams, J. Winn, A. Zisserman // International Journal of Computer Vision. Vol. 88. no 2, 2015 - pp. 303-338.

71. He, K. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Vecognition / K. He, X. Zhang, S. Ren, J. Sun // The 13th European Conference on Computer Vision, 2014 - pp. 4729-4841. 137

72. Lazebnik, S. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories / S. Lazebnik, C. Schmid, J. Ponce // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2006 -pp. 2169-2178.

73. Huang Z., Wang J., Fu X., Yu T., Guo Y., Wang R. DC-SPP-YOLO: Dense connection and spatial pyramid pooling based YOLO for object detection/Information Sciences. 2020. Т. 522. С. 241-258.

74. Dewi Ch., Juli Christanto H. Combination of deep cross-stage partial network and spatial pyramid pooling for automatic hand detection// Big Data and Cognitive Computing. 2022. Т. 6. № 3. С. 85

75. Redmon, J. You only look once: Unified, real-time object detection / J. Red-mon, S. Divvala, R. Girshick, A. Farhadi // In Proceedings of the 16th IEEE Conference on Computer Vision and Pattern Recognition, 2016 - pp. 779-788

76. Zayar Aung, Fedrorov Alexey Roaldovich, Hein Htet Zaw Search engine database systems tools for building literature//2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), "MIET" (Moscow). Jan.26-29 (2021).P. 2081-2084.

77. Русаков А.М., Горин Д.С., Лисютенко А.С., Долженков С.С., Карев А.Д., Астафьев И.А. Интеллектуальный анализ работы хранилища данных greenplum на основе обработки лог-файлов//Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2023. № 6. С. 142-149.

78. Часовских В.П., Кох О.С.СУБД GREENPLUM для BIG DATA и машинного обучения //В сборнике: BI-технологии и корпоративные информационные системы в оптимизации бизнес-процессов цифровой экономики. Материалы X Международной научно-практической очно-заочной конференции. Екатеринбург, 2023. С. 116-120.

79. Зайцев В.В., Хвостик П.М., Винокуров А.А., Лупин С.С. Разработка системы управления исполнительным оборудованием при неполных данных // VIII Международная научно-практическая конференция «Инновации в информационных технологиях, машиностроении и автотранспорте», 2024. Сборник трудов. С. 202-206

80. Календарев A. Clickhouse в системах сбора статистики Системный администратор. 2017. № 3 (172). С. 56-59. 138

81. Imasheva B., Nakispekov A., Sidelkovskaya A., Sidelkovskiy A. The practice of moving to big data on the case of the NoSQL database, Clickhouse// Advances in Intelligent Systems and Computing. 2020. Т. 991. С. 820-828

82. Терских М.Г. Развертывание кластера для хранения и обработки статистики с помощью Yandex Clickhouse//Теория и практика современной науки. 2017. № 11 (29). С. 540-547.

83. Картанова А.Д., Абдрасакова А.Б., Иманбеков Т.И. Инструмент Hadoop и оптимизация хранилища данных//Современные проблемы механики. 2020. № 42 (4). С. 67-82.

84. Стаселько И.Д., Сычев А.Ю., Протасов А.П., Позняков Т.Д., Алексеев Ю.И. Форматы файлов больших данных: хранение данных в экосистеме Hadoop// Big Data and Advanced Analytics. 2020. № 6-2. С. 335-339.

85. Гайдамако В.В. К вопросам планирования и балансировки нагрузки в Hadoop Mapreduce// Проблемы автоматики и управления. 2022. № 3 (45). С. 167-176.

86. Майорова Е.В. Использование Hadoop-технологий для хранения и обработки больших данных//Современное образование: традиции и инновации. 2023. № 2. С. 219-223.

87. Что такое Teradata? Её отличия от аналогов. — Текст : электронный // — URL: https://vc.ru/dev/111923-chto-takoe-teradata-ee-otlichiya-ot-analogov (дата обращения: 06.11.2022).

88. Васильева А.Д., Бруттан Ю.В. Анализ эффективности работы СУБД Oracle и Teradata при обработке больших данных//Вестник Псковского государственного университета. Серия: Технические науки. 2021. № 12. С. 24- 29.

89. Зайцев В.В. Формализация задачи распознавания образов в условиях нечеткости признаков задаваемых объектов // Микроэлектроника и информатика - 2025: тезисы докладов 32-й Всероссийской межвузовской научно-технич. конф. студентов и аспирантов / Изд-во МИЭТ. Москва, 2025. С. 245

90. Талгатова З.Т. Анализ и сравнение существующих моделей процессов ETL для хранилищ данных// Технические науки - от теории к практике. 2016. № 54. С. 85-94. 139

91. Старков В.В., Горбатова С.С., Водолага В.И. Разработка ETL процесса на базе Open Source технологий для решения задачи доставки данных потребителям// Моделирование и анализ данных. 2023. Т. 13. № 2. С. 180-193.

92. Пантелеев А.В. Методы оптимизации в примерах и задачах: Учеб, пособие / А.В. Пантелеев, Т.А. Летова. - 2-е изд., испр. - М.: Высшая школа, 2005. - 544 с.

93. Теория расписаний. Методы и алгоритмы: монография / А. А. Лазарев; Федеральное государственное бюджетное учреждение науки Институт проблем управления имени В. А. Трапезникова Российской академии наук. - Москва : ИПУ РАН, 2019. - 407 с.

94. Зайцев В.В. Особенности обработки потоковой гетерогенной информации в системах управления роботами // В сборнике тезисов V научно-практической конференция с международным участием «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2024». Москва, НИУ МИЭТ. С. 177.

95. Larisa G. Gagarina, Vladimir V. Zaitcev, Alexey P. Shiryaev, Andrey V. Dorofeev, Alexey R. Fedorov. LDA Models for Finding Trends in Technical Knowledge Domain // Proceedings of the 2017 IEEE Russia Section Young Researchers in Electrical and Electronic Engineering Conference (2017 ElCon-Rus) February 1-3, 2017 Part II. М.: МИЭТ, ЛЭТИ, 2017. С. 152-155.

96. Севастьянов С.В. Геометрические методы и эффективные алгоритмы в теории расписаний // Дис. док. физ.-мат. наук.- Новосибирск: 2000.- 280 с.

97. Vysochkin A.V., Zaw Hein , Aung Kyaw Myo, Hein Htet Zaw Development of a selective control algorithm of the production logistics flows// Proceedings of the 2019 IEEE Russia Section Young Researchers in Electrical and Electronic Engineering Conference, ElConRus 2019, Pages 2157-2161.

98. Таха Х. А. Введение в исследование операций. — 7-е изд.: Пер. с англ. — М.: Изд. дом «Вильямс», 2005. — 912 с.

99. Гагарина Л.Г., Петров Е. Н., Зайцев В.В. Программа для обработки и верификации конфигурационных файлов сетевого оборудования // Свидетельство об официальной регистрации программ для ЭВМ. М. РОСПАТЕНТ. Заявка № 4563298 от 24.03.2017.

100. Косюк А.В., Царапкин С.Ф., Гагарина Л.Г., Зайцев В.В. Программа для управления и синхронизации потоковой гетерогенной информации // Свидетельство о государственной регистрации программ для ЭВМ № 2025618896 от 08.04.2025 г.

101. Носов А.П., Винокуров А.А., Шевнина Ю.С., Зайцев В.В. Программный модуль кластеризации и классификации информации по заданному признаку // Свидетельство о государственной регистрации программ для ЭВМ № 2025618893 от 08.04.2025 г.

102. Федосеев А.А., Гаязова Е.Э. Детектирование изображения алгоритмом особых точек SIFT//Ученые заметки ТОГУ. 2020. Т. 11. № 1. С. 224-228.

103. Емельянова Н.Ю. Исследование метода SURF для поиска объектов на изображении//В сборнике: Теоретические и практические аспекты развития научной мысли в современном мире. Сборник статей Международной научнопрактической конференции. 2016. С. 53-55.

104. Горегляд В.В. Проблемы преобразования и интеграции данных во время ЕТЬ-процесса//Актуальные направления научных исследований XXI века: теория и практика. 2018. Т. 6. № 6 (42). С. 90-92.

105. Вл. Д. Мазуров. Математические методы распознавания образов. Уч. по-соб. 2-е изд., доп. и перераб. - Екатеринбург: Изд-во Урал, ун-та, 2010. -101 с.

106. Дорогова Е.Г., Зайцев В.В. Разработка модели оценки производительности распределенной системы обработки информации // Актуальные проблемы информатизации в науке, образовании и экономике» - 2016. 9-я

Всероссийская межвузовская научно-практич. Конф.:тезисы докладов. -М.: МИЭТ, 2016. - С. 17

107. Ishchenko A., Nesteryuk A., Polyakova M. The technique of extraction text areas on scanned document image using linear filtrationApplied Aspects of Information Technology. 2019. Т. 2. № 3. С. 206-215.

108. Жертунова (Ишкова) Т.В., Янакова E.C. Адаптивный алгоритм на основе нелокальных усреднений при обработке изображений// Вопросы радиоэлектроники. 2018. № 8. С. 79-86.

109. Belyaev A.A., Kuzmina V.V., Bychkov A.A., Yanakova E.S., Khamukhin A.V. The hierarchical high-speed neural network image classification algoritm for videp surveillance systems// Proceedings of the 2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElCon-Rus, 2018.- С. 1840-1843.

110. Черняева С.Н. Разработка алгоритма контурного анализа для определения границ морских объектов//Вестник Морского государственного университета. 2023. № 90. С. 11-16.

111. Левицкий М.С., Голованов Р.В. Алгоритм сегментации текста на изображении на основе фильтра гаусса//В сборнике: Микроэлектроника и информатика - 2018. Материалы научно-технической конференции. Сборник статей. 2018. С. 137-142.

112. Сериков А.Ю., Манжиков Т.В., Савельев Б.И. Применение бинаризации в задаче выделения четырехугольников на 141 полутоновых изображениях/Электронный научный журнал. 2015. № 2 (2). С. 99-104.

ПРИЛОЖЕНИЕ А

УТВЕРЖДАЮ

•альный директор ЬкПКК Миландр»

Новоселов

2025 г.

АКТ

об использовании результатов диссертационной работы Зайцева В.В. на соискание ученой степени кандидата технических наук

Настоящим подтверждаем, что полученные результаты диссертационной работы Зайцева В.В. «Методы и средства эффективной обработки мультимодальной информации в системах управления роботами» используются в акционерном обществе «ПКК Миландлр» для разработки экспериментальных систем управления производственными роботизированными комплексами с большим количеством сенсоров и датчиков для работы в сложных условиях. Внедрение результатов диссертационной работы Зайцева В.В. позволило повысить эффективность обработки мультимодальной информации

Директор по производству

М.В. Илюхин

НКБ ФОТОНИКА

ичмо i Мшияй I гмноширпд h|HH».v« 4001 /I > < W 1 «Квант» ИНН 77)5206520

об истин» ioiuih и и ре t vi 1.1и i он /iliccvpiанионной работы Зайцева B.B. ни соискание ученой степени КННДНДВ1Я юхническнх наук

IЦи клящим подтнерж iaeu. чт по. чепнме результаты диссертационной работы Зайцева И И «Mt u»и ере детва эффективной обработки

мульшмода.п.ной информации ч пр ошения робогаМи>> используются

а ()Г>шсаие с о| раниченной отек ihchimи ыо «К!> ФО ГОМИКА» для разработки экспериментальных систем управления роботами с большим количеством сенсоров и датчиков для работы в экстремальных условиях. Внедрение результатов диссертационной раГкнм Зайцева В.13. позволило в 2,5 раза повысить эффективность обработки м> ьгимодалыюй информации в сложных метеоусловиях.

УТВЕРЖДАЮ

I снеральный директор (КК) «КЬФОГОМИКА» И! IR 7735208520

АКТ

Начальник отдела

Специалист

ПРИЛОЖЕНИЕ Б Фрагмент программного кода модуля динамической кластеризации мультимодальной информации с учетом признаков объекта

распознавания

import numpy as np import pandas as pd

from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA import matplotlib.pyplot as plt

# Генерация синтетических мультимодальных данных def generate_multimodal_data(n_samples=300):

np.random.seed(42)

# Кластер 1

cluster_1 = np.random.normal(loc=0, scale=1

size=(n_samples//3, 2))

# Кластер 2

cluster_2 = np.random.normal(loc=5, scale=1

size=(n_samples//3, 2))

# Кластер 3

cluster_3 = np.random.normal(loc=10, scale=1

size=(n samples//3, 2))

return np.vstack((cluster_1, cluster_2, cluster_3))

# Основная функция для кластеризации

def dynamic_clustering(data, n_clusters=3):

# Масштабирование данных scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

# Уменьшение размерности для визуализации pca = PCA(n_components=2)

data_pca = pca.fit_transform(data_scaled)

# Кластеризация с использованием K-средних kmeans = KMeans(n_clusters=n_clusters) kmeans.fit(data_pca)

return kmeans.labels_, data_pca

# Визуализация результатов кластеризации def plot_clusters(data, labels):

plt.figure(figsize=(8, 6))

plt.scatter(data[:, 0], data[:, 1], c=labels, cmap='viridis', marker='o', edgecolor='k')

plt.title('Динамическая кластеризация мультимодальной информации')

plt.xlabel('Компонента 1')

plt.ylabel('Компонента 2')

plt.colorbar (label='Кластер')

plt.show()

# Генерация данных

data = generate_multimodal_data()

# Выполнение динамической кластеризации labels, reduced_data = dynamic_clustering(data)

# Визуализация кластеров

plot clusters(reduced data, labels)

def generate_multimodal_data(n_samples=300):

np.random.seed(42)

# Кластер 1

cluster_1 = np.random.normal(loc=0, scale=1

size=(n_samples//3, 2))

# Кластер 2

cluster_2 = np.random.normal(loc=5, scale=1

size=(n_samples//3, 2))

# Кластер 3

cluster_3 = np.random.normal(loc=10, scale=1

size=(n samples//3, 2))

return np.vstack((cluster_1, cluster_2, cluster_3))

def dynamic_clustering(data, n_clusters=3):

# Масштабирование данных scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

# Уменьшение размерности для визуализации pca = PCA(n_components=2)

data_pca = pca.fit_transform(data_scaled)

# Кластеризация с использованием K-средних

kmeans = KMeans(n_clusters=n_clusters) kmeans.fit(data_pca)

return kmeans.labels_, data_pca

def plot_clusters(data, labels): plt.figure(figsize=(8, 6))

plt.scatter(data[:, 0], data[:, 1], c=labels, cmap='viridis', marker='o', edgecolor='k')

р^^^^^Динамическая кластеризация мультимодальной информации' )

plt.xlabel('Компонента 1')

plt.ylabel('Компонента 2')

plt.colorbar(label='Кластер')

plt.show()

# Генерация данных

data = generate_multimodal_data()

# Выполнение динамической кластеризации labels, reduced_data = dynamic_clustering(data)

# Визуализация кластеров plot_clusters(reduced_data, labels)

import numpy as np

import matplotlib.pyplot as plt

from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA

from sklearn.cluster import KMeans

def dynamic clustering(data, n clusters=3):

Функция для динамической кластеризации данных с использованием K-средних.

Параметры:

- data: ndarray, входные данные для кластеризации (размерность n_samples x n_features).

- n clusters: int, количество кластеров для K-средних (по умолчанию 3).

Возвращает:

- labels: ndarray, метки кластеров для каждого образца.

- data pca: ndarray, данные после уменьшения размерности

# Шаг 1: Масштабирование данных

# Масштабирование важно для того, чтобы все признаки имели одинаковый вес при кластеризации.

scaler = StandardScaler()

data_scaled = scaler.fit_transform(data)

# Шаг 2: Уменьшение размерности для визуализации

# PCA помогает сократить количество признаков до двух для удобства визуализации.

pca = PCA(n_components=2)

data_pca = pca.fit_transform(data_scaled)

# Шаг 3: Кластеризация с использованием K-средних

# Создание экземпляра KMeans и подгонка модели к данным.

kmeans = KMeans(n_clusters=n_clusters, random_state=42) # random state для воспроизводимости

kmeans.fit(data_pca)

# Получение меток кластеров labels = kmeans.labels

# Возвращаем метки и уменьшенные данные return labels, data_pca

import numpy as np

def min max normalization(data):

Нормализация данных с использованием Min-Max.

Параметры:

- data: ndarray, входные данные для нормализации (размерность n_samples x n_features).

Возвращает:

- normalized data: ndarray, нормализованные данные

# Находим минимум и максимум для каждого признака data_min = np.min(data, axis=0) data max = np.max(data, axis=0)

# Применяем Min-Max нормализацию

normalized_data = (data - data_min) / (data_max data min)

return normalized data

def z score normalization(data):

Нормализация данных с использованием Z-оценки

Параметры:

- data: ndarray, входные данные для нормализации (размерность n samples x n features).

Возвращает:

- standardized data: ndarray, стандартизированные данные.

# Находим среднее и стандартное отклонение для каждого признака

mean = np.mean(data, axis=0)

std_dev = np.std(data, axis=0)

# Применяем Z-оценку

standardized_data = (data - mean) / std_dev return standardized data

# Генерация синтетических данных np.random.seed(42)

data = np.random.rand(10, 3) * 100 # 10 образцов и 3 признака

# Нормализация с использованием Min-Max normalized_data_min_max = min_max_normalization(data) print("Нормализованные данные (Min-Max):") print(normalized_data_min_max)

# Нормализация с использованием Z-оценки standardized_data = z_score_normalization(data) print("\nСтандартизированные данные (Z-оценка):") print (standardized_data)

class NFA:

def __init__(self):

self.states = set() # Множество состояний

self.start_state = None # Начальное состояние

self.accept_states = set() # Множество конечных состояний

self.transitions = {} # Переходы

def add_state(self, state, is_accept=False): """Добавляет состояние в НКА.""" self.states.add(state) if is_accept:

self.accept states.add(state)

def set_start_state(self, state):

"""Устанавливает начальное состояние.""" self.start state = state

def add_transition(self, from_state, to_state, symbol): """Добавляет переход между состояниями.""" if from_state not in self.transitions:

self.transitions[from_state] = {} if symbol not in self.transitions[from_state]:

self.transitions[from_state][symbol] = set() self.transitions[from_state][symbol].add(to_state)

def _get_next_states(self, current_states, symbol):

"""Возвращает набор следующих состояний для текущих состояний по заданному символу."""

next_states = set()

for state in current_states:

if state in self.transitions and symbol in self.transitions[state]:

next_states.update(self.transitions[state][symbol]) return next states

def _epsilon_closure(self, states):

"""Находит замыкание по пустому переходу.""" stack = list(states) closure = set(states)

while stack:

state = stack.pop()

for next_state in self.transitions.get(state, {}).get ('', []):

if next state not in closure:

closure.add(next_state) stack.append(next state)

return closure

def accepts(self, input_string):

"""Проверяет, принимает ли НКА входную строку."""

current_states self._epsilon_closure({self.start_state})

for symbol in input_string:

current_states self._get_next_states(current_states, symbol)

current_states self._epsilon_closure(current_states)

return not

current_states.isdisjoint(self.accept_states)

# Создаем НКА nfa = NFA()

# Добавляем состояния

nfa.add_state('q0') # Начальное состояние nfa.add_state('q1') # Промежуточное состояние nfa.add_state('q2', is_accept=True) # Конечное состояние

# Устанавливаем начальное состояние nfa.set_start_state('q0')

# Добавляем переходы nfa.add_transition('q0', 'q1', 'a') nfa.add_transition('q1', 'q2', 'b')

nfa.add_transition('q1', 'q0', 'a') # Переход по 'a' обратно в q0

# Проверяем строки

test_strings = ['ab', 'aab', 'aaab', 'a', 'b'] for string in test_strings:

result = nfa.accepts(string)

print(fмСтрока '{string}' {'принимается' if result else 'не принимается'} НКА.")