Методы, алгоритмы и программные средства управления распределенной сенсорной системой с событийным принципом функционирования тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Черских Екатерина Олеговна

• Черских Екатерина Олеговна
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Черских Екатерина Олеговна

Введение

Глава 1 Анализ современного состояния исследований в области распределенных сенсорных систем

1.1 Сенсорные системы наземных роботов

1.2 Классификация датчиков и сенсорных систем

1.3 Датчики с событийным принципом функционирования

1.4 Методы описания и выявления событий в узлах сенсорных систем

1.5 Методы обнаружения отказов узлов сенсорных систем и их устранения

1.6 Выводы

Глава 2 Методы, модель, и алгоритмы функционирования событийно-ориентированной сенсорной системы наземного робота

2.1 Событийная модель управления потоками данных между информационно-управляющими компонентами робота

2.2 Метод реконфигурирования структуры распределенной сенсорной системы

2.3 Алгоритм функционирования распределенной сенсорной системы и метод извлечения полезных событий

2.4 Выводы

Глава 3 Программные средства сенсорной системы и их реализация на наземном роботе

3.1 Программные средства управления распределенной сенсорной системой

3.2 Программная реализация алгоритма адаптивного управления при возникновении кризисных ситуаций в распределенной сенсорной системе

3.3 Модульная программная архитектура управления сенсорной системой наземного робота

3.4 Выводы

Глава 4 Моделирование распределенной сенсорной системы при решении задач группой наземных роботов

4.1 Пример функционирования распределенной сенсорной системы при решении транспортной задачи наземным роботом

4.2 Моделирование работы алгоритма адаптивного управления роботом при возникновении кризисных ситуаций

4.3 Выводы

Заключение

Список литературы

Приложение А. Список публикаций соискателя по теме диссертации

Приложение Б. Зарегистрированные свидетельства и патенты на результаты интеллектуальной собственности

Приложение В. Акты внедрения

Приложение Г. Список научных проектов соискателя

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Методы, алгоритмы и программные средства управления распределенной сенсорной системой с событийным принципом функционирования»

Введение

Актуальность темы диссертации. Современными направлениями в развитии робототехники являются повышение автономности роботов и реализация способности функционировать в условиях неопределенности, адаптируясь к изменениям среды. Для этого роботам необходимо измерять и анализировать параметры условий окружающей среды. Как правило, наземный робот оснащен датчиками, объединёнными в единую сенсорную систему. В результате такая система состоит из множества узлов, каждый из которых представляет собой измеряющее устройство и включает в себя один или несколько датчиков. Комбинированные узлы, состоящие из нескольких датчиков, позволяют измерять большее количество параметров окружающей среды, чем узлы, состоящие из одного датчика. Это позволяет роботу получать более полную информацию о среде, но приводит к проблеме генерации большого объема выходных данных, часть которых не является обязательной для функционирования робота, но требуют вычислительных ресурсов на обработку данных. Кроме того, набор датчиков, размещаемых в комбинированных узлах, актуален только для определенного набора задач, при выполнении которых задействованы и формируют данные все узлы сенсорной системы.

Разработка программно-алгоритмического обеспечения комбинированных сенсорных узлов с событийным принципом работы позволит сократить объем формируемых данных и является актуальной научной задачей, решению которой посвящено данное диссертационное исследование сенсорных систем наземных робототехнических средств.

Степень разработанности темы. Событийные принципы работы узлов сенсорной системы при обнаружении вредных примесей в воздухе исследовались Сомовым А.С., способы синтеза событийных моделей дискретных систем разрабатываются Бабкиным Е.А., онтолого-ориентированные подходы к описанию информации изучаются Шишаевым М.Г., Боргестом Н.М., Грибовой В.В.,

Гавриловой Т.А., Загорулько Ю.А., Карповым В.Э., Рубашкиным В.Ш., Смирновым А.В., Хорошевским В.Ф., и др.; методы обработки сенсорных данных в киберфизических и робототехнических системах исследуются в работах Мещерякова Р.В., результаты исследования систем управления наземными роботами описаны Заборовским В.С., Поповым С.Г., Бобцовым А.А., Брискиным Е.С., Даринцевым О.В., Лопотой А.В., Караваевым Ю.Л., Магидом Е.А, Манько С.В., Малолетовым А.В., Медведевым М.Ю., Пшихоповым В.Х., Яцуном С.Ф. и др., проблемы анализа сенсорных данных при взаимодействии человека с коллаборативными роботами описаны в работах Серебренного В.В. и Ющенко А.С., исследования систем с реконфигурируемой архитектурой при обработке гетерогенных потоков данных ведутся Заборовским В.С. Каляевым И.А., Среди зарубежных ученых, работающих в области коллаборативной робототехники, исследующих функционирование событийных датчиков, подходы к обработке событийной сенсорной информации, в том числе с применением онтологических методов, следует отметить научные результаты Мюгглера Э., Тейлора К., а также Мазо М., предложившего оригинальные архитектуры сенсорных систем и событийные системы управления техническими средствами.

Цель диссертационной работы - сокращение информационного объема формируемых данных и времени на их обработку сенсорной системой наземного робота за счет разработки модельно-алгоритмического и программно-аппаратного обеспечения комбинированных сенсорных узлов с событийным принципом функционирования. Для достижения указанной цели в работе сформулированы и решены следующие задачи:

1. Проведен анализ существующих сенсорных систем наземных, в том числе коллаборативных роботов, состоящих из комбинированных сенсорных узлов и реагирующих на внешние воздействия в соответствии с событийным принципом функционирования; произведена

систематизация взглядов на работу сенсорной системы как объекта управления.

2. Разработана событийная модель управления потоками данных между информационно-управляющими компонентами наземного робота.

3. Разработан алгоритм функционирования распределенной сенсорной системы в условиях динамической среды.

4. Разработан метод реконфигурирования структуры сенсорной системы.

5. Проведено тестирование разработанных методов и алгоритмов на сенсорной системе наземного робота.

Объектом исследования является сенсорная система наземного робота, включающая распределенные датчики и обслуживающие их вычислительные устройства.

Предметом исследования являются методы, алгоритмы и структуры распределенных сенсорных систем, обеспечивающие получение информации о состоянии окружающей среды и присутствующих в ней объектах, позволяющие роботу фиксировать оказываемые на него воздействия и изменения среды.

Методология и методы диссертационного исследования

Решение поставленных задач производится с применением математического моделирования, метода формализации, функционально-параметрического моделирования и онтологического инжиниринга.

Научная новизна результатов состоит в следующем:

1. Предложена событийная модель управления потоками данных между информационно-управляющими компонентами наземного робота, отличающаяся применением онтологического представления информации об их назначении и параметрах, позволяющая снизить вычислительную нагрузку на центральное управляющее устройство

посредством предварительной обработки данных на вычислительных модулях бортовых сенсорных и исполнительных узлов.

2. Разработан метод реконфигурирования структуры сенсорной системы, отличающийся формированием функциональных кластеров распределенных сенсорных и вычислительных модулей, обеспечивающий за счет идентификации значимых событий в рабочих процессах наземного робота не только передачу только значимых данных, но и ограничение времени работы самих узлов, в случаях, когда измерять тот или иной параметр среды не требуется.

3. Разработан алгоритм функционирования распределенной сенсорной системы, отличающийся возможностью установки глобальных и частных ограничений датчиков на основе определения значимых событий в потоке данных и обеспечивающий сокращение объема передаваемых данных и производимых вычислений.

4. Разработана модульная программная архитектура управления распределенной сенсорной системой наземного робота, отличающаяся применением модуля поведения и мониторинга состояния на основе дерева поведения и изменения состояния устройств путем онтологической обработки событий, обеспечивающая отказоустойчивость без потери функциональности и сокращение информационного объема данных в условиях ограниченных ресурсов.

Теоретическая и практическая значимость работы

Теоретическая значимость работы заключается в разработке новых методов извлечения параметров окружающей среды и адаптивного функционирования наземного робота в зависимости от событий, зафиксированных посредством распределенной сенсорной системы. Разработанные методы направлены на преодоление существующих научных проблем оперативного и энергоэффективного очувствления робототехнических средств, а также

усовершенствования их взаимодействия с объектами среды функционирования, пользователями и операторами коллаборативных роботов.

Практическая значимость результатов работы заключается в реализации модельно-алгоритмического и программного обеспечения управления наземным роботом, позволяющего выполнять идентификацию событий окружающей среды посредством предложенной сенсорной системой и реагировать на различного рода воздействия только в том случае, если они важны для выполнения текущей задачи.

Положения, выносимые на защиту:

1. Событийная модель управления потоками данных, генерируемых информационно-управляющими компонентами и узлами распределенной сенсорной системы, позволяет наземному роботу сократить информационный объем формируемых данных, время на их обработку и выполнять задания в динамической среде.

2. Метод реконфигурирования структуры сенсорной системы обеспечивает ее реконфигурацию на основе функциональных кластеров, исходя из особенностей задач, выполняемых наземным роботом, а также при отказах, удалении и добавлении узлов.

3. Алгоритм функционирования распределенной сенсорной системы обеспечивает адаптивное извлечение значимых событий из потока данных от встроенных датчиков в условиях динамической среды.

4. Модульная программная архитектура управления распределенной сенсорной системой наземного робота обеспечивает отказоустойчивость и сокращение информационного объема данных в условиях ограниченных ресурсов.

Степень достоверности и апробация результатов подтверждается следующим: достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счёт анализа состояния исследований в данной области, согласованности теоретических выводов с результатами

экспериментальной проверки алгоритмов, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных научных специализированных конференциях.

Исследования, отражённые в диссертации, проведены в рамках 2 научно-исследовательских работ:

1. Грант РНФ № 20-79-10325 «Разработка принципов и подходов к адаптивному управлению автономными мобильными киберфизическими системами в условиях изменяющегося окружения»,

2. Грант РНФ № 16-19-00044П «Принципы распределения задач между сервисными роботами и средствами киберфизического интеллектуального пространства при многомодальном обслуживании пользователей».

На предложенные решения получено свидетельство о государственной регистрации программы для ЭВМ «Образовательная облачная среда для программирования наземных робототехнических платформ» №2022680118 от 10.10.2022 г.

Разработанные модельно-алгоритмические и программные решения были использованы при проведении научно-исследовательской работы КБНЦ РАН, в учебных процессах СПбГУТ, в проектах ООО «Открытая робототехника» и ООО «Проект А», получены соответствующие акты внедрения.

Основные результаты работы докладывались и обсуждались на следующих международных и всероссийских конференциях, семинарах в период с 2020 по 2025 гг.:

1. «15th International Conference on Electromechanics and Robotics «Zavalishin's Readings», Уфа, Россия, 2020;

2. 16th International Conference on Electromechanics and Robotics «Zavalishin's Readings», Санкт-Петербург, Россия, 2022.

3. «Многопроцессорные вычислительные и управляющие системы» МВУС-2022, Таганрог, Россия, 2022.

4. «International Russian Automation Conference (RusAutoCon)», Сочи, Россия, 2022.

5. Международный семинар по научным проблемам машиностроения им. И.И. Артоболевского, Москва, Россия, 8 апреля, 2025.

6. Всероссийская научно-практическая конференция «Инновационные направления научных исследований для повышения эффективности сельскохозяйственного производства», Белгород, Россия, 18-20 июня 2025 года.

Публикации. По материалам диссертации опубликовано 11 печатных работ, включая 3 публикации в рецензируемых научных изданиях по специальности 2.3.5 из списка высшей аттестационной комиссии (Робототехника и техническая кибернетика), 3 публикации в РИНЦ, 5 публикаций в изданиях, индексируемых в WoS/Scopus; получено 1 свидетельство о регистрации программы для ЭВМ. Полный перечень публикаций соискателя по теме исследования представлен в приложении А диссертационной работы.

Соответствие паспорту специальности. Представленные результаты соответствуют специальности 2.3.5 - Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей. Положения, выносимые на защиту, соответствуют следующим пунктам паспорта специальности: согласно пункту 3. «Модели, методы, архитектуры, алгоритмы, языки и программные инструменты организации взаимодействия программ и программных систем» разработан метод реконфигурирования структуры сенсорной системы, алгоритм функционирования распределенной сенсорной системы; согласно пункту 4. «Интеллектуальные системы машинного обучения, управления базами данных и знаний, инструментальные средства разработки цифровых продуктов» и пункту 8. «Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования»

разработана событийная модель управления потоками данных, и модульная программная архитектура управления.

Личный вклад автора Основные научные положения, теоретические выводы и практические решения, результаты тестирования, реализация модуля проверки знаний обучаемого сформулированы и изложены автором самостоятельно.

Структура и объем работы. Диссертация объемом 164 машинописные страницы содержит введение, четыре главы и заключение, список литературы (139 наименований), 5 таблиц, 36 рисунков, приложения А, Б, В, Г со списком публикаций соискателя, копиями зарегистрированных свидетельств и патентов на результаты интеллектуальной собственности, копиями актов внедрения, списком научных проектов.

Краткое содержание работы

Во введении обоснована актуальность и научная новизна, теоретическая и практическая значимость данной работы, выносимые на защиту положения, определена степень разработанности темы. Поставлена цель исследования и задачи для ее реализации. Определены объект и предмет исследования, используемые для решения поставленных задач методы.

В первой главе проведен анализ существующих распределенных сенсорных систем, используемых при эксплуатации наземных роботов и робототехнических комплексов, функционирующих совместно с человеком. Установлено, что гомогенные и гетерогенные датчики могут использоваться как часть узлов сенсорной системы, объединённых в более сложные системы, так и по-отдельности. Рассмотренные структуры узлов сенсорных систем, характеристики используемых датчиков, их функциональные компоненты и основные области применения приведены в виде оригинальных классификаций.

Также рассмотрены датчики с событийным принципом работы и используемые методы обработки событий, которые позволяют сократить объем

генерируемых датчиками данных. Но массовое использование таких датчиков не является возможным из-за их высокой стоимости и низкой доступности. Выявлены такие проблемы как избыточность поступающей информации и, следовательно, высокая нагрузка на вычислительные модули робототехнических систем. Рассмотрены существующие способы решения данных проблем такие как фильтрация передаваемых данных и методы локальной предобработки; способы выделения из потока данных простых и формирования сложных событий в том числе с использованием CEP системы и предварительно установленных шаблонов событий.

Показана необходимость проектирования сенсорных систем с кластерной организацией ввиду требований к повышению эффективности функционирования робота при выполнении целевых задач. Также рассмотрены способы обеспечения отказоустойчивости сенсорных систем включающие использования нейронных сетей, экспертных систем или комбинированные методы. Некоторые из способов ориентированы только на обнаружение неисправностей, но не на их устранение, существуют проблемы отсутствия учета временных реконфигураций сенсорных систем в условиях отказов. Этими фактами вызвана необходимости разработки алгоритма адаптивного управления роботов с использованием базы знаний и кластерной структуры распределенной сенсорной системы.

Во второй главе изложены основные теоретические положения предлагаемого научного подхода. Описаны метод реконфигурирования распределенной сенсорной системы, разработанный с целью сокращения объема передаваемых данных в условиях ограниченных вычислительных ресурсах центрального управляющего устройства; событийная модель управления потоками данных между информационно-управляющими компонентами робота, алгоритм функционирования в составе наземной робота и метод извлечения полезных событий, структура распределенной сенсорной системы.

Событийная модель управления потоками данных, реализована с использованием онтологического представления информации об узлах сенсорной

системы и исполнительных устройствах. Каждый из них содержит описание функционального назначения, текущего состояния, установленных глобальных или частных ограничениях, местоположения. Выделение значимых событий из потока данных осуществляется посредством применения метода извлечения полезных событий, что позволяет исключить обработку центральным управляющим устройство нерелевантных данных.

Предложенная в главе структура сенсорной системы и алгоритм функционирования позволяют выполнять обработку кризисных ситуаций, вызванных частичными или полными отказами узлов сенсорной системы и бортовых устройств.

Метод реконфигурирования распределенной сенсорной системы основан на создании функциональных кластеров, формирование которых осуществляется на основе анализа текущего состояния узлов сенсорной системы и бортовых устройств робота и полученных роботом целевых задач. Применение метода позволяет продолжить работу обеспечивая устойчивость системы к отказам, а снижение объема генерируемых данных позволит сократить время на их обработку.

В третьей главе представлены программные средства управления распределённой сенсорной системой наземного робота. Описан процесс функционирования робота с использованием базы знаний, с установкой глобальных и частных ограничений, определяющих события от добавляемых узлов сенсорной системы и регулирующих их интенсивность. Дано описание процесса выделения значимых событий на примере задачи транспортировки грузов.

Также описана программная реализация алгоритма адаптивного управления, ориентированного на выполнение обработки кризисных ситуаций и приятия решений с использованием хранящихся в базе знаний описаний целевых задач, подзадач, свойств узлов сенсорной системы и бортовых устройств робота. Описания позволяют алгоритму автоматически оценивать доступные ресурсы, выявлять факт возникновения отказов и выбирать альтернативные варианты

выполнения задач сохраняя работоспособность системы при частичной недоступности ее компонентов.

Задачи и подзадачи, выполняемые роботом, описываются посредством логических предикатов, учитывающих статусы устройств в системе - наличие полного набора узлов сенсорной системы и бортовых устройств робота или же минимально возможного их количество, требуемое для выполнения целевой задачи. Таким образом снижается влияние отказов на общую функциональность и повышается отказоустойчивость системы.

В четвертой главе представлены результаты апробации предложенных теоретических решений на наземных роботах и их сенсорных систем. Проведен анализ полученных экспериментальных результатов с оценкой сокращения информационного объема формируемых данных и времени на их обработку сенсорной системой робота.

Проведено моделирование работы алгоритма адаптивного управления при выполнении роботом трех типов целевых задач. Произведена оценка времени принятия решений в условиях различного количества доступных узлов сенсорной системы и бортовых устройств наземного робота. Полученные результаты подтверждают работоспособность предложенных решений и их применимость в условиях возникающих отказов.

Глава 1 Анализ современного состояния исследований в области

распределенных сенсорных систем

В первой главе проанализированы сенсорные системы наземных роботов, в том числе коллаборативных, основные типа их типы датчиков, способы их комбинирования в узлах сенсорных систем и варианты их расположения в корпусе наземных роботов. Представлено описание существующих типов датчиков, для которых применяется распознавание событий из потоков получаемых ими данных. Рассмотрены существующие методы обработки событий, позволяющие снизить информационный объем формируемых сенсорных данных и обеспечить высокую эффективность работы в целом, уделяя внимание только значимым событиям.

Использование сенсорных систем на роботах и в киберфизических системах позволяет получать представление о статической или динамической среде функционирования робота, находящихся в ней объектах и осуществлять взаимодействие с ними. Также, в случае изменения параметров среды, измеренных датчиками, робот осуществляет действия в ответ на определенные изменения. Расположенные на роботе датчики обеспечивают получение информации о расстоянии до объектов, форме объектов, силе давления на различные участки корпуса робота, звуковых колебаниях, температуре и так далее. Используемые в сенсорной системе датчики обычно выбираются, исходя из условий эксплуатации робота и выполняемых им задач.

1.1 Сенсорные системы наземных роботов

Сенсорные системы, используемые роботами, функционирующими совместно с человеком, обеспечивают безопасное взаимодействие человека с роботом посредством получения информации о среде функционирования и передачи ее роботу для осуществления управления таким образом, чтобы предотвращать ситуации, в которых человеку может быть причинен вред [1-6].

Применяемая для обнаружения человека и отслеживания различных неживых объектов в рабочей области робота сенсорная система, описанная в работах [7], [8], включает в себя RGB-D камеру, лазерные сканеры, и позволяет адаптировать скорость функционирования робота в зависимости от движений оператора. Авторы первой работы разделяют рабочую область представленного робота TIREBOT на 3 зоны: безопасная, взаимодействия, запретная. Если оператор или объект приближается к роботу слишком быстро, активируется режим запретной зоны и робот изменит свое местоположение во избежание опасной ситуации, в которой человеку или объекту может быть причинен вред. Робот может приближаться к оператору и осуществлять близкое взаимодействие с ним до тех пор, пока оператор не движется слишком быстро. Авторы работы [8] предлагают два подхода для осуществления непрерывной адаптации скорости движения робота: расчет максимальной скорости на основе измеряемого расстояния между роботом и оператором, и подход, учитывающий направление движения робота. Оба подхода подразумевают уклонение робота от контакта с человеком, когда он находится слишком близко к роботу.

Адаптация скорости движения робота при взаимодействии с человеком выполняется с применением лазерного дальномера в исследованиях [9], [10]. Предложена адаптивная система планирования траектории движения и изменения скорости робота, чтобы избежать столкновений с человеком. В [9] прогноз положения человека рассчитывается с помощью модели регрессии Гауссовского процесса с использованием данных о предыдущем и текущем его положении. Авторы предложили вычислять степень отклонения от нормы и прекращать функционирование робота в случае больших отклонений. Проведена экспериментальная оценка предложенных методов, в ходе которой выявлено повышение эффективности и безопасности коллаборативного робота. Также прогноз траектории перемещения человека составляется в соответствии с базой данных траекторий движения [10]. Оба подхода объединяет построение траектории движения робота с минимумом пересечений с прогнозируемой траекторией

человека. В работе [9] предполагается, что, если оператор покидает рабочее место, робот возвращается в исходное положение. Когда оператор выполняет регулярные перемещения и движения, система может функционировать некорректно из-за системных ошибок, таких как сбой отслеживания объекта датчиком и сбой прогнозирования положения объекта в рабочей области.

В отличие от предыдущей работы, авторы исследования [11] применяют не прогнозирование траекторий и адаптацию движения робота и человека, а отслеживание движений, анализ положения человека и угла поворота звеньев робота в целях поддержания минимального безопасного расстояния между роботом и человеком посредством использования камеры Microsoft Kinect. Предлагается кинематическая стратегия управления скоростью движения робота, обеспечивающая безопасность при работе с человеком, в основе которой лежит задача линейного программирования для вычисления коэффициента масштабирования скорости. Безопасное расстояние между роботом и человеком в рабочем пространстве, так же, как и в рассмотренных выше работах [12], [13], разделено на несколько зон, в которых осуществляется работа на полной скорости при автономном функционировании робота, в режиме контроля безопасности, и при сниженной скорости, и с полной остановкой робота. Из последнего состояния, в случае увеличения дистанции между человеком и роботом, происходит автоматический переход в режим работы, соответствующий дистанции на данный момент времени. В результате движение робота основывается на алгоритме, в котором условия безопасности являются жестким ограничением скорости движения. Предложенная стратегия проверена экспериментально на манипуляторе с семью степенями свободы. В первом сценарии проверки работы алгоритма используется одна следящая камера и, при приближении человека к роботу и достижения расстояния менее 400 мм, робот останавливается. Как только расстояние между человеком и роботом увеличивается и становится более 400 мм, движение робота возобновляется. Во втором сценарии используются две следящих камеры и две зоны взаимодействия робота и человека. Если человек попадает в

Список литературы диссертационного исследования кандидат наук Черских Екатерина Олеговна, 2025 год

/ у

1 / У у

/ у' у'

/ у'

/ у'

/ у у'

/ / / / Событийный --- - Не событийный 1

5000 10000 15000 20000 25000

Объем данных, ед

30000

35000

40000

Рисунок 28 - Информационный объем накопленных за время выполнения

задачи данных

В результате использования параметрической оптимизации и адаптации диапазонов значений параметров управления путем установки ограничений узлов сенсорной системы и событийного способа передачи данных удалось сократить объем получаемых ЦУУ данных с 36007 до 6934 измерения - на 80,74% с учетом не используемых для решения задачи датчиков; с учетом только работающих датчиков, при потенциальной частоте передачи данных 20 Гц и считывании всех меток без оптимизации и адаптации, объем данных удалось сократить с 15307

измерений до 7234 - на 52,74%, что позволило уменьшить нагрузку на канал связи, сократить объем передаваемых в ЦУУ данных сохранив функциональность робота при выполнении целевой задачи.

Вычислительная нагрузка на ЦУУ Rasbperry Pi (Cortex-A72, 1,5 ГГц) и на ESP 32 как вторничное управляющее устройство при применении параметрической оптимизации и адаптации диапазонов значений устройств сенсорной системы включает в себя работу ESP32 с датчиками и информационный объем данных, проверку их доступности с частотой 2 Гц, работу с хранящейся на Rasbperry Pi онтологией.

ИК датчики производят 2250 измерений каждый за все время выполнения задачи, суммарно - 6750 изм, 45 изм/с * 8 байт ~ 360 байт/с.

RFID регистрирует 4 метки за 150 с, ~0,026 изм/с * 8 байт ~ 0,213 байт/с.

Энкодеры производят всего 1 20 измерений расстояния, и 60 измерений скорости, 0,8 и 0,4 изм/с соответственно, всего 1,2 изм/с * 8 = 9,6 байт/с.

Общее количество измерений всех используемых датчиков - 45+0,026+1,2 = 46,22 изм/с, размер данных - 46,22 * 8 байт ~ 369,8 байт/с.

Ультразвуковые датчики не производят измерений.

Размер каждого измерения при передаче по CAN - 8 байт, соответственно информационный объем общего потока данных датчиков будет равен 3790,5 бит/с.

Обработка данных Raspberry Pi, поступающих от ESP32 по протоколу UART, для формирования управляющих сигналов двигателям, включающая преобразования сигнала с ИК датчиков и сравнение с пороговым значением (устанавливающим интенсивность цвета линии, в данном случае - 40 для движения по черной линии) - это от 70 до 150 машинных инструкций, для расчета примем условно 100 машинных инструкций, декодирования RFID меток (декодирование сигнала, проверку читаемого идентификатора метки и сопоставление с данными базы знаний) - примем 500 операций, и перерасчет импульсов энкодеров в данные о скорости движения робота и пройденного расстояния, обновление текущей позиции робота примем 250 операций. Соответственно, ИК датчики - 45 * 100 =

4500 операций/с, RFID 0,026 * 500 = 13,35 операций/с, энкодеры - 1,2 * 250 = 300 операций/с. Всего 4813,33 операции/с.

Вычислительная нагрузка проверки доступности всех датчиков в системе (работа подпроцесса, рисунок 12) - 52 байта, передача по протоколу UART данного объема информации, 52 байта * 8 бит = 460 бит. 460 бит/115200 бит/с = 0,00361 с на проверку, а так как проверка выполняется с частотой 2 Гц, то 0,00722 с. Обработка ответа для всех 13 датчиков ~26000 операций/с.

Работа с онтологией, хранящей информацию об ограничениях датчиков и используемой для проверки их доступности для выполняемой задачи с той же частотой - 2 Гц для 13 датчиков - 2600 операций/с.

Общая нагрузка на ЦУУ в секунду включая обработку данных 28813,35 операций/с, проверку доступности 26000 операций/с, работу с онтологией - 2600 операций/с - 33413,33 операции/с. Соответственно, за все время выполнения задачи - 150 с производится 5,02 млн операций.

Без ограничений потенциальная нагрузка на ЦУУ была бы следующей: для ИК датчиков 60 * 100 = 6000 операций/с, где 60 - частота измерений в секунду для трех датчиков 20 Гц; RFID 0,04667 * 500 = 23,335 операции/с, где 0,04667 меток/с - частота считывания семи меток за 150 секунд выполнения задачи; энкодеры - 40 * 250 = 10000 операций/с, где 40 - частота измерений для двух энкодеров 20 Гц; проверка доступности - 2 * 13 * 1000 = 26000 операций/с, где 2 - частота проверки в секунду, 13 - количество датчиков и 1000 - примерная сложность обработки включающая использование протокола UART, анализ ответа, мониторинг состояния датчиков; обращение к базе знаний - 2600 операций/с частотой обращения 2 Гц при количестве датчиков 13 и условной сложностью обработки при работе с OWL - 100 операций на 1 датчик; 44623,33 операций/с и всего 6,6935 млн операций. Процент уменьшения нагрузки на ЦУУ (операций/с) без учета ультразвуковых датчиков:

44623 33—33413 33

44623,33 33413,33 х 100 = 25,121%. (86)

44623,33 у '

Процент уменьшения нагрузки на ЦУУ (операций/с) с учетом ультразвуковых датчиков:

59623,33-33413,33 X 100 = 29,838%, (87)

59623,33 ' v '

Где 3000 операций добавляются при условии частоты передачи данных пятью датчиками 20 Гц.

Процент уменьшения нагрузки за все время с учетом только используемых для выполнения задачи датчиков:

6,6935 - 5,02 X 100 = 25%. (88)

6,6935

С учетом данных УЗ датчиков, дополнительно 15000 операций при условии частоты передачи данных пятью датчиками 20 Гц, процент уменьшения нагрузки -25,17%. Снижение полной общей нагрузки за все время выполнения задачи на ~6,4 МБ.

4.2 Моделирование работы алгоритма адаптивного управления роботом при

возникновении кризисных ситуаций

Моделирование работы предложенного алгоритма проводится с использованием данных, содержащихся в формализованной базе знаний, на ЭВМ с процессором Intel Core i5-6600, работающей на частоте 3,30 ГГц, оснащённой 16 ГБ оперативной памяти. Сенсорная система размещена на сельскохозяйственном роботе (рисунок 29).

Рисунок 29 - Сельскохозяйственный робот в поле

Робот работает на сельскохозяйственном поле РЬ = {(х,у)|х 6 [0,X],у 6 [0, К]} с неоднородным рельефом, в произвольных областях которого расположены норы (рисунок 30) В = {Нь 1НЬ с РЬ, Ь 6 {1,2,..., Ыь}}. Каждая из областей норы задается границами Нь = {(х, у) 6 РЬ |/ь (х, у) < 0}.

iijii illlWiihillilii^lW'itilii1!1 т '83ШШ

I Ш

- - .. - V ■ ■ тЖ

¡¡шг ■ I * " / -

• »:- .\ I • ■ ? -

.. --------'-ШШвШШШШШк- • - .

Рисунок 30 - Область поля с норами Для начала работы по сбросу веществ робот вычисляет кратчайшую траекторию движения Мь от текущего местоположения до точки на границе ближайшей обрабатываемой области дНь:

М» = fjffi + dt. (89)

После достижения точки на границе робот начинает движения внутри области. Траектория движения внутри области зигзагообразна и покрывает все область, формируется по оси Xили Y, его шаг зависит от размера видимого камерой участка Rcam - в данном случае 30 см:

Щпз = 2 • Ream. (90)

Робот обрабатывает область Нь, выполняя сброс веществ, как только нора попадает в поле зрения камеры. На отказы устройств, при выполнении сброса веществ и других задач, могут влиять погодные условия, находящиеся на поверхности поля мелкие объекты, физические повреждения робота.

В рамках эксперимента проводится оценка среднего времени, требуемого для принятия решений о выборе последующих действий при различных режимах функционирования узлов сенсорной системы и бортовых устройств робота. В частности, анализируется поведение системы в трёх типичных случаях выполнения целевых задач наземным роботом:

1. Полноценное функционирование всех узлов сенсорной системы и бортовых устройств. В данном случае робот функционирует в условиях работы всех доступных узлов и устройств, которые могут быть задействованы для выполнения любой из поставленных задач. Отказы компонентов системы отсутствуют.

2. Полноценное функционирование с установленными ограничениями узлов сенсорной системы.

3. Частичный отказ отдельных узлов сенсорной системы или бортовых устройств робота. Случай, при котором некоторые компоненты системы вышли из строя. При этом, благодаря событийной модели и алгоритму адаптивного управления система способна оценить доступность оставшихся компонентов системы и сформировать функциональный кластер таким образом, чтобы обеспечить выполнимость целевой задачи с минимально допустимым набором узлов сенсорной системы и бортовых устройств робота. Это позволяет избежать полной остановки и продолжить работу.

4. Возникновение кризисной ситуации, препятствующей штатной работе системы. Случай, при котором выполнение целевой задачи становится невозможным из-за одного отказа или множественных отказов, причинами возникновения которых могут быть ухудшение погодных условий при работе, блокировка робота в рабочей среде, потеря связи с основными исполнительными компонентами системы - устройствами управления, физические повреждения. Инициируется переход в кризисное состояние, уведомление оператора и переход в режим ожидания.

В первом случае все необходимые для выполнения задач: задачи сброса, задачи движения с выполнением сброса и задачи движения без сброса, сенсорные узлы и исполнительные устройства функционируют без отказов. Это позволяет роботу использовать весь доступный функционал сенсорной системы, актуаторов и бортовых устройств, без необходимости использования алгоритма адаптации или перестройки функционального кластера. Для всех трёх целевых задач в условиях полноценного функционирования статус узлов и устройств принимается

равным 1.

На рисунке 31 показана структура системы и взаимодействующих компонентов. Изображённая структура отражает ситуацию, при которой все доступные сенсоры, актуаторы и бортовые устройства включены в формируемый функциональный кластер, отвечающий за выполнение текущей задачи, и используются в полном объёме.

/Двигатель\ /'Двигатель"/

/^ДвигательЛ Двигатель

( УЗ )( чдатчик \ ) /уз^Л датчик 2/ Чдатчик 3/

чдатчик 4/ /^УЗЛ чдатчик 5/ чдатчик 6

0% /^уЗЛ чдатчик 7/ 0% 0%

0%

Робот

Рисунок 31 - Структура сенсорной системы наземного робота при нормальной работе всех узлов сенсорной системы и бортовых устройств, все целевые задачи К ESP32 по CAN-шине подключены ультразвуковые датчики и платы управления двигателями робота. Микроконтроллер формирует сообщения и отправляет их на верхний уровень используя протокол WAKE. Камеры, Lidar CX16

подключены по USB к ЦУУ - Gen Machine MINI AMD 4800H, ОЗУ 16 ГБ, SSD 512 ГБ. Передача данных не ограничивается.

Семь ультразвуковых датчиков с частотой 20 Гц передают данные о расстоянии, каждый из них отправляет целое число - 2 байта. Всего со всех датчиков передается 0,28 кб/c. Четыре энкодера передают данные о скорости робота и его положении. Они так же работают с частотой 20 Гц и передают 0,31 кб/c. Объем пакета информации, передающейся MEMS датчиком MPU-6500 по протоколу I2C - 12 байт, при частоте 500 Гц - 5,86 кб/с. GPS передает данные о скорости, местоположении и времени с частотой 20 Гц - 100 байт. Всего в секунду передается 1,95 кб информации.

Камера Intel RealSense, работающая с частотой 30 кадров/с передающая данные о глубине размером 600 кб, передает 600 кб/с х 30 = 18000 кб/с. Частота работы Lidar CX16 - 10 Гц, за одно обновление 16000 точек х 16 байт = 2560000 байт. При текущей частоте - 2500 кб/с.

Камера системы сброса с разрешением 720 х 1280, 30 fps, RGB используемая для обнаружения нор генерирует 932600 х 3 байт = 2764,8 кБ на кадр. Объем данных в секунду 2768,8 х 30 = 80,91 МБ/с. Вычислительная нагрузка при расчете 10 операций на байт - 829,44 млн операций/с.

Вычислительная нагрузка проверки доступности всех датчиков в системе (работа подпроцесса, рисунок 12) - 68 байт, передача по протоколу UART данного объема информации, 68 байта х 8 бит = 544 бит, 0,066 кб. 544 бит/115200 бит/с = 0,00472 с на проверку, а так как проверка выполняется с частотой 2 Гц, то 0,00944 с. Обработка ответа для всех 17 датчиков ~34000 операций/с.

Работа с онтологией, хранящей ограничения узлов сенсорной системы и бортовых устройств и используемой для проверки их доступности для выполняемой задачи с частотой - 2 Гц для 25 узлов и устройств, 32 байта на операцию для работы с OWL - 25 х 2х32 = 1600 операций/с, 1,56 кб/с.

Обработка принятия решений о дальнейшем функционировании с имеющимся набором датчиков, ~25 логических операций, частота - 15 Гц, 375 операций/с. Всего на проверки требуется 36,875 операций/с, 1,626 кб/с.

Суммарный информационный объем данных, передаваемых узлами сенсорной системы ЦУУ Gen Machine MINI - 100,99 МБ/с. Вычислительная нагрузка, включая проверку статусов устройств и их доступности - 1035161975 операций/с.

Учитывая среду функционирования робота - сельскохозяйственное поле, с целью уменьшения информационного объема данных, передаваемых в ЦУУ, можно предложить различные ограничения узлов сенсорной системы робота (рисунок 32).

^•Двигатель^ Двигатель

/Двигатель/ —- » Двигатель

Рисунок 32 - Структура сенсорной системы наземного робота с установленными ограничениями узлов сенсорной системы и бортовых устройств, целевая задача

«сброс»

Процентное значение показывает на сколько процентов меньше данных от всего объема передают узлы сенсорной системы. Индикатор объема данных показывает информационный объем передаваемых данных.

Частота работа УЗ датчиков НС SR04, местоположение которых показано на рисунке 33, может быть снижена в соответствии с их местоположением в корпусе робота. Частота работы датчиков 1, 3, 4, 5 и 7 снижена с 20 Гц до 10 Гц; датчиков 2 и 6 до 5 Гц, так как возникающие на пути робота статические препятствия могут быть зарегистрированы при скорости движения робота 5 км/ч. Суммарный объем поступающих с датчиков данных при 2 байтах на измерение - 0,12 кб/с.

Рисунок 33 - Внутреннее устройство робота, расположение датчиков, лидара и

элементов системы управления Камере Intel RealSense задается ограничение частоты кадров в секунду, стандартное значение которой может быть избыточно для навигации и обнаружения препятствий при работе в поле. При 15 кадров в секунду размер данных будет равен 300 кб/кадр х 30 = 4500 кб/с.

Частота кадров RGB камеры системы сброса снижена до 15 fps. Объем данных в секунду 41,47 МБ/с. Вычислительная нагрузка при расчете 10 операций на байт - 414720000 операций/с.

Также возможно уменьшение частоты передачи данных устройства Lidar CX16 с 10 Гц до 5 Гц и передавать только те точки, которые находятся непосредственно перед роботом - сужение обзора до 90°. Соответственно, информационные объем данных сократиться следующим образом: за одно обновление 4000 точек х 16 байт х Гц = 320000 байт/с = 312 кб/с.

Частота работы GPS снижена до 10 Гц. Всего в секунду передается 0,97 кб информации.

Объем пакета информации, передающейся MEMS датчиком MPU-6500 не изменяется и остается 5,86 кб/с.

Частота данных энкодеров снижена до 10 Гц - 0,15 кб/с.

Вычислительная нагрузка проверки доступности всех датчиков в системе остается прежней, так как важна для выполнения целевой задачи и мониторинга возможных отказов сенсорных узлов и бортовых узлов - 0,066 кб/с. Такой же остается и вычислительная нагрузка при работе с онтологией - 1,56 кб/с. Обработка принятия решений о дальнейшем функционировании с имеющимся набором датчиков - 375 операций/с. Всего на проверки также требуется 36,875 операций/с, 1,626 кб/с.

Суммарный информационный объем данных, передаваемых в ЦУУ Gen Machine MINI - 46,17 МБ/с. Снижение объема данных составило ~54,28%. Наибольшее влияние на формирование информационного объема данных оказывали камера технического зрения системы сброса и Lidar GX16. Тем не менее, построение карты местности, обнаружение препятствий все еще возможно, так как используемый алгоритм SLAM позволяет работать с частичными обзорами. Выполняя целевую задачу, в которой требуется только локальная навигация, робот двигается вперед по заданному маршруту, возникающие «слепые зоны» перекрываются УЗ датчиками. Вычислительная нагрузка для данного случая -462,850 млн операций/с, что меньше на 55%, чем в случае отсутствия ограничений устройств.

Во втором случае рассматривается частичный отказ узлов сенсорной системы и бортовых устройств в процессе выполнения целевой задачи «сброс», которые могут возникать при различных аппаратных сбоях или же при нарушениях каналов связи. Несмотря на возникновение отказов устройств система остается устойчивой к отказам посредством применения алгоритма адаптивного

управления. На рисунке 34 показано состояние системы в момент выполнения задачи «сброс».

Система сброса

Резервный

модуль управления

Ручной контроль

ESP32

^•Двигатель^ Двигатель

/Двигатель/ —............ » Двигатель

Функциональный кластер ~.........................

База знаний

QMEMS^j (^gpS^)

0%

100%

f Энкодер \ ( Энкодер

1 А 2

RealSense ) ( Lidar [

100%

Робот

Рисунок 34 - Структура сенсорной системы наземного робота при частичном отказе узлов сенсорной системы и бортовых устройств, целевая задача «сброс» Выполняется моделирование частичного отказа некоторых компонентов системы, а именно = 0 для двух ультразвуковых датчиков , камеры Intel RealSense dint и модуля глобального позиционирования . Данные устройства не включены в функциональный кластер из-за их неисправности. Тем не менее, компоненты функционального кластера продолжают обеспечивать выполнение целевой задачи за счёт использования оставшихся доступных датчиков, актуаторов и бортовых устройств. В данном случае все входящие в кластер узлы сенсорной системы работают с теми же ограничениями что и в предыдущем случае. Обозначенные на рисунке красным цветом - отказавшие узлы. Следовательно общий объем данных - 41,79 МБ/с, количество операций в секунду - 418 млн.

Благодаря наличию альтернативных источников получения роботом данных о среде функционирования, система сохраняет возможность выполнения целевой задачи «сброс» с допустимым уровнем надёжности. Данный подход демонстрирует адаптивность структуры сенсорной системы и эффективность формирования

функционального кластера, позволяющей сохранить работоспособность системы в условиях неполного набора доступных ресурсов.

В третьем случае рассматривается кризисная ситуация, возникающая при выполнении целевой задачи «сброс». Здесь возникает такой режим работы, при котором отказ критически важного элемента, в данном случае бортового устройства, делает выполнение целевой задачи с помощью имеющихся бортовых устройств и узлов сенсорной системы невозможным. На рисунке 35 представлена структура сенсорной системы при отказе бортового устройства, вычислителя высокого уровня, dhighc, статус которого sdr = 0. Отказ вычислителя высокого уровня приводит к невозможности полноценного выполнения целевой задачи, так как данное устройство является ключевым для реализации работы дополнительного оборудования dadd, используемого для сброса веществ.

^•Двигатель^ /'Двигатель^

/Двигатель\ —^^—................ /'Двигатель^ к

Функциональный кластер

База знаний

Система сброса

50%

Резервный

модуль управления

(^МЕМ^

0% ■■

50%

Энкодер \ / Энкодер 4

1 Л 2

Ручной контроль

I

RealSense ) Lidar [

Робот

Рисунок 35 - Структура сенсорной системы наземного робота при кризисной

ситуации, целевая задача «сброс» Возникающая при этом ситуация требует использования алгоритма адаптивного управления, выполняющего поиск возможных решений возникшей ситуации. Тем не менее, в данном случае выполнение задачи оказывается

невозможным, посредством резервного модуля управления выполняется передача данных о состоянии робота оператору.

Для оценки эффективности работы алгоритма адаптивного управления среднее значение времени принятия решений для всех случаев 7^ес вычисляется следующим образом:

_ ^^¿=1 Т^ея^, (91)

где N - количество итераций (К = 5000 для каждого случая) , - общее время принятия решения на 1-й итерации.

В таблице 3 и показано среднее время принятия решений для трех состояний: нормального функционирования всех узлов сенсорной системы робота и бортовых устройств, при частичном отказе и кризисной ситуации. Таблица 3 - Среднее время принятия решений для целевой задачи «Сброс»

Выполняемая задача Состояния узлов сенсорной системы и бортовых устройств Среднее время принятия решений о дальнейшем функционировании, мс

Сброс Нормальное функционирование 0,0108

Частичный отказ 0,0072

Кризисная ситуация 0,0072

Для целевой задачи «сброс» наименьшее время принятия решений - при частичном отказе и при возникновении кризисной ситуации - 0,0072 мс, тогда как нормальный режим функционирования потребовал больше времени - 0,0108 мс из-за анализа работоспособности полного набора узлов и формирования функционального кластера.

В условиях нормального функционирования среднее время принятия решений о дальнейшем функционировании увеличено, так как требуется проанализировать большее количество доступных узлов сенсорной системы и бортовых устройств для выбора набора компонентов функционального кластера. В

условиях частичного отказа и кризисном ситуации количество вариантов для анализа снижается.

С учетом времени принятия решений рассчитаем нагрузку на ЦУУ при обработке отказов. При кризисной ситуации с учетом передачи данных оператору резервным модулем и минимальной активности датчиков, поскольку ЦУУ не работает. Резервный модуль собирает данные датчиков и их состоянии от ESP32 -0,066 кБ/с и 83 кб/с, и передает оператору 0,195 кБ/с (суммарный объем данных ~0,085 Мб/с.) - 0,0031 МБ/с. Суммарно выполняется 866 985 операций/с при 10 операций/с.

Для моделирования частичного отказа при выполнении целевой задачи «Движение без сброса», при которой статусом = 0 обладают два передних двигателя . В данном, показанном на рисунке 36, случае движение робота все еще возможно, хотя маневренность ограничивается. Два актуаторы исключаются из функционального кластера, формируется новый кластер из доступных устройств, обеспечивая устойчивость системы к отказам.

^Двигатель^ Двигатель

/Двигатель/ .......... —.............» Двигатель к

Функциональный кластер

База знаний

Система сброса

Резервный

модуль управления

GPS

Энкодер \ / Энкодер

1 А 2

Ручной контроль

RealSense ) ( Lidar [

Робот

0%

Рисунок 36 - Структура сенсорной системы наземного робота при частичном отказе, целевая задача «движение без сброса»

В условиях кризисной ситуации статусом = 0 обладает dhighc. Структура сенсорной системы в данном случае идентична структуре, представленной на рисунке 35. В таблице 4 и показано среднее время принятия решений для всех трех случаев.

Таблица 4 - Среднее время принятия решений для целевой задачи «Движение без сброса»

Выполняемая задача Состояния узлов Среднее время принятия решений о дальнейшем функционировании, мс

Движение без сброса Нормальное функционирование 0,0111

Частичный отказ 0,0112

Кризисная ситуация 0,0106

Для целевой задачи «движение без сброса», в случаях с отказами актуаторов, наблюдался рост времени принятия решения при частичном отказе - 0,0112 мс, чуть превышающем режим нормального функционирования - 0,0111 мс, что свидетельствует об усложнении анализа доступных узлов и формирования функционального кластера в этом сценарии; кризисный режим показал время -0,0106 мс. Объем данных от датчиков с учетом того, что двигатель 2 и двигатель 3 не функционируют, соответственно, энкодеры 2 и 3 не передают информацию -4,70 МБ/с, так как отказ двух энкодеров снижает объем передаваемых данных незначительно.

В таблице 5 показан сравнительный результат показателей вычислительной нагрузки, времени принятия решения о реконфигурировании структуры сенсорной системы и объема передаваемых данных для целевой задачи «сброс» и целевой задачи «движение без сброса».

Таблица 5 - Оценка различных конфигураций сенсорной системы при решении

целевых задач

Критерии эффективности конфигурации Полная конфигурация Полная конфигурация с ограничениями Частичная конфигура ция при адаптации Частичная конфигураци я при отказах

Сброс

Вычислительна 1035,161 462,850 418,019 0,860

я нагрузка, млн оп/с

Время принятия решения о реконфигураци и структуры сенсорной системы, мс 0,010 0,010 0,007 0,007

Объем 100,991 46,170 41,798 0,003

передаваемых данных, Мб

Движение без сброса

В ычислительна я нагрузка, оп/с 205,721 48,130 3,299 0,860

Время принятия решения о реконфигураци и структуры сенсорной системы, мс 0,011 0,111 0,011 0,010

Объем 20,080 4,700 0,312 0,0031

передаваемых данных, Мб

4.3 Выводы

Разработанные алгоритмы были апробированы при обработке потоков данных между сенсорными узлами четырех типов, исполнительными узлами и ЦУУ наземного робота. В ходе имитационного моделирования функционирования

предложенной событийной модели при решении задачи транспортировки грузов было установлено, что информационный объем получаемых центральным управляющим узлами данных сократился на 54%. Вычислительная нагрузка на центральное управляющее устройство снизилась на 55%.

Кроме того, в данной главе представлены результаты проведенного моделирования работы алгоритма адаптивного управления, применяемого при выполнения роботом трех типов задач - сброса, движения со сбросом и движения без сброса - при различных количествах узлов в систему, что позволило понять как та или иная ситуация влияет на информационных объем передаваемых данных, на вычислительную нагрузку и на время принятия решений. Результаты моделирования показали снижение суммарного информационного объема данных на 54,28%МБ/с, снижение вычислительной нагрузки на 55%, наименьшее среднее время принятия решений при кризисных ситуациях - 0,0072 мс, при обработке отказов узлов - 0,0083 мс. Наибольшее время принятия решений - 0,0112 мс, при частичных отказах, так как выполняется поиск решений для того, чтобы выполнения целевой задачи стало возможным.

Полученные результаты подтверждают эффективность работы предложенной событийной модели управления и алгоритма адаптивного управления, позволяя роботу реагирования только на значимые для выполнения текущей задачи события и оперативно принимать решения в различных случаях.

Заключение

В диссертационной работе сформулирована и решена новая научно-техническая задача сокращения информационного объема формируемых данных и времени на их обработку сенсорной системой наземного робота за счет разработки модельно-алгоритмического и программно-аппаратного обеспечения комбинированных сенсорных узлов с событийным принципом функционирования. Решенная задача имеет важное значение для совершенствования математических методов и программно-алгоритмического обеспечения, используемых в системах управления робототехнических средств для решения проблемы избыточного объема сенсорных данных и их длительной обработки при дальнейшем использовании.

В процессе выполнения диссертационного исследования получены следующие научные результаты:

1. Разработана событийная модель управления потоками данных, генерируемых информационно-управляющими компонентами и узлами распределенной сенсорной системы, отличающаяся применением онтологического представления информации об информационно-управляющих компонентах и узлах сенсорной системы и позволяющая снизить вычислительную нагрузку на ЦУУ посредством предварительной обработки данных на вычислителях сенсорных и исполнительных узлов. Модель была апробирована при обработке потоков данных между сенсорными узлами четырех типов, исполнительным устройством и центральным управляющим устройством наземного робота.

2. Разработан метод реконфигурирования структуры сенсорной системы, отличающийся использованием функциональных кластеров, формируемых на основе выполняемых роботом задач для сокращения объема передаваемых узлами сенсорной системы данных не только за счет передачи только значимых данных, но и за счет ограничения времени

работы самих узлов, в случаях, когда измерять тот или иной параметр среды не требуется.

3. Предложен алгоритм функционирования сенсорной системы, учитывающий специфику назначенной роботу задачи, для выполнения которой определяются только значимые события в потоке данных датчиков определенного типа.

4. Разработана модульная программная архитектура управления распределенной сенсорной системой наземного робота, отличающаяся применением модуля поведения и мониторинга состояния на основе дерева поведения и изменения состояния устройств путем онтологической обработки событий, обеспечивающая отказоустойчивость без потери функциональности и сокращение информационного объема данных.

Предложенные событийная модель управления потоками данных, методы и алгоритмы обработки сенсорной информации, реконфигурирования распределенных сенсорных систем могут быть использованы в перспективных распределённых сенсорных системах в области наземной робототехники и киберфизических систем. В качестве перспектив дальнейшей разработки темы предполагаются исследования, направленные на реализацию взаимодействия группы роботов на основе формируемой ими распределенной сенсорной системы в целом.

Рекомендации. Результаты диссертационного исследования представляют собой научные и программные разработки для использования в распределенных сенсорных системах наземных роботов и предлагают новые методы событийной работы и функционирования сенсорной системы в условиях отказов узлов системы и бортовых устройств робота.

Положения, выносимые на защиту, соответствуют следующим пунктам паспорта специальности 2.3.5 - «Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей»: п. 3. «Модели, методы, архитектуры, алгоритмы, языки и программные инструменты организации

взаимодействия программ и программных систем», п.4. «Интеллектуальные системы машинного обучения, управления базами данных и знаний, инструментальные средства разработки цифровых продуктов», п.8. «Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования».

Список литературы

1. Черских Е. О., Савельев А. И. Анализ и классификация распределенных сенсорных систем коллаборативных робототехнических средств //Известия Кабардино-Балкарского научного центра РАН. - 2021. - №. 6 (104). - С. 78-94.

2. Го У. Реализация задачи сборки коллаборативной робототехнической ячейки с применением системы визуального контроля действий человека / У. Го, В. В. Серебренный, М. А. Шереужев // Экстремальная робототехника. - 2024. -№ 1(34). - С. 240-245.

3. Серебренный В. В. Использование УЗ-датчика для обеспечения безопасности движения коллаборативного манипуляционного робота / В. В. Серебренный // Робототехника и техническая кибернетика. - 2023. - Т. 11, № 4. - С. 267-273. - DOI 10.31776/RTCJ.11403.

4. Иванов В. А. Теория дискретных систем автоматического управления (2-е издание) / В. А. Иванов, А. С. Ющенко. - Москва : Московский государственный технический университет им. Н.Э. Баумана, 2015. - 352 с. -ISBN 978-5-7038-4178-5.

5. Математические основы теории автоматического управления. Том 3 (3-е издание) / В. А. Иванов, В. С. Медведев, Б. К. Чемоданов, А. С. Ющенко. -Москва : Московский государственный технический университет им. Н.Э. Баумана, 2008. - 352 с. - ISBN 978-5-7038-3230-1.

6. Ющенко А. С. Человек и робот - от управления к взаимодействию / А. С. Ющенко // XVI Всероссийская мультиконференция по проблемам управления (МКПУ-2023) : Материалы мультиконференции. В 4-х томах, Волгоград, 1115 сентября 2023 года / Редколлегия: И.А. Каляев, В.Г. Пешехонов, С.Ю. Желтов [и др.]. Том 1. - Волгоград: Волгоградский государственный технический университет, 2023. - С. 19-22.

7. Levratti A., Riggio G., Fantuzzi C., De Vuono A., Secchi C. TIREBOT: A collaborative robot for the tire workshop //Robotics and Computer-Integrated Manufacturing. - 2019. - Vol. 57. - P. 129-137.

8. Byner C., Matthias B., Ding H. Dynamic speed and separation monitoring for collaborative robot applications-concepts and performance //Robotics and Computer-Integrated Manufacturing. - 2019. - Vol. 58. - P. 239-252.

9. Kanazawa A., Kinugawa J., Kosuge K. Adaptive motion planning for a collaborative robot based on prediction uncertainty to enhance human safety and work efficiency //IEEE Transactions on Robotics. - 2019. - Vol. 35, no. 4. - P. 817-832.

10. Mainprice J., Berenson D. Human-robot collaborative manipulation planning using early prediction of human motion //2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2013. - C. 299-306.

11. Zanchettin A. M., Ceriani N. M., Rocco P., Ding H., Matthias B. (2015). Safety in human-robot collaborative manufacturing environments: Metrics and control //IEEE Transactions on Automation Science and Engineering. - 2015. - Vol. 13, no. 2. - P. 882-893.

12. Levratti A., Riggio G., Fantuzzi C., De Vuono A., Secchi C. TIREBOT: A collaborative robot for the tire workshop //Robotics and Computer-Integrated Manufacturing. - 2019. - Vol. 57. - P. 129-137.

13. Byner C., Matthias B., Ding H. Dynamic speed and separation monitoring for collaborative robot applications-concepts and performance //Robotics and Computer-Integrated Manufacturing. - 2019. - Vol. 58. - P. 239-252.

14. Dumonteil G. Manfredi G., Devy M., Confetti A. Sidobre D. Reactive planning on a collaborative robot for industrial applications //2015 12th International Conference on Informatics in Control, Automation and Robotics (ICINCO). - IEEE, 2015. -Vol. 2. - P. 450-457.

15. Magrini E., Flacco F., De Luca A. Control of generalized contact motion and force in physical human-robot interaction //2015 IEEE international conference on robotics and automation (ICRA). - IEEE, 2015. - P. 2298-2304.

16. Cherubini A., Passama R., Crosnier A., Lasnier A., Fraisse, P. Collaborative manufacturing with physical human-robot interaction //Robotics and Computer-Integrated Manufacturing. - 2016. - Vol. 40. - P. 1-13.

17. Tsuji S., Kohama T. Proximity skin sensor using time-of-flight sensor for human collaborative robot //IEEE Sensors Journal. - 2019. - Vol. 19, no. 14. - P. 58595864.

18. Zanchettin, A. M., Ceriani, N. M., Rocco, P., Ding, H., Matthias, B. Safety in human-robot collaborative manufacturing environments: Metrics and control //IEEE Transactions on Automation Science and Engineering. - 2015. - Vol. 12, no. 2. - P. 882-893.

19. Francesco P., Paolo G. G. AURA: An example of collaborative robot for automotive and general industry applications //Procedia Manufacturing. - 2017. - Vol. 11. - P. 338-345.

20. Albini A., Denei S., Cannata G. Human hand recognition from robotic skin measurements in human-robot physical interactions //2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2017. - P. 43484353.

21. Cannata G., Maggiali M., Metta G., Sandini G. An embedded artificial skin for humanoid robots //2008 IEEE International conference on multisensor fusion and integration for intelligent systems. - IEEE, 2008. - P. 434-438.

22. Albini A., Denei S., Cannata G. Enabling natural human-robot physical interaction using a robotic skin feedback and a prioritized tasks robot control architecture //2017 IEEE-RAS 17th International Conference on Humanoid Robotics (Humanoids). -IEEE, 2017. - P. 99-106.

23. Das S. K., Wijayasighe I., Saadatzi M. N., Popa D. O. Whole body human-robot collision detection using base-sensor neuroadaptive interaction //2018 IEEE 14th International Conference on Automation Science and Engineering (CASE). - IEEE, 2018. - P. 278-283.

24. Yoshikai T. Hayashi, M., Ishizaka, Y., Fukushima, H., Kadowaki, A., Sagisaka, T., Kobayashi K., Kumagai I., Inaba, M. Development of robots with soft sensor flesh for achieving close interaction behavior //Advances in Artificial Intelligence. -2012. - Vol. 1. - P. 157642.

25. Kadowaki A., Yoshikai T., Hayashi M., Inaba M. Development of soft sensor exterior embedded with multi-axis deformable tactile sensor system // RO-MAN 2009 - The 18th IEEE International Symposium on Robot and Human Interactive Communication. - IEEE, 2009. - P. 1093-1098. - DOI: 10.1109/R0MAN.2009.5326073.

26. Kumagai I., Kobayashi K., Nozawa S., Kakiuchi Y., Yoshikai T., Okada K., Inaba M. Development of a full body multi-axis soft tactile sensor suit for life sized humanoid robot and an algorithm to detect contact states // 2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012). - IEEE, 2012. -P. 526-531.

27. Hautefeuille M., O'Flynn B., Peters F. H., O'Mahony C. (2011). Development of a microelectromechanical system (MEMS)-based multisensor platform for environmental monitoring //Micromachines. - 2011. - Vol. 2, no. 4. - P. 410-430.

28. Roozeboom C. L., Sim J. Y., Wickeraad D., Dura B., Smith W. S., Hopcroft M. A., Hartwell P.G., Williams R.S., Pruitt, B. L. Multi-functional integrated sensors for the environment //2012 IEEE 25th International Conference on Micro Electro Mechanical Systems (MEMS). - IEEE, 2012. - P. 144-147. DOI:10.1109/memsys.2012.6170114.

29. Roozeboom C. L., Hong V. A., Ahn C. H., Ng E. J., Yang Y., Hill B. E., Hopcroft M. A., Pruitt B. L. Multifunctional integrated sensor in a 2x2 mm epitaxial sealed chip operating in a wireless sensor node // 2014 IEEE 27th International Conference on Micro Electro Mechanical Systems (MEMS). - IEEE, 2014. - P. 773-776. -DOI: 10.1109/memsys.2014.6765755.

30. Roozeboom C. L., Sim J. Y., Wickeraad D., Dura B., Smith W. S., Hopcroft M. A., Hartwell P. G., Williams R. S., Pruitt B. L. Multi-functional integrated sensors for the environment // 2012 IEEE 25th International Conference on Micro Electro Mechanical Systems (MEMS). - IEEE, 2012. - P. 144-147. - DOI: 10.1109/memsys.2012.6170114.

31. Ni Z., Yang C., Xu D., Zhou H., Zhou W., Li T., Xiong B., Li X. Monolithic composite-sensors designed and fabricated by a low-cost single-side 'SiN/poly-Si/Al' multi-user process-module for versatile sensing-network nodes // 2013 IEEE 26th International Conference on Micro Electro Mechanical Systems (MEMS). -IEEE, 2013. - P. 697-700. - DOI: 10.1109/memsys.2013.6474338.

32. Ni Z., Yang C., Xu D., Zhou H., Zhou W., Li T., Bin X., Li X. Monolithic composite "pressure + acceleration + temperature + infrared" sensor using a versatile single-sided "SiN/Poly-Si/Al" process-module // Sensors. - 2013. - Vol. 13, no. 1. - P. 1085-1101.

33. Xu Z., Koltsov D., Richardson A., Le L., Begbie M. Design and simulation of a multi-function MEMS sensor for health and usage monitoring // 2010 Prognostics and System Health Management Conference. - IEEE, 2010. - P. 1-7.

34. Shemelya C., Banuelos-Chacon L., Melendez A., Kief C., Espalin D., Wicker R., Krijnen G., MacDonald E. Multi-functional 3D printed and embedded sensors for satellite qualification structures // 2015 IEEE SENSORS. - IEEE, 2015. - P. 1-4.

35. Harte S., O'Flynn B., Martinez-Catala R. V., Popovici E. M. Design and implementation of a miniaturised, low power wireless sensor node // 2007 18th

European Conference on Circuit Theory and Design (ECCTD). - IEEE, 2007. - P. 894-897. - DOI: 10.1109/ECCTD.2007.4529741.

36. Paradiso J. A., Lifton J., Broxton M. Sensate media—multimodal electronic skins as dense sensor networks // BT Technology Journal. - 2004. - Vol. 22, no. 4. - P. 32-44.

37. Lifton J., Broxton M., Paradiso J. A. Distributed sensor networks as sensate skin // 2003 IEEE Sensors. - IEEE, 2003. - Vol. 2. - P. 743-747.

38. Mittendorfer P., Cheng G. Humanoid multimodal tactile-sensing modules // IEEE Transactions on Robotics. - 2011. - Vol. 27, no. 3. - P. 401-410.

39. Mittendorfer P., Yoshida E. G. Realizing whole-body tactile interactions with a self-organizing, multi-modal artificial skin on a humanoid robot // Advanced Robotics. - 2015. - Vol. 29, no. 1. - P. 51-67. - DOI: 10.1080/01691864.2014.952493.

40. Mittendorfer P., Cheng G. Integrating discrete force cells into multi-modal artificial skin //2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012). - IEEE, 2012. - P. 847-852. DOI:10.1109/humanoids.2012.6651619.

41. Maiolino P., Maggiali M., Cannata G., Metta G., Natale L. A flexible and robust large scale capacitive tactile system for robots //IEEE Sensors Journal. - 2013. -Vol. 13, no. 10. - P. 3910-3917.

42. Schmitz A., Maiolino P., Maggiali M., Natale L., Cannata G., Metta G. Methods and technologies for the implementation of large-scale robot tactile sensors //IEEE Transactions on Robotics. - 2011. - Vol. 27, no. 3. - P. 389-400. DOI:10.1109/tro.2011.2132930.

43. Tuna G., Gungor V. C., Gulez K. An autonomous wireless sensor network deployment system using mobile robots for human existence detection in case of disasters //Ad Hoc Networks. - 2014. - Vol. 13. - P. 54-68.

44. Molina-Pico A., Cuesta-Frau D., Araujo A., Alejandre J., Rozas A. (Forest monitoring and wildland early fire detection by a hierarchical wireless sensor network //Journal of Sensors. - 2016. - Vol. 2016.

45. Somov A., Baranov A., Savkin A., Spirjakin D., Spirjakin A., Passerone R. Development of wireless sensor network for combustible gas monitoring //Sensors and Actuators A: Physical. - 2011. - Vol. 171, no. 2. - P. 398-405.

46. Husein N. A. A., Rahman A. H. A., Dahnil D. P. Evaluation of LoRa-based air pollution monitoring system //International Journal of Advanced Computer Science and Applications. - 2019. - Vol. 10, no. 7. - P. 391-396.

47. Gu C., Rice J. A., Li C. A wireless smart sensor network based on multi-function interferometric radar sensors for structural health monitoring //2012 IEEE Topical Conference on Wireless Sensors and Sensor Networks. - IEEE, 2012. - P. 33-36. D0I:10.1109/wisnet.2012.6172140.

48. Schmidt P. A., Maël E., Wurtz R. P. A sensor for dynamic tactile information with applications in human-robot interaction and object exploration //Robotics and Autonomous Systems. - 2006. - Vol. 54, no. 12. - P. 1005-1014.

49. Юревич Е. И. Сенсорные системы в робототехнике: учебное пособие. - Санкт-Петербург: СПбГПУ, 2013. - 101 с.

50. Maiolino P., Maggiali M., Cannata G., Metta G., Natale L. A flexible and robust large scale capacitive tactile system for robots //IEEE Sensors Journal. - 2013. - Vol Vol. 13, no. 10. - P. 3910-3917.

51. Schmitz A., Maiolino P., Maggiali M., Natale L., Cannata G., Metta G. Methods and technologies for the implementation of large-scale robot tactile sensors //IEEE Transactions on Robotics. - 2011. - Vol. 27, no. 3. - P. 389-400. D0I:10.1109/tro.2011.2132930.

52. Mueggler E., Rebecq H., Gallego G., Delbruck T., Scaramuzza D. The event-camera dataset and simulator: Event-based data for pose estimation, visual odometry, and SLAM //The International Journal of Robotics Research. - 2017. - Vol. 36, no. 2. -P. 142-149.

53. Glover A., Bartolozzi C. Robust visual tracking with a freely-moving event camera //2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2017. - P. 3769-3776.

54. Ramesh B., Zhang S., Lee Z. W., Gao Z., Orchard G., Xiang C. Long-term object tracking with a moving event camera //Bmvc. - 2018. - P. 241.

55. Mueggler E., Huber B., Scaramuzza D. Event-based, 6-DOF pose tracking for highspeed maneuvers //2014 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2014. - P. 2761-2768. DOI:10.1109/iros.2014.6942940.

56. Liu H., Moeys D. P., Das G., Neil D., Liu S.-C., Delbruck T. Combined frame-and event-based detection and tracking //2016 IEEE International Symposium on Circuits and systems (ISCAS). - IEEE, 2016. - P. 2511-2514. DOI:10.1109/iscas.2016.7539103.

57. Rebecq H., Horstschaefer T., Gallego G., Scaramuzza D. Evo: A geometric approach to event-based 6-dof parallel tracking and mapping in real time //IEEE Robotics and Automation Letters. - 2016. - Vol. 2, no. 2. - P. 593-600. DOI:10.1109/lra.2016.2645143.

58. Belbachir A. N., Litzenberger M., Posch C., Schon P. Real-time vision using a smart sensor system //2007 IEEE International Symposium on Industrial Electronics. -IEEE, 2007. - P. 1968-1973.

59. Ghosh R., Mishra A., Orchard G., Thakor N. V. Real-time object recognition and orientation estimation using an event-based camera and CNN //2014 IEEE Biomedical Circuits and Systems Conference (BioCAS) Proceedings. - IEEE, 2014. - P. 544-547.

60. Ceolini E., Frenkel C., Shrestha S. B., Taverni G., Khacef L., Payvand M., Donati E. Hand-gesture recognition based on EMG and event-based camera sensor fusion: A benchmark in neuromorphic computing //Frontiers in neuroscience. - 2020. - Vol. 14. - P. 520438.

61. Cao Q. et al. Towards optimal sleep scheduling in sensor networks for rare-event detection //IPSN 2005. Fourth International Symposium on In-formation Processing in Sensor Networks. - 2005. - IEEE, 2005. - P. 20-27.

62. Cao Q., Abdelzaher T., He T., Stankovic J. Real-time 3D reconstruction and 6-DoF tracking with an event camera //European Conference on Computer Vision. -Springer, Cham. - 2016. - P. 349-364.

63. Sokolova A., Konushin A. Human identification by gait from event-based camera //2019 16th International Conference on Machine Vision Applications (MVA). -IEEE, 2019. - P. 1-6.

64. Li C. H., Delbruck T., Liu S. C. Real-time speaker identification using the AEREAR2 event-based silicon cochlea // 2012 IEEE International Symposium on Circuits and Systems (ISCAS). - IEEE, 2012. - P. 1159-1162. - DOI: 10.1109/ISCAS.2012.6271438.

65. Anumula J., Ceolini E., He, Z., Huber A., Liu S.-C. An event-driven probabilistic model of sound source localization using cochlea spikes //2018 IEEE International Symposium on Circuits and Systems (ISCAS). - IEEE, 2018. - P. 1-5. D0I:10.1109/iscas.2018.8351856.

66. Somov A., Baranov A., Savkin A., Spirjakin D., Spirjakin A., Passerone R. Development of wireless sensor network for combustible gas monitoring //Sensors and Actuators A: Physical. - 2011. - Vol. 171, no. 2. - P. 398-405.

67. Бабкин Е. А., Разиньков В. В. О формах представления имитационных событийных моделей дискретных систем // Имитационное моделирование. Теория и практика. - 2013. - Т. 1. - С. 109.

68. Грибова В. В. Процессы управления интеллектуальными системами / В. В. Грибова, А. С. Клещев // Онтология проектирования. - 2011. - № 1(2). - С. 2231.

69. Анализ больших данных в интеллектуальной робототехнике / Г. В. Ройзензон, В. Э. Карпов, В. Е. Павловский, В. Б. Бритков // Десятая Всероссийская мультиконференция по проблемам управления (МКПУ-2017) : Материалы 10-й Всероссийской мультиконференции в 3-х томах, Дивноморское, 11-16 сентября 2017 года / Ответственный редактор: И.А. Каляев. Том 2. -Дивноморское: Южный федеральный университет, 2017. - С. 107-112.

70. Ontology-based collaboration in multi-robot system: Approach and case study / A. Smirnov, A. Kashevnik, S. Mikhailov, M. Mironov, M. Petrov // 2016 11th Systems of Systems Engineering Conference, SoSE 2016 : 11, SoSE and Cyber Physical Systems (CPS), from Academia to Application and Back, Kongsberg. - Kongsberg, 2016. - P. 7542945. - DOI 10.1109/SYS0SE.2016.7542945.

71. Kashevnik A. Ontology-Based Interaction of Mobile Robots for Coalition Creation / A. Kashevnik, A. Smirnov, N. Teslya // International Journal of Embedded and Real-Time Communication Systems. - 2018. - Vol. 9, no. 2. - P. 63-78. - DOI 10.4018/IJERTCS.2018070105.

72. Ontology matching for socio-cyberphysical systems: An approach based on background knowledge / A. Smirnov, N. Teslya, S. Savosin, N. Shilov // Lecture Notes in Computer Science. - 2017. - Vol. 10531 LNCS. - P. 29-39. - DOI 10.1007/978-3-319-67380-6_3.

73. Переволоцкий В. С. Подход к автоматическому формированию баз знаний на основе онтологий / В. С. Переволоцкий, В. В. Грибова // Научный аспект. -2023. - Т. 2, № 2. - С. 213-221.

74. Smirnov A. Ontology-Based Modelling of State Machines for Production Robots in Smart Manufacturing Systems / A. Smirnov, N. Shilov, M. Shchekotov // Research

Anthology on Recent Trends, Tools, and Implications of Computer Programming. Vol. 1, 2021. - P. 429-446. - DOI 10.4018/978-1-6684-3694-3.ch022.

75. Ontology for cyber-physical-social systems self-organisation / A. Smirnov, T. Levashova, N. Shilov, K. Sandkuhl // Conference of Open Innovation Association, FRUCT : 16, Oulu, 27-31 октября 2014 года. - Oulu, 2014. - P. 101-107. - DOI 10.1109/FRUCT.2014.7000933.

76. Смирнов А. В. Информационная поддержка бизнес-процессов / А. В. Смирнов, И. О. Рахманова. - Санкт-Петербург : Издательство Санкт-Петербургского государственного университета, 2002. - 152 с.

77. Гаврилова Т. А. Инженерия знаний. Модели и методы / Т. А. Гаврилова, Д. В. Кудрявцев, Д. И. Муромцев. - 3-е издание. - Санкт-Петербург : Издательство «Лань», 2020. - 324 с. - ISBN 978-5-8114-2128-2.

78. Гаврилова Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. - Санкт-Петербург : Питер, 2000. - 384 с. - (Учебник). -ISBN 5-272-00071-4.

79. Загорулько Ю. А. Современные средства формализации семантики областей знаний на основе онтологий / Ю. А. Загорулько // Информационные и математические технологии в науке и управлении. - 2018. - № 3(11). - С. 2736. - DOI 10.25729/2413-0133-2018-3-03.

80. Гаврилова Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. - Санкт-Петербург : Питер, 2000. - 384 с. - ISBN 5-27200071-4.

81. Вицентий А. В. Разработка онтологии предметной области для формального логического вывода и визуализации в системах информационной поддержки задач морского пространственного планирования/ Вицентий, А. В., Шишаев, М. Г., Ломов, П. А., Гогоберидзе, Г. Г. //Труды Кольского научного центра РАН. - 2018. - №. 10-9 (9). - С. 77-90.

82. Ломов П. А., Никонорова М. Л., Шишаев М. Г. Извлечение отношений из ner-размеченных предложений для обучения онтологии //Труды Кольского научного центра РАН. Серия: Технические науки. - 2022. - Т. 13. - №. 2. - С. 23-30.

83. Ломов П. А., Шишаев М. Г. Формирование когнитивных фреймов на основе онтологических паттернов для визуализации онтологий //Информационные системы и технологии. - 2015. - Т. 92. - №. 6. - С. 12.

84. Dunkel J. On complex event processing for sensor networks //2009 International Symposium on Autonomous Decentralized Systems. - IEEE, 2009. - P. 1-6.

85. Taylor K., Leidinger L. Ontology-driven complex event processing in heterogeneous sensor networks //Extended Semantic Web Conference. - Springer, Berlin, Heidelberg. - 2011. - P. 285-299.

86. Mazo M., Tabuada P. Decentralized event-triggered control over wireless sensor/actuator networks //IEEE Transactions on Automatic Control. - 2011. - Vol. 56, no. 10. - P. 2456-2461.

87. Bhargavi R., Vaidehi V., Bhuvaneswari P. T. V., Balamuralidhar P., Chandra M. G. Complex event processing for object tracking and intrusion detection in wireless sensor networks // 2010 11th International Conference on Control Automation Robotics & Vision. - IEEE, 2010. - P. 848-853.

88. Kasi M. K., Hinze A., Legg, C., Jones S. Semantic event processing at the sensor nodes for energy efficient wireless sensor networks //Proceedings of the 6th ACM International Conference on Distributed Event-Based Systems. - 2012. - P. 119122.

89. Rinne M., Blomqvist E., Keskisarkka R., Nuutila E. Event Processing in RDF // Proceedings of the 2013 Workshop on OWL Reasoner Evaluation (WOP). - 2013.

90. Ontology for Media Resources 1.0 [Электронный ресурс]. - Режим доступа: https://www.w3.org/TR/mediaont-10/, свободный. - Дата обращения: 18.10.2022.

91. Angsuchotmetee C., Chbeir R., Cardinale Y. MSSN-Onto: An ontology-based approach for flexible event processing in Multimedia Sensor Networks //Future Generation Computer Systems. - 2020. - Vol. 108. - P. 1140-1158. D0I:10.1016/j.future.2018.01.044

92. Belkaroui R., Bertaux A., Labbani O., Hugol-Gential C., Nicolle C. Towards events ontology based on data sensors network for viticulture domain //Proceedings of the 8th International Conference on the Internet of Things. - 2018. - P. 1-7. D0I:10.1145/3277593.3277619

93. Nawaz F., Janjua N. K., Hussain O. K. PERCEPTUS: Predictive complex event processing and reasoning for IoT-enabled supply chain //Knowledge-Based Systems. - 2019. - Vol. 180. - P. 133-146.

94. Herzog A., Jacobi D., Buchmann A. A3ME—an Agent-Based middleware approach for mixed mode environments // 2008 The Second International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies. - IEEE, 2008. - P. 191-196.

95. Рубашкин В. Ш. Семантический (концептуальный) словарь для информационных технологий : логическая интерпретация понятий и их описание в концептуальном словаре / В. Ш. Рубашкин, Д. Г. Лахути // Научно -техническая информация. Серия 2: Информационные процессы и системы. -1999. - № 5. - С. 1-12.

96. Боргест Н. М. Роль онтологии в проектировании информационных систем / Н. М. Боргест // Открытые семантические технологии проектирования интеллектуальных систем. - 2014. - № 4. - С. 155-160.

97. Боргест Н. М. Онтологии: современное состояние, краткий обзор / Н. М. Боргест, М. Д. Коровин // Онтология проектирования. - 2013. - № 2(8). - С. 49-55.

98. Горшков С. Введение в онтологическое моделирование //ООО «ТриниДата, 2016. - С. 12-13.

99. Микони С. В., Соколов Б. В., Юсупов Р. М. Квалиметрия моделей и полимодельных комплексов: монография. - М.: РАН, 2018. - 314 с.

100. Лапшин В. А. Онтологии в информационных системах //Современный подход. М: Научный мир. - 2009. - 224 с.

101. Кашевник А.М. Разработка интеллектуальных систем на базе платформы SMART-M3 : учебное пособие для студентов математических и технических специальностей вузов / А. М. Кашевник, Д. Ж. Корзун, С. И. Баландин. -Петрозаводск : Изд-во ПетрГУ, 2013. - 52 с.

102. Дейт К. Д. Введение в системы баз данных. - М. : Вильямс, 2001. - С. 1328.

103. Jean-Baptiste L. Ontologies with python //Apress, Berkeley, CA. - 2021. - 262 p.

104. Cheng C., Fu J., Su H., Ren L. Recent advancements in agriculture robots: Benefits and challenges // Machines, 2023. - Vol. 11, no. 1, - P. 48.

105. Li D., Wang Y., Wang J., Wang C., Duan Y. Recent advances in sensor fault diagnosis: A review // Sensors and Actuators A: Physical, 2020. - Vol. 309. - Article no. 111990.

106. Nguyen K.T., Medjaher K. A new dynamic predictive maintenance framework using deep learning for failure prognostics // Reliability Engineering and System Safety, 2019. - Vol. 188. - P. 251-262.

107. Уткин Л. В., Заборовский В. С., Попов С. Г. Сиамская нейронная сеть для интеллектуального контроля информационной безопасности в системе

роботов //Проблемы информационной безопасности. Компьютерные системы.

- 2016. - №. 4. - С. 80-88.

108. Уткин Л. В., Заборовский В. С., Попов С. Г. Контроль информационной безопасности в системе роботов на основе элементов глубокого обучения //Проблемы информационной безопасности. Компьютерные системы. - 2016.

- №. 3. - С. 25-33.

109. Darvishi H., Ciuonzo D., Eide E.R., Rossi P.S. Sensor-fault detection, isolation and accommodation for digital twins via modular data-driven architecture // IEEE Sensors Journal. - 2020. - Vol. 21, no. 4, - P. 4827-4838.

110. Wang Y., Zhou W., Luo J., Yan H., Pu H., Peng Y. Reliable intelligent path following control for a robotic airship against sensor faults // IEEE/ASME Transactions on Mechatronics. - 2019. - Vol. 24, no. 6. - P. 2572-2582.

111. Smirnov A., Ponomarev A., Shilov N., Levashova T., Teslya N. Conception of Collaborative Decision Support Systems: Approach and Platform Architecture // Informatics and Automation. - 2024. - Vol. 23, no. 4. - P. 1139-1172, DOI: 10.15622/ia.23.4.8.

112. Abbaspour A., Mokhtari S., Sargolzaei A., Yen K.K. A survey on active fault-tolerant control systems // Electronics, 2020. - Vol. 9, no. 9. - Article no. 1513.

113. Iqbal R., Maniak T., Doctor F., Karyotis C. Fault detection and isolation in industrial processes using deep learning approaches // IEEE Transactions on Industrial Informatics. - 2019. - Vol. 15, no. 5. - P. 3077-3084.

114. Amin A.A., Hasan K.M. A review of fault tolerant control systems: advancements and applications // Measurement. - 2019. - Vol. 143. - P. 58-68.

115. Wang Y., Masoud N., Khojandi A. Real-time sensor anomaly detection and recovery in connected automated vehicle sensors // IEEE Transactions on Intelligent Transportation Systems. - 2022. - Vol. 22, no. 3. - P. 1411-1421.

116. Khalastchi E., Kalech M. On fault detection and diagnosis in robotic systems // ACM Computing Surveys (CSUR). - 2018. - Vol. 51, no. 1. - Article no. 1.

117. Romero-Garcés A., Hidalgo-Paniagua A., González-García M., Bandera A. On managing knowledge for MAPE-K loops in self-adaptive robotics using a graph-based runtime model // Applied Sciences. - 2022. - Vol. 12, no. 17. - Article no. 8583.

118. Borgo S., Cesta A., Orlandini A., Umbrico A. Knowledge-based adaptive agents for manufacturing domains // Engineering with Computers. - 2019. - Vol. 35, P. 755779.

119. Hernández C., Bermejo-Alonso J., Sanz R. A self-adaptation framework based on functional knowledge for augmented autonomy in robots // Integrated Computer-Aided Engineering. - 2018. - Vol. 25, no. 2. - P. 157-172.

120. Doran M., Sterritt R., Wilkie G. Autonomic architecture for fault handling in mobile robots // Innovations in Systems and Software Engineering. - 2020. - Vol. 16, no. 3. - P. 263-288.

121. Martí E., García J., Molina J.M. Adaptive sensor fusion architecture through ontology modeling and automatic reasoning, // 18th International Conference on Information Fusion (Fusion). - 2015. - P. 1144-1151.

122. Sadik A.R., Urban B. n ontology-based approach to enable knowledge representation and reasoning in worker-cobot agile manufacturing // Future Internet. - 2017. - Vol. 9, no. 4. - Article no. 90.

123. Ge Y., Zhang S., Cai Y., Lu T., Wang H., Hui X., Wang S. Ontology based autonomous robot task processing framework // Frontiers in Neurorobotics:®. -2024. - Vol. 18. - Article no. 1401075.

124. Kiryanov D., Lavrenov R., Safin R., Magid E. Mobile application for controlling multiple robots // Proceedings of the 16th IEEE Conference on Industrial Electronics

and Applications (ICIEA 2021). - Chengdu, 2021. - P. 1913-1917. - DOI: 10.1109/ICIEA51954.2021.9516091.

125. Брискин Е. С., Калинин Я. В., Шаронов Н. Г. Об управлении мобильными роботами собственным движением // XIII Всероссийское совещание по проблемам управления (ВСПУ-2019), Москва, 17-20 июня 2019 г. : сборник трудов / Институт проблем управления им. В. А. Трапезникова РАН. - М. : Институт проблем управления им. В. А. Трапезникова РАН, 2019. - С. 11921196. - DOI: 10.25728/vspu.2019.1192.

126. Пшихопов В. Х., Медведев М. Ю. Управление роботами и робототехническими системами: учебное пособие. Ч. 1. - Ростов-на-Дону: Южный федеральный университет, 2014. - 46 с.

127. Фархуд А. К. Ф. Методы и алгоритмы планирования траекторий движения роботов в двумерных картографированных средах : диссертация на соискание ученой степени кандидата технических наук. - 2023. - 139 с.

128. Звонарев И. С., Караваев Ю. Л. Методы искусственного интеллекта для управления мобильными роботами с прицепами // Научная конференция «Летняя школа робототехники в Сириусе - 2022» : тезисы студенческих докладов, Сочи, 28 июня - 12 июля 2022 г. - Ижевск: Ижевский институт компьютерных исследований, 2022. - С. 36-38.

129. Aranovskiy S., Bobtsov A., Pyrkin A. New results on adaptive systems // International Journal of Adaptive Control and Signal Processing. - 2022. - Vol. 36, no. 6. - P. 1250-1251. - DOI: 10.1002/acs.3443.

130. Костюков В. А., Медведев М. Ю., Пшихопов В. Х. Планирование движения наземных роботов в среде с препятствиями: алгоритмы построения траекторий в группе при заданном шаблоне // Мехатроника, автоматизация, управление. -2023. - Т. 24, no 1. - С. 33-45. - DOI: 10.17587/mau.24.33-45.

131. Galin R., Meshcheryakov R., Samoshina A. Mathematical Modelling and Simulation of Human-Robot Collaboration // Proceedings - 2020 International Russian Automation Conference (RusAutoCon 2020), Sochi, 6-12 September 2020. - Sochi, 2020. - P. 1058-1062. - DOI: 10.1109/RusAutoCon49822.2020.9208040.

132. Galin R. R., Meshcheryakov R. V. Human-Robot Interaction Efficiency and HumanRobot Collaboration // Studies in Systems, Decision and Control. - 2020. - Vol. 272. - P. 55-63. - DOI: 10.1007/978-3-030-37841-7_5.

133. Yuschenko A. Interactive Collaborative Robotics - New Results and New Problems // Communications in Computer and Information Science. - 2021. - Vol. 1426. - P. 29-43. - DOI: 10.1007/978-3-030-88458-1_3.

134. Mazo M., Tabuada P. Decentralized event-triggered control over wireless sensor/actuator networks // IEEE Transactions on Automatic Control. - 2011. - Vol. 56, no. 10. - P. 2456-2461. - DOI: 10.1109/TAC.2011.2164036.

135. Черских Е. О. Концептуальная модель онтологии сенсорной системы с событийным методом обработки информации //Сенсорные системы. - 2022. -Т. 36. - №. 2.. DOI: 10.31857/S0235009222020020.

136. Mueggler E., Huber B., Scaramuzza D. Event-based, 6-DOF pose tracking for highspeed maneuvers // 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2014. - P. 2761-2768. - DOI: 10.1109/IROS.2014.6942940.

137. Черских Е.О., Савельев А.И., Ронжин А.Л. Событийно-ориентированная модель управления робототехническим средством с параллельными вычислениями на микроконтроллерах // Многопроцессорные вычислительные и управляющие системы (МВУС-2022). - 2021. - С. 245-249.

138. Cherskikh E., Saveliev A. Approach to the Dynamic Functioning of a Robotic Complex in Case of Failures and Restoration of Connected Functional Parts // 2022

International Russian Automation Conference (RusAutoCon). - IEEE, 2022. - P. 677-682.

139. Черских Е. О. Событийно-ориентированная модель управления потоками данных между встроенными устройствами наземного робототехнического средства // Робототехника и техническая кибернетика. - 2023. - Т. 11, № 4. -Санкт-Петербург : ЦНИИ РТК. - С. 292-302.

Приложение А. Список публикаций соискателя по теме

диссертации

В рецензируемых журналах из списка высшей аттестационной комиссии:

1. Черских, Е.О. Событийно-ориентированная модель управления потоками данных между встроенными устройствами наземного робототехнического средства // Робототехника и техническая кибернетика. - Т. 11. - № 4. - Санкт-Петербург : ЦНИИ РТК. - 2023. - С. 292-302.

2. Cherskikh E. A conceptual model of sensor system ontology with an event-based information processing method // Neuroscience and Behavioral Physiology. - 2022. -T. 52. №. 8. - С. 1310-1317. DOI 10.1007/s11055-023-01360-5.

3. Савельев А.И. Алгоритм планирования локальных траекторий движения наземного робототехнического средства с учетом глобального маршрута / А.И. Савельев, К.В. Камынин, А.А. Ерашов, Е.О. Черских // Робототехника и техническая кибернетика. - Т. 11. - № 3. - Санкт-Петербург : ЦНИИ РТК. -2023. - С. 188-196.

В зарубежных изданиях, индексируемых в WoS/Scopus:

1. Krestovnikov K., Cherskikh E., Zimuldinov E. Combined Capacitive Pressure and Proximity Sensor for Using in Robotic Systems //Proceedings of 15th International Conference on Electromechanics and Robotics" Zavalishin's Readings". - Springer, Singapore, 2021. - P. 513-523. DOI: 10.1007/978-981-15-5580-0_42

2. Cherskikh E., Saveliev A. Survey on behavioral strategies of cyber-physical systems in case of loss of integrity // Electromechanics and Robotics. - Springer, Singapore, 2022. - С. 463-474.

3. International Russian Automation Conference (RusAutoCon). Онлайн конференция. 10-16 сентября 2022. Cherskikh E., Saveliev A. Approach to the Dynamic Functioning of a Robotic Complex in Case of Failures and Restoration of

Connected Functional Parts //2022 International Russian Automation Conference (RusAutoCon). - IEEE, 2022. - С. 677-682. https://rusautocon.org/rusautocon2022-rus.html

4. Cherskikh E., Ronzhin A. Sensor Functional Clustering for Data Reducing at Making Robot Control Decisions // Advances in Artificial Intelligence-Empowered Decision Support Systems: Papers in Honour of Professor John Psarras. - Springer, 2024. - P. 325-337.

5. Черских Е.О. Алгоритм адаптивного управления роботом при отказе устройств в процессе выполнения сельскохозяйственных задач // Мехатроника, автоматизация, управление. - 2025. - Т. 26. - № 8. - С. 422-430.

В других изданиях:

1. Черских Е. О. Концептуальная модель онтологии сенсорной системы с событийным методом обработки информации // Сенсорные системы. - 2022. -Т. 36, № 2. - С. 124-135. - DOI: 10.31857/S0235009222020020.

2. Черских Е.О., Савельев А.И., Ронжин А.Л. Событийно-ориентированная модель управления робототехническим средством с параллельными вычислениями на микроконтроллерах // Многопроцессорные вычислительные и управляющие системы (МВУС-2022). - 2021. - С. 245-249.

3. Черских Е. О., Савельев А. И. Анализ и классификация распределенных сенсорных систем коллаборативных робототехнических средств //Известия Кабардино-Балкарского научного центра РАН. - 2021. - №. 6 (104). - С. 7894.

Регистрация результатов интеллектуальной деятельности:

1. Свидетельство о регистрации программы для ЭВМ RU 2022680118, Савельев А.И., Камынин К.В., Крестовников К.Д., Черноусова П.М., Черских Е.О. Образовательная облачная среда для программирования наземных робототехнических платформ. 10.10.2022.

Приложение Б. Зарегистрированные свидетельства и патенты на результаты интеллектуальной собственности

ГООТЖЙ€ЖАШ ФВДШРАЩШШ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ № 2022680118

Образовательная облачная среда для программирования наземных робототехнических платформ

правообладатель: Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии науки" (ЯV)

Авторы: Савельев Антон Игоревич (Я V), Камынин Константин Викторович (ЯП), Крестовников Константин Дмитриевич (Яи), Черноусова Полина Михайловна (Яи), Черских Екатерина Олеговна (Я V)

Заявка № 2022668320

Дата поступления 10 Октября 2022 Г.

Дата государственной регистрации в Реестре программ для ЭВМ 27 ОКШЯбрЯ 2022 г.

Руководитель Федеральной службы пи интеллектуальной собственности

Сергиф^ат ¡0 С\ Зуб()в

\ й/л':-:.г:1:')у6г*Е Юрий Сергеевич

^ЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖ^

ж

Приложение В. Акты внедрения

УТВЕРЖДАЮ И.о. генерального директора ФГБНУ ФНЦ Кабар/ш«^Щ»шский научный центр РАН

M.И. Анчёков

АКТ

о внедрении результатов диссертационной работы Черских Е.О. па тему «Методы, алгоритмы и программные средства управления распределенной сенсорной системой с событийным принципом функционирования» в научно-исследовательской деятельности Федерального государственного бюджетного научного учреждения «Федеральный научный центр «Кабардино-Балкарский научный центр Российской академии паук».

11аучно-методическая комиссия в составе председатель Заместитель генерального

директора по инновационному развитию и цифровой трансформации КБПЦРАПМ.И. Анчёков;

члены: