Алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Чернобаев Игорь Дмитриевич

• Чернобаев Игорь Дмитриевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Чернобаев Игорь Дмитриевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 4 ГЛАВА 1. ОСНОВНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ ОБЪЕКТОВ СЛОЖНОЙ

СТРУКТУРЫ И ПОСТАНОВКА ЗАДАЧИ

1.1. Модель объекта сложной структуры

1.2. Формальная постановка задачи классификации

1.3. Подходы к решению задачи классификации

1.3.1. Дерево принятия решений

1.3.2. Байесовский классификатор

1.3.3. Метод опорных векторов

1.3.4. Метод k ближайших соседей

1.3.5. Логистическая регрессия

1.3.6. Линейный дискриминантный анализ

1.3.7. Эволюционные алгоритмы

1.3.8. Искусственная нейронная сеть

1.3.9. Нечеткая логическая система

1.3.10. Ансамбль методов классификации

1.4. Оценка качества классификации

1.5. Анализ проведенного обзора задачи классификации, постановка задачи

1.6. Выводы к главе 48 ГЛАВА 2. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ

2.1. Теоретический анализ искусственных нейронных сетей

2.1.1. Модель искусственного нейрона

2.1.2. Базовые функции активации

2.1.3. Базовые нейросетевые архитектуры

2.1.4. Сеть прямого распространения

2.1.5. Рекуррентная нейронная сеть

2.1.6. Сверточная нейронная сеть

2.2. Нечеткие логические системы

2.2.1. Нечеткое множество

2.2.2. Базовые функции принадлежности

2.2.3. Нечеткая логическая система

2.2.4. Нечеткие множества 2-го типа

2.2.5. Нечеткая логическая система 2-го типа

2.3. Модель нечеткой функции активации

2.4. Выводы к главе 91 ГЛАВА 3. АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ НЕЙРО-НЕЧЕТКОЙ СИСТЕМЫ КЛАССИФИКАЦИИ

3.1. Модификация нечеткой функции активации

3.2. Нейро-нечеткий метод построения моделей сложных объектов

3.3. Нейрон с нечеткой функцией активации

3.4. Частные производные параметров НФА

3.5. Алгоритмическое обеспечение нейрона с нечеткой функцией активации

3.6. Слой нечетких нейронов

3.7. Нечеткий рекуррентный нейрон

3.8. Нейро-нечеткие классификаторы

3.9. Алгоритм обучения нейро-нечетких классификаторов

3.10. Выводы к главе 118 ГЛАВА 4. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ НЕЙРО-НЕЧЕТКИХ КЛАССИФИКАТОРОВ И ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ РАЗРАБОТАННОГО АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ

4.1. Описание реализованной системы классификации

4.2. Целевая функция

4.3. Экспериментальная часть

4.3.1. Задача классификации медико-биологических объектов

4.3.2. Классификация текстовых объектов

4.3.3. Классификация компьютерных изображений

4.4 Анализ результатов

4.5 Выводы к главе 146 ЗАКЛЮЧЕНИЕ 147 СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ 149 СПИСОК ЛИТЕРАТУРЫ 150 ПРИЛОЖЕНИЕ А

ВВЕДЕНИЕ

Актуальность темы исследования. Развитие цифровых технологий является одной из причин роста объемов доступных данных, при этом возникает необходимость в автоматизации их интеллектуальной обработки, например классификации. Задачи классификации возникают в различных областях и решаются для разных объектов, таких как компьютерные изображения, аудиоданные, текстовые данные, последовательности белков и другие.

В общем случае задача классификации заключается в определении класса, к которому принадлежит объект, при этом решение подобных задач часто сопровождается трудностями, связанными с формализацией знаний о предметной области, неполнотой и зашумленностью данных, размытостью классов объектов, нечеткостью, обусловленной человеческим фактором. Сложность любой задачи классификации обусловлена отсутствием универсального алгоритма решения. Как правило, каждую задачу классификации можно отнести к некоторому множеству узконаправленных задач, отличающихся спецификой данных, локальных постановок, возможных подходов к решению. Вместе с ростом разнообразия накапливаемых данных увеличивается и спектр задач классификации, продолжается активная исследовательская деятельность, публикуются результаты новых исследований, однако, по-прежнему задачи классификации остаются узко специализированными, требующими рассмотрения различных подходов к решению.

Совокупность методов, характерной особенностью которых является предварительная настройка классификаторов на выявление закономерностей в данных с использованием множества эталонных примеров, называется контролируемым машинным обучением. Прикладная область машинного обучения регулярно расширяется, что делает возможным применение передовых алгоритмов к новым объектам сложной структуры: автоматизация технологических процессов

на производстве, разработка новых лекарств, материалов, передового программного обеспечения, методов диагностики технических систем, медицинских систем помощи врачу в выявлении заболеваний, систем компьютерного зрения, ориентации робота в окружающем пространстве и многое другое. Объекты сложной структуры можно понимать как многомерные объекты, характеризуемые переменной совокупностью признаков, например медико-биологический объект, характеризуемый последовательностью белков; текстовый объект, характеризуемый последовательностью слов, объект компьютерного изображения, характеризуемый последовательностью пикселей.

Значительный вклад в развитие машинного обучения внесли Воронцов К., Лукашевич Н.В., Золотых Н.Ю., Николенко С., Поспелов Г.С., Городецкий В.И., Гудфеллоу Я., Бенджио И., Курвилль А, Ле Кун Я., Маккарти Дж., Вейценбаум Дж., Минский М., Розенблатт Фр., Эндрю Ын, и другие.

Искусственные нейронные сети (ИНС) как инструмент машинного обучения получили широкое распространение благодаря высокой точности и скорости работы, при условии предварительного обучения на достаточном объеме данных.

При решении задач классификации методами нейросетевого моделирования строятся классификаторы на основе сложных ИНС, обучаемые на больших объемах данных и требующие значительных вычислительных мощностей в условиях ограниченных вычислительных ресурсов. В этой связи особенно актуальна разработка новых подходов, позволяющих сократить время обучения, повысить точность и обобщающую способность классификатора. К таким подходам можно отнести разработку новых функций активации, применение таких «биоинспирированных» оптимизационных алгоритмов, применение методов повторного использования ИНС, обученных на похожих задачах, разработку новых типов ИНС с адаптивными функциями активации. Перечисленные методы предполагают либо конкретную функцию активации, либо определенный оптимизационный алгоритм.

В этой связи принципиально иной подход к рассматриваемой проблеме предлагает нечеткая логика, являющаяся разделом математики, приспособленным для описания неопределенности через понятие нечеткости. Вклад в развитие теории нечетких множеств внесли Заде Л., Кофман А., Орловский С.А., Цитоловский Л., Новак В., Круглов В.В., Мендель Гр., Сугэно М., Зак Ю.А. и другие.

Вместе с тем в данной области остается ряд нерешенных проблем, поэтому исследования в области повышения точности и обобщающей способности искусственных нейронных сетей в задачах классификации, несомненно, являются актуальными.

Объектом исследования являются объекты сложной структуры: последовательные данные, текстовые данные, медико-биологические данные, компьютерные изображения.

Предметом исследований является алгоритмическое обеспечение нейро-нечеткой системы для решения задачи классификации состояний объектов сложной структуры различной природы: последовательных данных, текстовых данных, медико-биологических объектов.

Цель и задачи

Целью диссертационной работы является создание и исследование нейронных сетей нового типа с адаптивными функциями активации для повышения точности классификации состояний объектов сложной структуры различной физической природы.

Для достижения поставленной цели были решены следующие задачи:

1) Анализ предметной области задачи классификации объектов, актуальных нейросетевых технологий, и современного состояния теории нечетких множеств, в том числе нечетких множеств I и II типа.

2) Построить математическую модель нечеткой функции активации с применением нечеткой логической системы, использующей интервальные нечеткие множества 2-го типа.

3) Модифицировать нечеткую функцию активации и с ее применением построить нейро-нечеткую сеть.

4) Разработать алгоритмическое обеспечение нейро-нечеткой системы классификации.

5) Программная реализация нейро-нечеткой системы классификации состояний объектов сложной структуры различной физической природы.

6) Провести экспериментальные исследования работоспособности и оценку эффективности построенной системы в прикладных областях:

a. Классификация состояний медико-биологических объектов, в частности, на примере последовательностей аминокислот в эволюционной биологии с целью отслеживания происхождения белков.

b. Классификация текстовых данных, в частности, на примере пользовательских рецензий на спектакли, выставки, фильмы, книги, и т.д.

c. Классификация компьютерных изображений, в частности, на примере эталонного набора данных для сравнительного анализа алгоритмов машинного обучения.

Соответствие диссертации паспорту специальности

В диссертации разработано специальное алгоритмическое обеспечение нейро-нечеткой системы классификации последовательностей данных, которое включает нечеткую функцию активации нейрона, слой нечетких нейронов, нечеткий рекуррентный нейрон и нейро-нечеткие классификаторы - сверточный нейро-нечеткий классификатор, рекуррентный нейро-нечеткий классификатор и многослойный нейро-нечеткий классификатор прямого распространения. Нечеткая функция активации позволяет повысить точность классификации

последовательностей данных. Таким образом, настоящая диссертация соответствует отрасли технических наук и паспорту специальности 05.13.01 -Системный анализ, управление и обработка информации (в науке и промышленности) по техническим наукам, а именно пункту 5 «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации» и пункту 4 «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации».

Научная новизна работы

1) Предложена нечеткая функция активации искусственного нейрона, использующая нечеткую логическую систему с интервальными нечеткими множествами второго типа, предназначенная для преобразования уровня активации нейрона в выходной сигнал, отличающаяся от обыкновенных функций активации тем, что область ее входных значений ограничена, позволяющая и адаптировать параметры нечеткой функции при обучении нейро-нечеткой сети.

2) Предложена модификация нечеткой функции активации, предназначенная для нормализации ввода, использующая функцию гиперболического тангенса, и позволяющая повысить показатели точности и стабилизировать обучение нейро-нечеткой сети.

3) Алгоритмическое обеспечение нейронных сетей нового типа, предназначенное для построения неро-нечетких классификаторов, отличающееся от известных применением нечеткой ФА, и позволяющее строить нейро-нечеткие сети для классификации состояний объектов сложной структуры различной физической природы.

На основе предложенной математической модели нечеткой функции активации разработано алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры позволяющее применять принципиально новые, адаптивные функции активации для построения нейро-нечетких классификаторов и повышать точность классификации. Система основана на искусственных нейронных сетях и тем самым является универсальным инструментом, позволяющим работать с объектами любой физической природы.

Методы исследования

Для решения поставленных задач в работе применены методы теории нечетких множеств (для создания нечеткой функции активации), теории нейросетевого моделирования (для создания нейро-нечетких сетей), машинного обучения (для обучения нейро-нечетких классификаторов), методы структурного и объектно-ориентированного программирования (для реализации программной системы).

Реализация результатов работы

Теоретические и практические решения, предложенные в диссертационной работе, нашли применение в практической деятельности в одном из проектов ООО «СВТЕКНН», что подтверждается документом о внедрении, а также используются в учебном процессе при подготовке по магистерской программе «Диагностические и информационно-поисковые системы» по направлению «Информатика и вычислительная техника» в Нижегородском государственном техническом университете им. Р.Е. Алексеева на кафедре «Вычислительные системы и технологии».

Разработанное программное обеспечение зарегистрировано в Реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности РФ

(Роспатент), свидетельство об официальной регистрации программы для ЭВМ №2017661539 от 16 октября 2017г, и №2021680592 от 13 декабря 2021г.

Результаты работы использованы в госбюджетной НИР, выполненной в рамках НИОКР «Диагностические и информационно-поисковые системы» (номер регистрации 01201252337, интернет-номер И111112195013, руководитель работы Ломакина Л.С.)

Основные положения, выносимые на защиту:

1) Математическая модель адаптивной функции активации искусственного нейрона, использующая нечеткую логическую систему с интервальными нечеткими множествами второго типа.

2) Модификация нечеткой функции активации, которая заключается в применении функции гиперболического тангенса для нормализации значений вектора, подаваемого на вход нечеткой функции активации

3) Алгоритмическое обеспечение нейро-нечеткой системы классификации

4) Нейро-нечеткие классификаторы в приложениях для медико-биологических объектов, текстовых объектов и компьютерных изображений

Обоснованность и достоверность результатов

Обоснованность и достоверность результатов обеспечены корректным использованием математического аппарата и проведением экспериментальных исследований.

Апробация работы

Основные положения и результаты диссертации доложены и обсуждены на следующих научно-технических конференциях:

• Международная научно-техническая конференция «Информационные системы и технологии (ИСТ-2016, ИСТ-2017, ИСТ-2018, ИСТ-2021)» (Нижний Новгород).

• IV Международная научная конференция «Информационные технологии в науке, управлении, социальной сфере и медицине», Томск, 2017 г

• Международный Конгресс по интеллектуальным системам и информационным технологиям (IS&IT'18, IS&IT'21), Ростов-на-Дону

• XXIII Международная научно-практическая конференция «Системный анализ в проектировании и управлении», Санкт-Петербург, 2019 г

• 14 MEDCOAST Congress on Coastal and Marine Sciences, Engineering, Management and Conservation, MEDCOAST 2019, Marmaris, Turkey,

• XI Международная научно-техническая конференция «Коммуникативные стратегии информационного общества», Санкт-Петербург, 2019г

• Всероссийская молодежная научно-техническая конференция «Будущее технической науки», Нижний Новгород, 2020г

• III Международная научная конференция «Прикладная физика, информационные технологии и инжиниринг», Красноярск 2021г.

На региональном конкурсе научных работ среди аспирантов в 2018, 2019, 2020 годах автор стал лауреатом стипендии имени академика Г.А.Разуваева.

В 2021 году автор стал лауреатом стипендии «ООО Техкомпания Хуавей» среди аспирантов очной формы обучения Института радиоэлектроники и информационных технологий.

Публикации

По теме диссертации опубликовано 19 работ, в том числе 4 работы в рецензируемых научных изданиях, рекомендуемых ВАК, 3 работы в изданиях,

индексируемых в Scopus, одна монография в соавторстве. В ходе исследований оформлены 2 свидетельства о государственной регистрации программы для ЭВМ.

Личный вклад автора

Проведен анализ актуальных нейросетевых моделей и функций активации. Разработаны базовая модель нечеткой функции активации, нейро-нечеткая сеть прямого распространения, нейро-нечеткая рекуррентная сеть, нейро-нечеткая сверточная сеть. Модифицирована нечеткая функция активации. Разработка алгоритмического обеспечения нейро-нечеткой системы классификации состояний объектов сложной структуры. Оформлено два свидетельства о государственной регистрации программы для ЭВМ.

Базовая модель нейро-нечеткой сети получена соискателем под научным руководством Л. С. Ломакиной. Лично соискателю принадлежат модель модифицированной нечеткой функции активации, нейро-нечеткая сеть прямого распространения, нейро-нечеткая рекуррентная сеть, нейро-нечеткая сверточная сеть, алгоритмическое обеспечения нейро-нечеткой системы классификации состояний объектов сложной структуры. Оформлено свидетельство о государственной регистрации программы для ЭВМ.

В работах, опубликованных в соавторстве с А. Ю. Киселевым, А. С. Сурковой, С. С. Скорыниным, Л. С. Ломакиной, Д. В. Ломакиным автору принадлежат [90, 92, 99, 100] анализ известных и [89, 101] разработка новых нейросетевых моделей и их применение [88, 91] к задачам классификации последовательностей текстовых данных. В соавторстве с К. М. Носковым [103] автору принадлежит анализ нового типа нейронных сетей - нечетких.

В совместных публикациях с Л. С. Ломакиной вклад автора состоит в [87] вывод формул, [104] разработка нейро-нечетких классификаторов, [105] разработка алгоритмического обеспечения нейро-нечеткой системы классификации и ее применение к решению задачи классификации объектов сложной структуры.

Свидетельство о государственной регистрации программы для ЭВМ №2017661539 от 16 октября 2017г оформлено совместно с А. С. Сурковой (представлено на Рисунке А.3 приложения А), личный вклад автора состоял в разработке алгоритмов и программного обеспечения системы автоматического реферирования. Свидетельство о государственной регистрации программы для ЭВМ №2021680592 от 13 декабря 2021г оформлено совместно с Л. С. Ломакиной (представлено на Рисунке А.4 приложения А), личный вклад автора состоял в разработке алгоритмического обеспечения нейро-нечеткой системы классификации и нейро-нечетких классификаторов.

Структура и объем работы

Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем работы 157 страниц текста, содержащего 76 рисунков и 10 таблиц. Список литературы содержит 107 наименований.

Введение диссертации (часть автореферата) на тему «Алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры»

Краткая характеристика работы

Во введении обоснована актуальность диссертационной работы, сформулированы цель и задачи исследования, раскрыта научная новизна и практическая ценность полученных результатов, представлены выносимые на защиту положения.

В первой главе приведена постановка задачи классификации, сделан краткий обзор известных методов решения, к которым можно отнести искусственные нейронные сети (ИНС) как универсальный инструмент для работы с объектами сложной структуры и решения задачи классификации. Преимуществом корректно построенной и обученной на необходимом объеме тренировочных данных ИНС является скорость работы. Эффективность работы сети напрямую зависит от ее структуры и используемых функций активации (ФА), которые задаются на этапе проектирования. Конкретный тип ФА выбирается

исходя из структуры ИНС, ее сложности и вычислительных возможностей ЭВМ, при этом, некорректный выбор ФА может привести к снижению эффективности всей сети.

Актуальную проблему повышения точности ИНС можно сформулировать как проблему выбора типа ФА и рассматривать с позиции теории нечетких множеств, которая является разделом математики, приспособленным для описания неопределенности через понятие нечеткости.

Во второй главе описаны элементы теории нейросетевого моделирования и теории нечетких множеств, в связи с чем рассмотрены типы архитектур ИНС и нечеткие множества, используемые в работе.

В третьей главе описывается алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры. Рассмотрено построение нейро-нечетких классификаторов: многослойный нейро-нечеткий классификатор, сверточный нейро-нечеткий классификатор, рекуррентный нейро-нечеткий классификатор.

В четвертой главе рассмотрено применение разработанного алгоритмического обеспечения нейро-нечетких классификаторов (ННК) для решения прикладных задач классификации состояний объектов сложной структуры и различной физической природы. С применением разработанных нейро-нечетких классификаторов решены задачи классификации медико-биологических объектов, компьютерных изображений, текстовых последовательностей. Приведены оценки точности классификации разработанных в трех прикладных задачах.

В заключении сформулированы основные выводы и перечислены основные результаты, полученные в процессе выполнения диссертационной работы.

ГЛАВА 1. ОСНОВНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ ОБЪЕКТОВ СЛОЖНОЙ СТРУКТУРЫ И ПОСТАНОВКА ЗАДАЧИ

В первой главе приведена постановка задачи классификации, сделан краткий обзор известных методов решения, к которым можно отнести искусственные нейронные сети (ИНС) как универсальный инструмент для работы с объектами сложной структуры и решения задачи классификации. Преимуществом корректно построенной и обученной на необходимом объеме обучающей выборки ИНС является скорость работы и хорошая обобщающая способность. Точность и обобщающая способность сети напрямую зависят от ее структуры и используемых функций активации (ФА), которые задаются на этапе проектирования. Конкретный тип ФА выбирается экспертом исходя из структуры ИНС, ее сложности и вычислительных возможностей ЭВМ, при этом, некорректный выбор ФА может привести к снижению точности и обобщающей способности всей сети.

Актуальную проблему повышения точности ИНС можно сформулировать как проблему выбора типа ФА и рассматривать с позиции теории нечетких множеств, которая является разделом математики, приспособленным для описания неопределенности через понятие нечеткости.

1.1. Модель объекта сложной структуры

Абстракцию любого реального объекта можно рассматривать как совокупность признаков, характеризующих измеряемые физические величины. Формально признаком объекта называют отображение , где Иу -

называют признаковым пространством. В зависимости от множества различают следующие типы признаков:

• Бинарный, = {0,1};

• Номинальный, - конечное множество;

• Порядковый, - конечное упорядоченное множество;

• Количественный, - множество действительных чисел.

Различают и более сложные типы, когда входные данные представляются в виде графов, текстов, результатов запросов к базе данных, и т. д. Как правило, они приводятся к первому или второму случаю путём предварительной обработки данных и извлечения признаков.

Совокупность признаков может быть формализована в виде вектора признаков (/", ...,/#) и называется признаковым описанием объекта. Такое описание характеризует конкретные свойства объекта и образует его модель как структурированный состав, т. е. систему [1], при этом количество признаков не ограничено.

Модель объекта сложной структуры включает в себя множество признаков, образующих модели более простых объектов, вследствие чего объект сложной структуры приобретает новые свойства. В соответствии с этим подходом практически любой многомерный объект можно рассматривать как иерархическую структуру. В качестве примера многомерного объекта можно привести текст как совокупность символов, слов, предложений:

^ = , ...,\мт} (1.1)

где Т - текст, шт - т-е слово текста, при этом взаимное расположение признаков относительно друг друга может рассматриваться в качестве свойства объекта, в зависимости от задачи. На примере текста как многомерного объекта, также имеет смысл учитывать порядок слов в предложениях.

Проблема обработки многомерных данных в настоящее время решается за счет большого спектра эвристик, каждая из которых является узконаправленной [2], при этом привлечение дополнительной вычислительной производительности позволяет добиться ускорения получения решений. Основные задачи, которые приходится решать при обработке объектов сложной структуры - это задачи классификации, кластеризации и распознавания образов.

1.2. Формальная постановка задачи классификации

В машинном обучении задача классификации относится к разделу, известному как обучение с учителем [3], или контролируемое обучение. Цель решения задачи классификации состоит в определении принадлежности классифицируемого объекта к конкретному классу на основе предыдущих наблюдений. Принадлежность объектов к группе со сходными характеристиками обозначается специальной меткой класса. Классифицировать объект — значит, указать метку класса, к которому относится данный объект.

Задача классификации формализуется следующим образом: имеется некоторое множество объектов Х, и множество всех возможных классов Y, к которым принадлежат объекты множества Х, при этом множество классов -конечное множество. Отображение множества объектов на множество классов у:Х ^ У известно на подмножестве объектов и называется целевой функцией. Совокупность пар «объект-ответ», для которых известно значение целевой функции, называется обучающей выборкой. Задача классификации состоит в том, чтобы по обучающей выборке аппроксимировать целевую функцию, при этом, построенная функция должна приближать целевую функцию на всем множестве объектов, а не только на объектах обучающей выборки.

Если множество классов состоит из нескольких элементов У = [С±,..., С%}, то рассматривается задача классификации на N классов. В этом случае все множество объектов Х разделяется на классы и классификатор должен определять, к какому

классу принадлежит объект. Если множество классов состоит из двух элементов У = {С", С2}, то рассматривается задача бинарной классификации.

Например, задача бинарной классификации компьютерных изображений, относящая каждое изображение к двум классам - «черно-белое», «цветное». На Рисунке 1.1 проиллюстрирован пример другой задачи бинарной классификации, с учетом 30 обучающих экземпляров - 15 относятся к классу «о», 15 к классу «+».

Рисунок 1.1. Пример бинарной классификации.

Приведенный на Рисунке 1.1 набор данных является двумерным. Это означает, что с каждым экземпляром связаны только два значения: х" и х_2 . Пунктирная линия изображает некоторое правило, по которому бинарный классификатор может разделить представленные два класса и определить принадлежность нового экземпляра к одному из них с учетом значений признаков экземпляра х" и х2.

Для решения задачи бинарной классификации необходимо построить классификатор, который в результате обучения на подготовленном наборе изображений позволяет выделить ряд характерных для каждого класса признаков, по которым можно отнести новое изображение к тому или иному классу. В этой связи также говорят об обобщающей способности классификатора, которая

характеризует свойство классификатора восстанавливать целевую зависимость на всём пространстве Х, включая объекты, отсутствующие в обучающей выборке.

Кроме бинарной классификации также выделяют «многоклассовую» классификацию, когда количество варьируется от трех до нескольких тысяч, например, при распознавании иероглифов, слитной речи или классификации последовательности аминокислот. В случае большого количества классов сама задача классификации значительно усложняется. В результате описания и обучения соответствующего алгоритма машинного обучения полученная в итоге модель вычислений способна определить принадлежность нового экземпляра объекта к любому из классов, представленных в наборе обучающих данных. Типичным примером задачи такой классификации является определение принадлежности геометрической фигуры к одному из классов «окружность», «четырехугольник», «треугольник». Обычно в задачах классификации элементы множества Y являются непересекающимися классами. Известна также задача классификации на пересекающихся классах, когда объект может одновременно принадлежать к нескольким классам, и задача нечеткой классификации, когда требуется определить степень принадлежности объекта к каждому классу в виде действительного числа в диапазоне значений от 0 до 1.

Кроме контролируемого обучения существует также обучение без учителя [4], когда разделение объектов обучающей выборки на классы не известно, и требуется выявить зависимости между объектами множества X = [х±, ...,хт} не имеющими меток классов, только на основе сходства их признаковых описаний. В этом случае принято говорить о задачах кластеризации, а классы именовать кластерами, при этом объекты внутри одного кластера должны обладать похожим признаковым описанием, и отличаться от объектов, принадлежащих другому кластеру.

1.3. Подходы к решению задачи классификации

Существуют различные методы решения задачи классификации, каждый из которых характеризуется преимуществами и недостатками:

1.3.1. Дерево принятия решений

Дерево принятия решений (дерево решений, Decision tree) или дерево классификации принадлежит семейству логических методов классификации. Бинарное дерево решений - это конечный связный граф без циклов, содержащий множество вершин V, из которых одна не имеет входящих ребер и называется корнем дерева, и одна не имеет выходящих ребер и называется листом дерева или терминальной вершиной).

Каждый внутренний узел графа имеет две дочерние вершины, содержит некоторую функцию (предикат) :Х ^ {0,1} и соответствует проверке входного признака объекта (решающее правило). Каждый терминальный узел представляет собой метку класса (значение целевой переменной) с& £ 7. Дуги между узлами, выражают взаимоисключающие результаты проверки входного признака (решающего правила). В зависимости от соответствия признака классифицируемого объекта критерию решающего правила, то есть, при равенстве значения предиката 0 или 1, в каждом узле выполняется ветвление и переход к следующему узлу до тех пор, пока не будет достигнут терминальный узел. В отличие от внутреннего узла, в терминальном узле содержится не правило, а подмножество объектов, удовлетворяющих всем правилам ветви, которая заканчивается данным узлом.

Структура дерева принятия решений может быть описана набором «решающих» правил [5]:

ЕСЛИ «условие_1» И «условие_2», ТО «класс_1» (1.2)

где результатом является содержимое конечного узла, а «подусловия» образуют дуги и внутренние узлы. Таким образом, каждое решающее правило разделяет исходное множество объектов на два непересекающихся подмножества [6]. Чтобы попасть в терминальный узел, пример должен удовлетворять всем правилам, лежащим на пути к этому узлу. Поскольку путь в дереве к каждому терминальному узлу единственный, то и каждый пример может попасть только в один узел, что обеспечивает единственность решения.

Основная прикладная область деревьев решений — это поддержка процессов принятия управленческих решений, используетсяя в статистике, анализе данных и машинном обучении. Задачами, решаемыми с помощью данного аппарата, являются:

• Классификация — отнесение объектов к одному из заранее известных классов. Целевая переменная должна иметь дискретные значения.

• Регрессия — прогнозирование числового значения независимой переменной для заданного входного вектора.

• Описание объектов — набор правил в дереве решений позволяет компактно описывать объекты. Поэтому вместо сложных структур, описывающих объекты, можно хранить деревья решений.

Процесс построения деревьев решений заключается в последовательном, рекурсивном разбиении обучающего множества на подмножества с применением решающих правил в узлах. Процесс разбиения продолжается до тех пор, пока все узлы в конце всех ветвей не будут объявлены терминальными. Объявление узла терминальным может произойти, когда он будет содержать единственный объект, или объекты только одного класса, или по достижении заданного пользователем условия остановки, например, минимально допустимое число примеров в узле или максимальная глубина дерева. Алгоритмы построения деревьев решений относят к классу «жадных» алгоритмов. Жадными называют алгоритмы, в которых допускается существование локально-оптимального решения на каждом шаге, и приводящие к оптимальному итоговому решению. В случае деревьев решений это

означает, что если один раз был выбран атрибут, и по нему было произведено разбиение на подмножества, то алгоритм не может вернуться назад и выбрать другой атрибут, который дал бы лучшее итоговое разбиение. Поэтому на этапе построения нельзя сказать обеспечит ли выбранный атрибут оптимальное разбиение.

Алгоритмы построения дерева принятия решений различают по способам выборе решающих правил. В настоящее время распространены следующие алгоритмы:

• Алгоритм ID3, в котором выбор правила производится на основании прироста информации. Данный алгоритм позволяет работать только с дискретной целевой переменной, поэтому деревья решений, построенные с помощью данного алгоритма, являются классифицирующими. Число потомков в узле дерева не ограничено.

• Алгоритм C4.5 - улучшенная версия ID3, в которую добавлена возможность работы с пропущенными значениями атрибутов. Алгоритм использует нормализованный прирост информации для выбора правила.

• Алгоритм CART (Classification and Regression Tree), позволяющий использовать как дискретную, так и непрерывную целевую переменную, и, следовательно, решать задачи классификации и регрессии. Алгоритм строит деревья, которые в каждом узле имеют только два потомка.

К преимуществам подхода относят интерпретируемость и наглядность, быстрый процесс обучения, получение правил в областях, где эксперту трудно формализовать свои знания, высокая точность предсказания, сопоставимая с другими методами анализа данных. Подход не требует предобработки данных, например добавления вспомогательных признаков, удаления пропущенных данных и т.д., применим на малых объемах данных, а результат классификации всегда можно интерпретировать., кроме того, решающие правила можно извлечь из дерева решений и формализовать на естественном языке [7].

1.3.2. Байесовский классификатор

Байесовский классификатор (Naive Bayes classifier) принадлежит семейству вероятностных классификаторов и основан на теореме Байеса, [8], позволяющей определять принадлежность элемента выборки к одному из классов при условии независимости переменных:

р(ф)= £М (1.3)

где Р(с|о) - вероятность того, что объект о принадлежит классу с, Р(о|с) -вероятность появления объекта о среди всех объектов класса с, Р (с) - вероятность появления объекта класса s среди всех объектов набора данных, Р(о) - вероятность появления объекта о в наборе данных. Обычно в задачах классификации объекты характеризуются вектором признаков: о = .,/2), где /- - ьй признак объекта. При этом предполагается, что вероятности появления признаков не зависят друг от друга. С учетом этого допущения условная вероятность объекта может быть представлена в виде функции произведения условных вероятностей всех признаков, содержащихся в объекте:

Р(о\с) = 1 П?=1 P(fi je) (1.4)

где к - размерность вектора признаков объекта о.

В задаче бинарной классификации (1.4) для каждого из классов примет вид

Р(с\о) = 1П011 P(fi je) (1.5)

Р(с\о) = 1 П?=1 P(fi je) (1.6)

Логарифм отношения ln (■

р(сю)

-) можно рассматривать как критерий

р(Ф)

принадлежности объекта к классу. При

(1.7)

можно утверждать, что объект о принадлежит классу с.

Для классифицируемого объекта вычисляются функции правдоподобия каждого из классов, по ним вычисляются апостериорные вероятности классов. Объект относится к тому классу, для которого апостериорная вероятность максимальна.

Если реальная природа объектов приближена к независимым плотностям вероятностей, то наивный байесовский классификатор показывает хорошие результаты и не требует большого числа обучающих объектов [9]. На практике [8] плотности распределения классов зачастую не известны и поэтому их необходимо определить из обучающей выборки, в результате чего вносится погрешность и байесовский алгоритм классификации утрачивает оптимальность.

Метод опорных векторов (support vector machine, SVM) принадлежит семейству линейных методов классификации и основан [10] на теории статистического обучения и положениях теории Вапника-Червоненкиса, предложенных В. Н. Вапником и А. Я. Червоненкисом, описывающих подход последовательной минимизации эмпирической ошибки [11]. Идея метода заключается в построении гиперплоскости, разделяющей объекты выборки так, чтобы зазор между разделяющей гиперплоскостью и объектами из обучающей выборки был максимальным, что приведет к минимизации ошибки классификации. Если такая гиперплоскость существует, она называется оптимальной разделяющей гиперплоскостью.

1.3.3. Метод опорных векторов

Метод опорных векторов может можно рассмотреть на примере задачи бинарной классификации. Имеется множество объектов Х, и множество классов Y = {А, В}. Обучающая выборка определена множеством пар (хт ,ут). Требуется построить отображение определяющее однозначное соответствие

любого элемента из Х классу множества Y. Для решения задачи необходимо построить оптимальную разделяющую гиперплоскость, в данном случае, прямую, и при этом так, чтобы расстояние от каждого класса до прямой было максимальным. Например, на Рисунке 1.2 приведен пример обучающей выборки, состоящей из двух множеств точек на плоскости.

Рисунок 1.2. Разделяющая прямая, расположенная на максимальном расстоянии от точек классов А и В

Опорными векторами называются объекты, расположенные наиболее близко к разделяющей гиперплоскости. Метод опорных векторов строит функцию

F(x) = Б1дп((ш,х) + Ь) (1.8)

где (ш,х) - скалярное произведение векторов, w - вектор, нормальный к разделяющей гиперплоскости, Ь - вспомогательный параметр.

Значения функции Р(х) = | определяют класс объекта. Любая гиперплоскость может быть определена в виде уравнения

(ш,х) + Ь = 0 (1.9)

Для определения максимального расстояния цбц от разделяющей

гиперплоскости до каждого расстояния необходимо определить параметры ш,Ь.

2

Данная задача эквивалентна проблеме нахождения минимума \lwlQ и может быть формализована в виде оптимизационной задачи квадратичного программирования

i

minu ,|2 arg r \ \w\\

w,b* * (1.10)

ytW(w,Xi) + b) > 1,i = 1,...,m

Для решения проблемы линейно неразделимой выборки объектов предложен подход, предполагающий, что существует некоторое пространство более высокой размерности, при переходе в которое при помощи отображения ср \ Rn ^ X выборка объектов станет линейно разделимой, при этом отображение выбирается так, чтобы в новом пространстве выборка была линейно разделима. Тогда классифицирующая функция примет вид

F(x) = sign((w,<p(x)) + b) (111)

Выражение К(х,х') = (ф(х),ф(х')) определяет ядро классификатора и

влияет на точность классификации. Различают следующие виды ядер:

, ,2

• Радиальная базисная функция - К(х,х') = е~Y\\X~X 1| ,у > 0

• Гауссова радиальная базисная функция - К(х, х') = е

• Сигмоида - К(х, х') = tanh(k(x, х' ) + С),к>0,С<0

• Полиномиальное - К(х,х') = ((х,х') + С)=

К преимуществам метода можно отнести то, что задача выпуклого квадратичного программирования хорошо изучена и имеет единственное решение, а принцип оптимальной разделяющей гиперплоскости приводит к максимизации ширины разделяющей полосы (более уверенная классификация). К недостаткам -неустойчивость к шуму: выбросы в исходных данных оказывают влияние на построение разделяющей гиперплоскости и точность классификации, нет отбора значимых для классификации признаков.

1.3.4. Метод к ближайших соседей

Метод к ближайших соседей (кКЫ) [12] относится к метрическим методам классификации и присваивает объекту метку того класса, который наиболее распространен среди к ближайших к нему объектов (соседей) в многомерном пространстве признаков. На Рисунке 1.3 приведен пример бинарной классификации объекта в зависимости от значения параметра к.

А * ■ ..........А

* \

Рисунок 1.3. Принадлежность объекта к разным классам при к = 3 и к = 5.

Тестовый образец (зелёный круг) может быть классифицирован как синий квадрат (класс 1) или как красный треугольник (класс 2). Если к = 3, то он

классифицируется как 2-й класс. Если к = 5, то он будет классифицирован как 1-й класс.

Перед применением метода к ближайших соседей требуется задать функцию расстояния между объектами, представляющую собой модель сходства объектов, при этом величина сходства двух объектов обратно пропорциональна величине значений, принимаемых функцией расстояния. Классический вариант функции расстояния — евклидова метрика.

На этапе настройки в классификатор загружаются векторы признаков объектов обучающей выборки и классы, соответствующие этим объектам. На этапе классификации определяется расстояние между вектором классифицируемого объекта и векторами, загруженными при обучении. После этого определяются к ближайших объектов, и классифицируемый объект относится к тому классу, объекты которого преобладают среди соседних.

На практике некоторые признаки объекта могут быть важнее остальных, поэтому каждому признаку может быть назначен определённый вес. Также разные признаки могут иметь разные диапазоны значений в выборке, в таких случаях необходимо дополнительно провести нормализацию признаков. Для большого количества признаков требуется предварительное снижение размерности для того, чтобы избежать проблемы снижения точности классификации.

1.3.5. Логистическая регрессия

Логистическая регрессия [13] - это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события путем его сравнения с логистической кривой. Принадлежит к семейству линейных методов классификации. Эта модель применяется при решении задач бинарной классификации и использует логистическую функцию для моделирования зависимости выходной переменной у (зависимая переменная) от набора входных данных х (множество независимых переменных).

У = /(*) = (112)

График логистической функции приведен на Рисунке 1.4

/ г

/

/

/

)

/

/

/

-6-4-2 0 2 4 6

Рисунок 1.4 - График логистической функции

Общее назначение логистической регрессии состоит в анализе связи между несколькими независимыми переменными (регрессорами или предикторами) и зависимой переменной. Логистическая регрессия применяется, когда входные и выходная переменные непрерывные, а выходная переменная принимает только два значения.

С помощью логистической регрессии можно оценивать вероятность наступления некоторого события, например пациент болен или здоров, заемщик вернул кредит или пропустил сроки погашения задолженности. Для этого делается предположение о том, что вероятность наступления события у=1 равна

Р{у= 1|х} = /(7) (1.13)

где г = Qтх, х и Q - векторы значений независимых переменных и параметров регрессии.

Так как в задаче бинарной классификации y принимает только два значения, то вероятность события y=0 равна

P[y = 0lx} = 1-f(z) (1.14)

Для определения параметров Q0,..., Qn логистической регрессии необходимо составить обучающую выборку из наборов независимых переменных и соответствующих им значений зависимой переменной:

{(х(1),у(1)), ...,(х(т),у(т))}. Обычно применяется метод максимального правдоподобия, в соответствии с которым подбираются параметры Q, которые максимизируют значение функции правдоподобия на обучающей выборке:

Q = argmaxqL(Q) = argmaxq Пт^= У= х(l)} (115)

Максимизация функции правдоподобия эквивалентна максимизации её логарифма:

ln L(Q) = Ей" у(l) lnf(QTх(l)) + (1- у(l)) ln(l - f(QTx(l))) (1.16)

где QT x(l) = Q0 xAl) + - + Qn xnl)

Для максимизации функции в (1.16) может быть применен метод градиентного спуска.

Список литературы диссертационного исследования кандидат наук Чернобаев Игорь Дмитриевич, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Ломакин Д. В., Ломакина М. Д., Суркова А. С. Методология формирования системоорганизующих характеристик текстовых данных // Фундаментальные исследования. - 2015. - № 11-3. - С. 480-483.

2. Большаков А. А., Каримов Р. Н. Методы обработки многомерных данных и временных рядов: учебное пособие для вузов / Большаков А. А., Каримов Р. Н. - М. : Горячая линия - Телеком, 2007. - 520 с.

3. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. / Springer, 2001. - 533 P.

4. Bishop, C. Pattern Recognition and Machine Learning / Springer, 2006. - 740 P.

5. Quinlan, J. R. Simplifying decision trees // International Journal of Man-Machine Studies, 27 (3). - 1987. - P. 221-234.

6. . Karimi and H.J. Hamilton, "Generation and Interpretation of Temporal Decision Rules", International Journal of Computer Information Systems and Industrial Management Applications, vol. 3, pp. 314-323, 2011.

7. Deng, H., Runger, G., Tuv. E. Bias of importance measures for multi-valued attributes and solutions // Proceedings of the 21st International Conference on Artificial Neural Networks (ICANN). - 2011. - P. 293-300.

8. Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин). - Москва - 2011 - С. 119-121.

9. Ломакина Л.С., Суркова А.С. Информационные технологии анализа и моделирования текстовых данных: Монография. - Воронеж: Издательство «Научная книга», 2015. - 208 c.

10. Cortes, C., Vapnik, V. Support-vector networks // Machine Learning. - Vol. 20, no. 3. - 1995. - PP. 273-297.

11. Суркова, А. С. Концептуальный анализ, принципы моделирования и оптимизация алгоритмов синтеза текстовых структур: дис. д-ра. техн. наук / Нижегор. гос. техн. ун-т им. Р.Е. Алексеева. - 2017. - 343 c.

12. Fix, E., Hodges, J. L. Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties // Report A193008, USAF School of Aviation Medicine, Randolph Field. - Texas. - 1951. - 23 p.

13. Tolles, J., Meurer, William J. Logistic Regression Relating Patient Characteristics to Outcomes // JAMA. - vol. 316, № 5, -2016. - pp. 533-534.

14. Fisher, R.A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics. - 1936. - Vol. 7. - P. 179-188.

15. Гладков Л. А. Генетические алгоритмы: учебник / Гладков Л. А., Курейчик В. В., Курейчик В. М. - 2-е изд., испр. и доп. - Москва: ФИЗМАТЛИТ, 2010. -368с

16. Гладков Л. А., Курейчик В. В, Курейчик В. М. и др. Биоинспирированные методы в оптимизации: монография. - Москва: Физматлит, 2009. - 384 с. -ISBN 978-5-9221-1101-0

17. Керимов А. К. Программная реализация эволюционного алгоритма решения одной задачи автоматической классификации / Керимов, А. К., Давудова, Р. И. // Программные продукты и системы. - 2010. - № 1: С. 15-18.

18. Sonoda, S., Murata, N. Neural network with unbounded activation functions is universal approximator. Applied and Computational Harmonic Analysis. Vol. 43, No. 2 - 2017. - pp. 233-268.

19. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе // Классификация и кластер. - М.: Мир. - 1980. - С. 208-247

20. Zadeh, L. A. Fuzzy sets / L. A. Zadeh // Information and Control. - Vol. 8 (3). -1965. - P. 338-353.

21. Kosko, B. Fuzzy systems as universal approximators // IEEE Transactions on computers. - Vol. 43, - № 11, - 1994, - pp. 1329-1333.

22. Kearns, M., Valiant, L. G. Cryptographic limitations on learning Boolean formulae and finite automata // Proc. of the 21st Annual ACM Symposium on Theory of Computing. - 1989. - Pp. 433-444.

23. Yoav Freund, Robert E. Schapire. A Short Introduction to Boosting. // Journal of Japanese Society for Artificial Intelligence. - Introduction to Adaboost/ - Vol.14(5). - 1999. - pp. 771-780

24. Breiman, L. Bagging predictors // Machine Learning. 1996. No. 2. Vol. 24. - P. 123140.

25. Sebastiani, F. Machine Learning in Automated Text Categorization // ACM Computing Survey. - 2002. - Vol. 34(1). - 147 P.

26. Lewis D. Evaluating and optimizing autonomous text classification systems // Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. -1992. - P. 246-254.

27. Горбань А. Н. Обобщённая аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики. - 1998, т. 1, № 1. - c. 12-24.

28. McCulloch, W.S., Pitts, W. A logical Calculus of Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics. - 1943; 5: - рр. 115-133.

29. Терехов В.А. Нейросетевые системы управления. - М: Высшая школа, 2002. -183 с.

30. Maas, A.L., Hannun, A.Y., Ng, A.Y. Rectifier nonlinearities improve neural network acoustic models //Proc. ICML. - 2013. - vol. 30. - №. 1. - 6 p.

31. He, K., Zhang, X., Ren, S., Sun, J. Delving Deep into Rectifiers: Surpassing HumanLevel Performance on ImageNet Classification // Proceedings of the 2015, IEEE International Conference on Computer Vision (ICCV) - 2015. - P. 1026-1034.

32. Clevert, D.-A., Unterthiner, T., Hochreiter, S. Fast and accurate deep network learning by exponential linear units (elus) // International Conference on Learning Representations (ICLR), 2016. — 14 p. Available at: https://arxiv.org/abs/1511.07289. DOI: 10.48550/arXiv.1511.07289

33. Agostinelli, F., Hoffman, M., Sadowski, P., Baldi, P.L. Learning Activation Functions to Improve Deep Neural Networks // International Conference on Learning Representations. - Puerto Rico, - 2015. - pp. 1024-1032.

34. Круглов В. В. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В.В. Борисов. - М.: Горячая линия - Телеком, - 2019. - 382 c.

35. Glorot, Х., Bordes А., Bengio, Y. Deep sparse rectifier neural networks // AISTATS. - vol. 15. of JMLR Proceedings. - 2011. - p. 315-323.

36. Ramachandran, P., Zoph, B., Q.V. Le. Searching for Activation Functions // Neural and Evolutionary Computing, 2017. - 13 p. Available at: https://arxiv.org/abs/1710.05941v2. DOI: 10.48550/arXiv.1710.05941

37. Sahin, F. A Radial Basis Function Approach to a Color Image Classification Problem in a Real Time Industrial Application (M.Sc.) // Virginia Tech. - 1997. - p. 26.

38. Werbos, P. Applications of advances in nonlinear sensitivity analysis. (PDF). System modeling and optimization. Springer. - 1982. - pp. 762-770.

39. Dupond, S. A thorough review on the current advance of neural network structures // Annual Reviews in Control. 14 - 2019 - P. 200-230.

40. Hyotyniemi, H. Turing machines are recurrent neural networks [Text] / H. Hyotyniemi // Proc. of SteP'96 /Publications of the Finnish Artificial Intelligence Society - Genes, Nets and Symbols. - 1996. - P. 13-24.

41. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. -1997. - Vol. 9, no. 8. - P. 1735-1780.

42. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., Bengio, Y. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. - 2014. - рр. 1724-1734.

43. Aggarwal, C.C. Neural Networks and Deep Learning. / Springer International Publishing. - 2018. - DOI 10.1007/978-3-319-94463-0 ISBN 978-3-319-94462-3

44. LeCun, Y., Boser B., Denker J. S., Henderson D., Howard R. E., Hubbard W., Jackel L. D. Backpropagation Applied to Handwritten Zip Code Recognition. / Neural Computation. - Vol. 1. - №4. - 1989. - pp. 541-551.

45. Chien-Cheng Yu, Yun-Ching Tang. An adaptive activation function for multilayer feedforward neural networks // IEEE Region 10 Conference on Computers, Communications, Control and Power Engineering. TENCOM '02. Proceedings. -2002. - Vol. 3. - pp. 1516-1520.

46. Qian, S., Liu H., Liu C., Wu S., Wong H. Adaptive activation functions in convolutional neural networks, Neurocomputing. - Vol. 272. - 2018. - pp. 204-212.

47. Dushkoff M., Ptucha, R. Adaptive Activation Functions for Deep Networks, Electronic Imaging // Computational Imaging XIV - 2016. - pp. 1-5.

48. Bingham, G., Macke, W,. Miikkulainen, R. Evolutionary optimization of deep learning activation functions // In Proceedings of the 2020 Genetic and Evolutionary Computation Conference. - 2020. - pp. 289-296.

49. Varshney. M., Singh, P. Optimizing nonlinear activation function for convolutional neural networks. / Signal, Image and Video Processing 15. - 2021. - pp. 1323-1330.

50. Klir, G.J.,Yuan, B. Fuzzy Sets, Fuzzy Logic, and Fuzzy Systems / Selected Papers by Lotfi A Zadeh // World Scientific. - Vol. 6. - 1996. - 840 p.

51. Lee, C.C. Fuzzy logic in control systems: fuzzy logic controller // IEEE Transactions on systems, man, and cybernetics. - Vol. 20, № 2. - 1990. - pp. 404-418.

52. Sugeno, M. An introductory survey of fuzzy control // Information sciences. - Vol. 36, №1-2. - 1985. - pp. 59-83.

53. Feng, X.J., Jiang, L., Design and creation of superwetting/antiwetting surfaces // Advanced Materials. - Vol.18, №23. - 2006. - pp. 3063-3078

54. Mamdani, E.H., Assilian, S. An experiment in linguistic synthesis with a fuzzy logic controller // International journal of man-machine studies. - Vol. 7, №1. - 1975. -pp. 1-13.

55. Holmblad, L.P.,Ostergaard, J.J. Control of Cement Kiln by Fuzzy Logic // Approximate Reasoning in Decision Analysis. Text.: science work/ New York, 1982. - p. 389-400.

56. Yasunobu, S., Miyamoto, S. Automatic train operation system by predictive fuzzy control // Industrial Applications of Fuzzy Control, Elsevier, Amsterdam. Netherlands, - 1985. - pp. 1-18.

57. Wang, L.X., Mendel, J.M. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning // IEEE transactions on Neural Networks. - Vol. 3, № 5. - 1992. - pp. 807-814.

58. Castro, J.L. Fuzzy logic controllers are universal approximators // IEEE transactions on systems, man, and cybernetics. - Vol. 25, № 4. - 1995. - pp. 629-635.

59. Kosko, B. Fuzzy systems as universal approximators // IEEE transactions on computers. - Vol. 43, № 11. - 1994. - pp. 1329-1333.

60. Kreinovich, V., Mouzouris, G.C., Nguyen, H.T. Fuzzy rule based modeling as a universal approximation tool // In Fuzzy Systems. Springer, Boston, MA. - 1998. -pp. 135-195

61. Leekwijck, W., Kerre, E.E. Defuzzification: criteria and classification". Fuzzy Sets and Systems. - Vol. 108, № 2. - 1999. - pp. 159-178.

62. Takagi, T., Sugeno, M. Fuzzy identification of systems and its applications to modeling and control // IEEE transactions on systems, man, and cybernetics. - 1985. - pp.116-132.

63. Kumbasar, T. A simple design method for interval type-2 fuzzy PID controllers // Soft Computing. - Vol. 18, № 7. - 2014. - pp. 1293-1304.

64. Kumbasar, T., Hagras, H. Interval type-2 fuzzy PID controllers // In Springer handbook of computational intelligence Springer, Berlin, Heidelberg. - 2015. - pp. 285-294.

65. Kumbasar, T. Robust Stability Analysis and Systematic Design of Single Input Interval Type-2 Fuzzy Logic Controllers// IEEE Transactions on Fuzzy Systems. -Vol. 24, № 3. - 2015. - pp. 285-294.

66. Mendel, J., Hagras, H., Tan, W.W., Melek, W.W., Ying, H. Introduction to type-2 fuzzy logic control: theory and applications // John Wiley & Sons. - 2014. - 357 p.

67. Liang Q., Mendel J.M. Interval type-2 fuzzy logic systems: Theory and design // IEEE Trans. Fuzzy Syst. - Vol. 8, № 5. - 2000. - pp. 535-550.

68. Karnik, N.N., Mendel, J.M., Liang, Q. Type-2 fuzzy logic systems // IEEE Trans. Fuzzy Syst. 7. - 1999. - pp. 643-658.

69. Hagras H. A hierarchical type-2 fuzzy logic control architecture for autonomous mobile robots // IEEE Trans. Fuzzy Syst. - Vol. 12, № 4. - 2004. - pp. 524-539.

70. Liang Q, Mendel J.M. MPEG VBR Video Traffic Modeling and Classification Using Fuzzy Technique // IEEE Trans, Fuzzy systems, vol.9, no.1, - 2000. - pp. 183-193.

71. Kumbasar, T., Eksin, I., Guzelkaya, M., Yesil, E. Exact inversion of decomposable interval type-2 fuzzy logic systems // Int. J. Approx. Reason. - 2013, - pp. 253-272.

72. Djerafi, T., Doghri, A., Wu, K. Substrate Integrated Waveguide Antennas // Handbook of Antenna Technologies. - 2012. - pp. 1-60.

73. Karnik, N. N., Mendel, J. M. Centroid of a type-2 fuzzy set // Information Sciences.

- Vol. 132. - 2001. - pp. 199-220.

74. Ross, T.J. Fuzzy Logic with Engineering Applications // John Wiley & Sons. - 2009.

- 606 p.

75. Beke, A., Kumbasar, T. Learning with Type-2 Fuzzy activation functions to improve the performance of Deep Neural Networks. - 2019. - pp. 372-384

76. Jang, J.S.R. ANFIS: adaptive-network-based fuzzy inference system // IEEE Transactions on Systems, Man and Cybernetics. - Vol. 23 № 3. - 1993. - pp. 665-685.

77. Glorot, X., Bordes A., Bengio Y. Deep sparse rectifier neural networks. // In Proceedings of the 14th international conference on artificial intelligence and statistics (AISTATS). - 2011. - pp. 315-323.

78. Mistry J., Chuguransky S., Williams L., Qureshi M., Salazar, G.A. Pfam: The protein families database // E.L.L. Sonnhammer, S.C.E. Tosatto, L. Paladin, S. Raj, L.J. Richardson, R.D. Finn, A. Bateman. - 2021. - pp. 412-419.

79. Erik L. L. Sonnhammer, Sean R. Eddy, Richard Durbin. Pfam: a comprehensive database of protein domain families based on seed alignments. // Proteins. — New York, NY : Wiley-Liss, 1997. — № 28(3). — P. 405-420.

80. Hauser M, Steinegger M, Soding J. MMseqs software suite for fast and deep clustering and searching of large protein sequence sets. Bioinformatics (Oxford, England). 2016 May;32(9):1323-1330.

81. Soding J. Protein homology detection by HMM-HMM comparison. Bioinformatics. 2005 Apr 1;21(7):951-60. DOI: 10.1093/bioinformatics/bti125. Epub 2004 Nov 5. Erratum in: Bioinformatics. 2005 May 1;21(9):2144.

82. Maas, A.L., Daly R.E., Pham P.T., Huang, D., Ng, A.Y., Potts, C. Learning Word Vectors for Sentiment Analysis // Conference: The 49th Annual Meeting of the

Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, - 2011. - рр. 142-150.

83. Xiao H, Rasul K, Vollgraf R. Fashion-mnist: a novel image dataset for benchmarking machine learning algorithms. ArXiv preprint. 2017. - 6 pp. Available at: https://arxiv.org/abs/1708.07747. DOI: 10.48550/arXiv.1708.07747

84. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278-2324, 1998.

85. L. Wan, M. Zeiler, S. Zhang, Y. L. Cun, and R. Fergus. Regularization of neural networks using drop connect. In Proceedings of the 30th international conference on machine learning (ICML- 13), pages 1058-1066, 2013.

86. D. Ciregan, U. Meier, and J. Schmidhuber. Multi-column deep neural networks for image classification. In Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, pages 3642-3649. IEEE, 2012.

87. Ломакина Л.С., Чернобаев И.Д. Нейро-нечеткие классификаторы // Научный журнал «Моделирование, оптимизация и информационные технологии». 2021;9(4) Доступно по: https://moitvivt.ru/ru/journal/pdf?id=1092 DOI: 10.26102/2310-6018/2021.35.4.027

88. Суркова А. С., Чернобаев И. Д. Моделирование текстов с использованием рекуррентных нейронных сетей // Труды НГТУ им. Р. Е. Алексеева. - Н. Новгород: НГТУ им. Р.Е. Алексеева, 2018, №1 (120), С. 65-73.

89. Суркова А. С., Чернобаев И. Д. Использование модели Encoder-Decoder для реферирования текстов // Системы управления и информационные технологии. - Научная книга, Воронеж, 2017. № 4 (70) - С. 72-75

90. Lomakina L.S., Surkova A. S., Zhevnerchuk D. V., Chernobaev I. D. Text structures synthesis on the basis of their system-forming characteristics // IV International Research Conference "Information Technologies in Science, Management, Social Sphere and Medicine" ITSMSSM-2017. Advances in Computer Science Research (ACSR). 2017. vol. 72. pp. 108 - 113.

91. Lomakina L.S., Surkova A.S., Zhevnerchuk D.V., Skorynin S.S., Chernobaev I.D., Subbotin A.N., Gordeev D.E., Romanov S.A., Sementsov M.S. Conceptual modeling

of heterogeneous data for geoinformation systems. // Proceedings of the Thirteenth International MEDCOAST Congress on Coastal and Marine Sciences, Engineering, Management and Conservation (MEDCOAST 2019), 2019. vol. 1. pp. 77-89.

92. Anna Surkova, Sergey Skorynin, and Igor Chernobaev. Word embedding and cognitive linguistic models in text classification tasks // In Proceedings of the XI International Scientific Conference Communicative Strategies of the Information Society (CSIS'2019). Association for Computing Machinery, New York, NY, USA. 2019. Article 12, pp. 1-6. DOI:https://doi.org/10.1145/3373722.3373778

93. Суркова А. С., Чернобаев И.Д., Цыбульская Е. В. Реализация алгоритмов LDA и LSA для обработки текстов на естественном языке // Материалы XXII Международной научно-технической конференции «Информационные системы и технологии» ИСТ-2016. - Н. Новгород: НГТУ им. Р. Е. Алексеева,

2016 - С.353-354.

94. Суркова А. С., Чернобаев И. Д. Построение модели текстов на русском языке при помощи рекуррентной нейронной сети // Материалы XXIII Международной научно-технической конференции «Информационные системы и технологии» ИСТ-2017, - Н. Новгород: НГТУ им. Р. Е. Алексеева,

2017 - С.752-757.

95. Жевнерчук Д. В., Суркова А. С., Цыбульская Е. В., Чернобаев И. Д. RESTful сервис обработки текстов // Материалы XXIII Международной научно-технической конференции «Информационные системы и технологии» ИСТ-2017, - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2017 - С. 348-352.

96. Ломакина Л. С., Жевнерчук Д. В., Суркова А. С., Панкратова А. З., Чернобаев И. Д. Синтез текстовых структур на основе их системообразующих характеристик // Материалы IV Международной научной конференции «Информационные технологии в науке, управлении, социальной сфере и медицине». - Томск: ТПУ, 2017. - С. 135-137.

97. Суркова А. С., Чернобаев И. Д. Обзор методов тематической сегментации текстовых данных // Материалы XXIV Международной научно-технической

конференции «Информационные системы и технологии» ИСТ-2018, - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2018.

98. Суркова А. С., Семенцов М. С., Скорынин С. С., Субботин А. Н., Чернобаев И. Д. Методология моделирования текстовых данных для решения задач классификации, кластеризации и идентификации // Материалы Международного Конгресса по интеллектуальным системам и информационным технологиям IS&IT'18. - Ростов-на-Дону, Таганрог: ЮФУ, 2018. Т.1. - С. 331-337

99. Surkova A. S., Chernobaev I. D. Comparison of Neural Network architectures in the task of automatic text classification // Modern informatization problems in the technological and telecommunication systems analysis and synthesis: Proc. of the XXIV-th Int. Open Science Conf. - 2019. - pp. 377-382 - ISBN 978-1-62174-1169.

100. Суркова А. С., Скорынин С. С., Чернобаев И.Д. Применение рекуррентных нейронных сетей в задаче выявления неискренних сообщений в онлайн сервисах // Сборник научных трудов XXIII международной научно-практической конференции «Системный анализ в проектировании и управлении» SAEC-2019. - С.-Пб.: СпбПУ Петра Великого, 2019.

101. Суркова А. С., Чернобаев И.Д. Сравнительный анализ рекуррентных и глубоких рекуррентных нейронных сетей в задаче бинарной классификации текстовых последовательностей // Сборник трудов XXIII международной научно-практической конференции «Системный анализ в проектировании и управлении» SAEC-2019. - С.-Пб.: СпбПУ Петра Великого, 2019.

102. Чернобаев И. Д. Нейро-нечеткая классификация неструктурированных данных // Материалы XIX Всероссийской молодежной научно-технической конференции «Будущее технической науки». - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2020 - С. 91-92.

103. Чернобаев И. Д., Носков К. М. Нейро-нечеткая система классификации объектов сложной структуры // Материалы XXVII Международной научно-

технической конференции «Информационные системы и технологии» ИСТ-2021, - Н. Новгород: НГТУ им. Р. Е. Алексеева, 2021.

104. Lomakina L. S., Chernobaev I. D., Kiselev Y. N. Algorithmic support of neuro-fuzzy classification of objects of complex structure // Труды Международного научно-технического конгресса «Интеллектуальные системы и информационные технологии - 2021» («ИС & ИТ-2021», «IS&IT'21»), -Дивноморское, 2021 №6 - С. 475-481.

105. Л. С. Ломакина, С. А. Манцеров, И. Д. Чернобаев Нейро-нечеткие классификаторы. Теория и практика: Монография. - Воронеж: Издательство «Научная книга», 2022. - 137 с.

106. Реализация модели Encoder-Decoder для автоматического реферирования текстов / Чернобаев И. Д., Суркова А. С. - Свидетельство о гос. регистрации программы для ЭВМ № 2017661539, зарегистрировано в Реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности 16.10.2017.

107. Визуализация нейро-нечеткого классификатора. / Чернобаев И. Д., Ломакина Л.С. - Свидетельство о гос. регистрации программы для ЭВМ №2021680592, зарегистрировано в Реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности 30.11.2021.

ПРИЛОЖЕНИЕ А. Заключение об использовании и акт о внедрении результатов диссертационной работы. Свидетельства о государственной

регистрации программы для ЭВМ.

ООО «СВТЕКНН»

603005. Россия. Нижний Новгород, ул. Алексеевская 10/16. офис 209

ДГВНРЖДАЮ Генеральный директоп^ООО «СВТЕКНН»

^ В.Л. Калачев <КЧ» 2021г.

ЗАКЛЮЧЕНИЕ

об использовании результатов диссертационной работы Чсрнобасва Игоря Дмитриевича «Алгоритмическое обеспечение нейро-нечеткой системы классификации

состояний объектов сложной структуры», представленной на соискание ученой степени кандидата технических наук по специальности 05.13.01 —«Системный анализ, управление и обработка информации (в науке и промышленности)» (технические науки)

Настоящей справкой подтверждается, что теоретические и практические решения, предложенные в диссертационной работе Чернобаева И.Д., посвященной разработке нейро-нечеткой системы классификации состояний объектов сложной структуры, нашли применение в практической деятельности в одном из проектов ООО «СВТЕКНН», для распознавания состояний бортового компьютера мультимедийной системы транспортных средств.

Разработанная нейро-нечеткая система классификации состояний объектов сложной структуры основана на использовании рекуррентной нейронной сети и нечеткой логической системы с применением интервальных нечетких множеств 2-го типа. Решения об отнесении состояния объекта к определенному классу производится на основе выявленных закономерностей при обучении нейро-нечеткой сети. Применение разработанных методов позволило повысить точность оценки состояний бортового компьютера, что подтверждает эффективность алгоритмов, разработанных Чернобаевым И.Д.

Рисунок А.1 - Заключение об использовании результатов диссертационной работы в ООО «СВТЕКНН» в одном из проектов, для распознавания состояний бортового компьютера мультимедийной системы транспортных средств.

МИНОБРНЛУКИ РОССИИ

федеральное государственное бюджетное обраюнателыюе учреждение высшею обрагоияиии «Нижегородский государи венный технический уннверентет им. P.E. Алексеева» (НГТУ)

АКТ

Nt

УТВЕРЖДАЮ

11ер»ый проректор - проректор но образовательной лсятельнов^я

ЙнвиоийВД^/

(ФИ.о лтш. > полном омймого на утасржлсмис)

оаном^яп

г. Нижний Номорол

о внедрении в учебный процесс результатов диссертационной работы аспиранта ЧсрнобасваМ.Д. «Алгоритмическое обеспечение нейро-нечет кой системы классификации состояний объектов сложной структуры»

Результаты научных исследований аспиранта Чернобасва И.Д. (научный руководитель - д.т.н., доцент Суркова A.C.), полученные в диссертационной работе «Алгоритмическое обеспечение нсйро-нсчеттсой системы классификации состояний объектов сложной структуры» использовались при разработке и чтении курса «Технологии разработки программного обеспечения» при подготовке магистров по направлению 09.04.01 «Информатика и вычислительная техника», а также при разработке лабораторных работ по курсам «Модели и методы диагностики сложных систем», «Автоматизированные и информационно-поисковые системы» и «Алгоритмы и теория сложности» по программе магистратуры «Диагностические и информационно-поисковые системы» по направлению «Информатика и вычислительная техника».

Заведующий кафедрой «Вычислительные системы и технологии»

д.т.н.

Жевнерчук Д.В.

Рисунок А.2 - Акт о внедрении в учебный процесс ФГБОУ ВО Нижегородского государственного технического университета им. Р. Е. Алексеева.

Рисунок А.3 - Свидетельство о государственной регистрации программы

для ЭВМ.