Оптимальные многоэкспертные бинарные системы голосования в модельных задачах обнаружения атак тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Ле Тхи Чанг Линь

• Ле Тхи Чанг Линь
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Ле Тхи Чанг Линь

Оглавление

Введение

Глава 1. Аналитический обзор методов и алгоритмов в многоэкспертных системах принятия решений

1.1 Алгоритмы объединения отдельных экспертов в многоэкспертных системах принятия решений

1.1.1 Алгоритмы принятия решения большинством голосов (majority voting)

1.1.2 Алгоритм принятия решения взвешенным большинством голосов (weighted majority vote)

1.1.3 Алгоритмы принятия решения, использующие правило Байеса (Bayes' rule)

1.1.4 Другие алгоритмы принятия решения в многоэкспертных бинарных системах

1.1.4.1 Алгоритм принятия решения на основе рейтинга

1.1.4.2 Алгоритм принятия решения связанным голосованием

1.1.4.3 Алгоритм принятия решения согласно теории Демпстера-Шафера

1.1.4.4 Алгоритм принятия решения по средней величине

1.1.4.5 Алгоритм принятия решения по функции доверия

1.1.4.6 Алгоритм принятия решения, основанный на выборе экспертов

1.2 Применение многоэкспертных систем

1.3 Выводы по первой главе и постановка задач, которые должны быть решены в диссертационной работе

Глава 2. Структуры многоэкспертных бинарных систем и их оптимизация

2.1 Многоэкспертная бинарная система принятия решения большинством голосов при равных значениях условных вероятностей принятия гипотезы каждого статистически взаимно независимого эксперта

2.1.1 Вероятности принятия правильного решения в МЭБС при нечетном числе экспертов

2.1.2 Вероятности принятия правильного решения в МЭБС при четном числе экспертов

2.1.3 Зависимость вероятности принятия правильного решения в МЭБС от нечетного и четного числа экспертов

2.1.4 Зависимость вероятности принятия правильного решения в МЭБС при четном числе экспертов в случае гипотезы Н0

2.2 Оптимальная многоэкспертная бинартная система голосования при равных значениях условных вероятностей принятия гипотезы Н0 и Н1 каждого статистически взаимно независимого эксперта

2.3 Оптимальная МЭБС голосования при неравных значениях условных вероятностей принятия гипотез Н0 и Н1 каждого

статистически взаимно независимого эксперта

2.4 О составе экспертов в многоэкспертной бинарной системе

2.5 Оптимальная МЭБС голосования при неравных значениях условных вероятностей принятия гипотез Н0 и Н1 каждого

статистически взаимно зависимого эксперта на основе метода статистических испытаний

2.6 Выводы по второй главе

Глава 3. Нейросетевые технологии обнаружение атак

3.1 Базы данных атак

3.1.1 База данных KDD Cup 99

3.1.2 База данных UNSW-NB 15

3.2 Нейросетевые технологии, применяемые в многоэкспертном подходе для обнаружения атак

3.2.1 Нейронная сеть СМАС

3.2.2 Многослойные нейронные сети

3.2.3 Метод опорных векторов

3.2.4 Метод случайного леса

3.3 Обнаружение атак с помощью отдельных экспертов

3.3.1 Нейронная сеть СМАС в задаче обнаружения атак в базе данных KDD Cup 99

3.3.1.1 Особенности обучения НС СМАС для обнаружения DoS-атак

3.3.1.2 Экспериментальные результаты

3.3.2 Двухуровневая система обнаружение DoS-атак и их компонент на основе нейронных сетей СМАС в базе данных KDD Cup 99

3.3.2.1 Структура системы

3.3.2.2 Обучающие и тестирующие записи системы в двухуровневой системе обнаружение DoS-атак и их компонент

3.3.2.3 Результаты обучения и тестирования НС СМАС верхнего уровня

3.3.2.4. Результаты обучения и тестирования НС СМАС нижнего уровня обнаружения компонент DoS-атак

3.3.3 Нейронная сеть СМАС в задаче обнаружения атак в базе данных UNSW-NB 15

3.3.3.1 Процесс выбора информативных признаков для НС СМАС в задаче обнаружения DoS-атак

3.3.3.2 Процесс обнаружения DoS-атак по данным базы UNSW-NB 15 с помощью НС СМАС

3.3.4 Многослойные нейронные сети в задаче обнаружения атак

3.3.4.1 Обучение и тестирование МНС в задаче обнаружения DoS-атак на базе данных KDD cup 99

3.3.4.2 Сравнение нейронной сети СМАС и многослойной нейронной сети в задаче обнаружения DoS-атак на базе данных KDD Cup 99

3.3.5 Применение многослойных нейронных сетей для обнаружения атак на базе данных UNSW-NB 15

3.4 Выводы по третей главе

Глава 4. Многоэкспертные бинарные системы как средство повышения вероятности обнаружения атак

4.1 МЭБС обнаружения атак типа Reconnaissance в базе данных

UNSW-NB 15

4.1.1 Структуры многоэкспертных бинарных систем обнаружения атак типа Reconnaissance

4.1.1.1 Структура многоэкспертной бинарной системы, состоящей из трех экспертов

4.1.1.2 Структура многоэкспертной бинарной системы, состоящей из пяти экспертов

4.1.2 Экспериментальные результаты

4.1.2.1 Предобработка данных базы UNSW-NB15 для обнаружения атак типа Reconnaissance

4.1.2.2 Обучение и тестирование экспертов МЭБС

4.1.3 Процедура оптимизации МЭБС для повышения вероятности обнаружения R-атак

4.1.3.1 Оптимизация МЭБС, состоящей из трех экспертов

4.1.3.2 Процесс оптимизация МЭБС, состоящей из пяти экспертов

4.2 МЭБС обнаружения DoS-атак в базе данных UNSW-NB 15

4.2.1 Структура многоэкспертной бинарной системы, состоящей из шести экспертов

4.2.2 Экспериментальные результаты

4.2.2.1 Предобработка данных базы UNSW-NB15 для DoS-атак

4.2.2.2 Обучение и тестирование МЭБС, состоящей из шести экспертов

4.2.3 Процесс оптимизация МЭБС, состоящей из шести экспертов

4.2.4 Иллюстрация программной реализации решения МЭБС

4.3 Выводы по четвертой главе

Заключение

Литература

Приложение 1. Информативные признаки в базе данных KDD Cup 99

Приложение 2. Информативные признаки в базе данных UNSW-NB15

Приложение 3. Код объединения решений многоэкспертной бинарной системы, среда MATLAB с использованием Graphical User Interfaces

Приложение 4. Акт о внедрении результатов диссертационной работы

Приложение 5. Копии дипломов

173

Введение диссертации (часть автореферата) на тему «Оптимальные многоэкспертные бинарные системы голосования в модельных задачах обнаружения атак»

Введение

Актуальность темы диссертации

В последнее годы интерес к результатам исследований в области искусственного интеллекта возрастал по экспоненте. В частности, большое внимание уделяется сейчас области систем, основанных на знаниях. Из систем, основанных на знаниях, экспертные системы сейчас являются наиболее успешными. Важной особенностью экспертных систем является то, что они могут объяснить пользователю линию рассуждений, которая привела к решению проблемы или желаемому совету. Эффективность экспертных систем существенно возрастает, когда решение в такой системе принимается коллективом экспертов. Подобные системы являются многоэкспертными. Многоэкспертный подход позволяет также включать в состав экспертов не только людей, но и специализированные алгоритмы. Для объединения решений отдельных экспертов разработано несколько подходов. Один из самых распространенных и популярных походов создания многоэкспертных систем -алгоритм принятия решения большинством голосов, который имеет довольно длинную историю. Несмотря на все достоинства этого метода, таких как простота реализации и естественность его обоснования, этот метод является оптимальным только в частных случаях. Основной задачей, которая решается в настоящей работе, было проведение глубокого анализа алгоритма принятия решения большинством голосов и построение оптимальной процедуры голосования, которая в многоэкспертных системах принятия решений может быть использована в самых различных предметных областях. Это уже делает актуальным тему диссертационной работы. В качестве предметной области, на которой иллюстрируется применение оптимального многоэкспертного подхода, выбрана область информационной безопасности.

В настоящее время в связи с бурным развитием интернета, интернета вещей (Internet of things, IoT) и больших данных (big data) проблема обеспечения

безопасности информационных ресурсов становится более актуальной, чем когда-либо. Одним из важнейших инструментов обеспечения информационной безопасности служат системы обнаружения вторжений (СОВ) (Intrusion Detection System - IDS), ставшие важной частью сегодняшней инфраструктуры сетевой безопасности, которая может отслеживать сетевой трафик и обнаруживать возможные атаки. Существующие СОВ страдают из-за низкой точности обнаружения вторжений. Системы обнаружения вторжений, в которых реализован многоэкспертный подход, обладают как правило более качественными характеристиками, чем простые экспертные системы. Поэтому второй задачей, рассмотренной в диссертационной работе, является демонстрация на модельных примерах того, как оптимальный многоэкспертный подход может повысить качество безопасности информационных систем. Решение этой задачи также определяет актуальность диссертационного исследования.

Степень разработанности темы. Различные подходы к объединению решений отдельных экспертов в многоэкспертных системах принятия решений представлены в работах российских и иностранных ученых таких как Л. А. Растригин, Р. Х. Эренштейн, В. И. Городецкий, А.И. Орлов, С. В. Серебряков, В. Н. Ручкин, В. А. Фулин, Б. И. Ефимов, Р. Т. Файзуллин, А. А. Браницкий, Котенко И. В., Lam L., Suen C.Y., Kuncheva L.I., Xu L., Amari Shunichi, John von Neumann, Shannon C. E., Aburomman A. A., Reaz M. B. I. В этих работах рассматриваются алгоритмы принятия решения большинством голосов (majority voting), алгоритмы принятия решения взвешенным большинством голосов (weighted majority vote), алгоритмы принятия решения, основанные на правиле Байеса (Bayes'rule), правиле Демпстера - Шафера и другие. В работе Xu Lei и Amari Shun-ichi [10] авторы выделяют две основные задачи, которые следует решать при создании многоэкспертной системой: 1. Какой тип экспертов и какое их количество необходимы для решения конкретной задачи? 2. Как объединить результаты решений отдельных экспертов, чтобы решение многоэкспертной системы было

лучше, чем решения отдельных экспертов? Несмотря на очень большое число публикаций по данной тематике, до сих пор полного ответа на оба этих вопроса нет.

Целью исследования является изучение основных свойств одного из самых популярных методов, применяемых в многоэкспертных системах, а именно метода принятия решения большинством голосов (majority voting), придание ему оптимальных свойств как при равной, так и при различной вероятности правильного решения каждого статистически взаимно независимого и зависимого эксперта и иллюстрация применения оптимальных многоэкспертных бинарных систем голосования (МЭБС) в модельных задачах обнаружения атак на информационные ресурсы.

Объектом исследования диссертации являются МЭБС в системах принятия решений, современные системы обнаружения атак и процедуры применения оптимальных МЭБС голосования для оптимизации систем обнаружения атак.

Предметом исследования диссертации являются модели, методы, алгоритмы и программы создания оптимальных многоэкспертных бинарных систем голосования, в которых в роли экспертов выступают искусственные нейронные сети.

Методы исследования. Для решения поставленных задач используется методы теории вероятностей, математической статистики, вычислительной математики, компьютерных методов обработки информации и моделирования, искусственных нейронных сетей, а также методы разработки приложений на языках C++, Matlab и Python.

В соответствии с целью, объектом и предметом диссертации были поставлены и решены следующие основные

Задачи исследования:

1. Провести теоретический и компьютерный анализ алгоритма принятия решения большинством голосов.

2. На основе проведенного анализа предложить и исследовать оптимальную многоэкспертную бинарную систему голосования при равных и неравных вероятностях принятия решений отдельных экспертов.

3. При неизвестных вероятностях принятия решений отдельных статистически независимых и зависимых экспертов разработать алгоритмы метода статистических испытаний для реализации оптимальной МЭБС.

4. Показать, как оптимальные МЭБС могут быть применены для создания оптимальных систем обнаружения атак.

Научная новизна результатов, полученных в диссертационной работе, состоит в следующем:

1. Установлены новые свойства алгоритма принятия решения большинством голосов при четном числе экспертов, характеризующие вероятности принятия правильного решения МЭБС:

1.1. дополнен результат, приведенный в работе [33], который определяет вероятность правильного решения МЭБС р^РУ (2т), когда за гипотезу Н1 голосует более половины экспертов при равной вероятности правильного решения каждого эксперта р. В [33] отмечается, что данные функции являются немонотонными при 1/3 < р < 1/2, а их свойства зависят от значений р и т .В

диссертации показано что при 1/3<р < 1/2 функции р^РУ(2т)

одноэкстремальны: сначала с ростом числа экспертов 2т они возрастают, достигая максимума, не превышающего 0.5, после чего начинается их убывание до нуля. В диссертации определены точки их максимума.

1.2. проведен анализ вероятностей правильного решения МЭБС

рСОУ« (2т), когда за альтернативную гипотезу Н0 голосует ровно

половина экспертов или более половины экспертов при равной вероятности правильного решения каждого эксперта р. Показано, что в этом случае с ростом числа экспертов при р, удовлетворяющих условию 2/3<р< 1, функции р^^(2т) являются монотонно возрастающими и стремящимися к 1, при 0 < р < 1/2 - эти функции -монотонно убывающие, стремящиеся к нулю. При р, удовлетворяющих условию 1/2 < р < 2/3, функции р^0^ (2т)

сначала с увеличением числа экспертов убывают, достигают минимума, после чего начинается их рост и стремление к 1. определены точки минимума этих функций.

2. Сформулирован принцип построения оптимальных МЭБС, при котором определяется число экспертов, голосующих за каждую из двух гипотез так, чтобы функционал, представляющий линейную комбинацию вероятностей правильного решения МЭБС относительно каждой из гипотез, достигал максимального значения.

3. Разработан метод статистических испытаний, позволяющий найти оптимальное решение в МЭБС как при неизвестных вероятностях правильных решений отдельных экспертов, так и при их статистической зависимости.

4. Разработана технология применения оптимальной МЭБС для создания систем обнаружения атак.

5. Исследованы возможности применения нейронной сети СМАС для обнаружения атак и применения ее в оптимальных МЭБС.

6. Разработаны компьютерные программы для моделирования МЭБС, которые использованы для исследования свойств МЭБС и применения их в модельных задачах обнаружения атак.

Практическая значимость. Результаты настоящего исследования могут быть применены в областях, в которых используются многоэкспертные системы или в задаче объединения решений отдельных экспертов, в том числе в системах обнаружения атак. Результаты диссертационного исследования внедрены в Федеральном государственном автономном научном учреждении "Центр информационных технологий и систем органов исполнительной власти" (ФГАНУ ЦИТиС) и будут в дальнейшем использоваться для обеспечения информационной безопасности сетей связи специального назначения, что подтверждено актом о внедрении.

Кроме того, результаты и программы исследования используются в учебном процессе на кафедре «Интеллектуальные информационные системы и технологии» в Федеральном государственном автономном образовательном учреждении высшего образования «Московский физико-технический институт (государственный университет)» при проведении лекций и семинаров. Прототип программы моделирования системы обнаружения атак используется в курсах «Нейроматематика» и «Теория нейронных сетей» для студентов и магистров направления «Прикладные математика и физика».

Основные научные положения, выносимые на защиту:

1. Результаты анализа МЭБС голосования в зависимости от нечетного и четного числа экспертов, известных равных и неравных вероятностях обнаружения каждого эксперта.

2. Новые свойства функций р^р^ (2т) при четном числе экспертов МЭБС.

3. Оптимальные многоэкспертные бинарные системы голосования и анализ состава экспертов в МЭБС.

4. Метод статистических испытаний, позволяющий найти оптимальное решение

в МЭБС.

5. Особенности применения нейронной сети СМАС в МЭБС обнаружения атак.

6. Технология применения оптимальной МЭБС для создания систем

обнаружения атак.

Апробация работы. Материалы диссертационной работы были доложены и

обсуждены на следующих всероссийских и международных конференциях:

- IX Международная научно - практическая конференция «Логистика и экономика ресурсоэнергосбережения в промышленности» 9-11 ноября 2015, Смоленск;

- Пятнадцатая национальная конференция по искусственному интеллекту КИИ-2016, 3-7 октября 2016, Смоленск;

- XIV Всероссийская научная конференция «Нейрокомпьютеры и их применение», 15 марта 2016, Москва;

- III Международная конференция «Инжиниринг и телекоммуникации» - Еп&Т, 29-30 ноября 2016, Долгопрудный;

- XV Всероссийская научная конференция «Нейрокомпьютеры и их применение», 14 марта 2017, Москва;

- 60-я научная конференция МФТИ, 20-26 ноября 2017, Долгопрудный;

- IV Международная конференция «Инжиниринг и телекоммуникации» - Еп&Т, 29-30 ноября 2017, Долгопрудный;

- XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение», 13 марта 2018, Москва.

на которых автор получила следующие дипломы:

- Диплом I степени Международной научно-практической конференции Логистика и экономика ресурсосбережения и энергосбережения в промышленности (МНПК «ЛЭРЭП -9-2015»).

- Дипломы за лучшую научную работу, представленную на XIV, XV и XVI

Всероссийских научных конференциях «Нейрокомпьютеры и их применение»

в 2016, 2017 и 2018 годах.

- Диплом победителю 60-й Всероссийской научной конференции МФТИ, 2017.

Публикации. По теме диссертации опубликовано 15 работ в журналах и трудах конференций, 5 из них находятся в списке научных изданий, зарегистрированных в Высшей аттестационной комиссией Минобрнауки России (в том числе 3 статьи в журналах из перечня RSCI - Web of Science).

Структура и объем диссертации. Диссертационная работа состоит из титульного листа, оглавления, введения, четырёх глав, заключения, списка литературы, 5-и приложений, акта о внедрения и части копий дипломов. Основная часть (без приложений) изложена на 154 страницах машинописного текса. Работа содержит 23 рисунка, 37 таблиц, список литературы, которой включает 134 наименований.

Краткое содержание работы по главам

Во введении обосновывается актуальность темы диссертации, сформулированы цель и задачи, объект и предмет исследования, научная новизна и практическая ценность диссертации, определена степень изученности темы. Здесь представлены основные научные положения, которые выносятся на защиту, а также сведения об апробации полученных результатов и публикациях автора по теме диссертации.

В первой главе «Аналитический обзор методов и алгоритмов в многоэкспертных системах принятия решений» описаны основные алгоритмы принятия решений МЭБС и известных приложений МЭБС. В заключении этой главы делаются выводы по материалам обзора и формулируются задачи, которые должны быть решены в диссертации.

Во второй главе «Структуры МЭБС и их оптимизация» содержится анализ системы принятия решения большинством голосов, сформулирован подход для оптимизации МЭБС голосования при равных и неравных значениях условных

вероятностей принятия гипотез H0 и H1 каждого статистически взаимно независимого эксперта, описана оптимальная МЭБС голосования при неизвестных значениях условных вероятностей принятия гипотез H0 и H1

каждого статистически взаимно зависимого эксперта на основе метода статистических испытаний.

В третьей главе «Нейросетевые технологии обнаружение атак»

рассматриваются характеристики отдельных нейросетевых экспертов, которые далее в четвертой главе применяются для интеграции их в оптимальную многоэкспертную систему обнаружения атак. Проведен анализ используемых баз данных атак, которые необходимы для обучения отдельных экспертов. Предложен и исследован подход, основанный на комбинации метода случайного леса и многослойной нейронной сетей для нахождения вектора признаков наименьшей размерности, который необходим для обучения нейросетевых экспертов.

В четвертой главе «Многоэкспертные бинарные системы как средство повышения вероятности обнаружения атак» приведены структуры и процесс синтеза МЭБС для обнаружения атак типа DoS и Reconnaissance и приведены результат решений МЭБС для каждого типа атак.

В заключении главы сформулированы основные результаты диссертационного исследования.

Приложение 1: Информативные признаки в базе данных KDD Cup 99. Приложение 2: Информативные признаки в базе данных UNSW NB 15. Приложение 3: Код объединения решений многоэкспертной бинарной системы, среда MATLAB с использованием Graphical User Interfaces. Приложение 4. Копия акта о внедрении результатов диссертационной работы. Приложение 5. Копии дипломов.

Глава 1. Аналитический обзор методов и алгоритмов в многоэкспертных

системах принятия решений

1.1 Алгоритмы объединения отдельных экспертов в многоэкспертных

системах принятия решений

Один из крупнейших ученых двадцатого века Джон фон Нейман, внесший важный вклад в физику, математику, экономику, архитектуру современных вычислительных машин, разработал статистический подход к решению задачи синтеза надежных устройств, состоящих из ненадежных функциональных бинарных элементов [1]. Вскоре после смерти Джона фон Неймана в трудах Принцетонского университета была опубликована статья Клода Шеннона [2] о вкладе Джона фон Неймана в теорию автоматов, в частности, о создании надежных устройств из ненадежных элементов. Эти работы положили начало важному направлению в теории надежности систем и ее приложению во многих областях.

Много раньше в 18 веке Николя де Карита де Кондорсе впервые в работе "Рассуждения о применении анализа к оценке выборов большинством голосов" [3] использовал статистические методы применительно к процедуре вынесения решения судом присяжных заседателей, используя биномиальный закон распределения случайной величины. Оба ученых показали, что правильное объединение отдельных элементов технической или социальной системы позволяет системе в целом функционировать лучше, чем это делают ее отдельные элементы.

Идеи Николя де Карита де Кондорсе и Джона фон Неймана повышения вероятности принятия правильного решения системы голосования и повышения надежности систем, состоящих из ненадежных элементов, в дальнейшем нашли свое воплощение в различных приложениях. Одним из таких приложений стала

задача классификации, в частности, задача распознавания рукописных цифр [4-7]. Для решения этой задачи существует большое число алгоритмов, основанных на различных теоретических подходах. Каждый из алгоритмов способен решить задачу классификации с точностью, которая может не удовлетворять требованиям решения задачи. Потребность повышения точности решения данной задачи привела к созданию систем классификации, содержащих несколько алгоритмов и интегральный блок - блок анализа решений каждого алгоритма, в задачу которого входит нахождение решения задачи с точностью, превышающей точность решения каждого из алгоритмов системы. Повышение точности решения задачи классификации двухмерных образов в монографии [8, 9] достигается с помощью объединения решений трех алгоритмов, реализованных в виде трех двухслойных нейронных сетей. В этой работе объединение алгоритмов называется ассоциативной машиной, а каждый нейросетевой алгоритм - экспертом.

В обзорной статье [10] по состоянию исследований в данной области на 2009 год отмечается, что "объединение экспертов является классической стратегией, которая широко используется в решении различных задач". Отметим, что до сих пор нет устоявшегося названия для систем, в которых решение системы основывается на решениях, предлагаемых отдельными входящими в систему алгоритмами. Так в цитированных выше работах, в статье [10] и в библиографических ссылках этой работы можно найти следующие англоязычные названия для систем подобного вида: combining classifiers (объединение классификаторов), ensemble learning (ансамблевое обучение), mixture of experts (смесь экспертов), multiple classifiers (множественные классификаторы), neural network ensembles (ансамбль нейронных сетей), ensemble classifiers (ансамбль классификаторов) и другие.

Русскоязычных работ по данной проблеме немного, в них также наблюдается подобная картина. Так в работах пионеров этого направления науки в СССР Л.А. Растригина и Р. Х. Эренштейна такие системы названы коллективом решающих правил [11] и коллективном распознавания [12], в обзорной работе [13] - системы

коллективного распознавания и классификации. В работе [14] такие системы названы системами с привлечением экспертов, а в работе [15] - гибридными системами. Объединяя приведенные выше англоязычные и русскоязычные названия, назовем данную систему многоэкспертной системой, отдельные алгоритмы решения данной задачи - экспертами и далее будем пользоваться этими названиями.

Особо сильное распространение идея интеграции решений отдельных экспертов нашла свое воплощение при создании систем обнаружения атак на информационные ресурсы, для которых проблема точности обнаружения атак стоит очень остро. Различные аспекты создания и функционирования подобных систем в части их структуры, состава экспертов, алгоритмов принятия решения экспертной системы, точности обнаружения атак можно найти в работах [15-23]. Обзор работ по проблемам многоэкспертных систем в задачах обнаружения атак приведен в статье [29], которая содержит список из 75 цитированных работ.

В работе [10] авторы выделяют две основные задачи, которые следует решать при создании многоэкспертной системой. 1. Какой тип экспертов и какое их количество необходимы для решения конкретной задачи? 2. Как объединить результаты решений отдельных экспертов, чтобы решение многоэкспертной системы было лучше, чем решения отдельных экспертов? Полного ответа на оба этих вопроса до сих пор нет. Обычно в роли отдельных экспертов выступают обучаемые системы, которые по мере получения новой информации повышают точность решения задачи. К подобным обучаемым системам относятся многослойная нейронная сеть, сеть радиальных базисных функций, карта Кохонена, машина опорных векторов, дерево логических решений и др. Для объединения решений отдельных экспертов разработано несколько подходов. Один из самых распространенных - метод принятия решения большинством голосов. Другими подходами являются взвешенное голосование, байесовское голосование, теория Демпстера - Шафера и другие. Описание этих методов можно найти, в частности, в обзорных статьях [13, 25 -29] и монографии [24].

Ответы на эти вопросы, поднятые в работе [10], даны, в основном, в экспериментальной форме, теоретических работ здесь не много. Отметим статьи, в которых исследуется процедура принятия решения большинством голосов [30, 31]. В статье [30] анализ многоэкспертных систем принятия решения большинством голосов проводится при условии, что вероятности правильного решения каждого эксперта равны и что эксперты статистически взаимно независимы. В статье [31] проведен анализ при условиях, что вероятности правильного решения каждого эксперта равны как при статистически независимых экспертах, так и при их взаимной зависимости. Здесь приводится биномиальная формула вероятности правильного решения при использовании процедуры принятия решения большинством голосов при равной вероятности правильного решения каждого эксперта и их статистической независимости. Отметим также статью [32], в которой при построении оптимальной многоэкспертной системы вводится линейная функция потерь. Особый интерес представляет статья [33], в которой авторы приводят теорему и ее доказательство о зависимости вероятности правильного решения рхру , (п) многоэкспертной

системы принятия решения большинством голосов от числа п статистически независимых экспертов. Используя биномиальную формулу распределения вероятностей, здесь показано, что при нечетном числе п = 2 т +1 статистически независимых экспертов, для которых вероятность правильного решения равна р, имеют место следующее факты: 1) если р > 0.5, то рххру,(п) монотонно возрастающая функция п, при этом (п)^ 1, когда п^ю; 2) если р< 0.5, то рехрУз (п) монотонно убывающая функция п, при этом р (п) ^ 0, когда п ^ю; 3) если р = 0.5, то р (п) = 0.5 для всех п. Авторы статьи отмечают,

что приоритет в использования биномиальной формулы распределения вероятностей для доказательства приведенных выше фактов принадлежит Н.К. Кондорсе [3]. Здесь показано, что при четном числе п = 2т, т = 1,2,... статистически независимых экспертов, для которых вероятность правильного

решения р удовлетворяет условиям: 0 < р < 1/3 и 1/2 < р < 1, вероятности правильного решения р (п) многоэкспертной системы принятия решения

большинством голосов являются монотонно убывающими и монотонно возрастающими функциями т, соответственно. Авторы отмечают, что в противном случае, когда 1/3<р< 1/2, вероятности правильного решения РехрУз (п) многоэкспертной системы принятия решения большинством голосов

при этих условиях не являются монотонными функциями числа экспертов системы и "поведение которых зависит от относительных значений величин р и т /(2т +1)". Эти особенности вероятностей рессру,, (п) при четном числе экспертов будут исследованы во второй главе диссертационной работы.

Ранее отмечалось, что для систем типа МЭБС нет устоявшегося названия. Это связано с тем, в частности, что существует целый спектр алгоритмов блока анализа решений каждого эксперта, достаточно подробное описание которых представлено, как отмечалось ранее, в работах [13, 24-29]. Последующие разделы посвящены краткому анализу алгоритмов принятия решений в МЭБС.

1.1.1 Алгоритмы принятия решения большинством голосов (majority voting)

В монографии [24] отмечается, что алгоритм принятия решения большинством голосов относится к наиболее часто используемым правилам объединения решений отдельных экспертов, а истоки его возникновения относятся ко временам античной Греции и Древнего Рима. В соответствии с этим алгоритмом принимается та гипотеза, за которую отдано большинство голосов экспертов. Так если число экспертов равно п, то принимается та гипотеза, за

которую проголосовали т экспертов, при этом т >

n 2

+

1, где операция a J

означает взятие целой части числа а. Популярность этого алгоритма связана с его

естественным и понятным общественным характером, а также с тем, что существует математическое доказательство того факта, что МЭБС, которая состоит из экспертов, принимающих правильное решение с равной вероятностью p, 0.5 < p < 1.0, принимает решение с вероятностью, как угодно близкой к единице, когда число экспертов стремится к бесконечности. Это утверждение легко трансформируется и на случай, когда вероятности pt правильного принятия отдельными экспертами различны и удовлетворяют условию 0.5 < pi < 1.0. Доказательство основывается на замене всех pt на минимальное значение

p = min p.. Алгоритм принятия решения большинством голосов имеет

i

особенности, связанные с четным или нечетным числом экспертов, которые будут обсуждаться во второй главе диссертации.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Ле Тхи Чанг Линь

Заключение

Иллюстративная 4-я глава диссертационной работы показывает, как подход к оптимизации многоэкспертных бинарных систем, описанный и исследованный во 2-й главе, может быть применен в задачах оптимизации решений систем поддержки принятия решений применительно к системам обнаружения атак.

В ходе исследований по оптимизации многоэкспертных систем, основанных на принципах голосования, и их применения в модельной системе обнаружения атак, получены следующие основные результаты:

1. Установлены новые свойства функций р^Р (2т) четного числа экспертов,

характеризующих вероятности принятия правильного решения МЭБС, когда за гипотезу Н1 голосует более половины экспертов при равной вероятности правильного решения каждого эксперта р. Показано, что данные функции являются немонотонными при 1/3 < р < 1/2 и одноэкстремальными. Определены точки максимума функций. Эти результаты расширяют факты, приведенные в работе [33].

2. Установлены свойства функций р(е°рор (2т) четного числа экспертов,

характеризующих вероятности принятия правильного решения МЭБС, когда за альтернативную гипотезу Н0 голосует или половина или более половины экспертов при равной вероятности правильного решения каждого эксперта р. Показано, что с ростом числа экспертов при р , удовлетворяющих условию 2/3 < р < 1, функции ^(2т) являются монотонно возрастающими и стремящимися к 1, при 0<р< 1/2 - эти функции - монотонно убывающие, стремящиеся к нулю. При р, удовлетворяющих условию 1/2<р<2/3, функции ре°р°1 (2т) сначала с увеличением числа экспертов убывают, достигают

минимума, после чего начинается их рост и стремление к 1. Определены точки минимума функций.

3. Исследование МЭБС принятия решения большинством голосов показало, что принцип голосования в системах такого рода не является наилучшим.

4. Сформулирован принцип построения оптимальных МЭБС, основанных на принципах голосования, при котором определяется число экспертов, голосующих за каждую из двух гипотез так, чтобы функционал, представляющий линейную комбинацию вероятностей правильного решения МЭБС относительно каждой из гипотез, достигал максимального значения.

5. Этот принцип исследован в случае, когда известны значения условных вероятностей экспертов системы и имеет место их взаимная статистическая независимость.

6. Изложен подход для случая, когда условные вероятности экспертов системы неизвестны и может иметь место их статистическая зависимость. Данный подход базируется на методе статистических испытаний на модели МЭБС или непосредственно на ней самой.

7. Проведенный глубокий экспериментальный анализ показал, что НС СМАС обладает большой перспективностью как аналитический инструмент обнаружения атак с высокой точностью, но с ограниченным количеством входных признаков.

8. На примере комплекса нейронных сетей СМАС, обученных обнаружению только одного типа атак, представлен подход обнаружения целого комплекса типов атак.

9. Изложен подход к синтезу оптимальной МЭБС, предназначенной для обнаружения атак, которая состоит из экспертов различной структуры и природы.

10. Приведены результаты компьютерного моделирования, которые иллюстрируют и подтверждают теоретические выводы, полученные в работе, а также результаты компьютерного моделирования оптимальных МЭБС,

предназначенных для обнаружения атак, которые характеризуют эффективность таких систем.

Список литературы диссертационного исследования кандидат наук Ле Тхи Чанг Линь, 2018 год

Литература

1. John von Neumann. Probabilistic logics and the synthesis of reliable organisms from unreliable components // Automata Studies, Princeton University Press.-1956.-P. 4398.

2. Shannon C. E. Von Neumann's contributions to automata theory // Bull. Amer. Math. Soc.-1958.-V. 64.-N. 3.-Part 2.-P. 123-129.

3. De Condorcet N. C., Essai sur l'Application de l'Analyze 'a la Probabilit 'e des D'ecisions Rendues 'a la Pluralit'e des Voix. Paris, France: Imprim'erie Royale, 1785.

4. Suen C. Y., Nadal C., Mai T. A., Legault R., and Lam L. Recognition of totally unconstrained handwritten numerals based on the concept of multiple experts // Proc. Int. Workshop "Frontiers in Handwriting Recognition".-1990.-P. 131-143.

5. Hull J. J., Commike A., and Ho T. K. Multiple algorithms for handwritten character recognition // Proc. Int. Workshop "Frontiers in Handwriting Recognition".-1990.-P. 117-124.

6. Ho T. K., Hull J. J., and Srihari S. N. Combination of structural classifiers // Proc. I990 IAPR Workshop Syntactic and Structural Pattern Recognition.-1990.-P. 123-137.

7. Xu L., Krzyzak A., and Suen Ch. Y. Methods of combining multiple classifiers and their applications to handwriting recognition // IEEE Transactions on Systems, Man, and Cybernetics.-1992.-V. 22.-N. 3.-P. 418-435.

8. Haykin S. Neural Networks: A Comprehensive Foundation.-NY.: Macmillan College Publishing.-1994.

9. Хайкин С. Нейронные сети. Полный курс.-М.-СПб.-Киев: Вильямс, 2006.

10. Xu L., Amari Shun-ichi. Combining classifiers and learning mixture-of-experts // Encyclopedia of Artificial Intelligence.-2009.-P. 319-326.

11. Растригин Л. А., Эренштейн P. X. Принятие решений коллективом решающих правил в задачах распознавания образов //Автоматика и телемеханика.-1975.-№. 9.-С. 133-144.

12. Растригин Л. А., Эренштейн Р. Х. Метод коллективного распознавания. Библиотека по автоматике. Вып. 615.-1981.

13. Городецкий В. И. и Серебряков С.В.. Методы и алгоритмы коллективного распознавания: обзор // Труды СПИИРАН.-2006.-Т. 1.- №.3.- С. 139-171

14. Ефимов Б. И., Файзуллин Р. Т. Устойчивость объективного решения экспертов при воздействии угроз по блокированию информации в системах принятия решений с привлечением экспертов // Доклады ТУСУРа.-2013.-№1(27).-С. 69-74.

15. Браницкий А. А., Котенко И. В. Обнаружение сетевых атак на основе комплексирования нейронных, иммунных и нейронечетких классификаторов // Информационно-управляющие системы.-2015.-№ 4.-С. 69 - 77.

16. Gu G., Cárdenas A. A., Lee W. Principled reasoning and practical applications of alert fusion in intrusion detection systems // Proceedings of the 2008 ACM symposium on Information, computer and communications security.-2008.-P. 136-147.

17. Panda M., Patra M. R. Ensemble voting system for anomaly based network intrusion detection // International Journal of Recent Trends in Engineering and Technology.-2009.-V. 2.-N. 5.-P. 8-13.

18. Wang G., Hao J, Ma J, Huang L. A new approach to intrusion detection using artificial neural networks and fuzzy clustering // Expert Systems with Applications.-2010.-V. 37.-Issue 9.-P. 6225-6232.

19. Zhao H. Intrusion detection ensemble algorithm based on bagging and neighborhood rough set // International Journal of Security and Its Applications.-2013.-V.7.-N. 5.-P. 193-204.

20. Peters Ch. A. Intrusion and fraud detection using multiple machine learning algorithms // A thesis submitted to the faculty of graduate studies of the University of Manitoba.-2013.

21. Chaurasia Sh., Jain A. Ensemble Neural Network and K-NN Classifiers for intrusion detection // International Journal of Computer Science and Information Technologies.-2014.-V. 5.-P. 2481-2485.

22. Benqdara S., Ngadi A., Sharif J.M., Ali S. Ensemble of clustering algorithms for anomaly intrusion detection system // Journal of Theoretical and Applied Information Technology.-2014.-V. 70.-No. 3.-P. 425-431.

23. Hock D., Kappes M. A self-learning network anomaly detection system using majority voting // Proceedings of 10th International Network Conference.-2014.-P. 5969.

24. Kuncheva L.I. Combining pattern classifiers: methods and algorithms.-2004. Hoboken, New Jersey: John Wiley & Sons, Inc.

25. Gunes V., Menard M., Petitrenaud S. Multiple classifier systems: tools and methods. In book: Handbook of pattern recognition and computer vision, Edition: 4th, Chapter: 1.2.-2010. Publisher: World Scientific Publishing, Editors: C. H. Chen.-P.23-46.

26. Kuncheva L. I., Rodriguez J. J. A weighted voting framework for classifiers ensembles // Knowledge and Information Systems.-2014.-V. 38.-No. 2.- P. 259-275.

27. Wozniak M., Grana M., Corchado E. A survey of multiple classifier systems as hybrid systems // Information Fusion.-2014.-V. 16.-P. 3-17.

28. Gomes H. M., Barddal J.P., Enembreck F., Bifet A. A survey on ensemble learning for data stream classification // ACM Computing Surveys (CSUR).-2017.-V. 50.-No. 2.- P. 23.

29. Aburomman A. A., Reaz M. B. I. A survey of intrusion detection systems based on ensemble and hybrid classifiers // Computers & Security.-2017.-V. 65.-P. 135-152.

30. Kittler J., Alkoot F.M. Sum versus vote fusion in multiple classifier systems // IEEE Transactions on Pattern Analysis and Machine Intelligence.-2003.-V. 25.-N. 1.-P. 110-115.

31. Kuncheva L.I., Whitaker C.J., Shipp C.A. Limits on the majority vote accuracy in classier fusion // Pattern Analysis and Applications.-2003.-V. 6.-P. 22-31.

32. Lam L., Suen C.Y. Optimal combination of pattern classifiers // Pattern Recognition Letters.-1995.-V. 16.-P. 945-954.

33. Lam L., Suen C.Y. Application of Majority Voting to Pattern Recognition: An Analysis of Its Behavior and Performance // IEEE Transactions on Systems, Man, and Cybernetics—Part A: Systems and Humans.-1997.-V. 27.-No. 5.-P.553-568.

34. Tran T. P. Tsai P., Jan T., Kong X. Network Intrusion Detection using Machine Learning and Voting techniques //Machine Learning.-Intech.-2010.

35. Peters C. A. Intrusion and Fraud Detection using Multiple Machine Learning Algorithms. University of Manitoba (Canada).-2013.

36. Barbuzzi D., Pirlo G., Impedovo D. About retraining rule in multi-expert intelligent system for semi-supervised learning using SVM classifiers // International Journal of Signal and Imaging Systems Engineering.-2014.-V. 7.-No. 4.-P. 245-251.

37. Tama B. A., Rhee K. H. A combination of PSO - based feature selection and tree-based classifiers ensemble for intrusion detection systems // Advances in Computer Science and Ubiquitous Computing.- Springer, Singapore.-2015.-P. 489-495.

38. Chan A. P. F., Wing W. Y. NG., Yeung D.S., Tsang C.C. E. Comparison of different fusion approaches for network intrusion detection using ensemble of RBFNN // Proceedings of 2005 international conference on machine learning and cybernetics.-2005.-V. 6.-P. 18-21.

39. Borji A. Combining heterogeneous classifiers for network intrusion detection // Annual Asian Computing Science Conference.-Springer.-Berlin, Heidelberg.-2007.-P. 254-260.

40. De Stefano C., Della Cioppa A., Marcelli A. An adaptive weighted majority vote rule for combining multiple classifiers // Pattern Recognition. Proceedings 16th International Conference on IEEE.-2002.-V. 2.-P. 192-195.

41. Remya K. R., Ramya J. S. Using weighted majority voting classifier combination for relation classification in biomedical texts // Control, Instrumentation, Communication and Computational Technologies (ICCICCT), 2014 International Conference on IEEE.- P. 1205-1209.

42. Zainal A., Maarof M.A., Shamsuddin S.M. Ensemble classifiers for network intrusion detection system // Journal of Information Assurance and Security.- 2009.-V. 4.-No. 3.-P. 217-225.

43. Гнеденко Б.В. Курс теории вероятностей. Изд. 6-е. — М.: Наука. Гл. ред. физ.-мат. лит.-1988.

44. Foggia P., Sansone C., Tortorella F., Vento M. Multiclassification: reject criteria for the Bayesian combiner // Pattern Recognition.-1999.-V. 32.-No. 8.-P. 1435-1447.

45. Kittler J., Hatef M., Duin R.P.W., Matas J. On combining classifiers // IEEE transactions on pattern analysis and machine intelligence.-1998.-V. 20.-No. 3.-P. 226239.

46. Fierrez J., Morales A., Vera-Rodriguez, Camacho D. Multiple classifiers in biometrics. Part 1: Fundamentals and review // Information Fusion.-2018.-V. 44.-P. 57-64.

47. Domeniconi C., Yan B. Nearest neighbor ensemble // Pattern Recognition. ICPR 2004. Proceedings of the 17th International Conference on.-IEEE.-2004.-V. 1.-P. 228231.

48. Rogova G. Combining the results of several neural network classifiers // Neural networks.-1994.-V. 7.-No. 5.-P. 777-781.

49. Giacinto G., Roli F. Ensembles of neural networks for soft classification of remote sensing images // European symposium on intelligent techniques.-1997.-P. 20-21. 50.Schaffer C. Selecting a classification method by cross-validation // Machine Learning.-1993.-V. 13.-No. 1.-P. 135-143.

51.Merz C. J. Dynamical selection of learning algorithms // Learning from Data.-Springer, New York, NY.-1996.-P. 281-290.

52. Woods K., Kegelmeyer W. P., Bowyer K. Combination of multiple classifiers using local accuracy estimates // IEEE transactions on pattern analysis and machine intelligence.-1997.-V. 19.-No. 4.-P. 405-410.

53. Giacinto G., Roli F. Dynamic classifier selection based on multiple classifier behaviour // Pattern Recognition.-2001.-V. 34.-No. 9.-P. 1879-1881.

54. Rushing J. , Graves S., Criswell E., Lin A. A coverage based ensemble algorithm (CBEA) for streaming data // Tools with Artificial Intelligence. ICTAI 2004. 16th IEEE International Conference.-P. 106-112.

55. Wang Z., Crammer K., Vucetic S. Breaking the curse of kernelization: Budgeted stochastic gradient descent for large-scale svm training // Journal of Machine Learning Research.-2012.-V. 13.-No. 1.-P. 3103-3131.

56. Burduk R., Walkowiak K. Static classifier selection with interval weights of base classifiers // Asian Conference on Intelligent Information and Database Systems.-Springer, Cham.-2015.-P. 494-502.

57. Nanni L., Lumini A., Zaffonato N. Ensemble based on static classifier selection for automated diagnosis of Mild Cognitive Impairment // Journal of neuroscience methods. -2017.

58. Oza N. C., Tumer K. Classifier ensembles: Select real-world applications // Information Fusion.-2008.-V. 9.-No. 1.-P. 4-20.

59. Wozniak M., Grana M., Corchado E. A survey of multiple classifier systems as hybrid systems // Information Fusion.-2014.-V. 16.-P. 3-17.

60. Kodovsky J., Holub V. Ensemble classifiers for steganalysis of digital media // IEEE Transactions on Information Forensics and Security.-2012.-V. 7.-No. 2.-P. 432444.

61. http://dde.binghamton.edu/download/ensemble/

62. Riza L. S., Bergmeir C., Herrera F., Benitez J.M. frbs: Fuzzy rule-based systems for classification and regression in R // Journal of Statistical Software.-2015.-V. 65.-No. 6. -P. 1-30.

63. https : //cran.r-proj ect. org/web/packages/frbs/index.html

64. Antony J., Prasad J.C. Real Time Fire and Smoke Detection using Multi-Expert System for Video-Surveillance Applications // International Journal for Innovative Research in Science & Technology.-2016.-V. 3.-No. 4.-P. 203-212.

65. http://mivar.ru/rukami-trogat/activities/expert-systems

66. Феллер В. Введение в теорию вероятностей и ее приложения.-Т. 1.-М.: Мир.-1967.

67. Аведьян Э. Д., Ле Т. Ч. Л. Двухуровневая система обнаружения DoS-атак и их компонентов на основе нейронных сетей СМАС // Информационные технологии.-2016.-Т. 29.-№ 9.-С. 711-718.

68. Лукацкий А.В. Обнаружение атак. СПб.: БХВ - Петербург.-2001.-624 с.

69. Crosbie M., Spafford E. H. Applying Genetic Programming to Intrusion Detection // COAST Laboratory, Department of Computer Science, Purdue University, West Lafayette, IN 47907 1398. AAAI Technical Report. FS-95-01.-1995.-P. 1-8.

70. Cannady J. Next Generation Intrusion Detection: Autonomous Reinforcement Learning of Network Attacks // Proceedings of the 23-rd National Information Systems Security Conference, October 16-19, 2000, Baltimore, MD, USA, 2000. (http://csrc.nist.gov/nissc/2000/proceedings/toc.html).

71. Fox K. L., Henning R. R., Reed J. H., Simonian R. P. A Neural Network Approach Towards Intrusion Detection // Proceedings of the 13th National Computer Security Conference. Washington.1-4 0ctober.-1990.-P. 125 - 134.

72. Amrita, Ahmed P. A Study of Feature Selection Methods in Intrusion Detection System: A Survey // International Journal of Computer Science Engineering and Information Technology Research (IJCSEITR).-2012.-V.2.-No 3.-P. 1-25.

73. Aggarwal M., Amrita. Performance Analysis Of Different Feature Selection Methods In Intrusion Detection // International Journal of Scientific & Technology Research.-2013.-No 6.-P. 225-231.

74. https: //www.ll .mit.edu/ideval/data/1998data.html

75. KDD Cup 1999 Data: http://kdd.ics.uci.edu/databases/kddcup99/ kddcup99.html.

76. https://github.com/defcom17/NSL_KDD

77. Rieck K., Laskov P. Detecting unknown network attacks using language models //Detection of Intrusions and Malware & Vulnerability Assessment. - Springer Berlin Heidelberg.-2006.-P. 74-90.

78. https://www.unsw.adfa.edu.au/australian-centre-for-cyber-security/cybersecurity/ADFA-IDS-Datasets/

79. Shiravi A., Shiravi H., Tavallaee M., Ghorbani A.A. Toward developing a systematic approach to generate benchmark datasets for intrusion detection //Computers & Security.-2012.-V. 31.-No. 3.-P. 357-374.

80. Forrest, S. University of New Mexico (UNM) Intrusion Detection Dataset //http: //www.cs. unm.edu/~immsec/systemcall s. htm

81. HTTP DATASET CSIC 2010//http://www.isi.csic.es/dataset/

82. https://cloudstor.aarnet.edu.au/plus/index.php/s/2DhnLGDdEECo4ys?path=%2F

83. Amiri F., Yousefi M.M.R., Lucas C., Shakery A. Mutual information-based feature selection for intrusion detection systems //Journal of Network and Computer Applications.-2011 .-V. 34.-No. 4.-P. 1184-1199.

84. Rampure V., Tiwari A. A rough set based feature selection on KDD CUP 99 data set // International journal of database theory and application.-2015.-V. 8.-No. 1.-P. 149-156.

85. Ambusaidi M. A., He X., Nanda P., Tan Z. Building an intrusion detection system using a filter-based feature selection algorithm // IEEE transactions on computers.-2016.-V. 65.-No. 10.-P. 2986-2998.

86. Javaid A., Niyaz Q., Alam M. A deep learning approach for network intrusion detection system //Proceedings of the 9th EAI International Conference on Bio-inspired Information and Communications Technologies (formerly BIONETICS). - ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering).-2016.-P. 21-26.

87. Аведьян Э. Д., Ле Т. Ч. Л. Двухуровневая система обнаружения DoS-атак и их компонентов на основе нейронных сетей СМАС // Информационные технологии. Т. 29.-2016.-№ 9.-С. 711-718.

88. Moustafa N; Slay J. The evaluation of Network Anomaly Detection Systems: Statistical analysis of the UNSW-NB15 data set and the comparison with the KDD99 data set // Information Security Journal: a Global Perspective.-2016.-P. 1 - 14.

89. http : //www.accs.unsw.adfa.edu.au/

90. http://www.tcpdump.org/

91. https://www.bro.org

92. Albus J. S. A new approach to manipulator control: the cerebellar model articulation controller // ASME Trans., J. Dynamic Systems, Measurement and Control.-1975.-V. 97.-No 3.-P. 220-227.

93. Albus J. S. Data storage in the cerebellar model articulation controller (CMAC) // ASME Trans., J. Dynamic Systems, Measurement and Control.-1975.-V. 97.-No 3.-P. 228-233.

94. Аведьян Э.Д. Ассоциативная нейронная сеть СМАС. Часть I Структура, объем памяти, обучение и базисные функции // Информационные технологии.-1997.-No 5.-С. 6-14.

95. Аведьян Э.Д. Ассоциативная нейронная сеть СМАС. Часть II. Процессы обучения, ускоренное обучение, влияние помех, устранение влияния помех в двухслойной сети // Информационные технологии.-1997.-№6.-С. 16-27.

96. Аведьян Э. Д., Ле Т. Ч. Л. Нейронная сеть СМАС в задаче обнаружения атак на информационные ресурсы // Информатизация и связь.-2015.-№ 4.-С. 93-98.

97. Аведьян Э.Д., Ле Т. Ч. Л. Технология обнаружения атак на основе нейронной сети СМАС // Сборник научных трудов по материалам IX Международной научно - практической конференции 9-11 ноября 2015 - Логистика и экономика ресурсоэнергосбережения в промышленности. C.63-68.

98. Aved'yan E. Learning systems-Springer Science & Business Media .-2012.

99. Ясницкий Л. Н. Интеллектуальные системы: учебник // М.: Лаборатория знаний.-2016.

100. Cortes C, Vapnik V. Support vector machine. Machine learning.-1995 Sep.-20(3):273-97.

101. Ng A. Stanford CS229 Lecture notes. Support Vector Machine.

102. Лифшиц Ю. Метод опорных векторов. URL:http://logic.pdmi.ras.ru/ yura/internet/07ia.pdf. -2006.

103. Hofmann M. Support vector machines—Kernels and the kernel trick // Notes.-2006.-V. 26.

104. Breiman L. Random forests // Machine learning.-2001.-V. 45.-No. 1.-P. 5-32.

105. Чистяков С.П. Случайные леса: обзор // Труды Карельского научного центра РАН.-2013.-1.-С. 117-136.

106. Cutler A., Cutler D. R., Stevens J. R. Random forests // Ensemble machine learning.-Springer, Boston, MA.-2012.-P. 157-175.

107. Moolayil J. Smarter Decisions-The Intersection of Internet of Things and Decision Science.-Packt Publishing Ltd.-2016.

108. Ali A. O., Saleh A. I., Badawy T. R.. Intelligent Adaptive Intrusion Detection Systems Using Neural Networks (Comparative study ) // International Journal of Video & Image Processing and Network Security IJVIPNS-IJENS.-2010.-V. 10.-No 1.-P. 112.

109. Tavallaee M., Bagheri E., Lu W., Ghorbani A.A. A Detailed analysis of the KDD Cup 99 data set // Proceedings of the Second IEEE Symposium on Computational Intelligence for Security and Defense Applications 2009, 0ttawa.-2009.-P. 53-58.

110. Moustafa N., Slay J. A hybrid feature selection for network intrusion detection systems: Central points //arXiv preprint arXiv:1707.05505.-2017.

111. Nguyen H. T., Petrovic S., Franke K. A comparison of feature-selection methods for intrusion detection //International Conference on Mathematical Methods, Models, and Architectures for Computer Network Security.-Springer, Berlin, Heidelberg.-2010.-P. 242-255.

112. Mukkamala S., Janoski G., Sung A. Intrusion detection: support vector machines and neural networks //proceedings of the IEEE International Joint Conference on Neural Networks (ANNIE), St. Louis, MO.-2002.-P. 1702-1707.

113. Kayacik H. G., Zincir-Heywood A. N., Heywood M. I. Selecting features for intrusion detection: A feature relevance analysis on KDD 99 intrusion detection datasets //Proceedings of the third annual conference on privacy, security and trust.-2005.

114. Janarthanan T., Zargari S. Feature selection in UNSW-NB15 and KDDCUP'99 datasets //Industrial Electronics (ISIE), 2017 IEEE 26th International Symposium.-2017.-P. 1881-1886.

115. Ле Тхи Чанг Линь, Дао Куанг Минь. Объединение метода случайного леса и многослойной нейронной сети для уменьшения числа признаков при обнаружении DoS-атак на основе базы данных UNSW-NB15// Сборник научных трудов по материалам IV международной конференции «Инжиниринг и телекоммуникации» - En&T.-2017.-P. 170-172.

116. http://scikit-learn.org/stable/modules/feature_selection.html.

117. http: //matlab. exponenta. ru/neuralnetwork/book2/

118. Suratgar A. A., Tavakoli M. B., Hoseinabadi A. Modified Levenberg - Marquardt method for neural networks training // International Journal of Computer, Electrical, Automation, Control and Information Engineering.-2007.-V. 1.-No 6.-P. 1745-1747.

119. Т. Ч. Л. Ле. Сравнение нейронной сети СМАС и многослойной нейронной сети в задаче обнаружения DoS-атак // Нейрокомпьютеры: разработка, применение. 2016. № 7. С. 65 - 69.

120. Аведьян Э.Д., Ле Т. Ч. Л. Нейронная сеть СМАС как альтернатива многослойной нейронной сети в задаче обнаружения DoS атак // Сборник научных трудов по материалам пятнадцатой национальной конференции по искусственному интеллекту с международным участием 3-7 октября 2016. Том 3. С 164-170.

121. Ле Т.Ч.Л. Обнаружение атак в современной базе данных UNSW-NB15 с применением многослойной нейронной сети // Информатизация и связь. 2017. № 1. С. 61 - 66.

122. Ле Тхи Чанг Линь. Многослойная нейронная сеть в задаче обнаружения атак, представленных в современной базе данных UNSW-NB15 // Сборник научных трудов по материалам III Инжиниринг и телекоммуникации - En&T 2016 29-30 ноября 2016. С. 163-164.

123.Ле Тхи Чанг Линь. Обнаружение атак с помощью многослойной нейронной сети по записям о сетевых соединениях современной базы данных UNSW-NB15 // Сборник научных трудов по материалам XV Всероссийская научная конференция «Нейрокомпьютеры и их применение» 14 марта 2017. С. 103.

124. Ле Тхи Чанг Линь. Многоэкспертные бинарные системы как средство повышения вероятностей обнаружения атак на информационные ресурсы. Труды МФТИ.-2018.-Том 10.-№ 1 (37).-С. 155-167.

125. Т.Ч. Ле Линь. Оптимизация нейросетевой многоэкспертной системы обнаружения атак на современной безе данных UNSW-NB15// 60-я научная конференция МФТИ 20-26 ноября 2017. С.146-147. https: //abitu.net/public/admin/mipt-conference/FRKT .pdf

126. Ле Тхи Чанг Линь. Сравнительный анализ оптимальных многоэкспертных бинарных систем в задаче обнаружения атак // Сборник научных трудов по материалам XVI Всероссийской научной конференции «Нейрокомпьютеры и их применение», 13 марта 2018. С. 194-195.

127. Аведьян Э. Д., Ле Тхи Чанг Линь. Процедуры оптимального голосования в многоэкспертных бинарных системах. Труды МФТИ.-2017.-Том 9.-№ 4 (36).-С. 174-189.

128. Э.Д. Аведьян, Т.Ч. Ле Линь. Процедуры оптимального голосования в многоэкспертных бинарных системах // 60-я научная конференция МФТИ 20-26 ноября 2017. С. 140-141. https: //abitu. net/public/admin/mipt-conference/FRKT .pdf

129. https: //www. unsw. adfa. edu. au/australian-centre-for-cyber-security/cybersecurity/ADFA-NB 15-Datasets/

130. Xu L., Amari Shunichi. Combining classifiers and learning mixture-of-experts // Encyclopedia of Artificial Intelligence.-2009.-P. 319-326.

131. Moustafa N., Slay J. The significant features of the UNSW-NB 15 and the KDD 99 Data sets for Network Intrusion Detection Systems // Proceedings of the 4th International Workshop on Building Analysis Datasets and Gathering Experience Returns for Security (BADGERS), collocated with RAID, At Kyoto, Japan.-2015.-V. 4.

132. Daniel Smit, Kyle Millar, Clinton Page, Adriel Cheng, Hong-Gunn Chew and Cheng-Chew Lim. Looking deeper: Using deep learning to identify internet communications traffic // Macquarie Matrix: Special edition, ACUR.-2017.

133. https://www.mathworks.com/help/

134. Louppe G., Wehenkel L., Sutera A., & Geurts P. Understanding variable importances in forests of randomized trees //Advances in neural information processing systems.-2013.-P. 431-439.

Приложение 1. Информативные признаки в базе данных KDD Cup 99

№ Признак Description Описание

1 Duration Duration of the connection Продолжительность связи

2 Protocol type Connection protocol (e.g. tcp, udp) Протокол связи

3 Service Destination service (e.g. telnet, ftp) Олужба

4 Flag Status flag of the connection Флаг состояния соединения

5 Source bytes Bytes sent from source to destination Число байтов, переданных от источника к месту назначения

6 Destination bytes Bytes sent from destination to source Число байтов, переданных от места назначения к источнику

7 Land 1 if connection is from/to the same host/port; 0 otherwise 1, если соединение с на тот же хост / порт; 0 в противном случае

8 Wrong fragment Number of wrong fragments Количество неправильных фрагментов

9 Urgent Number of urgent packets Количество срочных пакетов

10 Hot Number of "hot" indicators Количество «горячих» показателей

11 Failed logins Number of failed logins Количество не удачных логинов

12 Logged in 1 if successfully logged in; 0 otherwise 1 если успешный логин, 0 в противном случае

13 Compromised Number of "compromised'' conditions Количество «скомпроментированных» условии

14 Root shell 1 if root shell is obtained; 0 otherwise 1 если получена оболочка с максимальными правами (root)

15 Su attempted 1 if "su root'' command attempted; 0 otherwise 1 если предпринята команда «su root», 0 в противном случае

16 Root Number of "root" Количество «root»

accesses доступов

17 File creations Number of file creation operations Количество операции создания файла

18 Shells number of shell prompts Количество сообщении команда оболочки

19 Access files Number of operations on access control files Количество операций по контролю доступа к файлами

20 Outbound cmds Number of outbound commands in an ftp session Количество исходящих команд в сеанс ftp

21 Is hot login 1 if the login belongs to the "hot'' list; 0 otherwise 1, если логин относится к списку «hot», 0 в противном случае

22 Is guest login 1 if the login is a "guest'' login; 1, если логин является «гостем», 0 в противном случае

23 Count Number of connections to the same host as the current connection in the past two seconds Количество соединении с текущим хостом за последние две секунды

24 Srv count Number of connections to the same service as the current connection in the past two seconds Количество соединении с текущей службой за последние две секунды

25 Serror rate % of connections that have "SYN'' errors % соединений в которых были ошибки "SYN"

26 Srv serror rate % of connections that have "SYN'' errors % соединений со службой в которых были ошибки "SYN"

27 Rerror rate % of connections that have "REX' errors % соединений в которых были ошибки "REX"

28 Srv rerror rate % of connections that have "REX' errors % соединений со службой в которых были ошибки "REX"

29 Same srv rate % of connections to the same service Доля подключений к одной и той же службе

30 Diff srv rate % of connections to different services % подключений к различным услугам

31 Srv diff host rate % of connections to different hosts % подключений к различным хостам

32 Dst host count Count of connections having the same Количество соединений к одному и тому же хосту

destination host назначения

33 Dst host srv count Count of connections having the same destination host and using the same service Количество соединений к одному и тому же хосту назначения и использующих ту же службу

34 Dst host same srv rate % of connections having the same destination host and using the same service % соединений к одному и тому же хосту назначения и использующих ту же службу

35 Dst host diff srv rate % of different services on the current host % различных использованных служб на текущем узле от числа соединении

36 Dst host same src port rate % of connections to the current host having the same src port % Подключений к текущему хосту, имеющих один и тот же исходящих порт

37 Dst host srv diff host rate % of connections to the same service coming from different hosts % Подключений к одной и той же услуге, поступающих от разных хостов

38 Dst host serror rate % of connections to the current host that have an S0 error % Подключений к текущему хосту, в которых возникла ошибка S0

39 Dst host srv serror rate % of connections to the current host and specified service that have an S0 error % Подключений к текущему хосту и указанной службе в которых возникла ошибка S0

40 Dst host rerror rate % of connections to the current host that have an RST error % Подключений к текущему хосту, что есть ошибка RST (перезагрузка)

41 Dst host srv rerror rate % of connections to the current host and specified service that have an RST error % подключений к текущему хосту и указанной службы, что есть ошибка RST (перезагрузка)

Приложение 2. Информативные признаки в базе данных UNSW-NB15

№ Признак Тип данных Description Описание

Потоковые признаки

1 Scrip Н Source IP address 1Р адреса отправителя

2 Sport Ц Source port number Номер порта отправителя

3 Dstip Н Destination IP address 1Р адреса получателя

4 Dsport Ц Destination port number Номер порта получателя

5 Proto Н Transaction protocol Протокол связи

Базовые признаки

6 State Н The state and its dependent protocol, e.g. ACC, CLO, else(-) Состояние и его соответствующий протокол, например, АСС, СШ, еще (-)

7 Dur Ч Record total duration Общая продолжительность записи

8 Sbyte Ц Source to destination bytes Число байтов от отправителя к получателю

9 Dbyte Ц Destination to source bytes Число байтов от получателя к отправителю

10 Sttl Ц Source to destination time to live Время существования от отправителя к получателю

11 Dttl Ц Destination to source time to live Время существования от получателя к отправителю

12 Sloss Ц Source packets retransmitted or dropped Пакеты отправителя ретранслированы или потеряны

13 Dloss Ц Destination packets retransmitted or dropped Пакеты получателя ретранслированы или потеряны

14 Service Н http, ftp, ssh, dns...,else (-) http, ftp, ssh, dns...,else (-)

15 Sload Ч Source bits per second Биты отправителя в секунду

16 Dload Ч Destination bits per second Биты получателя в секунду

17 Spkts Ц Source to destination packet count Количество пакетов от отправителя к получателю

18 Dpkts Ц Destination to source packet count Количество пакетов от получателя к отправителю

Содержательные признаки

19 Swin Ц Source TCP window advertisement Окно подтверждения TCP отправителя

20 Dwin Ц Destination TCP Окно подтверждения

window advertisement TCP получателя

21 Stcpb Ц Source TCP sequence number Номер очереди TCP отправителя

22 Dtcpb Ц Destination TCP sequence number Номер очереди TCP получателя

23 Smeansz Ц Mean of the flow packet size transmitted by the src Среднее значение размера потокового пакета, переданного с помощью src

24 Dmeansz Ц Mean of the flow packet size transmitted by the dst Среднее значение потокового пакета, переданного с помощью dst

25 Trans_de pth Ц The depth into the connection of http request/response transaction Глубина подключения http транзакции запроса/ ответа.

26 Res_bdy len Ц The content size of the data transferred from the server's http service Размер данных, переданных от http службы сервера

Временные признаки

27 Sjit Ч Source jitter (mSec) Джиттер отправителя (мс)

28 Djit Ч Destination jitter (mSec) Джиттер получателя (мс)

29 Stime В Record start time Начало времени

записи

30 Ltime В Record last time Конец времени записи

31 Sintpkt Ч Source inter-packet arrival time (mSec) Время поступления inter-packet источника (мс)

32 Dintpkt Ч Destination inter-packet arrival time (mSec) Время поступления inter-packet получателя (мс)

33 Tcprtt Ч The sum of 'synack' and 'ackdat' of the TCP Сумма 'synack' и 'ackdat' TCP

34 Synack Ч The time between the SYN and the SYN and the SYN_ACK packets of the TCP Время между SYN и SYN и SYN_ACK пакетами TCP

35 Ackdat Ч The time between the SYN_ACK and the ACK packets of the TCP Время между SYN_ACK и ACK пакетами TCP

Дополнительные признаки

General purpose futures Общие целевые признаки

36 Is_sm_ip s_port Б If source (1) equals to destination (3) IP addresses and port numbers (2) (4) are equal, this variable takes value 1 else 0 Если отправитель (1) и получатель (3) имеют одинаковые 1Р- адреса и номера портов (2) (4) равны, тогда эта переменная

принимает значение 1, в противном случае 0

37 Ct_state_ ttl Ц Number for each state (6) according to specific range of value for source/destination time to live (10) (11) Число для каждого состояния (6), соответствующее определенному диапазону значений времени жизни отправителя/получате ля (10) (11).

38 Ct_flw_h ttp_mthd Ц Number of flows that has methods such as Get and Post in http service Число потоков, у которых есть такие методы, как Get и Post в http службе.

39 Is_ftp_lo gin Б If the ftp session is accessed by user and password then 1 else 0 Если сеанс ftp инициирован пользователем и пароль правильный, тогда 1, в противном случае 0.

40 Ct_ftp_c md Ц Number of flows that has a command in ftp session Число потоков, у которых есть команда в ftp сессии.

Connection features Признаки соединений

41 Ct_srv_s rc Ц Number of connections that contain the same service (14) and source address (1) in Число соединений, которые содержат одинаковые службы (14) и адреса отправителя в 100

100 connections according to the last time (26) соединениях, согласно последнему времени (26).

42 Ct_srv_d st Ц Number of connections that contain the same service (14) and destination address (3)in 100 connections according to the last time (26) Число соединений, которые содержат одинаковые службы (14) и адреса получателя в 100 соединениях согласно последнему времени (26).

43 Ct_dst_lt m Ц Number of connections of the same destination address (3) in 100 connections according to the last time (26) Число соединений одного и того же адреса получателя (3) в каждых 100 соединениях согласно последнему времени (26).

44 Ct_src_lt m Ц Number of connections of the same source address (1)in 100 connections according to the last time (26) Число соединений одного и того же адреса отправителя (1) в каждых 100 соединениях согласно последнему времени (26).

45 Ct_src_d port ltm Ц Number of connections of the same source address Число соединений одного и того же адреса отправителя (1)

(1) and the destination port (4) in 100 connections according to the last time (26) и порта получателя (4) в 100 соединениях согласно последнему времени (26).

46 Ct_dst_s port ltm Ц Number of connections of the same destination address (3) and the source port (2) in 100 connections according to the last time (26) Число соединений одного и того же адреса получателя (1) и порта отправителя (4) в 100 соединениях согласно последнему времени (26).

47 Ct_dst_s rc ltm Ц Number of connections of the same source (1) and the destination (3) address in 100 connections according to the last time (26) Число соединений одного и того же адреса отправителя (1) и адреса получателя (3) в 100 соединениях согласно последнему времени (26).

Признаки метки классов

48 Attack_c at Н The name of each attack category. In this data set, nine categories (e.g., Fuzzers, Analysis, Backdoors, DoS, Exploits, Generic, Название каждого типа атаки. В этом наборе данных содержится 9 типов атак (Fuzzers, Analysis, Backdoors, DoS, Exploits, Generic,

Reconnaissance, Shellcode and Worms) Reconnaissance, Shellcode and Worms)

49 Label Б 0 for normal and 1 for attack records 0 для нормальной записи и 1 для записи атаки

Типы данных: Н- номинальные, Ц - целочисленные, Ч - числовые, В - временные, Б - бинарные

Приложение 3. Код объединения решений многоэкспертной бинарной

системы, среда MATLAB с использованием Graphical User Interfaces

%% Функция для объедения экспертной системы и классификации атак function classification_Callback(hObject, eventdata, handles)

global xtest ytest network cmac_result; % глобальные переменные

net2test = 0;% net2test - количество выбранных экспертов в экспертной системе (размер экспертной системы)

output = []; % output - матрица предсказывающих выходов экспертной системы

% когда каждые эксперты выбираются

if get(handles.net1, 'value') == 1 % если выбран первый эксперт

net2test = net2test + 1; % увеличивается размер экспертной системы на единицу

threshold(l) = str2double(get(handles. threshold_1, 'string')); % выбранный порог первого эксперта

outputl = testnetwork(network.net1, network.name_net{1}, xtest, threshold (1)); % матрица предсказывающих выходов первого эксперта, где name_net = {'MLP', 'CMAC', 'SVM', 'RF'}

output = [output output1]; % записать output1 в матрицу предсказывающих выходов экспертной системы

private_1 = confusion_result(ytest', output1'); % матрица ошибок

set(handles.private_result1, 'string', num2str(private_1(1), '%7.2f)); % показать процент правильных классификации атак первого эксперта

set(handles.private_result_1, 'string', num2str(private_1(2), '%7.2f)); % показать процент правильных классификации нормального состояния первого эксперта

end

if get(handles.net2, 'value') == 1

net2test = net2test + 1;

output2 = testnetwork(network.net2, network.name_net{2}, xtest, threshold (2)); output = [output output2]; private_2 = confusion_result(ytest', output2'); set(handles.private_result2, 'string', num2str(private_2(1), '%7.2f)); set(handles.private_result_2, 'string', num2str(private_2(2), '%7.2f)); end

if get(handles.net3, 'value') == 1 net2test = net2test + 1;

threshold (3) = str2double(get(handles. threshold_3, 'string')); output3 = testnetwork(network.net3, network.name_net{3}, xtest, threshold (3)); output = [output output3]; private_3 = confusion_result(ytest', output3'); set(handles.private_result3, 'string', num2str(private_3(1), '%7.2f)); set(handles.private_result_3, 'string', num2str(private_3(2), '%7.2f)); end

if get(handles.net4, 'value') == 1 net2test = net2test + 1;

threshold (4) = str2double(get(handles. threshold_4, 'string')); output4 = testnetwork(network.net4, network.name_net{4}, xtest, threshold (4)); output = [output output4]; private_4 = confusion_result(ytest', output4'); set(handles.private_result4, 'string', num2str(private_4(1), '%7.2f)); set(handles.private_result_4, 'string', num2str(private_4(2), '%7.2f)); end

if get(handles.net5, 'value') == 1 net2test = net2test + 1;

output5 = testnetwork(network.net5, network.name_net{5}, xtest, threshold (5)); output = [output output5]; private_5 = confusion_result(ytest', output5'); set(handles.private_result5, 'string', num2str(private_5(1), '%7.2f)); set(handles.private_result_5, 'string', num2str(private_5(2), '%7.2f)); end

if get(handles.net6, 'value') == 1 net2test = net2test + 1;

threshold (6) = str2double(get(handles. threshold_6, 'string')); output6 = testnetwork(network.net6, network.name_net{6}, xtest, threshold (6)); output = [output output6]; private_6 = confusion_result(ytest', output6'); set(handles.private_result6, 'string', num2str(private_6(1), '%7.2f)); set(handles.private_result_6, 'string', num2str(private_6(2), '%7.2f)); end

if get(handles.net7, 'value') == 1 net2test = net2test + 1;

threshold (7) = str2double(get(handles. threshold_7, 'string')); output7 = testnetwork(network.net7, network.name_net{7}, xtest, threshold (7)); output = [output output7]; private_7 = confusion_result(ytest', output7'); set(handles.private_result7, 'string', num2str(private_7(1), '%7.2f)); set(handles.private_result_7, 'string', num2str(private_7(2), '%7.2f)); end

if get(handles.net8, 'value') == 1 net2test = net2test + 1;

output8 = testnetwork(cmac_result, 'CMAC', xtest, threshold (8)); output = [output output8]; private_8 = confusion_result(ytest', output8'); set(handles.private_result8, 'string', num2str(private_8(1), '%7.2f)); set(handles.private_result_8, 'string', num2str(private_8(2), '%7.2f)); end

% Выводить предсказывающие выходы экспертной системы при каждом варианте объединения решений отдельных экпертов

for j = 1: size(output, 1)

% Когда все эксперты предсказывают атаку

if sum(output(j, :)) == net2test

Output(j, 1) = 1;

else

Output(j, 1) = 0; end

% Когда все эксперты предсказывают нормальное состояние if sum(output(j, :)) == 0

Output(j, net2test + 1) = 0; else

Output(j, net2test + 1) = 1; end

for i = net2test-1:-1:1

% Когда не менее i экспертов предсказывают атаку if sum(output(j, :)) >= i Output(j, net2test - i+1) = 1;

else

Output(j, net2test - i+1) = 0; end

% Когда не менее i экспертов предсказывают нормальное состояние if sum(output(j, :)) <= net2test - i Output(j, 2*net2test - i + 1) = 0; else

Output(j, 2*net2test - i + 1) = 1; end end end

%% Показать результаты в интерфейсе numfilter_str = num2str(num2str(net2test));

% Показать результаты в варианте, когда все эксперты предсказывают атаку set(handles.result_string1, 'visible', 'on');

set(handles.result_string1, 'string', [num2str(net2test) ' ' string_expert(net2test) ' о DoS-атаке']);

general_1 = confusion_result(ytest', Output(:,1)');

set(handles.general_result1,'visible','on');

set(handles.general_result_1,'visible','on');

set(handles.general_result1, 'string', num2str(general_1(1), '%7.2f));

set(handles.general_result_1, 'string', num2str(general_1(2), '%7.2f));

% Показать результаты в варианте, когда не менее i экспертов предсказывают атаку

for i = net2test-1:-1:1

set(eval(['handles.result_string' num2str(net2test-i+1)]), 'visible', 'on');

set(eval(['handles.result_string' num2str(net2test-i+1)]), 'string', [num2str(i) ' или ' numfilter_str ' ' string_expert(net2test) ' о DoS-атаке']);

numfilter_str = [num2str(i) ' или ' numfilter_str]; else

set(eval(['handles.result_string' num2str(net2test-i+1)]), 'string', [num2str(i) ' , ' numfilter_str ' ' string_expert(net2test) ' о DoS-атаке']);

numfilter_str = [num2str(i) ', ' numfilter_str]; end

general = confusion_result(ytest', Output(:, net2test - i+1)');

set(eval(['handles.general_result' num2str(net2test - i+1)]),'visible','on');

set(eval(['handles.general_result_' num2str(net2test - i+1)]),'visible','on');

set(eval(['handles.general_result' num2str(net2test - i+1)]), 'string', num2str(general(1), '%7.2f));

set(eval(['handles.general_result_' num2str(net2test - i+1)]), 'string', num2str(general(2), '%7.2f'));

end

Приложение 4. Акт о внедрении результатов диссертационной работы

Настоящим актом удостоверяем* что результаты кандидатской диссертацией ной работы «Оптимальные многожспертпьте пинириыс СИсгемы голосования и модельных задача:; обнаружения атак», вЕШ о л ненной на кафедре «Интеллектуальны^ информащиониые системы и технологии» Федерального с^сударстзенвого автономного образовательррГд учреждения Bwcinero образований "Мосео^СХ^й фм^ко-технический институт (государственный университет) аспиранткой Ле Т\и Чаи г Лши. под pvKonoiicraoM научного руководители, доктора технических наук, ci a puis г о научного сотрудника Э.Д. Лиед],я([а. внедрены и будут в дальнейшем использоваться при выполнении прикладных научных исследований и 5КСгiepnментальн ых раэраЙогок Федеральною государственною автономного научного учреждения 'Центр информационных технологий и систем органов исполнительной шшслГ, i [аира пленных на обеспечение вдформацнониой безопасности сетей связи специального назначения.

Настоящий док>мснч не является основанием для предъявления (финансовых претензий.

УТШ-.РЖДАЮ

О внедрении результатов кандилатской диссертационной работы Ле Тхи Чане Линь

11рсд«лател1> комиссии Члены комиссии

ЮН- Силаев

4 мая 201 8 г.