Модели и методы обработки данных проактивного мониторинга ИТ-инфраструктуры тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Большаков Максим Александрович

• Большаков Максим Александрович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Большаков Максим Александрович

Введение

1. Объект, цель и задачи исследования

1.1. Структура системы мониторинга ИТ-инфраструктуры и основные подходы к задаче проактивного мониторинга

1.2. Применение интеллектуальных методов моделирования в задачах проактивного мониторинга

1.3. Особенности мониторинга ИТ-инфраструктуры

1.4. Анализ методов синтеза моделей для задач проактивного мониторинга

1.5. Критерии оценки точности работы систем проактивного мониторинга

1.6. Организация мониторинга ИТ-инфраструктуры на основе существующих решений

1.7. Выводы по существующим решениям

1.8. Постановка задачи исследования

1.9. Выводы по разделу

2. Методы синтеза объектной модели обработки данных и оценки результатов моделирования для систем проактивного мониторинга

2.1. Метод оценки точности для задач мониторинга ИТ-инфраструктуры

2.2. Метод автоматического синтеза объектной модели обработки данных мониторинга ИТ-инфраструктуры

2.3. Интерпретация результатов моделирования на основе представления траекторий в фазовом пространстве

2.4. Метод повышения точности моделей обработки данных в системах проактивного мониторинга на основе использования метрических пространств

2.5. Выводы по разделу

3. Экспериментальные исследования

3.1. Моделирование условий и экспериментальная оценка метода синтеза и интерпретации моделей проактивного мониторинга

3.2. Интервальное оценивание точности проактивного мониторинга с учетом заблаговременности

3.3. Способы дополнительной разметки данных и оценка их влияния на точность определения инцидентов

3.4. Полученные эффекты в работе

3.5. Интерпретация результатов мониторинга с использованием фазовых пространств

3.6. Выводы по разделу

4. Комплекс программ, реализующих разработанные методы

4.1. Алгоритм синтеза моделей для систем мониторинга

4.2. Реализация программы в нотации low-code

4.3. Выводы по разделу

Заключение

Литература

Приложение А. Оценка влияния коррелированности компонент данных мониторинга на различные варианты расчета расстояния между элементами

Приложение Б. Сравнение вариантов дополнительной разметки данных

Приложение В. Акты о внедрении

Приложение Г. Программный код реализации метода синтеза модели обработки данных проактивного мониторинга

Приложение Д. Свидетельства о регистрации программ для ЭВМ

Введение диссертации (часть автореферата) на тему «Модели и методы обработки данных проактивного мониторинга ИТ-инфраструктуры»

Введение

Концепция проактивного мониторинга связана с процессом непрерывного контроля состояния системы и упреждающего управления рисками возникновения нежелательных ситуаций. Термин «проактивный мониторинг» в научной и технической литературе появился в конце 1990-х годов [1], а сама концепция, применительно к различным техническим системам, начала активно развиваться с начала 2000-х годов, что связано в первую очередь с широким внедрением средств цифровизации. В настоящее время применение концепции проактивного мониторинга к ИТ-инфраструктуре активно развивается, в том числе в силу лучшей цифровизации данной отрасли [2].

Однако сама концепция проактивности как упреждающего управления возникла раньше, на рубеже 60-70-х годов, и по данному направлению имеются достаточно фундаментальные работы, относящиеся к различным сферам [3-4]. Упреждающее управление нацелено на предсказание будущего состояния системы на основе данных непрерывного контроля (текущих и ранее накопленных).

Этот подход потенциально позволяет предотвратить возникновение проблем (инцидентов) до их фактического появления за счет превентивных мер воздействия на источник [5-6]. Конечной целью проактивного мониторинга является повышение эффективности работы систем за счет сокращения времени простоев и снижения затрат на обслуживание системы. Понятие непрерывного контроля на практике означает, что производится регулярный сбор данных в дискретные моменты времени, на основе которых производится анализ состояния системы и осуществляется принятие решений о необходимых действиях. Направление эффективного сбора данных активно развивается в рамках концепции индустрии 4.0 [7-9].

Под инцидентом в ИТ-инфраструктуре понимается незапланированное прерывание или снижение качества ИТ-услуги, где под ИТ-услугой понимают ИТ-сервис или набор таких сервисов, которые развернуты на ИТ-инфраструктуре.

В базовом варианте мониторинг ИТ-инфраструктуры реализован в виде анализа логов от оборудования - такие системы, основанные на пассивном отслеживании инцидентов, наиболее распространены и относятся к системам реактивного мониторинга, когда реакция формируется только после очевидного возникновения проблемы, сопровождаемой типовыми сообщениями [10].

В настоящее время наиболее продвинутые системы мониторинга основаны на применении интеллектуальных методов обработки данных, способных обучиться на имеющейся истории инцидентов и оценить степень опасности текущего сочетания

отслеживаемых параметров. Однако такие системы мониторинга, как правило, настраиваются индивидуально, детально учитывают особенности полигона объектов мониторинга, а способы их разработки при этом глубоко не формализованы.

С точки зрения решения прикладных задач мониторинга разработанные решения и подходы обладают рядом особенностей:

• реализация функций проактивного мониторинга на конкретном полигоне внедрения невозможна без глубокого и детального анализа этого полигона;

• решения, основанные на прогнозировании временных рядов через аппроксимирующую функцию, сложно поддаются масштабированию и негативно реагируют на изменчивость полигона внедрения;

• большое количество базовых моделей для обработки данных мониторинга, оценки опасных состояний и их прогнозирования порождают большую неопределенность их выбора;

• отдельные модели, например классификации, не всегда можно эффективно подобрать в отрыве от других моделей, таких как предобработка данных или постобработка результатов предсказания состояний;

• при последовательном переборе большого количества вариантов моделей и их параметров требуются значительные вычислительные ресурсы, что также связано с большим объемом данных, получаемых от объектов мониторинга;

• точечные оценки метрик точности предсказания, зачастую используемые при сравнении моделей, не всегда отражают объективную прогностическую силу выбранных моделей, т. к. с учетом случайного характера самих данных точечные оценки также могут быть в достаточной степени случайными;

• существует также проблема интерпретации полученных результатов, так как многие алгоритмы, основанные на обучении, работают в режиме черного ящика, а их выходные данные, в частности оценки классификации состояний объектов не унифицированы между собой.

Таким образом, актуальность темы исследования определяется необходимостью совершенствования проактивного мониторинга ИТ-инфраструктуры за счет автоматизации синтеза моделей обработки исходных данных, устойчивых к изменению этих данных.

Степень разработанности темы исследования. Вопросам разработки и применения математических моделей для обеспечения функций прикладного мониторинга посвящено большое количество исследований отечественных и зарубежных авторов. В частности, в работах Таранцева А.А., Рыжикова Ю.И., Смагина В.А., Алиева Т.И.,

Бубнова В.П., Хомоненко А.Д., Вишневского В.М., Карвальо Т. (Carvalho T.) была разработана концепция анализа для систем мониторинга с точки зрения систем массового обслуживания, включая большое количество моделей для оценки и предсказания надежности.

Работы Аллакина В.В., Скороходова В.А., Маккеон Н. (McKeown N.) посвящены вопросам определения пороговых значений для отдельных параметров, отслеживаемых на объектах мониторинга. Такие авторы, как Кропотов Ю.А., Андрюхин Е.В., Манасви Н. (Manaswi N.), достаточно глубоко проработали вопросы прогнозирования значений отдельных параметров с точки зрения анализа временных рядов.

В развитие и совершенствование применения методов непосредственно машинного обучения в задачах мониторинга внесли существенный вклад такие авторы, как Ерохин С.Д., Тененев В.А., Саенко И.Б., Котенко И.В., Крюгер Ю. (Kruger U.), Вюст Т. (Wuest Т.). В работах Водяхо А.И., Осипова В.И., Евневич Е.Л., Жуковой Н.А. глубоко рассмотрены вопросы синтеза моделей мониторинга, в т.ч. вопросы представления этих моделей в виде графов. Вопросы интерпретации полученных результатов для проактивного мониторинга рассмотрены в работах Феттке П. (Fettke P.) и Хольцингера А. (Holzinger A.).

На практике существует достаточно много инструментов, с помощью которых можно реализовать идеи, сформулированные авторами выше. Такие решения, как Splunk, AppDynamics, Prometheus, Datadog, SolarWinds, Zabbix, Nagios, IBM Tivoli, ELK-stack, Dotcom-monitor и другие, могут обеспечить надежный прием и хранение исходных данных от объектов мониторинга. При этом в некоторых из указанных решений уже существует возможность обширных настроек для визуализации и анализа данных, а некоторым требуются смежные продукты для лучшей визуализации и анализа. К примерам систем, которые помогают визуализировать собранные массивы данных и перейти к их анализу, относятся такие решения, как Dynatrace, Grafana и другие.

Большинство из представленных решений заявлены как системы проактивного мониторинга, однако для решения задач проактивного мониторинга на базе этих инструментов предварительно требуется глубокий анализ полигона объектов мониторинга с целью формирования полноценной ресурсно-сервисной модели. В этой модели должны быть указаны все возможные взаимосвязи элементов ИТ-инфраструктуры, и только тогда настроенный таким образом мониторинг позволит корректно предупреждать о будущей деградации объекта мониторинга или в целом ИТ-сервиса.

Этот вариант часто является труднореализуемым, потому что, во-первых, требует постоянства на полигоне ИТ-инфраструктуры, которая задействована в предоставлении

того или иного сервиса, так как любое изменение влечет за собой снижение точности мониторинга, а, следовательно, необходимость перестройки ресурсно-сервисной модели.

Во-вторых, описание логики работы ресурсно-сервисной модели требует привлечения большого количества трудозатрат высококлассных специалистов (как администраторов, так и бизнес-пользователей), занятых в сопровождении и использовании сервиса, который реализован на полигоне ИТ-инфраструктуры.

Исходя из этих причин, проактивность мониторинга ИТ-инфраструктуры часто реализуется посредством анализа отдельных параметров и их граничных значений, а прогноз, построенный на основе анализа временных рядов, позволяет говорить о динамике отдельных параметров с помощью найденной аппроксимирующей функции.

Второй достаточно распространенный в практике вариант проактивного мониторинга заключается в использовании накопленных сценариев развития событий, которые перед этим должен оценить администратор и «положить» в базу знаний службы технической поддержки. Оценка текущего состояния, способы реагирования на это состояние и варианты развития ситуации далее используют эту базу знаний для реализации функций проактивного мониторинга.

Также на практике встречается формулировка функции проактивности для мониторинга ИТ-инфраструктуры, которая построена исключительно на оценке остаточного ресурса работы/утилизации элементов ИТ-инфраструктуры. В этом случае система оповещает о необходимости проведения тех или иных регламентных работ для поддержания полигона ИТ-инфраструктуры в рабочем состоянии.

Отдельным классом проактивных реализаций являются решения, основанные на методах машинного обучения, при этом основное направление оценки состояний - это решение задачи классификации в бинарной (инцидент/норма) или мультиклассовой формах.

В рассмотренной выше литературе не было найдено вариантов автоматического или автоматизированного синтеза моделей проактивного мониторинга, учитывающих особенности ИТ-систем, характеризуемых большим объемом, изменчивостью и высокой размерностью генерируемых данных. В рамках диссертационного исследования было принято решение разработать соответствующие методы синтеза моделей с учетом требуемого уровня точности и указанных выше особенностей.

Научная задача заключается в повышении точности систем проактивного мониторинга ИТ-инфраструктуры на основе синтеза объектной модели обработки данных.

Объектом диссертационного исследования являются проактивные системы мониторинга.

Предметом диссертационного исследования являются методы обработки исходных данных от объектов мониторинга.

Цель работы заключается в повышении точности систем проактивного мониторинга.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Разработать метод оценки точности систем проактивного мониторинга, основанный на применении машинного обучения.

2. Разработать метод автоматического синтеза объектной модели обработки данных мониторинга ИТ-инфраструктуры.

3. Разработать метод повышения точности моделей обработки данных для систем проактивного мониторинга на основе использования метрических пространств.

4. Разработать метод интерпретации результатов оценки состояний с учетом динамики вероятности возникновения инцидента и представления траектории движения параметров системы в фазовом пространстве.

5. Разработать программный комплекс для синтеза объектной модели обработки данных проактивного мониторинга.

Научная новизна основных результатов определяется:

• разработкой метода оценки точности систем проактивного мониторинга, который обобщает стандартные метрики машинного обучения для задач классификации;

• принципом описания и алгоритмом синтеза цепочки моделей для данных мониторинга, позволяющим ускорить подготовку моделей и понизить требования к разработчику;

• разработкой численного метода, позволяющего повысить точность мониторинга на основе использования метрических пространств;

• методом интерпретации результатов оценки состояния объекта мониторинга, основанном на отображении траектории изменения состояния системы в фазовом пространстве.

Теоретическая значимость исследования состоит в дальнейшем развитии методов синтеза моделей проактивного мониторинга на базе современных методах машинного обучения, которые представляют собой комплекс взаимосвязанных подходов, адаптированных к особенностям ИТ-систем.

Практическая значимость состоит в повышении точности систем проактивного мониторинга ИТ-инфраструктуры на основе интеллектуализации их работы, сокращении времени настройки и испытаний систем проактивного мониторинга на основе

автоматизации синтеза моделей обработки данных от объектов мониторинга, а также доведении разработанных методов до программной реализации в форме комплекса программ. Результаты исследования могут применяться при разработке широкого круга систем проактивного мониторинга.

Методы исследования: статистическое моделирование, машинное обучение, математическая статистика, когнитивная визуализация. В качестве языка программирования использовался Python 3, а также среда low-code разработки SMILE.

Методологическая база исследования: труды отечественных и зарубежных ученых в области создания систем проактивного мониторинга, стандарты в области информационных технологий, примеры реализаций систем проактивного мониторинга. Положения, выносимые на защиту:

1. Метод оценки точности для задач мониторинга ИТ-инфраструктуры, основанный на машинном обучении.

2. Метод автоматического синтеза объектной модели обработки данных мониторинга ИТ-инфраструктуры.

3. Метод повышения точности моделей обработки данных в системах проактивного мониторинга на основе использования метрических пространств.

4. Программный комплекс для синтеза объектной модели обработки данных проактивного мониторинга ИТ-инфраструктуры.

Достоверность основных научных результатов обеспечивается корректным применением математических методов исследования и подтверждается близостью результатов расчетов, полученных с использованием разработанных методов и моделей, с фактически полученными результатами мониторинга реальных объектов, а также апробацией на научно-технических конференциях и публикациями в научных изданиях.

Апробация результатов. Основные результаты исследований докладывались и обсуждались на международной конференции «Проблемы математической и естественно научной подготовки в инженерном образовании» Петербургского государственного университета путей сообщения Александра I в 2019 году, международном научно-практическом IT-форуме «Цифровая трансформация образования и транспортной отрасли: анализ опыта и перспективы развития» Петербургского государственного университета путей сообщения Александра I в 2023 году, международной научно-практической конференции «Достижение и применение искусственного интеллекта в автоматизации, управлении и информационных технология» Алматинского университета энергетики и связи имени Гумарбека Даукеева в 2024 году, XIV Международной научно-практической конференции «Новые научные исследования» в г. Пенза в 2024 году и XVII Международной

научно-практической конференции «Актуальные вопросы общества, науки и образования» в г. Пенза в 2024 году.

Внедрение результатов работы. Основные результаты диссертационных исследований внедрены в следующих организациях:

• СПБ ИВЦ ОАО «РЖД»;

• АО «Центральная ППК»;

• ФГБОУ ВО ПГУПС.

Соответствие диссертации паспорту научной специальности. В диссертации разработан метод оценки точности проактивного мониторинга ИТ-инфраструктуры, основанный на машинном обучении. Разработан метод автоматического синтеза объектной модели обработки данных мониторинга ИТ-инфраструктуры. Разработан метод повышения точности модели обработки данных для систем проактивного мониторинга на основе использования метрических пространств. Разработан метод интерпретации результатов оценки состояний с учетом динамики вероятности возникновений инцидента и представления траектории движения параметров системы в фазовом пространстве. Итоговая программная реализация выполнена в форме комплекса программ на языке Python, интегрированного в low-code платформу SMILE, автоматизирующую типовые операции работы с данными и визуализации.

Таким образом, результаты диссертационного исследования соответствуют следующим пунктам паспорта научной специальности 1.2.2 «Математическое моделирование, численные методы и комплексы программ»:

2. Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий.

3. Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента.

4. Разработка новых математических методов и алгоритмов интерпретации натурного эксперимента на основе его математической модели.

Публикации. Основные положения диссертации достаточно полно изложены в 19 работах в научных журналах и сборниках материалов международных конференций, из них 6 публикаций в изданиях, включенных в Перечень изданий ВАК РФ, 3 из которых по специальности 1.2.2 «Математическое моделирование, численные методы и комплексы программ», получено 2 свидетельства о регистрации программ для ЭВМ в ФИПС, представлено 5 докладов на международных научно-практических конференциях.

1. Объект, цель и задачи исследования

1.1. Структура системы мониторинга ИТ-инфраструктуры и основные подходы к задаче

проактивного мониторинга

Типовая система мониторинга ИТ-инфраструктуры содержит следующие уровни, влияющие на характеристики получаемых данных, их обработку и интерпретацию:

1. Объектный уровень, включающий конечные устройства, датчики и контроллеры для разных категорий ИТ-инфраструктуры (серверное оборудование, сетевое оборудование, системы хранения данных, системы жизнеобеспечения центров обработки данных, рабочие места пользователей и другое).

2. Коммуникационный уровень, включающий технологии агентного и безагентного мониторинга, собственные сетевые устройства для передачи данных между различными решениями сбора данных с объектного уровня (к таким решениям относятся продукты от Zabbix, IBM Tivoli, Nagios, различные системы класса OpenScada и прочие).

3. Уровень сбора, хранения и обработки первичных данных (чаще это специализированная система типа Warehouse, интегрированная с коммуникационным уровнем). На этом уровне данные агрегируются и преобразуются к форме, пригодной для применения математических методов анализа данных.

4. Уровень принятия решений (диспетчерский уровень), на котором ключевым элементом является система поддержки принятия решений (СППР), которая осуществляет интеллектуальный анализ данных и оценку риска возникновения инцидентов, а также формирование рекомендаций по их устранению, например, в форме управляющих воздействий. Этот уровень достаточно часто требует специальных исследований и разработок, так как разнообразие объектов мониторинга и решаемых задач не позволяют выработать универсальное решение.

Уровень принятия решений и входящая в него СППР могут основываться на различных технологиях, простейшая и наиболее распространенная из которых - установление пороговых значений [11]. Первичные данные после обработки преобразуются к специальным, чаще всего агрегированным за выбранный период, параметрам поведения системы, называемым метриками, и сравниваются с заложенными пороговыми значениями, после чего производится анализ и классификация текущего состояния. Простота этой реализации делает ее основным вариантом, однако существует ряд очевидных недостатков:

1. Статичные пороговые значения метрик не являются универсальным критерием в условиях разнообразия состояний объекта мониторинга. Например, если канал связи используется

на 90% теоретической пропускной способности, то это не всегда является объективным признаком наличия проблемы в системе. В период активного использования в дневное время такое значение загрузки сети может быть нормальным, а в ночное время с большой вероятностью является признаком аномального состояния системы.

2. Вероятность возникновения инцидента связана, как правило, с выходом за границы одновременно нескольких параметров, по каждому из которых должны быть установлены пороговые значения. Данный факт порождает комбинаторную неопределенность, так как под разные инциденты нужно подбирать свои пороговые значения для каждой метрики, что значительно усложняет задачу.

Существует общая проблема выбора самих пороговых значений. На практике значения порогов устанавливаются по контрольным замерам, либо экспертно, либо в соответствии с технической спецификацией оборудования. В некоторых случаях установка пороговых значений вообще не имеет теоретического или практического обоснования, что может быть характерно, например, для новых объектов мониторинга, не имеющих прямых аналогов.

Выбор пороговых значений оказывает значительное влияние на эффективность работы системы мониторинга [11], так как слишком низкие значения могут приводить к ложным срабатываниям, а слишком высокие - к пропуску угрожающих состояний.

Одним из решений данной проблемы является периодическое обновление значений статических порогов на основе полученного опыта и/или на основе мнений экспертов. Минусом здесь является отсутствие эффекта памяти, при котором обновленное значение по сути основано на удачном или неудачном опыте применения порогового значения на предыдущем цикле эксплуатации, а выбор новых уровней не имеет строгой формализации или обоснования.

Другим вариантом решения может быть выбор в пользу так называемых «динамических порогов», например, предлагаемых в работе [12], для каждого объекта мониторинга, когда система сама обучается отличать нормальное поведение объекта мониторинга от аварийного.

Динамические пороги позволяют решить проблему кастомизации пороговых значений под различные типы инцидентов, однако выбор конкретных значений усложняется в еще большей степени, так как необходимо определить множество, а не одно значение с учетом различных типов инцидентов. На практике такой вариант выглядит малореализуемым, так как количество одновременно отслеживаемых параметров в современных системах может составлять десятки и даже сотни.

Современным подходом для моделирования систем мониторинга является применение методов машинного обучения, что является естественным выбором в условиях большого объема данных, которые генерируют объекты мониторинга. На рисунке 1.1 приведена схема накопления данных в системе с целью их использования для постоянного обновления алгоритмов выявления

инцидентов. В целом предложенная схема является универсальной и применима в том числе для систем мониторинга, основанных на пороговых значениях.

Рисунок 1.1 - Концепция синтеза алгоритмов оценки для систем мониторинга на основе

накопленных данных

Для обеспечения лучшей заблаговременности выявления инцидентов, как одной из основных задач проактивного мониторинга, используются различные прогностические методы. Прогнозировать можно как динамику отдельных параметров (прогнозирование метрик), так и состояние системы в целом на основе всей совокупности параметров.

Таким образом, ставится задача обучить систему автоматически определять вероятность инцидента на основе накопленного опыта. Наибольшее развитие такие методы получили в области предиктивного обслуживания оборудования и относятся они преимущественно к области машинного обучения, однако и они имеют свои ограничения (см. рисунок 1.2).

Рисунок 1.2 - Сравнение концепций к построению систем проактивного мониторинга на основе синтеза алгоритмов оценки состояний системы: А) статические пороговые оценки, Б) динамические пороговые оценки, В) прогнозирование метрик, Г) оценка состояний на основе

обучения методов машинного обучения

Особенность прогнозирования динамики отдельных параметров заключается в том, что это не отменяет необходимость устанавливать пороговые значения для метрик мониторинга. В случае классификации состояний с помощью методов машинного обучения в целом необходимость в установке пороговых значений отпадает, что делает эту концепцию самой перспективной. Также в этом случае обеспечивается универсальность и появляется удобная основа для информативной визуализации, при этом появляется проблема выбора соответствующих методов обработки данных мониторинга и классификации состояний.

Во многих системах мониторинга состояние отслеживаемого объекта не обязательно деградирует как в случае с оборудованием, а может по естественным причинам приходить в норму, например, в случае снижения нагрузки на ИТ-сервис после пиковых значений, что требует анализа результатов применения моделей в динамике. По факту естественная изменчивость объекта мониторинга порождает сложности с разметкой данных для применения методов

машинного обучения с учителем, так как поведение системы с близкими к критическим условиям функционирования состояниями часто не попадает в обучающую выборку, а инцидент при этих условиях не фиксируется.

Вопросы мониторинга достаточно широко рассмотрены в научной литературе - основные направления исследований по работе с данными в системах проактивного мониторинга приведены в таблице 1.1

Таблица 1.1 - Обзор направлений исследований в задачах проактивного мониторинга

Список литературы диссертационного исследования кандидат наук Большаков Максим Александрович, 2025 год

100 Литература

1. Столяров М., Трифаленков И. На пути к управляемым информационным системам //JetInfo-информационный бюллетень. - 1999. - №. 3. - С. 70.

2. Саенко, И. Б., Скорик, Ф. А., & Котенко, И. В. (2016). Мониторинг и прогнозирование состояния компьютерных сетей на основе применения гибридных нейронных сетей. Известия высших учебных заведений. Приборостроение, 59 (10), 795-800.

3. Бокс Дж., Анализ временных рядов, прогноз и управление. / Дж.Бокс. Г.М.Дженкинс. - М.: Мир, 1974. - 406 с.

4. Quinn J. B. Strategic change:"logical incrementalism" //Sloan Management Review (pre-1986). - 1978. - Т. 20. - №. 1. - С. 7.

5. Охтилев М. Ю., Соколов Б. В., Юсупов Р. М. Теоретические и технологические основы концепции проактивного мониторинга и управления сложными объектами //Известия Южного федерального университета. Технические науки. - 2015. - №. 1 (162). - С. 162-174.

6. Зеленцов В. А. и др. Методология создания и применения интеллектуальных информационных технологий наземно-космического мониторинга сложных объектов //Информатика и автоматизация. - 2013. - Т. 28. - С. 7-81.

7. Тарасов И. В. Технологии Индустрии 4.0: влияние на повышение производительности промышленных компаний //Стратегические решения и риск-менеджмент. -2018. - №. 2 (107). - С. 62-69.

8. Ишин Н. Н. и др. Диагностика и мониторинг технического состояния на пути к индустрии 4.0 //Актуальные вопросы машиноведения. - 2018. - Т. 7. - С. 245-250.

9. Iannaccone G. et al. Monitoring very high speed links //Proceedings of the 1st ACM SIGCOMM Workshop on Internet Measurement. - 2001. - С. 267-271.

10. Аллакин В. В., Будко Н. П., Васильев Н. В. Общий подход к построению перспективных систем мониторинга распределенных информационно-телекоммуникационных сетей //Системы управления, связи и безопасности. - 2021. - №. 4. - С. 125-227.

11. Большаков М. А. Прикладные аспекты выбора между развитием средств предсказания будущих состояний и оптимизацией задачи подбора граничных значений для мониторинга ИТ-услуги / М. А. Большаков // Интеллектуальные технологии на транспорте. -2023. - № S1(35-1). - С. 27-30.

12. Дубровин, М. Г., Глухих, И. Н. (2018). Модели и методы проактивного мониторинга ИТ-систем. Моделирование, оптимизация и информационные технологии, 6(1), 314-324.

13. Циклаури В. Ю., Дмитриев Д. С., Девятилова А. И. Мониторинг уровня экономической безопасности с использованием индикаторов и пороговых значений (на примере

пенсионной системы РФ) //Известия Юго-Западного государственного университета. Серия: Экономика. Социология. Менеджмент. - 2019. - Т. 9. - №. 6. - С. 173-179.

14. Мизиковский И. Е. Проактивный мониторинг потребления производственных ресурсов в потоке создания ценности промышленным предприятием //Вестник Нижегородского университета им. НИ Лобачевского. Серия: Социальные науки. - 2021. - №. 2 (62). - С. 30-36.

15. Израилов К. Е. и др. Оценивание и прогнозирование состояния сложных обьектов: применение для информационной безопасности //Вопросы кибербезопасности. - 2022. - №. 6. -С. 52.

16. Geetha R., Thilagam T. A review on the effectiveness of machine learning and deep learning algorithms for cyber security //Archives of Computational Methods in Engineering. - 2021. -Т. 28. - №. 4. - С. 2861-2879.

17. Jordan M. I., Mitchell T. M. Machine learning: Trends, perspectives, and prospects //Science. - 2015. - Т. 349. - №. 6245. - С. 255-260.

18. Das K., Behera R. N. A survey on machine learning: concept, algorithms and applications //International Journal of Innovative Research in Computer and Communication Engineering. - 2017. -Т. 5. - №. 2. - С. 1301-1309.

19. Zelaya C. V. G. Towards explaining the effects of data preprocessing on machine learning //2019 IEEE 35th international conference on data engineering (ICDE). - IEEE, 2019. - С. 2086-2090.

20. Probst P., Boulesteix A. L. Tunability: Importance of hyperparameters of machine learning algorithms //Journal of Machine Learning Research. - 2019. - Т. 20. - №. 53. - С. 1-32.

21. Sagi O., Rokach L. Ensemble learning: A survey //Wiley interdisciplinary reviews: data mining and knowledge discovery. - 2018. - Т. 8. - №. 4. - С. e1249.

22. Pavlyshenko B. Using stacking approaches for machine learning models //2018 IEEE second international conference on data stream mining & processing. - IEEE, 2018. - С. 255-258.

23. González S. et al. A practical tutorial on bagging and boosting based ensembles for machine learning: Algorithms, software tools, performance study, practical perspectives and opportunities //Information Fusion. - 2020. - Т. 64. - С. 205-237.

24. Nikitin N. O. et al. Automated evolutionary approach for the design of composite machine learning pipelines //Future Generation Computer Systems. - 2022. - Т. 127. - С. 109-125.

25. Konstantinov A. V., Utkin L. V. A generalized stacking for implementing ensembles of gradient boosting machines //Cyber-Physical Systems: Digital Technologies and Applications. - 2021.

- С. 3-16.

26. Ruta D., Gabrys B. Classifier selection for majority voting //Information fusion. - 2005.

- Т. 6. - №. 1. - С. 63-81.

27. Ray P., Reddy S. S., Banerjee T. Various dimension reduction techniques for high dimensional data analysis: a review //Artificial Intelligence Review. - 2021. - T. 54. - №. 5. - C. 34733515.

28. Tanha J. et al. Boosting methods for multi-class imbalanced data classification: an experimental review //Journal of Big data. - 2020. - T. 7. - C. 1-47.

29. Fernández A. et al. SMOTE for learning from imbalanced data: progress and challenges, marking the 15-year anniversary //Journal of artificial intelligence research. - 2018. - T. 61. - C. 863905.

30. Goodfellow I. et al. Generative adversarial networks //Communications of the ACM. -2020. - T. 63. - №. 11. - C. 139-144.

31. Kingma D. P. Auto-encoding variational bayes // arXiv:1312.6114. - 2013.

32. Camino R. D. et al. Oversampling tabular data with deep generative models: Is it worth the effort?. - 2020.

33. Batista G. E., Prati R. C., Monard M. C. A study of the behavior of several methods for balancing machine learning training data //ACM SIGKDD explorations newsletter. - 2004. - T. 6. - №. 1. - C. 20-29.

34. Hart P. The condensed nearest neighbor rule (corresp.) //IEEE transactions on information theory. - 1968. - T. 14. - №. 3. - C. 515-516.

35. Tomek, Ivan. "Two modifications of CNN." IEEE Trans. Systems, Man and Cybernetics 6 (1976): 769-772.

36. Colton D., Hofmann M. Sampling techniques to overcome class imbalance in a cyberbullying context //Journal of Computer-Assisted Linguistic Research. - 2019. - T. 3. - №. 3. - C. 21-40.

37. Chawla N. V. et al. SMOTEBoost: Improving prediction of the minority class in boosting //Knowledge Discovery in Databases: PKDD 2003: 7th European Conference on Principles and Practice of Knowledge Discovery in Databases, Cavtat-Dubrovnik, Croatia, September 22-26, 2003. Proceedings 7. - Springer Berlin Heidelberg, 2003. - C. 107-119.

38. Wang S., Yao X. Diversity analysis on imbalanced data sets by using ensemble models //2009 IEEE symposium on computational intelligence and data mining. - IEEE, 2009. - C. 324-331.

39. Seiffert C. et al. RUSBoost: A hybrid approach to alleviating class imbalance //IEEE transactions on systems, man, and cybernetics-part A: systems and humans. - 2009. - T. 40. - №. 1. -C.185-197.

40. Liu X. Y., Wu J., Zhou Z. H. Exploratory undersampling for class-imbalance learning //IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics). - 2008. - T. 39. - №. 2. - C. 539-550.

41. Sun Y. et al. Cost-sensitive boosting for classification of imbalanced data //Pattern recognition. - 2007. - Т. 40. - №. 12. - С. 3358-3378.

42. Fan W. et al. AdaCost: misclassification cost-sensitive boosting //Icml. - 1999. - Т. 99. -С. 97-105.

43. Liu Z. et al. MESA: boost ensemble imbalanced learning with meta-sampler //Advances in neural information processing systems. - 2020. - Т. 33. - С. 14463-14474.

44. Liu Z. et al. Self-paced ensemble for highly imbalanced massive data classification //2020 IEEE 36th international conference on data engineering (ICDE). - IEEE, 2020. - С. 841-852.

45. Севастьянов Л. А., Щетинин Е. Ю. О методах повышения точности многоклассовой классификации на несбалансированных данных //Информатика и её применения. - 2020. - Т. 14.

- №. 1. - С. 63-70.

46. Большаков М. А., Молодкин И.А, Пугачев С.В. Сравнительный анализ методов машинного обучения для оценки качества ИТ-услуг // Защита информации. Инсайд. - 2020. - № 4(94). - С. 36-43.

47. Большаков М. А. Прикладные аспекты выбора между развитием средств предсказания будущих состояний и оптимизацией задачи подбора граничных значений для мониторинга ИТ-услуги // Интеллектуальные технологии на транспорте. - 2023. - № S1(35-1). -С. 27-30.

48. Reijers H. A., Vanderfeesten I., van der Aalst W. M. P. The effectiveness of workflow management systems: A longitudinal study //International Journal of Information Management. - 2016.

- Т. 36. - №. 1. - С. 126-141.

49. Liu L. et al. A survey on workflow management and scheduling in cloud computing //2014 14th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing. - IEEE, 2014.

- С. 837-846.

50. Cichocki A. et al. Workflow and process automation: concepts and technology. - Springer Science & Business Media, 1997. - Т. 432.

51. Водяхо А. И., Жукова Н А., Климов Н.В., Луковенкова О.О., Осипов В.Ю., Тристанов А.Б. Вычислительные модели когнитивных систем мониторинга //Морские интеллектуальные технологии. - 2018. - №. 4-3. - С. 147-153.

52. Водяхо А. И., Евневич Е.Л., Жукова Н.А., Климов Н.В., Червонцев М.А. Системы автоматической генерации программ мониторинга //Инженерный вестник Дона. - 2019. - №. 8 (59). - С. 19.

53. A.M. Chirkin, A.S. Belloum, S.V. Kovalchuk, M.X. Makkes, M.A. Melnik, A.A. Visheratin, D.A. Nasonov, Execution time estimation for workflow scheduling, Future Gener. Comput. Syst. 75 (2017) 376-387.

54. J.K.V. Thekkepuryil, D.P. Suseelan, P.M. Keerikkattil, An effective metaheuristic based multi-objective hybrid optimization method for workflow scheduling in cloud computing environment, Cluster Comput. (2021) 1-18.

55. N. Butakov, D. Nasonov, Co-evolutional genetic algorithm for workflow scheduling in heterogeneous distributed environment, in: 2014IEEE 8th International Conference on Application of Information and Communication Technologies, AICT, IEEE, 2014, pp. 1-5.

56. Smirnov P. A. Ontological formalization for workflow-based computational experiments //Procedia Computer Science. - 2015. - Т. 66. - С. 487-495.

57. Smirnov P. A., Kovalchuk S. V. Linked-data integration for workflow-based computational experiments //Knowledge Engineering and the Semantic Web: 5th International Conference, KESW 2014, Kazan, Russia, September 29-October 1, 2014. Proceedings 5. - Springer International Publishing, 2014. - С. 175-183.

58. Zoller M. A., Huber M. F. Benchmark and survey of automated machine learning frameworks //Journal of artificial intelligence research. - 2021. - Т. 70. - С. 409-472.

59. Kovalchuk S. V. et al. A conceptual approach to complex model management with generalized modelling patterns and evolutionary identification //Complexity. - 2018. - Т. 2018. - №. 1.

- С. 5870987.

60. Xin D. et al. Whither automl? understanding the role of automation in machine learning workflows //Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. - 2021.

- С. 1-16.

61. He X., Zhao K., Chu X. AutoML: A survey of the state-of-the-art //Knowledge-based systems. - 2021. - Т. 212. - С. 106622.

62. Elsken T., Metzen J. H., Hutter F. Neural architecture search: A survey //Journal of Machine Learning Research. - 2019. - Т. 20. - №. 55. - С. 1-21.

63. Гаглоева И. Э., Добаев А. З. Разработка математической модели комплексной оценки состояния электроэнергетических объектов //Инженерный вестник Дона. - 2013. - Т. 26.

- №. 3 (26). - С. 102. URL: ivdon.ru/uploads/article/pdf/IVD_108_Gagloeva.pdf_1842.pdf.

64. Шелухин О. И., Ерохин С. Д., Ванюшина А. В. Классификация IP-трафика методами машинного обучения. - 2018.

65. Шелухин О. И., Рыбаков С. Ю., Ванюшина А. В. Влияние фрактальной размерности на качество классификации компьютерных атак методами машинного обучения //Наукоемкие технологии в космических исследованиях Земли. - 2023. - Т.15. - №. 1. - С. 57-64.

66. Юлдашев З. М., Пустозеров Е. А., Анисимов А. А. Многоуровневая интеллектуальная система удаленного мониторинга состояния здоровья людей с хроническими заболеваниями //Биотехносфера. - 2016. - №. 5 (47). - С. 2-8.

67. Малышев Д. А., Таранцев А. А. Моделирование работы диспетчерского пункта как системы массового обслуживания с «нетерпеливыми» заявками //Научно-аналитический журнал «Вестник Санкт-Петербургского университета Государственной противопожарной службы МЧС России». - 2014. - №. 4. - С. 73-77.

68. Гончаренко В. А. Методика одновременного суммирования нескольких рекуррентных потоков заявок в сетях массового обслуживания //Труды Военно-космической академии имени АФ Можайского. - 2014. - №. 645. - С. 13-17.

69. Вишневский В. М., Горбунова А. В. Применение методов машинного обучения к решению задач теории массового обслуживания //Информационные технологии и вычислительные системы. - 2021. - №. 4. - С. 70-82.

70. Carbone R., Armstrong J. S. Note. Evaluation of extrapolative forecasting methods: results of a survey of academicians and practitioners //Journal of Forecasting. - 1982. - Т. 1. - №. 2. -С. 215-217.

71. Kovacs G., Sebestyen G., Hangan A. Evaluation metrics for anomaly detection algorithms in time-series //Acta Universitatis Sapientiae, Informatica. - 2019. - Т. 11. - №. 2. - С. 113-130.

72. Esmael B. et al. Improving time series classification using Hidden Markov Models //2012 12th International Conference on Hybrid Intelligent Systems (HIS). - IEEE, 2012. - С. 502-507.

73. Gensler A., Sick B. Novel Criteria to Measure Performance of Time Series Segmentation Techniques //LWA. - 2014. - С. 193-204.

74. Metzger A. et al. Automatically reconciling the trade-off between prediction accuracy and earliness in prescriptive business process monitoring //Information Systems. - 2023. - Т. 118. - С. 102254.

75. Dion R., Alamir M., Le Magueresse T. Anticipation, earliness, alarm cardinality: A new metric for industrial time-series anomaly detection //SAFEPROCESS 2024. - 2024.

76. Mori U. et al. Early classification of time series by simultaneously optimizing the accuracy and earliness //IEEE transactions on neural networks and learning systems. - 2017. - Т. 29. -№. 10. - С. 4569-4578.

77. Gupta R. K. et al. Utilizing Splunk for Proactive Issue Resolution in Full Stack Development Projects //ESP Journal of Engineering & Technology Advancements (ESP-JETA). - 2021. - Т. 1. - №. 1. - С. 57-64.

78. BhavaniPeri S. D., Ravi A., Supriya M. Design and Implementation of a Real-time IoT Solution for Smart Meter Data Analysis in Microsoft Azure //2024 15th International Conference on Computing Communication and Networking Technologies (ICCCNT). - IEEE, 2024. - С. 1-5.

79. Горлатов Д. В. Машинное обучение прогнозных моделей на несбалансировнных данных по опасным астероидам //Инженерный вестник Дона. - 2023. - №. 5 (101). - С. 616-632. URL: ivdon.ru/ru/magazine/archive/n5y2023/8394.

80. Скорик Ф. А., Саенко И. Б. Нейросетевая модель оценки состояния распределенной информационной системы //Инновации в науке. - 2013. - №. 16-1. - С. 151-155.

81. Giannakas F. et al. Xgboost and deep neural network comparison: The case of teams' performance //Intelligent Tutoring Systems: 17th International Conference, ITS 2021, Virtual Event, June 7-11, 2021, Proceedings 17. - Springer International Publishing, 2021. - С. 343-349.

82. Большаков М.А., Ходаковский В.А. Подход к повышению качества моделей машинного обучения сложных систем на основе применения метрических пространств // Инженерный вестник Дона. - 2024. - №11. - URL: ivdon.ru/ru/magazine/archive/n11y2024/9630

83. Большаков М.А., Хомоненко А.Д., Ходаковский В.А. Автоматическая генерация пайплайнов для детектирования событий в системах проактивного мониторинга сложных систем // Приборы и системы. Управление, контроль, диагностика. - 2024. - №11. - С. 48-59.

84. Pendyala V. K. et al. A Benchmark Time Series Dataset for Semiconductor Fabrication Manufacturing Constructed using Component-based Discrete-Event Simulation Models //arXiv preprint arXiv:2408.09307. - 2024.

85. Su Y. et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network //Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining. - 2019. - С. 2828-2837.

86. Cotroneo D. et al. Enhancing the analysis of software failures in cloud computing systems with deep learning //Journal of Systems and Software. - 2021. - Т. 181. - С. 111043.

87. "KNIME vs. Microsoft Azure Machine Learning Studio vs. RapidMiner Comparison | IT Central Station." [Электронный ресурс]. URL: https://www.itcentralstation.com/products/comparisons/knime_vs_microsoft-azure-machine-learning-studio_vs_rapidminer. [дата обращения: 01.12.2024].

88. "Compare IBM vs. KNIME vs. Microsoft vs. RapidMiner in Data Science and Machine Learning Platforms | Gartner Peer Insights." [Электронный ресурс]. URL: https://www.gartner.com/reviews/market/data-science-machine-learning-platforms/compare/ibm-vs-knime-vs-microsoft-vs-rapidminer. [дата обращения: 03.12.2024].

89. P. Krensky et al., "Magic Quadrant for Data Science and Machine Learning Platforms," Gartner, pp. 1-40, 2018.

90. W. A. Warr, "Scientific workflow systems: Pipeline Pilot and KNIME," J. Comput. Aided. Mol. Des., 2012.

91. H. Pérez-Sánchez, I. Kondov, J. M. García, K. Klenin, and W. Wenzel, "A pipeline pilot based SOAP implementation of FlexScreen for high-throughput virtual screening," in CEUR Workshop Proceedings, 2011.

92. J. Alcala-Fdez et al., "Comparison of KEEL versus open source Data Mining tools: Knime and Weka software Comparison of KEEL versus open source.

Приложение А. Оценка влияния коррелированности компонент данных мониторинга на различные варианты расчета расстояния между элементами

Расстояние Махаланобиса является мерой расстояния между векторами случайных величин, которое обобщает понятие Евклидового расстояния, при этом отличием расстояния Махаланобиса от расстояния Евклида является учет корреляции между переменными.

Применительно к данным мониторинга проверка использования различных способов расчета расстояний заключается в сравнении значений расстояний между соседними элементами выборки с различными вариантами корреляций между компонентами (отслеживаемыми признаками). Для проведения управляемого эксперимента использовались многомерные временные ряды, сгенерированные моделью авторегрессии второго порядка с коэффициентами 0.9, 0.8 и последовательным сдвигом относительно исходного ряда на одну единицу времени с дополнительным случайным сдвигом всего ряда вверх или вниз.

Подбор коэффициентов осуществлялся на основе анализа автокорреляционной функции. В задачах мониторинга обычно наблюдается сильная связность между значениями элементов в соседние моменты времени. Если не использовать сдвиг и генерировать все временные ряды независимо, то в итоговом ряду значения будут иметь очень низкую (но не строго нулевую) корреляцию между собой. Пример фрагмента некоррелированного временного ряда приведен на рисунке А.1. Значение 5 в качестве количества компонентов вектора выбрано из соображений наглядности. Подход проверялся и с другим числом компонент с теми же итоговыми выводами.

5-мерный временной ряд с корреляцией 0.03

0 25 50 75 100 125 150 175 200

Время

Рисунок А.1 - Фрагмент некоррелированного временного ряда из 5 компонент

Значения корреляции на уровне 0,03 (минимальная связь между параметрами процесса) можно объяснить ограниченностью выборки. При этом между соседними значениями временного ряда сохраняется значительная корреляция, которую можно объяснить автокорреляционным эффектом характерным для большинства процессов в реальных системах, для которых осуществляется мониторинг (см. рисунок А.2). Автокорреляционная функция показывает, что в пределах 5 единиц времени между элементами сохранятся довольно тесная статистическая связь.

Автокорреляционная функция

Время

Рисунок А.2 - Автокорреляционная матрица случайного процесса

Для такого процесса можно посчитать матрицу корреляций (см. таблицу А.1). Таблица А.1 - Матрица корреляций некоррелированного временного ряда из 5 компонент

1 0,0162 -0,0121 0,0513 -0,0063

0,0162 1 -0,0082 0,0211 0,0162

-0,0121 -0,0082 1 0,0510 -0,0013

0,0513 0,0211 0,0510 1 -0,0029

-0,0063 0,0162 -0,0013 -0,0029 1

Значения корреляции между параметрами редко превышают 2-3%, что свидетельствует о значительной независимости параметров процесса.

Для расчета расстояния Махаланобиса необходимо рассчитать матрицу ковариаций (V) (см. таблицу А.2) и обратную к ней (У-1) (см. таблицу А.3).

Таблица А.2 - Матрица ковариаций некоррелированного временного ряда из 5 компонент

5,1989 0,0848 -0,0668 0,2678 -0,0322

0,0848 5,2815 -0,0456 0,1108 0,0836

-0,0668 -0,0456 5,8135 0,2817 -0,0069

0,2678 0,1108 0,2817 5,2407 -0,0147

-0,0322 0,0836 -0,0069 -0,0147 5,0478

В матрице ковариаций большинство внедиагональных элементов близки к 0. В обратной матрице сохраняется примерно такая же картина с большим числом нулевых элементов.

Таблица А.3 - Обратная ковариационная матрица некоррелированного временного ряда из 5 компонент

1,0208 -0,0153 0,0142 -0,0526 0,0066

-0,0153 1,0027 0,0087 -0,0209 -0,0167

0,0142 0,0087 0,9127 -0,0500 0,0010

-0,0526 -0,0209 -0,0500 1,0153 0,0029

0,0066 -0,0167 0,0010 0,0029 1,0484

Обратная ковариационная матрица (У-1) является параметром функции расчета расстояния Махаланобиса:

у/{и -у)У \u-vf

(А.1)

где и и V - случайные вектора, между которыми рассчитывается расстояние.

Далее последовательно рассчитываются все расстояния между соседними элементами с использованием двух типов расстояний - Махаланобиса и Евклида. Для приведенного примера среднее значение расстояний составило 2,48 (расстояние Евклида) и 2,47 (расстояние Махаланобиса), т.е. отличия можно считать несущественными, что в целом и ожидалось, учитывая слабую связность между переменными. В случае же большей коррелированности параметров между собой можно ожидать более существенные отличия в оценках расстояний (см. рисунок А.3).

5-мерный временной ряд с корреляцией 0.82

fO

о.

ь

ф

£ та

í§- О

С

си

S X О)

-1-1-1-1—

О 20 40 60 80

Время

Рисунок А.3 - Фрагмент сильнокоррелированного временного ряда из 5 компонент Корреляционная матрица в этом случаем выглядит так, как представлено в таблице А.4.

Таблица А.4 - Матрица корреляций сильнокоррелированного временного ряда из 5 компонент

1 0,8960 0,8030 0,7183 0,6427

0,8960 1 0,8960 0,8030 0,7184

0,8030 0,8960 1 0,8960 0,8030

0,7183 0,8030 0,8960 1 0,8960

0,6427 0,7184 0,8030 0,8960 1

Корреляция между ближними компонентами ряда превышает в среднем 90%.

По ранее описанной методике посчитаем значения расстояний для двух вариантов. Для приведенного примера среднее значение расстояний составило 1,4 (расстояние Евклида) и 0,37 (расстояние Махаланобиса), т. е. отличия можно считать достаточно существенными по сравнению с некоррелированными величинами.

Ковариационная матрица для этого примера представлена в таблице А.5.

Таблица А.5 - Матрица ковариаций сильнокоррелированного временного ряда из 5 компонент

5,0552 4,5295 4,0591 3,6311 3,2491

4,5295 5,0551 4,5294 4,0592 3,6314

4,0591 4,5294 5,0551 4,5295 4,0594

3,6311 4,0592 4,5295 5,0550 4,5292

3,2491 3,6314 4,0594 4,5292 5,0548

Стоит обратить внимание, что по сравнению со случаем некоррелированных параметров почти все значения парных ковариаций близки к диагональному значению дисперсии соответствующих элементов случайного вектора. Обратная ковариационная матрица представлена в таблице А.6.

Таблица А.6 - Обратная ковариационная матрица сильнокоррелированного временного ряда из 5 компонент

1,0033 -0,8984 -0,0066 0,0072 -0,0006

-0,8984 1,8079 -0,8925 -0,0130 0,0071

-0,0066 -0,8925 1,8079 -0,8924 -0,0069

0,0072 -0,0130 -0,8924 1,8073 -0,8980

-0,0006 0,0071 -0,0069 -0,8980 1,0033

Несмотря на высокие значения исходных корреляций, в обратной ковариационной матрице большинство значений за исключением диагональных и ближайших к ним также довольно близки к 0. Однако такая матрица оказывает существенное влияние на расчет расстояний: 2,17 (расстояние Евклида) и 2,87 (расстояние Махаланобиса).

В разных экспериментах отличия между значениями усредненных расстояний различаются причем как в большую, так и в меньшую сторону. На рисунке А.4 показана зависимость между значениями корреляции и средней разностью между расстояниями Махаланобиса и Евклида. Из рисунка видно, что при уменьшении средней корреляции между компонентами случайного вектора уменьшается и абсолютная разность между значением расстояния Евклида и Махаланобиса. График построен путем усреднения значений по 100 экспериментам для каждой комбинации параметров. В экспериментах значение корреляции контролируется размером смещения между соседними временными рядами (1, 2, 3 и т.д.).

Разность между расстоянием Евклида и Махаланобиса

Средняя корреляция между признаками (метриками мониторинга)

Рисунок А.4 - Оценка влияния корреляции между признаками на расстояние Махаланобиса между соседними элементами в сравнении с расстоянием Евклида

Из рисунка А.4 видно, что абсолютная разность между расстояниями Евклида и Махаланобиса практически линейно уменьшается при уменьшении средней корреляции между признаками. При нулевой корреляции, когда обратная ковариационная матрица приобретает диагональный вид, оба варианта расчета расстояний совпадают, что следует непосредственно из выражения (1).

Учитывая, что предлагаемые методики синтеза моделей классификации опасных состояний основаны на специальной подготовке данных, включающей снижение размерности, необходимо проверить сохраняются ли корреляции в данных пониженной размерности. На

рисунке А.5 приведен пример фрагмента данных пониженной размерности, состоящий из 4-х компонент, с использованием метода главных компонент (РСА).

4-мерный временной ряд данных пониженной размерности

10

—I-1-1-1-1-1-1-

25 50 75 100 125 150 175 200 Время

Рисунок А.5 - Пример данных пониженной размерности (с 5 до 4-х компонент), метод РСА

Матрица корреляций для примера, приведенного на рисунке А.5 (см. таблицу А.7). Таблица А.7 - Матрица корреляций данных пониженной размерности (с 5 до 4-х компонент), метод РСА

1 4,4460Е-16 4,4276Е-16 -5,3429Е-16

4,4460Е-16 1 -4,4611Е-17 6,2298Е-17

4,4276Е-16 -4,4611Е-17 1 -4,3861Е-17

-5,3429Е-16 6,2298Е-17 -4,3861Е-17 1

Все внедиагональные элементы матрицы имеют практически нулевые значения, что свидетельствует о том, что коррелированность между исходными параметрами в данных пониженной размерности не сохраняется.

Минимально разумное число компонент для анализа составляет 2. Пример разложения исходных данных до двух компонент приведен на рисунке А.6.

2-мерный временной ряд данных пониженной размерности

25 50 75 100 125 150 175 200

Бремя

Рисунок А.6 - Пример данных пониженной размерности (с 5 до 2-х компонент), метод РСА

В этом случае матрица корреляций имеет размерность 2x2, и для примера, приведенного на рисунке А.6, она представлена в таблице А.8.

Таблица А.8 - Матрица корреляций данных пониженной размерности (с 5 до 2-х компонент), метод РСА

1 -9,5403Е-17

-9,5403Е-17 1

Как видно из анализа матрицы в случае двух компонент корреляция между ними также фактически равна нулю.

Для проверки выявленной закономерности выполним дополнительные расчеты с использование другого популярного метода - усеченного разложения по сингулярным значениям (TruncatedSVD), см. рисунок А.7.

4 мерный временной ряд данных пониженной размерности

10

15

0 25 50 75 100 125 150 175 200

Бремя

Рисунок А.7 - Пример данных пониженной размерности (с 5 до 4-х компонент), метод

TruncatedSVD

Матрица корреляций для примера, приведенного на рисунке А.7 (см. таблицу А.9). Таблица А.9 - Матрица корреляций данных пониженной размерности (с 5 до 4-х компонент), метод TruncatedSVD

1 0,0181 0,0461 0,0238

0,0181 1 -0,1170 -0,0605

0,0461 -0,1170 1 -0,1538

0,0238 -0,0605 -0,1538 1

Внедиагональные элементы матрицы имеют значения не настолько близкие к нулю, как в случае использования метода РСА, однако полученные корреляции имеют те значения, которые не позволяют говорить о заметной связи между полученными параметрами, и такие низкие значения корреляций могут игнорироваться.

В случае двух компонент для приведенного примера матрица корреляции представлена ниже (см. таблицу А.10).

Таблица А.10 - Матрица корреляций данных пониженной размерности (с 5 до 2-х компонент), метод TruncatedSVD

1 0,0002

0,0002 1

Полученное значение корреляции составляет менее 1 %, что говорит об отсутствии связей между компонентами, и в этом случае значения расстояний Махаланобиса и Евклида не будут значимо отличаться.

При выборе способа генерации синтетических данных можно контролировать связность данных (уровень корреляции между элементами с близкими индексами) путем изменения значений авторегрессионных коэффициентов, опираясь на данные рисунка А.8.

Рисунок А.8 - Виды автокорреляционных функций в зависимости от значений коэффициентов

авторегрессии

Приложение Б. Сравнение вариантов дополнительной разметки данных

Таблица Б.1 - Сравнение вариантов дополнительной разметки данных (метод опорных

векторов)

Доля от среднего расстояния, при попадании в которую класс меняет знак

52% 47% 43% 40% 37% 33%

0 f1_dist = 0.22 f1_dist = 0.17 f1_dist = 0.13 f1_dist = 0.13 f1_dist = 0.10 f1_dist = 0.10

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

199.31 133.79 88.28 63.45 48.28 30.34

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.75 0.75 0.75 0.75 0.75 0.75

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.18 = 0.20 = 0.30 = 0.30 = 0.35 = 0.41

f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04

1 f1_dist = 0.20 f1_dist = 0.22 f1_dist = 0.16 f1_dist = 0.11 f1_dist = 0.08 f1_dist = 0.04

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

476.82 324.50 221.85 143.05 104.64 60.93

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.83 0.83 0.83 0.83 0.83 0.83

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.16 = 0.18 = 0.21 = 0.24 = 0.27 = 0.32

f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00

2 f1_dist = 0.39 f1_dist = 0.47 f1_dist = 0.55 f1_dist = 0.60 f1_dist = 0.42 f1_dist = 0.47

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

207.93 139.63 96.34 68.29 45.12 25.00

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.64 0.64 0.64 0.64 0.64 0.64

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.19 = 0.27 = 0.29 = 0.36 = 0.43 = 0.47

f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50

3 f1_dist = 0.34 f1_dist = 0.50 f1_dist = 0.53 f1_dist = 0.65 f1_dist = 0.60 f1_dist = 0.60

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

284.91 190.57 135.85 94.34 64.78 38.99

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.79 0.79 0.79 0.79 0.79 0.79

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.24 = 0.27 = 0.31 = 0.31 = 0.34 = 0.47

f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54

4 f1_dist = 0.66 f1_dist = 0.71 f1_dist = 0.76 f1_dist = 0.78 f1_dist = 0.79 f1_dist = 0.82

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

270.77 171.54 119.23 84.62 65.38 40.00

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.89 0.89 0.89 0.89 0.89 0.89

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.48 = 0.56 = 0.60 = 0.64 = 0.64 = 0.69

f1 nth = 0.81 f1 nth = 0.81 f1 nth = 0.81 f1 nth = 0.81 f1 nth = 0.81 f1 nth = 0.81

5 f1_dist = 0.44 f1_dist = 0.64 f1_dist = 0.75 f1_dist = 0.79 f1_dist = 0.83 f1_dist = 0.87

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

257.41 167.90 111.11 79.01 54.32 34.57

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.81 0.81 0.81 0.81 0.81 0.81

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.31 = 0.35 = 0.40 = 0.42 = 0.47 = 0.53

f1 nth = 0.83 f1 nth = 0.83 f1 nth = 0.83 f1 nth = 0.83 f1 nth = 0.83 f1 nth = 0.83

6 f1_dist = 0.48 f1_dist = 0.63 f1_dist = 0.61 f1_dist = 0.56 f1_dist = 0.44 f1_dist = 0.41

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

270.67 180.67 119.33 85.33 58.67 32.67

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.85 0.85 0.85 0.85 0.85 0.85

f1_dst_smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.24 = 0.25 = 0.30 = 0.34 = 0.39 = 0.45

f1 nth = 0.45 f1 nth = 0.45 f1 nth = 0.45 f1 nth = 0.45 f1 nth = 0.45 f1 nth = 0.45

7 f1_dist = 0.00 f1_dist = 0.00 f1_dist = 0.00 f1_dist = 0.00 f1_dist = 0.00 f1_dist = 0.00

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

193.46 118.95 73.20 48.37 33.33 21.57

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.88 0.88 0.88 0.88 0.88 0.88

f1_dst_smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.15 = 0.19 = 0.23 = 0.29 = 0.36 = 0.48

f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00 f1 nth = 0.00

8 f1_dist = 0.37 f1_dist = 0.17 f1_dist = 0.17 f1_dist = 0.12 f1_dist = 0.12 f1_dist = 0.12

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

365.29 244.71 170.00 117.06 84.71 50.59

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.85 0.85 0.85 0.85 0.85 0.85

f1_dst_smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.17 = 0.20 = 0.23 = 0.26 = 0.29 = 0.34

f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12

9 f1_dist = 0.43 f1_dist = 0.37 f1_dist = 0.27 f1_dist = 0.18 f1_dist = 0.15 f1_dist = 0.08

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

272.19 192.72 123.84 79.47 52.98 36.42

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.90 0.90 0.90 0.90 0.90 0.90

f1_dst_smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.32 = 0.34 = 0.41 = 0.44 = 0.47 = 0.49

f1 nth = 0.08 f1 nth = 0.08 f1 nth = 0.08 f1 nth = 0.08 f1 nth = 0.08 f1 nth = 0.08

Таблица Б.2 - Сравнение вариантов дополнительной разметки данных (метод XGBoost)

Доля от среднего расстояния, при попадании в кото рую, класс меняет знак

52 47 43 40 37 33

0 f1_dist = 0.18 f1_dist = 0.17 f1_dist = 0.21 f1_dist = 0.24 f1_dist = 0.18 f1_dist = 0.13

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

199.31 133.79 88.28 63.45 48.28 30.34

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.82 0.82 0.82 0.82 0.82 0.82

f1_dst_smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.30 = 0.37 = 0.46 = 0.52 = 0.51 = 0.59

f1 nth = 0.11 f1 nth = 0.11 f1 nth = 0.11 f1 nth = 0.11 f1 nth = 0.11 f1 nth = 0.11

1 f1_dist = 0.15 f1_dist = 0.16 f1_dist = 0.25 f1_dist = 0.18 f1_dist = 0.16 f1_dist = 0.18

lab perc = lab perc = lab perc = lab perc = lab perc = lab perc =

476.82 324.50 221.85 143.05 104.64 60.93

f1_smote = f1_smote = f1_smote = f1_smote = f1_smote = f1 smote =

0.94 0.94 0.94 0.94 0.94 0.94

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.22 = 0.28 = 0.37 = 0.43 = 0.46 = 0.57

f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12 f1 nth = 0.12

2 f1_dist = 0.31 f1_dist = 0.38 f1_dist = 0.40 f1_dist = 0.37 f1_dist = 0.41 f1_dist = 0.41

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

207.93 139.63 96.34 68.29 45.12 25.00

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.71 0.71 0.71 0.71 0.71 0.71

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.28 = 0.35 = 0.37 = 0.51 = 0.54 = 0.59

f1 nth = 0.42 f1 nth = 0.42 f1 nth = 0.42 f1 nth = 0.42 f1 nth = 0.42 f1 nth = 0.42

3 f1_dist = 0.31 f1_dist = 0.37 f1_dist = 0.40 f1_dist = 0.51 f1_dist = 0.51 f1_dist = 0.52

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

284.91 190.57 135.85 94.34 64.78 38.99

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.81 0.81 0.81 0.81 0.81 0.81

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.27 = 0.33 = 0.45 = 0.47 = 0.54 = 0.57

f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50 f1 nth = 0.50

4 f1_dist = 0.71 f1_dist = 0.76 f1_dist = 0.73 f1_dist = 0.69 f1_dist = 0.73 f1_dist = 0.72

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

270.77 171.54 119.23 84.62 65.38 40.00

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.91 0.91 0.91 0.91 0.91 0.91

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.55 = 0.61 = 0.66 = 0.73 = 0.77 = 0.80

f1 nth = 0.68 f1 nth = 0.68 f1 nth = 0.68 f1 nth = 0.68 f1 nth = 0.68 f1 nth = 0.68

5 f1_dist = 0.43 f1_dist = 0.59 f1_dist = 0.67 f1_dist = 0.77 f1_dist = 0.75 f1_dist = 0.81

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

257.41 167.90 111.11 79.01 54.32 34.57

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.88 0.88 0.88 0.88 0.88 0.88

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.33 = 0.44 = 0.55 = 0.56 = 0.69 = 0.69

f1 nth = 0.87 f1 nth = 0.87 f1 nth = 0.87 f1 nth = 0.87 f1 nth = 0.87 f1 nth = 0.87

6 f1_dist = 0.44 f1_dist = 0.50 f1_dist = 0.56 f1_dist = 0.60 f1_dist = 0.60 f1_dist = 0.61

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

270.67 180.67 119.33 85.33 58.67 32.67

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.90 0.90 0.90 0.90 0.90 0.90

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.37 = 0.45 = 0.48 = 0.61 = 0.70 = 0.75

f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54 f1 nth = 0.54

7 f1_dist = 0.14 f1_dist = 0.07 f1_dist = 0.04 f1_dist = 0.04 f1_dist = 0.04 f1_dist = 0.03

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

193.46 118.95 73.20 48.37 33.33 21.57

f1_smote = f1_smote = f1_smote = f1_smote = f1_smote = f1 smote =

0.95 0.95 0.95 0.95 0.95 0.95

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.33 = 0.42 = 0.51 = 0.62 = 0.66 = 0.73

f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04 f1 nth = 0.04

8 f1_dist = 0.24 f1_dist = 0.31 f1_dist = 0.33 f1_dist = 0.32 f1_dist = 0.29 f1_dist = 0.18

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

365.29 244.71 170.00 117.06 84.71 50.59

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.88 0.88 0.88 0.88 0.88 0.88

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.22 = 0.26 = 0.37 = 0.44 = 0.49 = 0.61

f1 nth = 0.32 f1 nth = 0.32 f1 nth = 0.32 f1 nth = 0.32 f1 nth = 0.32 f1 nth = 0.32

9 f1_dist = 0.40 f1_dist = 0.40 f1_dist = 0.44 f1_dist = 0.31 f1_dist = 0.37 f1_dist = 0.25

lab_perc = lab_perc = lab_perc = lab_perc = lab_perc = lab_perc =

272.19 192.72 123.84 79.47 52.98 36.42

f1 smote = f1 smote = f1 smote = f1 smote = f1 smote = f1 smote =

0.95 0.95 0.95 0.95 0.95 0.95

f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote f1 dst smote

= 0.41 = 0.48 = 0.58 = 0.66 = 0.70 = 0.75

f1 nth = 0.21 f1 nth = 0.21 f1 nth = 0.21 f1 nth = 0.21 f1 nth = 0.21 f1 nth = 0.21

Приложение В. Акты о внедрении

ОТКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «РОССИЙСКИЕ ЖЕЛЕЗНЫЕ ДОРОГИ» (ОАО «РЖД»)

CAI ОСТ-ПЕТЕРБУРГСКИЙ ИНФОРМАЦИОННО-ВЫ ЧИСЛИТЕЛБНЫЙ ЦЕНТР

АКТ

об использовании результатов кандидатской диссертационной работы Большакова Максима Александровича «Модели и методы обработки данных проактивного мониторинга ИТ-инфраструктуры»