Методы выявления сложных атак на основании данных систем обнаружения вторжений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Павлов Артем Валерьевич

• Павлов Артем Валерьевич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Павлов Артем Валерьевич

Оглавление

Реферат

Synopsis

Введение

ГЛАВА 1. Анализ предметной области

1.1 Подходы к поиску взаимосвязи событий тревоги

1.1.1 Атрибутивный подход

1.1.2 Подход, основанный на шагах

1.2 Сложная атака, APT, группа атакующих

1.2.1 Профиль атакующего

1.2.2 Сценарии выявления сложных атак

1.3 Выбор набора данных для оценки эффективности методов

1.3.1 Требования к наборам данных и известные наборы

1.3.2 Требования к набору данных для задачи выявления сложных атак

1.3.3 Выбор набора данных для задачи выявления сложных атак

1.3.4 Набор данных CPTC-2018

1.4 Метрики для оценки эффективности методов

1.5 Выводы

ГЛАВА 2. Метод выявления сложных атак и действий групп атакующих на основании анализа полезной нагрузки сетевого трафика на примере протокола HTTP

2.1 Описание метода

2.2 Экспериментальное исследование показателей оценки метода

2.3 Выводы

ГЛАВА 3. Метод выявления сложных атак и объединения событий на основании атрибутов и правил

3.1 Описание метода кластеризации и экспериментальное исследование

3.2 Метод объединения событий в метасобытия

3.3 Выводы

ГЛАВА 4. Метод выявления сложных атак из метасобытий на основании взвешенного расстояния

4.1 Описание метода кластеризации и экспериментальное исследование

4.2 Комбинированный метод обнаружения сложных атак

4.3 Оценка метрик эффективности методов

4.4 Сравнение с другими решениями

4.5 Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Список иллюстративного материала

Приложение А. Акты о внедрении

Приложение Б. Тексты публикаций

Введение диссертации (часть автореферата) на тему «Методы выявления сложных атак на основании данных систем обнаружения вторжений»

Реферат

Общая характеристика диссертации Актуальность темы исследования. На сегодняшний день системы обнаружения вторжений (Intrusion Detection Systems, IDS) стали важной частью систем защиты организаций. Они позволяют выявить атаки, проводимые на активы организации, основываясь как на сетевом трафике, так и на данных о событиях, происходящих на конечных узлах. Подобные решения становятся все более востребованными на фоне роста доли целевых кибератак (Рисунок 1) и увеличения сложности информационной инфраструктуры организаций.

1.0 -г-

2017 2018 2019 2020 2021

Год

Рисунок 1

- Доля целевых кибератак по данным Positive Technologies, 20172021 гг.

Несмотря на значительное развитие технологий и методов систем обнаружения вторжений, во многих решениях все еще остаются нерешенные проблемы. Принцип работы большинства IDS строится на выявлении соответствия известного шаблона атаки и произошедшего в контролируемом потоке данных события. Таким образом, результатом работы системы является подгруппа событий, признанных атаками, вместе с описанием правил, по которым произошло обнаружение.

Подобный подход приводит к следующим ограничениям работы современных IDS:

1. Высокая доля ложноположительных срабатываний. Из-за большого количества ложноположительных сигналов тревоги (alert), специалисты, работающие с системой, сталкиваются с явлением усталости от тревог (alert fatigue), повышающим вероятность пропуска аналитиком событий реальной атаки.

2. Отсутствие части сведений об атаках. Поскольку не все этапы атаки удается выявить, реконструкция последовательности действий при расследовании усложняется, а выявление самого факта атаки может быть существенно отдалено во времени от фактического времени проведения атаки.

3. Дублирование событий в сложных системах. Если поток событий проходит через несколько сенсоров, то одно действие атакующего может привести к появлению множественных сигналов тревоги.

4. Гетерогенность предоставляемой информации. События, собираемые различными системами, а также события из разных источников могут иметь различную внутреннюю структуру, что приводит к усложнению анализа.

5. Большое количество низкоуровневых сведений, которые могут не требоваться для анализа.

6. Отсутствие связей между событиями. Это приводит к усложнению для аналитиков восстановления хода атаки и понимания глубины проникновения злоумышленника в инфраструктуру.

Совокупность представленных выше проблем приводит к тому, что для работы с событиями, полученными в результате работы IDS, требуется привлечение большого числа квалифицированных специалистов, обладающих данными об атаках. При этом, они не могут работать длительное время без существенного снижения эффективности.

Для решения этих и ряда других проблем применяются системы поиска взаимосвязи сигналов тревоги (alert correlation systems). Эти системы могут быть направлены на достижение следующих целей:

- Нормализация событий

- Агрегация событий

- Поиск взаимосвязи событий

- Уменьшение доли ложных срабатываний

- Анализ стратегии атаки

- Приоритизация событий

Данная работа посвящена снижению влияния одной из описанных выше проблем, а именно, проблемы отсутствия связей между событиями. Решение основано на методах кластеризации. Предлагаемое в работе решение направлено на выявление событий сложной атаки, проводимой одним атакующим.

Работа выполняется впервые.

Степень разработанности темы. Разработка и совершенствование методов поиска взаимосвязи сигналов тревоги в целом и выявления сложных атак в частности является перспективным направлением исследований. Об этом свидетельствуют исследования таких ученых, как Котенко И.В., Федорченко А.В., Ning P., Ghorbani A. и других.

Компоненты, направленные на решение научно-технической задачи данной работы, реализуются в продуктах разработчиков программного обеспечения, таких как Positive Technologies и TrendMicro.

Целью диссертационной работы является улучшение показателей выявления сложных атак по данным систем обнаружения вторжений путем повышения характеристик однородности (homogeneity) и полноты (completeness) кластеризации.

Для достижения цели были поставлены и решены следующие частные задачи:

Задача 1 - создать модель сложной атаки, основанную на современных техниках, тактиках и процедурах атакующих.

Задача 2 - провести анализ существующих подходов к поиску взаимосвязи между сигналами тревоги, выявить преимущества и недостатки этих подходов, оценить их применимость в решении задачи выявления сложных атак.

Задача 3 - разработать методы выявления сложных атак.

Задача 4 - разработать программную модель и провести экспериментальную проверку результатов работы предложенных методов, выявить преимущества и недостатки полученных методов по сравнению с существующими, а также условия и границы применения.

Методы исследования. Для решения поставленных задач в диссертации применялись методы кластеризации, системного анализа, теории информационной безопасности, экспериментальный метод, обобщение передового опыта и анализ существующей практики.

Основные положения, выносимые на защиту:

1. Метод выявления сложных атак и действий групп атакующих на основании анализа полезной нагрузки на примере протокола HTTP.

2. Метод выявления сложных атак и объединения событий в метасобытия на основании атрибутов и правил.

3. Метод выявления сложных атак из метасобытий на основании взвешенного расстояния.

Научная новизна диссертации отражена в следующих пунктах:

1. Разработан новый метод выявления сложных атак и действий групп атакующих, отличающийся от существующих использованием алгоритма TF-IDF для выявления артефактов нагрузки и высоким показателем однородности получаемой кластеризации.

2. Разработан новый метод выявления сложных атак и объединения событий в метасобытия, основанный на атрибутах, правилах и временных окнах, отличающийся от существующих методов использованием и экспериментальным поиском значений временных окон в условиях проведения нескольких сложных атак параллельно и высоким показателем однородности и полноты получаемой кластеризации.

3. Разработан новый метод выявления сложных атак, основанный на взвешенном расстоянии между метасобытиями, отличающийся от известных методов подходом к поиску весов свойств событий и высоким показателем однородности и полноты получаемой кластеризации.

Научно-техническая задача, решаемая в диссертации, заключается в разработке методов выявления сложных атак на основании данных систем обнаружения вторжений.

Объектом исследования являются сигналы тревоги, получаемые в результате работы систем обнаружения вторжений, и их связь с сложными атаками.

Предметом исследования являются методы выявления сложных атак, а также модель и особенности таких атак.

Теоретическая и практическая значимость работы состоит в

совершенствовании существующих методов выявления сложных атак по данным систем обнаружения вторжений.

Результаты исследований могут использоваться аналитиками безопасности организаций, форензиологами, специалистами по изучению угроз для решения проблем восстановления хода сложной атаки, атрибуции атак, исследования техник, тактик и процедур атакующих.

Достоверность научных достижений обеспечивается опорой на существующий методологический аппарат в области исследования и результаты других исследователей; использованием апробированных экспериментальных и аналитических методов, системного анализа, методов кластеризации; представлением результатов работы в рецензируемых изданиях и выступлением на отечественных и международных конференциях по тематике исследования. Полученные результаты не противоречат результатам, полученным другими авторами.

Внедрение результатов работы. Результаты диссертационной работы использовались в рамках проведения прикладных научных работ в федеральном государственном автономном образовательном учреждение высшего образования «Национальный исследовательский университет ИТМО»:

- НИР № 221068 «Разработка методов совместной передачи квантовых и информационных каналов в одном оптическом волокне»;

- НИР № 221063 «Разработка и создание системы квантовой коммуникации на непрерывных переменных»;

- НИР № 321315 «Технологии сильного искусственного интеллекта в промышленности»;

- НИР № 620164 «Методы искусственного интеллекта для киберфизических систем»;

- НИР № 619296 «Разработка методов создания и внедрения киберфизических систем».

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- IX, X, XI, XII Всероссийский конгресс молодых ученых (КМУ), 2020-2023 гг.;

- IL, L, LI, LII Научная и Учебно-Методическая конференция 1111С, 20202023 гг.;

- 30th Conference of Open Innovations Association FRUCT, 2021 г.;

- 20th International Conference on Next Generation Wired/Wireless Advanced Networks and Systems NEW2AN, 2020 г.

Личный вклад автора. Во всех результатах, изложенных в диссертации, автору принадлежит основная роль. Автор лично участвовал в отборе исходных данных, проведении научных экспериментов, апробации результатов исследования. Разработанные методы были лично реализованы автором в виде программного комплекса. Постановка цели и задач, проработка планов исследований и анализ полученных результатов, а также выводы, выполнены автором совместно с научным руководителем.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав и заключения, списка литературы. Объем работы составляет 152 страницы, 13 рисунков, 15 таблиц, а также 2 приложения на 39 страницах. Список литературы содержит 84 наименования.

Публикации. Результаты исследований по теме диссертации опубликованы в 8 статьях, из них 3 публикации в изданиях, рецензируемых Scopus, 2 публикации в журналах из перечня ВАК. Получено свидетельство о государственной регистрации программы для ЭВМ.

Заключение диссертации по теме «Другие cпециальности», Павлов Артем Валерьевич

Заключение

Предложен метод выявления групп атакующих на основании токенизации данных нагрузки HTTP и применения алгоритма TF-IDF. Показано, что высокая эффективность работы метода достигается при использовании DBSCAN в качестве метода кластеризации. Улучшить результат кластеризации возможно объединив полученные кластеры с кластерами других методов с высоким показателем однородности.

Предложенный метод может быть применен при выделении групп атакующих при анализе других текстовых протоколов, таких как FTP или LDAP. Отметим, что значение регулярного выражения, применяемого для токенизации, требует уточнения с учетом особенностей конкретного рассматриваемого протокола. Количество и разнообразие атак, проводимых через подобные протоколы, существенно меньше, чем для HTTP. Метод также применим для анализа HTTPS-трафика, при условии настройки передачи трафика в IDS через обратный прокси или файрвол.

В рамках дальнейших исследований возможна разработка комплексного метода выявления групп атакующих, включающего предложенный, а также проверка предложенного метода на данных реальных атак.

Список литературы диссертационного исследования кандидат наук Павлов Артем Валерьевич, 2023 год

Литература

1. Hassan W. et al. NoDoze: Combatting Threat Alert Fatigue with Automated Provenance Triage // Proceedings of the 2019 Network and Distributed System Security Symposium. 2019.

2. Pavlov A., Voloshina N. Analysis of IDS Alert Correlation Techniques for Attacker Group Recognition in Distributed Systems // Lecture Notes in Computer Science. 2020. V. 12525. P. 32-42.

3. Kotenko I.. Levshun D., Zelichenok I. Systematic Literature Review of Security Event Correlation Methods // IEEE Access. 2022. V. 10. P. 43387-43420.

4. Mirheidari S.A., Arshad S., Jalili R. Alert Correlation Algorithms: A Survey and Taxonomy // Wang, G., Ray, I., Feng, D., Rajarajan, M. (eds) Cyberspace Safety and Security. 2013. Lecture Notes in Computer Science. V. 8300. Springer, Cham.

5. Navarro J., Deruyver A., Parrend P. A Systematic Survey on Multi-step Attack Detection // Computers & Security. 2018. V. 76. P. 214-249.

6. Zhan J. et al. An effective feature representation of web log data by leveraging byte pair encoding and TF-IDF // Proceedings of the ACM Turing Celebration Conference -China (ACM TURC '19). Association for Computing Machinery. 2019. Article 62, P. 1-6.

7. Gimenez C, Villegas A., Maranon G. // The HTTP dataset CSIC. 2010. http://www.isi.csic.es/dataset/

8. Qi B. et al. BotTokenizer: Exploring Network Tokens of HTTP-Based Botnet LTsing Malicious Network Traces // Chen, X., Lin, D., Yung. M. (eds) Information Security and Cryptology. Inscrypt 2017. Lecture Notes in Computer Science. 2018. V. 10726. P. 383^103.

9. Chen R.-C., Chen S.-P. Intrusion detection using a hybrid support vector machine based on entropy and TF-IDF // International journal of innovative computing, information & control: IJICIC. 2008. V. 4. P. 413-424.

10. Павлов А.В. Анализ сетевого взаимодействия современных эксплойтов // Информационные технологии. 2022. Т. 28. № 2. С. 75-80.

11. Salton G., Buckley С. Term-weighting approaches in automatic text retrieval // Information Processing & Management. 1988. V. 24.1. 5. P. 513-523.

12. Aggarwal C., Hinneburg A., Keim D On the Surprising Behavior of Distance Metrics in High Dimensional Space // Proceedings of the 8th International Conference on Database Theory. 2001. P. 420-434.

13. Muniah N. et al. A Cybersecurity Dataset Derived from the National Collegiate Penetration Testing Competition // HICSS Symposium on Cybersecurity Big Data Analytics. 2019.

14. Rosenberg A., Hirschberg J. V-Measure: A conditional entropy-based external cluster evaluation measure // Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2007. P. 410-420.

15. Shi J., Malik J. Normalized cuts and image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. V. 22. N. 8. P. 888-905.

16. Ester M. et al. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise // Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining. 1996. P. 226-231.