Алгоритм и методы защиты от пиксельных атак искажения входных данных нейронных сетей обработки изображений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Есипов Дмитрий Андреевич

• Есипов Дмитрий Андреевич
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Есипов Дмитрий Андреевич

ОГЛАВЛЕНИЕ

Реферат

Synopsis

Введение

1 Анализ предметной области

1.1 Системы, реализующие технологии искусственного интеллекта

1.2 Угрозы безопасности информации, связанные с технологиями искусственного интеллекта

1.2.1 Анализ угроз

1.3 Атаки искажения входных данных

1.3.1 Метрики расстояния

1.4 Классификация атак искажения входных данных

1.4.1 Классификация по преследуемой цели

1.4.2 Классификация по типу обрабатываемых данных

1.4.3 Классификация по задаче целевой модели

1.4.4 Классификация по характеристикам искажения

1.4.5 Классификация по знаниям атакующего о целевой модели

1.4.6 Классификация по направленности

1.4.7 Классификация по числу преобразований

1.5 Атаки на модели классификации изображений

1.5.1 Атаки обхода по модели белого ящика

1.5.2 Атаки обхода по модели черного ящика

1.5.3 Атаки обхода целевой модели с неограниченным искажением

1.6 Атаки на модели прочих задач

1.6.1 Атаки на модели детектирования объектов

1.6.2 Атаки на модели распознавания лиц

1.7 Методы противодействия атакам посредством искажения входных данных

1.7.1 Классификация методов

1.7.2 Методы модификации целевой модели

1.7.3 Методы модификации целевой системы

1.7.4 Методы предобработки или изменения входных данных

1.7.5 Методы внесения случайности

1.7.6 Анализ существующих методов

1.8 Методы противодействия пиксельным атакам

1.9 Возможные принципы обнаружения и устранению искажений, вносимых пиксельными атаками

1.10 Выводы по главе

2 Алгоритм предобработки изображения для обнаружения пиксельных атак искажения

2.1 Вербальное описание

2.2 Формальное описание

2.3 Выводы по главе

3 Метод обнаружения пиксельных атак обхода нейронной сети с использованием статистического анализа

3.1 Вербальное описание

3.1.1 Рассмотренные статистические характеристики

3.1.2 Алгоритмы машинного обучения для обнаружения аномалий

3.1.3 Алгоритмы машинного обучения для бинарной классификации атак

3.1.4 Алгоритмы машинного обучения для многоклассовой классификации изображений

3.2 Формальное описание

3.2.1 Метод обнаружения и классификации с использованием обнаружения аномалий

3.2.1 Метод обнаружения и классификации посредством

многоклассовой классификации

3.3 Выводы по главе

4 Метод обнаружения пиксельных атак искажения изображения и координат модифицированных элементов

4.1 Вербальное описание

4.1.1 Обнаружение факта

4.1.2 Обнаружение пикселей

4.2 Формальное описание

4.3 Выводы по главе

5 Метод восстановления изображений, искаженных пиксельными атаками

5.1 Вербальное описание

5.1.1 Алгоритм обнаружения искаженных пикселей

5.1.2 Алгоритм восстановления (закрашивания) искаженных пикселей

5.1.3 Алгоритм классификации многопиксельного искажения

5.1.4 Алгоритм обнаружения границ искаженной области

5.2 Формальное описание

5.3 Выводы по главе

6 Методика противодействия пиксельным атакам искажения входных данных на нейронные сети обработки изображений

6.1 Вербальное описание

6.1.1 Обнаружение атаки обхода

6.1.2 Обнаружение искаженных изображений в обучающей выборке

6.1.3 Восстановление входных данных

6.2 Формальное описание

6.3 Выводы по главе

Планирование эксперимента

7.1 Цели эксперимента

7.2 Условия проведения эксперимента

7.3 Входные данные (параметры)

7.3.1 Атаки

7.3.2 Данные

7.3.3 Модели

7.3.4 Программные модели предлагаемых решений

7.4 Выходные данные (параметры)

7.4.1 Проверка применимости алгоритма предобработки

7.4.2 Оценка информативности статистических характеристик для обнаружения пиксельных атак

7.4.3 Определение параметров метода обнаружения пиксельных атак обхода

7.4.4 Определение порога отсечения обнаружения пиксельной атаки

7.4.5 Определение порога отсечения для обнаружения возмущения

7.4.6 Определение параметров метода восстановления изображений

7.4.7 Проверка применимости метода восстановления изображений для нивелирования пиксельных атак

7.4.8 Оценка методики противодействия пиксельным атакам

7.5 Порядок проведения эксперимента

7.6 Анализ результатов эксперимента

7.6.1 Проверка применимости алгоритма предобработки

7.6.2 Оценка информативности статистических характеристик для обнаружения пиксельных атак

7.6.3 Определение параметров метода обнаружения пиксельных атак обхода

7.6.4 Определение порога отсечения обнаружения пиксельной атаки

7.6.5 Определение порога отсечения для обнаружения возмущения

7.6.6 Определение параметров метода восстановления изображений

7.6.7 Проверка применимости метода восстановления изображений для нивелирования пиксельных атак

7.6.8 Оценка методики противодействия пиксельным атакам

8 Эксперимент

8.1 Проверка применимости алгоритма предобработки для обнаружения пиксельной атаки и возмущения

8.2 Тестирование метода обнаружения пиксельных атак обхода нейронной сети с использованием статистического анализа

8.2.1 Оценка информативности статистических характеристик для обнаружения и классификации пиксельных атак

8.2.2 Определение параметров метода обнаружения пиксельных атак обхода - обнаружение аномалий

8.2.3 Определение параметров метода обнаружения пиксельных атак обхода - бинарная классификация

8.2.4 Определение параметров метода обнаружения пиксельных атак обхода - многоклассовая классификация

8.3 Тестирование метода обнаружения пиксельных атак искажения изображения и координат модифицированных элементов

8.3.1 Определение порога отсечения для обнаружения пиксельной атаки искажения входных данных

8.3.2 Определение порога отсечения для обнаружения искаженных при

адресации пиксельной атаки элементов изображения

8.4 Тестирование метода восстановления изображений, искаженных пиксельными атаками

8.4.1 Классификация искажения

8.4.2 Определение границ патча

8.4.3 Восстановление изображений

8.4.4 Влияние на отклик

8.5 Оценка методики противодействия пиксельным атакам искажения (модификации) входных данных нейронных сетей обработки изображений

8.6 Сравнительный анализ

8.7 Выводы по главе

Заключение

Список литературы

Тексты публикаций

Введение диссертации (часть автореферата) на тему «Алгоритм и методы защиты от пиксельных атак искажения входных данных нейронных сетей обработки изображений»

РЕФЕРАТ

Общая характеристика диссертации

Актуальность. В последние годы наблюдается интенсивное развитие и внедрение систем искусственного интеллекта и машинного обучения, что обусловлено их высокой результативностью, адаптивностью и способностью к обобщению знаний в сравнении с традиционными алгоритмическими методами обработки данных и принятия решений. Представленные системы также активно используются для обработки изображений при решении разнообразного рода задач. К ним относятся расшифровка результатов медицинских обследований, управление автономным транспортом, анализ и обработка естественного языка, контроль доступа с использованием биометрических данных и работа с видеопотоками. Помимо этого, технологии активно применяются в финансовом анализе, а также в промышленной диагностике.

Однако технологии машинного обучения и искусственного интеллекта обладают свойственными уязвимостями и создают риски для безопасности при их применении, в том числе нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта, а также модификации модели машинного обучения путем искажения («отравления») обучающих данных.

Злоумышленником могут быть реализованы подобные угрозы через модификацию обрабатываемых моделью данных. Таким образом возможно влияние на результаты работы нейронной сети или целевой системы при обработке текстовой, визуальной или звуковой информации. Чаще всего такие атаки используются для нарушения корректности обработки визуальных данных.

Атаки данного типа могут приводить к неправильной интерпретации информации нейронными сетями, что напрямую сказывается на стабильности и корректности работы систем искусственного интеллекта. В зависимости от

сферы применения такие сбои способны вызывать серьёзные последствия: от ошибочной навигации автономных транспортных средств до неправильной обработки данных в промышленных системах автоматизации. Также целенаправленные вмешательства в структуру и параметры модели машинного обучения открывают возможность управления её ответами, что позволяет злоумышленнику контролировать поведение системы. В текущей работе основной фокус направлен на анализ атак, которые эксплуатируют уязвимости при обработке визуальной информации, включая изображения и видео.

Феномен обхода моделей машинного обучения, известный как состязательная атака, впервые был продемонстрирован в 2013 году и с тех пор стал предметом интенсивных исследований в области безопасности искусственного интеллекта. Результаты последующих экспериментов показали, что функционирование нейронных сетей может быть нарушено или целенаправленно модифицировано посредством внесения специально сконструированных искажений, оптимизированных с использованием различных метрик расстояния (Ь±, Ь2, , Ь0). Выбор конкретной метрики определяет характеристики вносимого возмущения, включая его пространственное распределение, площадь и степень визуальной заметности для человека. Примечательно, что в ряде работ было продемонстрировано: успешный обход модели возможен даже при минимальном вмешательстве — например, за счет изменения значения всего одного пикселя изображения.

Ввиду актуальности угроз и соответствующих им атак, были разработаны методы защиты от них, в том числе и специализированные методы защиты от пиксельных атак искажения (модификации) входных данных на нейронные сети обработки изображений. Однако существующие методы защиты от атак искажения (модификации) входных данных на нейронные сети обработки изображений, в том числе пиксельных атак, обладают недостатками, существенно ограничивающими область их

применения. К числу наиболее характерных недостатков относятся необходимость повторного обучения или модификации уже функционирующей модели, внедрение дополнительной нейронной сети либо целых ансамблей моделей, а также снижение качества работы на легитимных (корректных) данных. Следует также отметить, что большинство известных методов ориентированы преимущественно на предотвращение обхода искусственных нейронных сетей (состязательных атак), в то время как для противодействия атакам отравления обучающей выборки условно применимы только некоторые.

Ввиду актуальности угроз нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта и модификации модели машинного обучения путем искажения («отравления») обучающих данных и реализующих их атак, методы защиты от них обладают существенными недостатками. Ввиду изложенного противоречия, имеет место необходимость в разработке решений для обнаружения пиксельных атак искажения (модификации) входных данных на нейронные сети обработки изображений и противодействия им. Исходя из специфики атак, оптимизированных по различным нормам, разработка единого метода защиты от атак затруднительна. В текущей работе рассмотрена защита от атак, оптимизированных по L0.

Степень разработанности темы. Разработка и совершенствование методов защиты от атак искажения изображений, обрабатываемых нейронными сетями, в том числе пиксельных атак, открывает перспективы для дальнейших исследований. Это подтверждают работы таких исследователей, как Сегеди С. и др., Гудфеллоу И. Дж. и др., Мадри А. и др., Карлини Н. и др., Папернот Н. и др., Су Дж. и др., Кармон Д. и др., Лоуд Д. и др., Нгуен-Сон Х. К. и др., Ван П. и др., Гроссе К. и др., Пэн Т. и др., указанная тематика широко обсуждается на таких конференциях, как IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE International Conference on Image

Processing (ICIP), IEEE/CVF International Conference on Computer Vision (ICCV), IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), International Conference on Machine Learning, International Joint Conference on Neural Networks (IJCNN), International Conference on Neural Information Processing (ICONIP) и другие.

Однако разработанные решения по защите от указанных атак позволяют организовать противодействие только в частных случаях: для конкретных видов атак, при соблюдении определенных условий. Большинство методов защиты сосредоточено на изменении самой целевой модели машинного обучения. Однако важной особенностью рассмотренных атак является искажение входных данных вышеуказанных моделей и систем, в том числе и обучающей выборки. Тогда возможно обнаружение факта атаки как наличия искажения и искаженных элементов изображения (пикселей) посредством статистического анализа указанных данных. Ориентация только на входные данные позволяет эффективно противостоять пиксельным атакам искажения изображений, при этом решение остаётся независимым от архитектуры защищаемой модели или её наличия.

Целью диссертационной работы является обнаружение пиксельных атак искажения (модификации) входных данных на нейронные сети обработки изображений и противодействие им.

Для достижения указанной цели в рамках диссертации были поставлены и решены следующие задачи:

задача 1 - анализ предметной области;

задача 2 - анализ характерных угроз безопасности машинного обучения и искусственного интеллекта и методов защиты от пиксельных атак искажения изображений;

задача 3 - разработка алгоритма предобработки изображения для обнаружения пиксельных атак искажения;

задача 4 - разработка метода обнаружения пиксельных атак обхода нейронной сети с использованием статистического анализа;

задача 5 - разработка метода обнаружения пиксельных атак обхода нейронной сети и отравления обучающих данных и координат модифицированных элементов;

задача 6 - разработка метода восстановления изображений, искаженных пиксельными атаками;

задача 7 - планирование и проведение вычислительного эксперимента и оценка результатов защиты от пиксельных атак искажения изображений;

задача 8 - сравнительный анализ полученных результатов.

Научно-техническая задача, решаемая в диссертации, заключается в выявлении закономерностей в искажениях, характерных для пиксельных атак модификации входных данных, и использовании указанных закономерностей при разработке решений по обнаружению указанных атак искажения и защите от них.

Областью исследования является обеспечение безопасности систем, реализующих технологии машинного обучения и искусственного интеллекта.

Объект исследования - атаки посредством искажения (модификации) входных данных на нейронные сети обработки изображений.

Предмет исследования - противодействие пиксельным атакам искажения (модификации) входных данных на нейронные сети обработки изображений.

Методы исследования. Для реализации целей исследования использовались как методы математической статистики и алгоритмы машинного обучения, так и теоретические подходы к статистике и защите информации.

На защиту выносятся следующие основные положения:

1. Алгоритм предобработки изображения для обнаружения пиксельных атак искажения, позволяющий вычислить оценку аномальности

элементов изображения для дальнейшего обнаружения атаки и координат искаженных пикселей.

2. Метод обнаружения пиксельных атак обхода нейронной сети с использованием статистического анализа, инвариантный относительно архитектуры защищаемой нейронной сети.

3. Метод обнаружения пиксельных атак искажения изображения и координат модифицированных элементов, позволяющий обнаруживать различные пиксельные атаки как обхода модели, так и нарушения целостности обучающей выборки.

4. Метод восстановления входных данных, искаженных пиксельными атаками, позволяющий устранять внесенное при адресации атаки искажение и восстанавливать изображение и отклик защищаемой нейронной сети.

Научную новизну диссертации составляют:

1. Алгоритм предобработки изображения для обнаружения пиксельных атак искажения, позволяющий вычислить оценку аномальности элементов изображения для дальнейшего обнаружения атаки и координат искаженных пикселей.

2. Метод обнаружения пиксельных атак обхода нейронной сети с использованием статистического анализа, инвариантный относительно архитектуры защищаемой нейронной сети.

3. Метод обнаружения пиксельных атак искажения изображения и координат модифицированных элементов, позволяющий обнаруживать различные пиксельные атаки как обхода модели, так и нарушения целостности обучающей выборки.

4. Метод восстановления входных данных, искаженных пиксельными атаками, позволяющий устранять внесенное при адресации атаки искажение и восстанавливать изображение и отклик защищаемой нейронной сети.

Теоретическая значимость результатов диссертационной" работы состоит в перспективности применения разработанных решений для обнаружения аномальных пикселей, в том числе искаженных пиксельными атаками модификации входных данных на нейронные сети обработки изображений. Полученные в рамках диссертации результаты могут быть интегрированы в образовательный процесс дисциплины «Противодействие атакам на системы искусственного интеллекта» для студентов направления подготовки 10.04.01 «Безопасность систем искусственного интеллекта».

Практическая значимость результатов диссертационной" работы состоит в возможности организации защиты от пиксельных атак искажения (модификации) входных данных и снижения влияния угроз нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта, и модификации модели машинного обучения путем искажения («отравления») обучающих данных в системах, реализующих технологии машинного обучения и искусственного интеллекта.

Достоверность полученных в текущей диссертации результатов обеспечивается систематическим сопоставлением данных, применением математических методов и использованием теоретических подходов, характерных для рассматриваемой области исследования. Ключевые выводы работы были представлены на научных конференциях и опубликованы в рецензируемых журналах.

Соответствие паспорту специальности. Работа соответствует следующим пунктам паспорта специальности 2.3.6 «Методы и системы защиты информации, информационная безопасность»:

7. Модели и методы формирования комплексов средств противодействия угрозам информационной безопасности для различного вида объектов защиты (систем, цепей поставки) вне зависимости от области их функционирования.

15. Принципы и решения (технические, математические, организационные и др.) по созданию новых и совершенствованию существующих средств защиты информации и обеспечения информационной безопасности.

Апробация работы. Основные результаты работы были представлены на следующих конференциях:

1. 52 Научная и учебно-методическая конференция Университета ИТМО;

2. Функциональная безопасность сложных технических систем на основе машинного зрения и искусственного интеллекта;

3. XII Конгресс молодых ученых

4. Безопасность информационных технологий - БИТ Санкт-Петербург 2023;

5. 53 научная и учебно-методическая конференция Университета ИТМО.

Публикации. Основные результаты по теме диссертации изложены в 4 публикациях. Из них 1 издана в журналах, рекомендованных ВАК, 3 опубликованы в изданиях, индексируемых в базе цитирования Scopus. Также имеется 1 свидетельство о государственной регистрации программ для ЭВМ и 1 учебно-методическое пособие.

В международных изданиях, индексируемых в базе данных Scopus:

1. Есипов Д. А., Бучаев, А. Я., Керимбай, А., Пузикова, Я. В., Сайдумаров, С. К., Сулименко, Н. С., Попов И.Ю., Кармановский, Н. С. Атаки на основе вредоносных возмущений на системы обработки изображений и методы защиты от них //Научно-технический вестник информационных технологий, механики и оптики. - 2023. - Т. 23. - №. 4. - С. 720-733.

2. Esipov D. A. An approach to detecting L0-optimized attacks on image processing neural networks via means of mathematical statistics //Научно-

технический вестник информационных технологий, механики и оптики. -2024. - Т. 24. - №. 3. - С. 490-499.

3. Esipov D. A., Basov M. I., Kletenkova A. D. Detection of L0-optimized attacks via anomaly scores distribution analysis //Научно-технический вестник информационных технологий, механики и оптики. - 2025. - Т. 25. - №. 1. - С. 128-139.

В изданиях из перечня ВАК РФ:

1. Есипов Д.А., Сулимено Н.С., Попов И.Ю. Метод устранения искажений, встраиваемых пиксельными атаками, с использованием математических преобразований //Безопасность информационных технологий. - 2025. - Т. 32. - №. 3. - С. 13-25.

Результат интеллектуальной деятельности (программа для ЭВМ):

1. Есипов Д.А., Клетенкова А.Д., Попов И.Ю. Программный модуль предобработки изображений для обнаружения неконвенциональных пиксельных атак. Свидетельство о государственной регистрации программы для ЭВМ № 2024611814 от 24.01.2024.

Учебно-методическое пособие:

1. Попов И.Ю., Бучаев А.Я., Есипов Д.А. Валидация систем искусственного интеллекта: Лабораторный практикум: Учебно-методическое пособие. - Санкт-Петербург: Университет ИТМО, 2024. - 36 с.

Внедрение результатов работы. Полученные в рамках диссертации результаты были интегрированы в образовательный процесс и использовались при реализации научных исследований:

- в рамках научно-исследовательской работы №53078 «Исследование и анализ атак, реализуемых с использованием методов искусственного интеллекта, и методов противодействия»;

- в рамках дисциплины «Противодействие атакам на системы искусственного интеллекта» направления подготовки 10.04.01 «Безопасность систем искусственного интеллекта».

Структура и объем работы. Диссертационная работа состоит из введения, 8 глав, заключения, списка литературы из 168 наименований, 1 приложения. Общий объем работы составляет 248 страниц, в том числе 34 рисунка и 28 таблиц.

Личный вклад автора. Результаты, изложенные в главах 2 и 4, получены автором лично. Результаты, изложенные в главах 3 и 5, получены при участии и руководстве автора. Формирование исходных данных для экспериментов, обработка и интерпретация экспериментальных данных и подготовка текстов публикаций выполнены автором лично.

Заключение диссертации по теме «Другие cпециальности», Есипов Дмитрий Андреевич

Заключение

Угрозы, связанные с атаками на основе вредоносных искажений, являются актуальными и критичными для многих систем, реализующих технологии искус-

ственного интеллекта в различных прикладных областях. В то же время недостатки и ограничения существующих методов защиты не позволяют оказывать эффективного противодействия указанным атакам. Из-за изложенною противоречия возникает необходимость улучшения существующих и разработки новых подходов к противодействию. В работе рассмотрены некоторые возможные варианты решения противоречия.

Список литературы диссертационного исследования кандидат наук Есипов Дмитрий Андреевич, 2025 год

Литература

1. Goldberg Y. A primer on neural network га odds for natural language processing II Journal of Artificial Intelligence Resear ch. 2016. V. 57. P. 345-420. htips:/,'6oi.org/10.1613/jair.49«!

2. Nassif A.B.. Shah in I., Attili I., Azzeh M.„ Shaalan K. Speech recognition using deep netiral networks: A systematic review t! ШЕЕ Access, 2019 V, 7. P. 19143-19165. hitps:.■'/dot.org.-TO.l 109/ access.2019.2896Ш

3. Almabdy S,. Eirtfaei L. Deep convolutionai neural network-based approaches for face recognition //Applied Sciences. 2019. V. 9.» 20, I' 439? hltpsy/doi.Org/10,3390/app9204397

4. Khan M.Z.. Hsrous S.. Hassan S. U„ Khan M. U. O., Iqbal R„ Mumtaz S. Deep unified model for face recognition based on convolution neural network and edge computing t! ШЁЕ Access.

2019 V, 7. p. 72623-72633. https://tfoi.org/10.1109/ accras.2019.2918275

5. Zhang Y., Shi D., Zhan X., Cao D.f Zhu K.t Li Z. Slim-ResCNN: A deep residual conventional neural network for fingerprint livtness detection // IEEE Access. 2019. V. ?, P. 91476-91437. ltttps:.;/doi. org/HU109/access.2019.2927357

6 Sarramangala DR., Kulkanu R.V. Convolutions neural networks in medical image understanding: a survey /I Evolutionary Intelligence. 2022. V. 15, N I. P. 1-22, hUps://doi.Orgh0.1007/sl2065-020-00540-3 7, Mahmood M.. A!-Khateet> В., Alwash W. A review on neural networks approach on classifying cancers it IAES International Journal of Artificial Intelligence. 2020 V. 9. N 2. P. 317-326. iittp:// doi.0rg/l 0.11591<ijai.v9.i2.pp317-326 R Singh V., Singh S., Gupta P. Real-time anomaly recognition through CCTV using neural networks // Procedia Computer Science. 2020. V. 173. P. 254 263. https://doi.org/10.! 016,iprocs.2020.06.030 9 Sever mo A.. Curio S., Barberi S.. Arena F., Pau G. Autonomous vehicles: an analysis both on their distinctiveness and the potential impact on urban transport systems // Applied Sciences. 2021, V. 11. N 8. P. 3604, https ://doi,org/10.3390/app 11083604

10. Wang L., Fan X., Chen J.. Cheng J_. Tan J., Ma X. 3D object detection based on sparse convolution neural network and feature fusion for autonomous driving in smart cities It Sustainable Cities and Society. 2020. V. 54. P. 102002. httpsv'/dni, org/10.101 (i'j,scs,2019.102002

11. Chen L., Lin S.. Lu X., Cao D„ Wu H.. Guo C„ Wang F. Y. Deep neural network based vehiele and pedestrian detection for autonomous driving: A survey I! IEEE Transactions on Intelligent Transportation Svsl.ems. 2021. V. 22. N 6. P. 3234-3246. https://doi.ora/10,1109/ tils. 2020.2993926

12 Chen P Y., Liu S. Holistic adversarial robustness of deep learning models U Proceedings of the AAAI Conference on Artificial Intelligence 2023. V. 37. N 13. P. 15411-15420. iittps://doi. org/lrt, 1 t>09/aaai ,v37 i 13.26797

13. Iluang X., Kroening D Ruan W., Shaip J., Sun Y., Thamo E„ Mill W . Yi X. A survey of safety and trustworthiness of deep neural п с works: Verification testing, adversarial attack and defence, and interpret ability ii Computer Science Review. 2020. V. 37. P. 100270. hftps://doi .tyrgfl 0.1016] .cog-ev.2020.100270

14. S2egedy C„ Zaremba W., Sutskever I , Bruna J., Erllan D., Goo die I low I., Fergus R. Intriguing properties of neural networks // arXiv. 2013. arXiv:1312!6I99. https://doi.org/I0.4S550/ arXiv.1312.6199

15. Song Y, Shu R., Kusliman N., Ermon S. Candiucting unrestricted adversarial examples with generative models // Advances in Neural Information Processing Systems. 2018. V. 31.

16. Sayghe A, Zhao J., Konstantiuoti C. Evasion attacks with adversarial deep learning against power system state estimation // proc. of the

2020 IEEE Power &. Energy Society General Meeting (PESCM). 2020. P. 1-5. https://doi.org/! G 1109/pesgm41954 2020 9281719

В дальнейшей работе предполагается реализация и проверка эффективности предложенных подходов, уточнение их ограничений и возможных областей применения Кроме того, возможно формулирование подходов для противодействия неограниченным вредоносным возмущениям.

References

I, Goldberg Y. A primer on neural network models for natural language processing. Journal of Artificial Intelligence Research, 203 6, vol. 57, pp. 345 -420. https://doi.org/10.1613/jatr.4992

2 Nassif A.B., Shahin I,, Attili I , Azzeh M., Shaalan K. Speech recognition using deep neural networks: a systematic review. IEEE Access, 2019, vol.7, pp. 19143-19165. htLps://doi.oig.'10.U09/ access, 2019,2 S96S80

3, Aimabdy 3,, Elrcfaci L. Deep convolutionai neural network-based approaches for face recognition. Applied Sciences, 20)9, vol. 9. no. 2(1, pp. 4397. hitps://doi .org/1 0.3390/app92№i397

4. Khan M.Z.. Harous S.. Hassan S. U„ Khan M. U. G„ I^bal R., Mumtaz S. Deep unified model for face recognition based on convolution neural network and edge computing.IEEEAcccss, 2019, vol. 7, pp. TM23-72633. https://doi.oig/10 1109/ac«3H,2019-291S275

5 Zhang Y„ Shi D . Zhwi X., Cao D, Zhu K.. Li Z. Siim-ResCNN: A deep residual convolutions! neural network for fingerprint liveness detection. IEEE Access. 2019, vol. 7. pp. 91476-914S7. httpS://doi. ore,' 10.1109/access.20l 9.292 7 35 7

6 Sarvamangala D R., Knlkarni R.V. Convolutions! neural networks in medical image understanding a survey. Eyoiutionary Intelligence, 2022, vol. 15, no. 1. pp. 1-22. hltps://doi org/10.1007/a 12 065-02000540-3

7, Mahmood M., Al-Khateeb B.. Alwash W. A review on neural networksapproach on classifying oncers. IAES International Journal of Artificial Intelligence, 2020. vol. 9, no. 2, pp. 317-326 http://doi. org/10.U591/ijai.v9j2.pp317-326

8. Singh V., Singh S., Gupta P. Real-time anomaly recognition through CCTV using neural networks. Pivcedia Computer Science. 2020, vol. .173, ppf254-263. https://doi.org/10.1016.iprocs.2020.06.030

9 Severino A., Curto S., Barberi S„ Arena F., Pau G Autonomous vehicles: an analysis both on their distinctiveness and Ihe potential impact on urban transport systems. Applied Sciences, 2021, vol, 11, no, 8. pp, 3604. llttps^doi,Mg/10.339O/Bppll0S36O4

10. Wang L., Fan X.. Chrai J., Cheng J., Tan J., Ma X. 3D object detection based on sparse convolution neural network and feature his ion for autonomous driving in smari cities. Sustainable Cities and Society, 2020, vol, 54, pp. 102002, hUps://doi.otg/10.1016/j.scs.2019.102002

II. Chen L„ Lin S„ Lu X.. Cao D„ Wu H„ Guo C, Wang F. Y. Deep neural network based vehicle and pedestrian detection for autonomous diiving: A survey IEEE Transactions on Intelligent Transportation Sv.!terns, 2021, vol. 22. no. 6, pp. 3234-3246. liUps://doi.org 10.1109/ tits .2020-2993926

12. Chen P Y., Liu S. Holistic adversarial robustness of deep learning models. Proceedings of the AAAI Conference on Artificial intelligence, 2023, vol. 37, no. 13. pp. 15411-15420. tlttps://doi. org'! 0.1609/aaai ,v37il 3.26797

13. Huang X., Kroening D., Ruan W., Sharp J., Sun Y., Thamo E.. Mill W, Yi X. A survey of safety and trustworthiness of deq) neural networks: Verification, testing, adversarial attack and defence, and interpreiability. Computer Science Re\veie, 2020, vol. 37-pp. 1011270, fttlps://doi .org/10.1016/j.co<s'ev.2020.100270

14. S2egcdy C, Zareinba W., Sutskever I., Bruit a J., Erhan D., Goodfellow I., Fergus R. Intriguing properties of neural networks. arXiv, 2013, arXiv:!312,6199. hltps://doi.org/10.48550/ arXtv.1312.6199

15. Song Y, Shu R.. Kustunai N., Ermon S. Constructing unrestricted adversaria! examples with generative models. Advances in Neural Itifbrmation Processing Systems, 201S, vol. 33.

16. Sayghe A.. 2hac J.. Kuttsiantinou C. Evasion attacks with adveisai ial deep learning against pow er system state esJimation. Ptvc. of the 2020 IEEE PatviT A Energy Society General Meeting (PESGh-i), 2020, pp. 1-5. https://doi.org/!0.3109/pesgm41954 2020.9281719

17. Goodfctiow I.J., Shlens J., Szegedy С. Explaining and harnessing adversarial examples // arXiv. 2014. arXiv:1412.6572 https://tlpi. org/10.48550/arXiv, 1412.6572

IS. Paul R.. Sehabath M.p Gillies R, Hal! L., Goldgof D. Mitigating adversarial attacks on medical image nnderaanding systems // Proc. of the 2020 IEEE 17,tL International Symposium on Biomedical Imaging iJSm). 2020. P. 1517-1521. https://doi.org/lG,l 109/ ist>i4 5 74 9.2020.90987-10

19. Ruzsa A., Rudd E.M., Boult Т.Е. Adversarial diversity and hard positive generation // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2016. P. 2532. https : ,'/doi, org,']0.1109/cvprw,2016.58

20. Dong Y„ Liao F„ Pwg T„ Su H., Ztiu J„ Ни X., Li J, Boosting adversarial attacks with momentum ,'/ Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 20)8 P. 91S5 -9193. https ://doi ,o rg/l 0.1109/cvpr,201 S.00957

21. Miyato Т., Maeda S I., Koyama M., Ishii S. Virtual adversaria] training: a regular! ¿at ion method for supervised and semi-supervised learning // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019. V, 41.N 8, P, 1979-1993. https://doi,oig'10.1109/ rpami.2018.2858821

22. Kurakin A., Qoodfellow t.J,. Bengio S, Adversarial examples in ihe physical W odd//Artificial Intelligence Safety and Security. Chapman and Hall/CRC, 2018. P. 99-112. https://doi. oig/10.1201/97S13512513S9-S

23. M^dry A... Makelov A., Schmidt L„ Tsipras D„ Vladu A, Towards deep I til mine models renistanl lii adversaria! attacks i! Stat. 2017, V. 1050. P. 9.

24. Xie C., Zhang Z„ Zhou Y., Bai S„ Wang J.. Ren Z.. Yutlle AX. improving transferability of adversaria! examples with input diversity H Proc. of (he IEEE/CVF Conference on Computer Vision and Pattern Recognition 2019, P, 2730-2739. https://doi.org/10.1109/ cvpr,2019,00284

25. Done X,. Hati J . Chen D., Liu J. Bian H.. Ma Z„ Li H.. Wang X, Zhang W., Yu N. Robust supeipke^gnided altcntional adversarial all act: //Proc. of the IEEE/CVF Conference on Computer Vision and Pattern. Recognition. 2020 P. 12395-12904. https://doi.BBl0.1109/ cvpr42 (500.2020.01291

26. Sriramanan G, Addcpalli S„ Baburaj A. Guided adversarial attack for evaluating and enhancing adversarial defences// Advances in Neural Information Processing Systems 2020. V 33 P 20297-20308.

27. Rony J., Hafcmann L.G., Oliveira L.S., Avetl I B., Sabouiirt R„ Granger E. Decoupling direction and norm for efficient gradient-based L2 adversarial attacks and defenses H Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019 P. 1322-1330. https://dni org/10.)109/cvpr,2019.00445

2S. Moosavi-Dezfooli S.M., Fawzi A,. Frossard P, DeepFool: a simple and accurate method to fool deep neural networks H Proc. of the ШЕЕ Conference on Computer Vision and Patleru Recognition (CVPR). 2016. P. 2574-2582. https://doi.org/10.1109/cvpr.2016.282

29. Carlini N.. Wagner D, Towards evaluating the robustness of neural networks // Proc. of the IEEE Symposium on Security and Privacy (SP). 2017. P. 39-57. https://dl)i.arg/10.1109/sp.2017.49

30. Yao Z,, Gholami A., Xu P, KeulzerK., Mahonty M. W. Trust legion based adversarial attack on neural networks //Proc of liie IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019. P. 11350-11359. https://doi, org/10. 1109/cvpr.2019.01161

31. Paperoot N.,McDaniel P., JhaS, FretkrksonM,CelikZ.B, Swami A Tlie limilationsof deep learning in adversarial settings // Proc. of the 2016ШЕЕ European Symposium on Security andPrivacy(EuroSiiiP), 2016. P. 3 72 -387. https://doi.ois/10.1109/eurosp.2016.36

32. Su J., Vargas D V., Sakurai K . One pixel attack for fooling deep neural networks // IEEE 'lYansactioris on Evolutionary Computation. 2019 V. 23. N 5. P. 828-8-11. hUpSl//doi.Mg/10.1109.1evc.2019.2890858

33. Moosavi-Dezfooli S.M., Fawzi A., fawzi O., Frossard P. Universal adversarial perturbations U Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR.). 2017. P. 17651773 https://d0i.0rg/30.1109/cvjir.2017.17

34. Brendel W.. Raubcr J,. Beilige M. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models // Advances in Reliably Evaluating and Improving Adversarial Robustness. 2021 P. 77.

35. Chen J , Jordan MX, Wainwrighl M..I. HopSkipJumpAllack: A query-efficient decision-based attack/' Proc, of the 2020 IEEE Symposium on Security and Privacy (SP). 2020. P. 1277-1294, https^/doi. org,'10.1109/sp4000Q,2020,0 004 5

17. Goodfcllow I J., Shiens J.. Szegedy C. Explaining and harnessing adversarial examples. arXiv, 2014, arXiv:1412.65~2. https:/'dot. org/10.48350/arXtv.l412.6572

18. Paul R., Sehabath M., Gillies R.. Hall L., Goldgof D. Mitigating adversarial attacks on medical image understanding systems Proc. of the 2020 IEEE 17* International Symposium on Biomedical Imaging (ISBI), 2020, pp. 1517-1521. https://doi.orgn0.1109/ i sb ¡45 719.2020.9098740

19. Rozsa A., Rudd E.M., Boult Т.Е. Adversaria! diversity and hard positive generation. Рюс. iff tía JBEE Coherence on Computer Vision and Pattern Recognition Workshops tCTERtt). 2Ú16, pp 25 32, htlps://doi,org/10,1109/cvprw.2016,58

20. Dong Y„ Liao F„ Pang Т., Su H., Zhu J„ Ни X., Li J. Boosting adversarial attacks with momentum. Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 20) 8, pp. 91S5 9193. https://(loi,org-'10.1109/cvpr,2018.00957

21. Miyato Т., Maeda SI, Koyaitia M., Ishii S. Virtual adversarial training: a regularizaron metliod for supervised and semi-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, vol. 4¡, no. S. pp. 1979-Í993. https://doi. org/10.1109/tpami.2fll 8.2858821

22. Kiirakiri A., Goodfellovv l.J,, Bengio S, Adversarial examples in the physical world. Artificial Intelligence Safety and Security. Chapman and Hall/CRC, 2018. pp. 99-112. https://doi. 0(g/l 0.1201/97813512513S9-8

23. Mqdry A.. Makelov A., Schmidl L., Tsipras D„ Vladu A. Towards deep learning models resistant to adversarial attacks. Stat, 2017, vol. 1050, pp.9.

24. Xie C. Zhang Z.. Zhou Y. Bai S.. Wang J., Ren Z„ Yuille A.L. Improving trusftr ability of athersarial examples with input, diversity, Ptrtc. of the IEEE/CVF Conference о» Computer Плои and Pattern Recognition, 2019, pp 2730-2739. https://doi.E>rg/10.1109/ cvpr .2019.00284

25. Dong X.. Han J., Chen D.. Liu J.. Bian H.. Ma Z.. Li H.. Wang X.. Zhang W., Yu N. Robust supcrpixel-guided attend anal adversarial attack, Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. pp. 1289Í-12904. https://doi.Ofg/10.lI09/ cvpr4 2600.2020.01291

26. Sriramanan G.. Addepalli S., Babuvaj Л. Gtitded adversaria! attack for evaluating and enhancing adversarial defenses. Advances in Neural Information Processing Systems, 2(120, vol 33, pp 20297-2030S.

27. Rotiy J,, Hafcmann L.G., Oliveira L.S., Aycd I B., Sabourin R.. Granger E. Decoupling direction and norm for efficient gradient-based L2 adversarial attacks and defenses. Proc.. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 4322-^1330. https://doi.Drg/101109/cvpr 2019.00445

2S. Moosavi-Dezfooli S.M.. Fawzi A., Frossard P. DeepFool: a simple and accurate method fo fool deep neural networks. Proc. of the IEEE Conference on Computer llsion and Pattern Recognition (CVPR),

2016, pp. 2574-2582. hlips://doi,OIg/10.1109/cvpr.2016.282

29. Cariini M„ Wagner D. Towards evaluating the robustness of neural networks. Proc. of the IEEE Symposium on Security and Privacy (SP),

2017, pp. 39-57. htlps://doi.org/10.1109/sp.2017.49

30. Yao Z„ Gholami A., Xu P., Keutzer K., Mafioney M. W. Trust region based adversarial attack on neural networks. Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 11350-11359. https://doi.argn0.1109/cYpr.2019.01161

31. Papemot N.. McDaniel P., Jha S., Fredrikson M., Celik Z. В., Swami A The limitations of deep learning in adversarial settings Prvc. of the 2016 IEEE European Symposium on Security and Privacy (EuroS&P). 2016, pp. 372-3S7. https://doi.org/10.1109/ eurosp.2016.36

32. Su J.. Vargas D.V., Sakurai K. One pixel attack for fooling deep neural networks. IEF.E Transactions on Evolutionary Computation, 2019, vol.23, no. 5, pp. S2S-S41. https://doi.org/10.1109/ tevc.2019.2890858

33. Moosavi-Dezfooli S.MFawíi A., Fa1^?.i O., Frossard P. Universal adversarial perturbations Proc of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 1765-1773. htt ps:/'do i. org/10,1109/cvpr.2017.17

34. Brendel W., Rauber J,. Bt&ge M. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models Advances in Reliably Evaluating and Improving Adversarial Robustness. 2021, pp. 77,

35. Chen J,, Jordan Ml. Wainwrighl M.J. HopS kip Jump Attack: Aquery-Efficient decision-based attack Рюс. of the 2020 IEEE Symposium

36. Liu Y, Moosavi-Dezfooli S.M . Frossard P A geometry-inspired decision-based attack II Proc. of the IEEE/CVF International Conference on Computer Vision (TCCV). 2019. P. 4890-4898, httpsi" doi.org; 10.3 309/iccv.2019.00499

37. Rahmati A.. Moosavi-Dezfooli, SM. Frossard P, Dai II GeoDA: a geometric framework for black-box adversarial attacks // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020, P. 8446-8-155. https://doi.org/10.ll09/ cvpr42600,2020, 008-17

38. Du J.r Zhang H, Zhou J.T-, Yang Y„ Feng J. Query-efficient met? attack to deep neural networks// Proc. ofthe International Conference on Learning Representations. 2020.

39. Li J, Ji R,. Liu K., Liu J„ Ziiong B„ Deng C„ lian Q.Projection & probability-driven black-box attack // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. P. 362-371. https://doi.oig/10.1109/cvpr42600.2020,00044

40. Li H.. Xu X,, Zhang X.. Yang S„ Li B. QEBA C'Licry-efficienl boundary-based blackbox attack /.'Proc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. P. 12211230. hUp.s://doi.org/10.1109/cvpr42600.2020.00130

-11. Cheng M„ Singh S„ Chen P., Chen P.Y.,Liu S, Hsieh C.J. San-OPT: A query-efficient hard-label adversarial attack // Proc. of the International Conference on Learning Representations. 2020.

42. Brunner T , Diehl F„ Le M.T., Knoll A. Guessing smart: Biased sampling for efficient black-bos adversarial attacks // Proc. of the IEEE/CVF International Conference on Computer Vision (iCCV) 2019. P. 4958-4966. htlps://doi.orgrI0.1109./icev.2019.00506

43. Maho T., Furon T.. Le MerrerE. SurFree: a last surrogate-free black-box attackIt Proc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021, P. 10430-10439, https://doi. org/10.1109/c vpr46437.2021.01029

44. Shi Y., Han Y., Tian Q. Polishing decision-based adversarial noise with a customized sampling //Proc. ofthe lEEE'CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020. P. 1030 103S. https://doi.org/10.1109/cvpr42600.2020.00111

45. Huang Z., Zhang T. Black-box adversarial attack with transferable model-based embedding //Proc. ofthe international Conference on Learning Representations. 2020.

46. Zhou M„ Wu I, Liu Y., Liu S.. Zhu C. DaST: Dara-free substitute U aining for adversarial attacks // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. P. 234243. httpi://doi.org/l0.1109/cvpr42600.2020.00031

47. Zou J., Pan Z., Qiu J . Liu X„ Rui T. Li W. Improving the transferability of adversarial examples with resized-di verse-inputs, diversity-ensemble and region fitting // Lecture Motes in Computer Science' 2020. V 12367. P. 563-579 https://doi.oig/10.l007/978-3-03 0-5S542-634

48. Wang X,, He K. Enhancing the transferability of adversarial attacks through variance tuning // Proc ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P 19241933. https://doi.ofg/10.1109/cvpi464i7.2021.001 %

49. Wu W., Su Y.. Lyu M.R, King I. Improving the transferability of adversarial samples with adversarial transformations // Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. P. 9024-9033. https://doi.org/10.n09/ cvpi'4643 7,2021,00891

50. Hosseini H., Poovendran R. Semantic adversarial examples It Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2018. P. 1614-1619. Iittps^/doi. org.'10.1109/e vprw.201S.00212

51. Engstrom L.. Tran B.. Tsipras D„ Schmidt L.. Madry A. A rotation and a translation suffice: Fooling enns with simple transformations [3jtckrpoHKMs pecypc], URL: https://optnreview.iieL/ fonim?id=BJfvkiiCi]FQ Cam oOpattteHHH: 29.05 2023).

52. Joshi A,. Mukherjee A., Sarkar S., Hegde C. Semantic adversarial attacks: Paramctric transformations that fool deep classifiers //Proc. ofthe IEEE/CVF International Conference on Computer Vision (ICCV). 2019 P. 4773-4783 htlps://doi org/10 1109/iccv.2019.00487

53. Liu A.. Wang Ji.. Liu X.. CaoB., Zhang C, Yu H. Bias-based universal adversarial patch attack for automatic check-out II Lecture Notes in Computer Science, 2020. V. 12358. P. 395-410, https://doi, Oig/10.1007/978-3-030-58501 -024

54. Swathi P., Sk S DeepEnke creation and detection: A suivey !! Proc of the 2021 Thirdltitemalional Conference on Inventive Research in Computing Applications (ICIRCA). 2021, P. 584-588. https://doi. org/10.1109/icirca5153 2.202 i .9544 522

on Security and Prnaiv (SP), 2020, pp. 1277-1294. https://doi Org/10.1109/Sp40000.2020.00045

36. Liu Y, Moosavi-Dezfooli S.M., Frossard P. A geometry-inspired decision-based attack. Pmc. of the IEEE/CVF Internationa! Conference on Computer Vision (ICCV), 2019, pp. 4890-1898. https://doi.Oig/10.1109fccv.2019.00499

37. Rahmati A , Moosavi-Dezfooli, SM„ Frossard P., Dai H. GeoDA: a geometric framework for black-box adversarial attacks. Proc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. S446-S455. https://doi.Org/10.l 109/ cvpj-42600-2020 00847

38. Du J, Zhang H.. Zhou J.T., Yang Y., Feng J. Query-efficient meta attack to deep neural networks. Prvc, of the International Conference on Learning Representations, 2020,

39. Li J., Ji R., Liu H., Liu J„ Zhong B . Deng C., Tian Q. Projection & probability-driven black-box attack. Proc. ofthe IEEE/CVF Conference on Computer lesion and Pattern Recognition {CVPR), 2020, pp. 362-371, https://itoi.org/l0.ll09/cvpr42600.2020.00044

40. Li H., Xu X., Zhang X., Yang S., Li B. QEBA: Query-efficient boundary-based blackbox attack. Pmc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 1221-1230. https://d0t.0rg/l 0.1109/cvpr426G0.2020.00130

41 Cheng M., Singh S., Chen P., Chen P.Y.l.iu S, Hsieh C.J. Sign OPT: A query-efficient hard-label adversaria! attack. Proc. of the International Conference on Learning Representations, 2020,

■12. Brumier T, Diehl F., Le M.T., Knoll A. Guessing smart: Biased sampling for efficient black-box adversarial attacks. Proc. ofthe IEEE/CVF International Conference on Computer Vision (ICCV), 2019. pp. 4958 -496*5. hUps://doi org'l0.1109/iccv.2Gl9.00506

43. Maho T,. Furoti T , Le Mcrrcr E, SurFree: a fast suiTogatc-frce blackbox attack. Pi-or. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 10430-30439. hltps:// doi org/10,11 09/evpr46437.2021.01029

44 Shi Y, Han Y, Tian Q, Polishing dec is ion-based adversarial noise with a customized sampling. Pmc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 10301038. https://itoi.org/10.1109/cvpr42600.2020.00111

45 Huang Z,. Zhang T. Black-box adversarial attack with transferable model-based embedding. Proc. ofthe International Conference on Learning Represe ntations, 2020.

46. Zhou M, Wu J., Liu Y-, Liu S., Zhu C. DaST: Data-tree substitute training for adversarial attacks. Pmc. ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. pp. 234243. https:'/doi.M^/10.1109/cvpr42600.2020.00031

47. Zou J., Pan Z., Qiu J., Liu X., Rui T„ Li W Improving the transferability of adversarial examples with resized-diverse-inpuls, diversity-ensemble and region fitting, Lectuiv Notes in Computer Science, 2020. vol. 12367. pp. 5S3-579. https://doi.arg/10.1007/978-3-030-58542-6_34

48. Wang X , He K. Enhancing the transferability of adversarial attacks through variance tuning. Proc, ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 1924

1933. hltps:/,doi.org/10.1109/cvpr46437 2021.00196

49. Wu W , Su Y-, Lyu M R, King I. Improving the transferability of adversarial samples with adversarial transformations. Proc. of the lEEE'CVp Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp 9024-9033. https://doi.org/10.ll09/ cvpr46437.2021.00891

50. Hosseini H., Poovendran R. Semantic adversarial examples. Proc. of I he IBEE'CVF Conference on Computer Vision and Pattern Recognition Workshop; (CVPRW), 201S, pp. 1614 lS19.https://doi. org/10.1109/cvprw.2018.00212

51. Engstrom L., Tran B., Tsipras D., Schmidt L., Madi y A. A rotation and a translation suffice: Fooling ctms nitii simple transformations Available at: https://opettreview.net/forum7id -BJfvktiCciFQ (accessed: 29.05.2023),

52. Joshi A., Mukherjee A.. Sarkar S., Hegde C. Semantic adversarial attacks: Parametric transformations that fool deep classifiers Pioc. of the IEEE/CVF International Conferem e on Computer Vision (.ICCl). 2019, pp, 4773-4783. https://doi.orga0.1109/iccv.2019.00487

53. Liu A., Wang J,. Liu X., Cao B„ Zhang C.YuH. Bias-based universal adversarial patch attack for automatic check-out.. lecture Notes in Computer Sciencet 2020, vol. 12358, pp. 395-410. https://doi. Olg'10.1007/978-3-030-58603 -0..24

54. Swathi P., Sk S. DeepFake creation and detection: A atrvey. Proc. of the 2021 Third International Conference on Imentive Research in

55. ChadhaA., Kumar V., Kadiyap S., Gupta M. Deeptake: Ли Overview И Lecture Notes in Networks and Systems. 2021. V. 203. P. 557-566. https://dt>i.Oig/101007/978-981-16-073 3-2 39

56. Nakka K.K., Salzmanu M. Indirect local attacks for context-aware semantic segmentation networks // Lecture Notes in Computer Science. 2020. V. 12350. P. 611-628. https;//<Joi.oi^l0.1007/978-3-030-58558-7J б

57. He Y., Rahimian S., Schiele В.. Frit;; M. Segmentations-leak: Membership inference attacks and defenses in semantic image segmentation // Lecture Notes in Computer Science 2020 V. 12368 P. 519- 535, httpS://doiOrg/10.1007Я78-3-030-58592-1_31

58. Choi J.H. Zh ajt.g H., Kim J.H., H si eh C.J., Lee J.S. Evaluating robustness of deep image super-resolution against adversarial attacks // Proc. of the IEEE/CVF International Conference on CompuLer Vision (ICCV). 2019. P. 303 -31 !. https://doi.org/10.1109/ iccv.2019.00039

59. Jiang L., Ma X, Chen S., Bailey J., Jiang YG. Black-box adversarial attacks on video recognition models // Proc. of the 27th ACM International Conference on Multimedia. 2019. P. 864-872. https:/-' doÍ.orgÜ0.1145/3343031.3351088

60. Li S.. Aich A., Zliu S., Asif S,, Song C., Roy-Chowdhury A.. Krishnamurlhy S. Adversarial attacks on black box video classifiers: Leveraging the power of geometric tiansfOiTuititniS // Advances in Neural Information Processing Systems 2021. V. 34. P 2085-2096.

61. Chen X., Li S.. Huang H Adversarial attack and defense on deep neural network-based voice processing systems: An overview // Applied Sciences. 2021. V. 11. N IS. P. 8450.https://doi.orgyi03390/ appl 1188450

62. Kwon H.. Kim Y., Yoon H,. Choi D. Selective audio adversarial example in evasion attack on speech recognition system U IEEE Transactions on Inform ai ion Forensics and Security. 2020. V. 15. P. 526-538. https://doi.org,'10.1109l/ti6.2019.2925452

63. UsamaM, Qayyum A,. Qadiv J,, Al-Fuqalia A. Black-box adversarial machine learning attack on network traffic classification I' Proc, of the 15th International Wireless Communications & Mobile Computing Conference (IWCMC). 2019. P 84-89. https://doi.org/10.1109/ iwcmc.2019.8766505

64. Imam N.H., Vassilakis \'.G. A survey of attacks against twitter spam detectors in an adversarial environment // Robotics. 2019. V. S. N 3. P. 50. hllpS ;//doi .Cxg/10,3390/roboti cs803 0050

65. Zhong H., Liao С., Squicciarmi AC., Zhu S, Miller D. Backdoor embedding in с (involutional neural network models via invisible perturbation // Proc, of the Tenth ACM Conference on Data and Application Security and Privacy. 2020 P. 97-108. blips:/7doi org/10.1145/3374664.33 7 5 751

66. Liu X., Yang H., Liu Z., Song I. , Li H., Chen Y Dpatch: An adversarial patch attack on object detectors // arXiv. 201S, arXiv:1806.G2299. littps:<7doi.org'l0.48550/arXiv.l 806.02299

67. Liu Y,, Ma X , Bailey J., Lu F. Reflection backdoor: A natural backdoor attack on deep neural networks ii Lecture Notes in Computer Science, 2020. V, 12355. P. 182-199. https://doi. org/10.1007/97S-3- Û30-5S60 7-2_ 11

68. Nguyen A., ITan A. WaNet - imperceptible warping-basedbackdoor attack // Proc. of the International Conference on Learning Representations. 2021.

69. Костюмов В.В. Обзор и систематизация атак уклонением па модели компьютерного зрения // International Journal of Open Information Technologies. 2022. T. 10. № 10. C. 11-20.

70. Papemot N, McDaniel P.. Wu X., Jha S, Swami A Distillation as a defense to adversarial perturbations again S deep neural networks // Proc. of the 2016 IEEE Symposium on Security and Privacy (BP) 2016 P 582-597. https://doi.org/10.1109/sp 2016 41

71. Steihang T The conjugate gradient metfiod and tinst regions in large scale optimization t! SLAM Journal on Numerical Analysis. 19S3. V. 20. N 3. P. 626-637. https://doi.arg/10.1137/0720042

72. Curtis A.R.. Powell M.J.D.. Reíd JJÍ. On the estimation of sparse Jacobian matrices //IMA Journal of Applied Mathematics. 1974. V. 13. N 1. P. 117-120 https://doi.oig/10.1093/imamat/í3.1.Il 7

73. Niebur E, Saliency map // Scholaipedia. 2007. V. 2, N S. C. 2675. https://doi.oig/10.4249/scliolaipediB.2675

74. Das S.. Suganthan P.N. Differential evolution: A survey of the state-of-the-art // IEEE Transactions on Evolutionary Computation. 2011 V. 15. N 1. P. 4-31. htlps:í7doi.org/í0.1109/1 eve. 2010.2059031

75. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A deep convolutions! encoder-decoder architecture for image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence.

Computing Applications {1C1RCA.), 2021, pp 5S4-5SS. https://doi oig/10.1109/ ¡circs 51532.2021.9544522

55. Chadha A., Kumar V, Kashyap 5., Gupta M. Detpfiike: An Overview, Lecture Notes in Networks atid Systems, 2021, vol. 203, pp. 557-566. https/í'doi.oíg/l 0.1007/978-981-16-0733-2 39

56. Nakka K.K., Saizmattn M. Indirect local attacks for context-aware semantic segmentation networks, Lecture Notes in Computer Science, 2020, vol. 12350. pp. 611-628. htlps:/.'doi.org/10.1007/978-3-030-58558-7J36

57. He Y., Rahimian S , Schiele Er, Fritz M. Segmentations-leak: Membership inference attacks and defenses in semantic image segmentation. Lectune Notes in Computer Science, 2020, vol. 12368, pp. 519-535. https://doi.orgn 0.1007/978-3-030-58592-1 JI

58. Choi J.H. Zhang H., Kin: J.H.. llsieh C.J., Lee J.S. Evaluating robustness of deep image super-resolution against adversaria! attacks Proc. of the IEEE/CVF International Conference on Computer Vision (.ICCVh 2019, pp. 303-311 . https://tloi.org/10.ll09/ iccv.2019.00039

59. Jiang L., Ma X„ Chen S., Bailey J, Jiang YG. Black-box adversarial attacks on video recognition models. Proc. of the 27th ACM International Conference on Multimedia, 2019, pp. 864- 872. Ilttps:// doi.org/10.1145/3343031.3351088

60. 1.1 S„ Aich A„ zhu S.. As if S., Song C„ Roy-Chowdhury A., Krishnamurlhy S. Adversarial attacks on black box video classifiers: Leveraging the power of geometric transformations Advances in Neural Information Processing Systems, 2021, vol, 34, pp. 20852096,

63. Chen X., Li S , Huang H. Adversarial attack and defense on deep neural network-based voice processing sy genis fin overview. Applied Sciences, 2021, vol. 11, no, 18. pp. 8450, https://dai.wg/10.3390/ appl 1188*150

62. Kwon H., Kim Y, Yoon H.. Choi D. Selective audio adversarial example in evasion attack on speech recognition system, IEEE Transac tions on Information Forensics and Security. 2020, vol- 15. pp. 526-53S. https://doi.org/10.1109/tifs.2019J2925452

63. flsama M., Qayyum A,, Qadir I, Al-Fuqaha A. Black-box adversarial machine learning attack on network traffic classification fttw, of the IS1* International Wireless Communications A Mobile Computing Conference (IWCMC), 2019, pp. 84-89. https://'doi,org/l 0.1309/ iwcmc.2019.8766505

64. Imam N.H., Vassilakis V.G. A survey of attacks against twitter spam detector in an adversarial environment. Robotics, 2019. vol. 8. no. 3. pp, 50. htfps://doi.org/10,3390/roboticsS030050

65. Zhong H., I.iao C., Squicciarini A.C., Zhu S., Miüer D. Backdoor embedding in «involutional neural network models via invisible perturbation. Proc of the Tenth ACM Conference on Data and Application Security and Privacy. 2020. pp, 97 -108. hltps://doi, org/10.1145/3374664.3375751

66. Liu X., Yang H,, Liu Z., Sung L,, Li II , Chen Y, Dpatch: An adversarial patch attack on object detectors. arXi\\ 2018, arXiv: 180602299- https:,7doi.or^l0.4S550/arXiv.lS06.02299

67. Liu Y,, Ma X., Bailey J., Lu F. Reflection backdoor: A natural backdoor atiack on deep neural networks Lecture Notes in Computer Science, 2020, vol. 12355, pp. 182-199. https://d0i.0rg/l0.1007/978-3-030-58607-2_ll

68. Nguyen A.. Tran A. WaNet - imperceptible warping-based backdoor attack, Proc. of the International Conference on Learning Representations, 2021.

69. Koslyumov V. A Survey and syslematizalioii of evasion attacks in computer vision, International Journal of Open Information Technologies. 2022. vol, 10, no. 10, pp, 11-20. (iti Russian)

70. I'apemot N., McDaniel P., Wu X., Jha S, Swami A Distillation as a defense to adversaria] perturbations against deep neural networks, Proc. of the 2016 IF, EE Symposium on Security and Privacy (SP), 2016, pp. 582-597.https://doi.org/10.H09/5p.2016.41

71. SteihaugT. The conjugate gradient method and trust regions in large scale optimization. SIAM Journal on Numerical Analysis, 1983, vol. 20, no. 3, pp. 626-637. https://doi.org/30.] 137/0720042

72. Clin is A.R., Powell M.J.D.. Reid JJi. On the estimation of sparse Jacobian matrices. IMA Jo urnal of A pplied Mat hematic i, 1974, vol. 13.110, l.pp. 117-120.https://doi.afg/10.1093'imamall3.1.117

73. Niebur E Saliency map Sciiolarpedia, 2007, vol 2, no. 8, pp. 2675. https://doi.oig/10,4249/sdiolarpedia.2675

74. Das S., Snganthan P.N. Diffeiential evolution: A survey of the state-of-the-art. IEEE Transactions on Evolutionary Computation. 2011. vol. 15, no. 1, pp. 4-31. htlps://doi.org/l0.1109/tevc.2010 2059031

2017. V. 39. N 12. P. 2481-2495. https://doi.org/10.U09/ tpami.2016.2644615

76. Lowd D.. Meek C. Adversarial learning Proc. of the Eleventh ACM SIGKDD International Conference on Knowledge Discovery' in Data Mining. 2005. P. 641 647. https:/doi.org 10.1145 1081870.1081950

77. Xu W.. Evans D.. Qi Y. Feature squeezing: Detecting adversarial examples in deep neural networks // Proc. of the 2018 Network and Distributed System Security Symposium (NDSS). 2018.

78. Liao F., Liang M.. Dong Y., Pang T., Hu X.. Zhu J. Defense against adversarial attacks using high-level representation guided denoiser // Proc. of the 2018 IEEE/CVF Conference on Computer Vision and Panern Recognition. 2018. P. 1778-1787. https://doi.org/10.1109/ cvpr.2018.00191

79. Zhang D., Ye M.. Gong C.. Zhu Z.. Liu Q. Black-box certification with randomized smoothing: A functional optimization based framework // Advances in Neural Information Processing Systems. 2020. V. 33. P. 2316 2326.

80. Fischer M.. Baader M., Vechev M. Certified defense to image transformations via randomized smoothing // Advances in Neural Information Processing Systems. 2020. V. 33. P. 8404 8417.

81. Yang R„ Chen X.Q., Cao T.J. APE-GAN++: .An improved APE-GAN to eliminate adversarial perturbations // IAENG International Journal of Computer Science. 2021. V. 48. N 3. P. 827-844.

82. Glenn T.C., Zare A., Gader P.D. Bayesian fuzzy clustering // IEEE Transactions on Fuzzy Systems. 2015. V. 23. N 5. P. 1545-1561. https://doi.org/10.1109 tfuzz.2014.2370676

83. Plackett R.L. Karl Pearson and the chi-squared test // International Statistical Review / Revue Internationale de Statistique. 1983. V. 51. N 1. P. 59-72. https://doi.org/10.2307 1402731

84. McLachkm G.J. Mahalanohis distance // Resonance. 1999. V. 4. N 6. P. 20-26. https: doi.org 10.1007. BF02834632

75. Badrinaravanan V., Kendall A., Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017, vol. 39. no. 12. pp. 2481 2495. https://doi.org 10.1109/ tpami.2016.2644615

76. Lowd D.. Meek C. Adversarial learning. Proc. of the Eleventh ACM SIGKDD International Conference on Knowledge Discover}' in Data Mining. 2005, pp. 641-647. https://doi.org/10.1145/1081870.1081950

77. Xu W.. Evans D.. Qi Y. Feature squeezing: Detecting adversarial examples in deep neural networks. Proc. of the 2018 Network and Distributed System Security Symposium (NDSS), 2018.

78. Liao F.. Liang M., Dong Y. Pang T., Hu X., Zhu J. Defense against adversarial attacks using high-level representation guided denoiser. Proc. of the 2018 lEEE'CVF Conference on Computer Vision and Pattern Recognition. 2018. pp. 1778-1787. https://doi.org 10.1109/ cvpr.2018.00191

79. Zhang D., Ye M„ Gong C\, Zhu Z., Liu Q. Black-box certification with randomized smoothing: A functional optimization based framework. Advances in Neural Information Processing Systems. 2020, vol. 33, pp. 2316-2326.

80. Fischer M„ Baader M., Vechev M. Certified defense to image transformations via randomized smoothing. Advances in Neural Information Processing Systems. 2020, vol. 33. pp. 8404-8417.

81. Yang R.. Chen X.Q.. Cao T.J. APE-GAN++: .An improv ed APE-GAN to eliminate adversarial perturbations. IAENG International Journal of Computer Science, 2021, vol. 48, no. 3. pp. 827-844.

82. Glenn T.C., Zare A., Gader P.D. Bayesian fuzzy clustering. IEEE Transactions on Ficzy Systems. 2015, vol. 23.no. 5. pp. 1545-1561. https: doi.org 10.1109 tfuzz.2014.2370676

83. Plackett R.L. Karl Pearson and the chi-squared test. International Statistical Review / Revue Internationale de Statistique. 1983, vol. 51, no. 1. pp. 59 72. https://doi.org/10.2307.T402731

84. McLachlan G.J. Mahalanobis distance. Resonance. 1999, vol. 4. no. 6. pp. 20 26. https:7doi.org/10.1007/BF02834632