Устойчивость моделей глубокого обучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Корж Дмитрий Сергеевич

• Корж Дмитрий Сергеевич
• кандидат наук
• 2026

Оглавление диссертации кандидат наук Корж Дмитрий Сергеевич

Введение

Глава 1. Сертифицируемая устойчивость к разрешимым

семантическим преобразованиям

1.1 Введение

1.2 Обзор литературы

1.3 Предлагаемый метод

1.3.1 Предварительные сведения

1.3.2 Сертификация к семантическим преобразованиям через случайное сглаживание

1.3.3 Гарантии устойчивости

1.4 Численный анализ

1.4.1 Ограничение производной по направлению

1.4.2 Оценка плотности

1.5 Эксперименты

1.6 Ограничения

1.7 Заключение и направления дальнейших исследований

Глава 2. Сертификация моделей автоматической

идентификации диктора

2.1 Введение

2.2 Обзор литературы

2.2.1 Распознавание диктора

2.2.2 Состязательные атаки

2.2.3 Эмпирические и сертифицированные методы защиты

2.3 Методология

2.3.1 Распознавание диктора как задача обучения при малом числе примеров

2.3.2 Постановка задачи сертификации векторных функций

2.4 Детали реализации

2.5 Эксперименты

2.5.1 Используемые датасеты

2.5.2 Протокол оценки

2.6 Результаты и обсуждение

2.7 Заключение и направления дальнейших исследований

Глава 3. Эмпирическая устойчивость речевых моделей:

обеспечение конфиденциальности диктора и защита

от фальсификации голоса

3.1 Универсальные состязательные возмущения для обеспечения устойчивой приватности диктора

3.1.1 Введение

3.1.2 Обзор литературы

3.1.3 Методология

3.1.4 Постановка экспериментов

3.1.5 Результаты и обсуждение

3.1.6 Заключение и направления дальнейших исследований

3.2 Улучшение методов голосового антиспуфинга

3.2.1 Обзор литературы

3.2.2 Предварительные сведения

3.2.3 Архитектура модели

3.2.4 Эксперименты и результаты

3.2.5 Заключение и направления будущих исследований

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Сертификация к разрешимым семантическим

возмущениям. Доказательства и

дополнительные замечания

А.1 Доказательства

А.2 Пример оценки сертифицированного радиуса устойчивости

А.3 Дополнительные эксперименты

А.4 Анализ ошибок численных методов

А.5 Дополнительное обсуждение

Приложение Б. Сертификация систем идентификации диктора

Б.1 Дополнительные эксперименты

Приложение В. Эмпирическая устойчивость речевых и

языковых моделей

136

Введение диссертации (часть автореферата) на тему «Устойчивость моделей глубокого обучения»

Введение

Актуальность и обоснование исследования. Модели глубокого обучения (Deep Learning, DL) за короткое время радикально преобразовали не только академическую науку, превзойдя классические методы машинного обучения (Machine Learning, ML) [1; 2], но и множество прикладных сфер, и этот процесс продолжается. Дискриминативные нейронные сети, такие как сверточные классификаторы [3—5], продемонстрировали выдающуюся эффективность во множестве областей и задач - от медицинской диагностики [6], систем распознавания лиц и диктора [7; 8], обработки текста [9] и распознавания речи [10] до цифрового сельского хозяйства - и проложили путь к решению ранее недостижимых задач, таких как автономное вождение [11]. Одновременно бурно развиваются генеративные модели [12—15], способные создавать изображения и аудиозаписи, практически неотличимые от реальных. Особое место занимают большие языковые модели (Large Language Models, LLM) [16; 17] и мультимо-дальные LLM [18], которые уже способны рассуждать и решать практические задачи, включая программирование, и становятся основным инструментом для поиска, анализа и обработки информации.

Однако столь стремительное развитие сопровождается и серьезными ограничениями. Нейронные сети (neural networks, NN), несмотря на их эффективность, не являются полностью надежными и устойчивыми. Во-первых, хорошо известно, что они уязвимы к специальным входным возмущениям, называемым состязательными атаками (adversarial attacks) или состязательными возмущениями, которые могут быть незаметны или несущественны для человека, но приводят к резкому ухудшению работы модели [19—21]. В критически важных областях, таких как медицина или автономное вождение, подобные цифровые или физические атаки могут иметь серьезные последствия. Кроме того, модели могут давать сбои не только под воздействием таких специально сконструированных атак, но и при естественных возмущениях или преобразованиях, например при изменении яркости, контрастности, поворотах или добавлении шума. Во-вторых, массовое распространение генеративных моделей и голосовых ассистентов создало новые угрозы безопасности и конфиденциальности пользователей. Так, уже 10-15 секунд чистой речи достаточно для создания правдоподобной копии голоса [22], а для высококачественного клони-

рования требуется от 10 до 60 минут аудио. Такой синтез аудио и видео может быть использован с целью мошенничества, вымогательства или дискредитации. Кроме того, злоумышленники могут пытаться извлекать персональные данные, голосовые отпечатки или содержимое речи из аудиозаписей, например из внутренних хранилищ банков, голосовых помощников или спам-звонков, для их последующего незаконного использования.

Перечисленные уязвимости моделей и общие риски безопасности и приватности требуют системного изучения, а также разработки новых методов защиты, компенсирующих ограничения существующих подходов. Это необходимо не только для надежного практического применения моделей, но и для глубокого понимания их внутренних механизмов, причин возможных сбоев и способов их предотвращения. С теоретической точки зрения особенно ценными являются подходы, позволяющие формально (аналитически) определить границы применимости модели хотя бы для некоторых типов атак. В целом, требуется разработка новых эмпирических и сертифицируемых методов защиты, направленных на повышение устойчивости, надежности и доверия к системам глубокого обучения в реальных приложениях.

Степень разработанности темы. Модели глубокого обучения хорошо известны своей чувствительностью к состязательным атакам [19]. Формально, для классификатора f : Rn ^ [0,1] целью аддитивной состязательной атаки является изменение предсказанного класса для измененного (атакованного) входного объекта:

argmax f (х + 5) = argmax f (х), (1)

при этом норма возмущения 6 минимизируется или ограничивается: (обычно l2, или «нулевая норма» для разреженных возмущений). Одна из первых и наиболее простых атак основана на максимизации функции потерь С по входу х. Для ограничения по норме lx с уровнем £ это приводит к Fast Gradient Sign методу (FGSM):

S = £ sign [VXC (f,x,y)] , (2)

где у - истинный класс. Существует множество типов состязательных атак [21], включая атаки с полным доступом к модели (white-box) [23], с ограниченным доступом (black-box) [24], основанные на оценке вероятностей (score-based),

неаддитивные атаки [25], патч-атаки [26], а также цифровые и физические (реальные) атаки [27].

Для противодействия состязательным атакам были предложены эмпирические методы защиты [23; 28; 29], включая состязательное обучение (adversarial training). Несмотря на простоту применения, такие методы не обеспечивают гарантий устойчивости модели к новым, ранее не встречавшимся возмущениям. Впоследствии появлялись все более сильные атаки и способы обхода существующих защит [30; 31], что привело к «гонке вооружений» между атаками и защитами. В противовес этому была предложена парадигма сертификации [32; 33], предоставляющая доказуемые (детерминистические или вероятностные) гарантии корректности модели для всех возмущений, принадлежащих заданному множеству (например, ограниченному по норме).

Одним из наиболее значимых достижений в этой области стал метод случайного сглаживания [34—36] (randomized smoothing, RS), изначально предложенный для сертификации устойчивости к 12-ограниченным атакам. Идея метода заключается в том, что вместо исходного классификатора f рассматривается его сглаженная версия д. Она определяется как усредненный отклик модели на вход х, возмущенный добавлением гауссовского шума. Иными словами, предсказание формируется путем вычисления математического ожидания выходов классификатора по распределению шума:

д(х) = Ее^(о,а27) [ f (х + е)]. (3)

Как показано в [36], сглаженный классификатор д является yj-§2-липшицевым, что позволяет ограничить изменение его выходов 5д

при фиксированном возмущении входа 6х: < yjЭто свой-

ство позволяет формулировать доказуемые гарантии устойчивости. Однако, гарантии устойчивости могут быть улучшены за счет использования специализированных отображений из пространства вероятностей. Если сглаженный классификатор д(х) с высокой вероятностью выбирает истинный класс i1 (д(ж)н = Pi! > Pi2, где pi2 = max^ g(x)i), то модель обладает сертифицированной устойчивостью в 12-окрестности входа радиуса

R = I (Ф-1(Р„) - Ф-1(Р,2)). (4)

При этом для любых возмущений 6, удовлетворяющих условию ||^||2 < R, предсказание классификатора остается неизменным:

Vö : ||£ ||2 <R argmax g(x)i = arg max g(x + ö)i. (5)

i i

Здесь Ф-1(^) обозначает обратную функцию распределения стандартной нормальной случайной величины.

Однако вычисление выражения (3) аналитически невозможно для большинства нейросетевых классификаторов f, поэтому используется оценка Монте-Карло, которая заменяет детерминистическую сертификацию вероятностной, наследуемой из статистической оценки по выборке. Тем не менее, данный подход обеспечивает точные результаты даже при относительно малом числе сэмплов (несколько тысяч) и хорошо масштабируется на крупные модели и наборы данных, в отличие от других методов. Метод случайного сглаживания также применялся для сертификации устойчивости к семантическим преобразованиям [25; 37; 38] и в few-shot (прототипической) классификации [39]. Однако в указанных работах гарантии устойчивости даны лишь для ограниченного числа семантических преобразований, без охвата их сложных композиций и при сохранении значительного разрыва между сертифицированной и эмпирической устойчивостью. Кроме того, сертификация моделей распознавания по голосу, то есть моделей голосовой биометрии и, в частности моделей идентификации диктора (Automatic Speaker Identification, ASI), остается практически неисследованной областью.

Методы голосового антиспуфинга, направленные на обнаружение поддельных аудиозаписей (deepfake detection), в последние годы привлекают повышенное внимание в связи с активным развитием и широким распространением генеративных моделей синтеза речи, включая системы синтеза по тексту (text-to-speech, TTS), технологии клонирования голоса (voice cloning), а также методы голосовой конверсии (voice conversion, VC). Международные соревнования, такие как Wildspoof [40], ADD [41; 42], SASV [43] и ASVspoof [44; 45], стимулируют разработку новых методов защиты, предоставляя соответствующие наборы данных и процедуры оценки. Архитектура AASIST [46], основанная на графовых нейронных сетях и объединяющая спектральные и временные признаки в единый пространственно-временной граф, остается одной из наиболее надежных и устойчивых моделей. Дальнейшие улучшения достигаются с

использованием самообучающихся (self-supervised, SSL) энкодеров [47—49], разнообразных аугментаций [50; 51] и специализированных функций потерь [52; 53]. Тем не менее модели по-прежнему демонстрируют значительное падение качества на новых доменах аудио, как искусственных, так и реальных (например, для новых языков или генераторов речи).

Состязательные методы также применяются в задачах защиты приватности диктора (анонимизации голоса), направленных на предотвращение клонирования, распознавания содержимого речи или идентификации диктора. Такие подходы могут основываться на регенерации с использованием генеративных моделей [54; 55] или на универсальных состязательных возмущениях (Universal Adversarial Perturbations, UAP) [56—59], которые определяются как argmax^p(f (х + 5),&k) = argmax^p(f (x),&k), где f - эмбеддинговая (векторная) модель голосовой биометрии, - вектор регистрации (enrollment vector, enroll, прототип, центроид) к-го диктора, а р - мера сходства (например, косинусная). UAP обучаются состязательным образом для фальсификации систем распознавания дикторов. Существующие методы UAP эффективны для реального времени и передачи по воздуху, но имеют ограничения при обработке длинных аудиосигналов, обеспечении баланса между качеством речи и приватностью, а также при работе с новыми пользователями и современными системами голосовой биометрии. Это ограничивает практическую применимость и надежность методов голосовой анонимизации.

Цели и задачи диссертации. Данная диссертация посвящена исследованию методов повышения устойчивости, надежности и конфиденциальности моделей глубокого обучения, с особым вниманием к задачам классификации и few-shot классификации. Целью диссертационной работы является разработка новых, а также усовершенствование существующих сертифицированных и эмпирических методов, направленных на повышение надежности, устойчивости и конфиденциальности моделей глубокого обучения при сохранении их целевой эффективности и без введения существенных ограничений для применения. Для достижения поставленной цели в диссертации формулируются и решаются следующие задачи:

1. Разработка усовершенствованного метода сертификации для широкого класса разрешимых семантических преобразований, не уступающего существующим методам по точности на преобразованиях, для которых они

применимы. Для этого необходимо проанализировать зависимость липшицевой непрерывности сглаженных классификаторов от параметров применяемых преобразований, получить соответствующие доказуемые гарантии устойчивости, а также разработать численную процедуру их оценки.

2. Разработка улучшенного метода сертификации для прототипических few-shot моделей по отношению к возмущениям, ограниченным нормой, посредством анализа скалярного отображения из векторного пространства и вывода теоретических гарантий устойчивости на основе его липшицевых свойств.

3. Разработка усовершенствованного метода обеспечения приватности диктора, основанного на применении универсальных состязательных возмущений. Метод направлен на достижение оптимального баланса между уровнем защиты персональных данных и сохранением высокого качества аудиосигнала.

4. Разработка новой архитектуры и методологии обучения моделей для обнаружения поддельных голосовых записей, направленных на повышение способности к обобщению на ранее невидимые синтетические генераторы речи.

Научная новизна.

1. В диссертации представлен новый универсальный метод доказуемой устойчивости классификаторов изображений по отношению к композициям разрешимых семантических преобразований, основанный на методе случайного сглаживания и дополненный эффективной процедурой численной верификации. Предложенный подход обеспечивает улучшение результатов для гарантий устойчивости на множестве наборов данных и, в отличие от ранее существующих методов, может применяться к любым разрешимым композиционным преобразованиям.

2. Предложен новый метод доказуемой устойчивости прототипических классификаторов к аддитивным возмущениям, основанный на случайном сглаживании. Предложенный метод позволяет достичь передовых результатов и впервые предоставить гарантии устойчивости в задаче идентификации диктора.

3. В диссертации представлен новый метод обеспечения приватности диктора на основе универсальных состязательных возмущений, достигающий улучшенных показателей вероятности обмана, перцептивного качества и коэффициента ошибок распознавания речи, особенно при работе с продолжительными аудиозаписями, за счет использования новой предложенной

экспоненциальной функции потерь полной вариации. Дополнительно предложен справедливый протокол оценки, независящий от длины аудиозаписи и уровня шума.

4. Также, в диссертации представлена новая архитектура моделей голосового антиспуфинга, улучшенная за счет использования нейронных слоев Колмогорова-Арнольда, предварительной обработки и аугментации аудиосигнала, а также применения самообучающегося аудиоэнкодера для улучшения обобщающей способности модели.

Теоретическая и практическая значимость. В данной работе представлен теоретический анализ зависимости липшицевой непрерывности сглаженных классификаторов изображений от параметров преобразований. В рамках исследования были теоретически установлены гарантии того, что сглаженный классификатор изображений сохраняет устойчивость к заданным разрешимым семантическим возмущениям в пределах рассматриваемого множества параметров. Кроме того, представлены новые теоретические гарантии устойчивости прототипических векторных моделей, основанные на анализе скалярного отображения из векторного пространства.

Помимо этого, разработаны следующие методы для оценки устойчивости и сертификации нейронных сетей, защиты приватности диктора и голосового антиспуфинга:

1. General Lipschitz - теоретическая, численная и экспериментальная методология для сертификации классификаторов изображений относительно разрешимых семантических преобразований и оценки их устойчивости.

2. ASI Certification - теоретико-экспериментальное решение для оценки устойчивости и сертификации моделей распознавания диктора и других прото-типических моделей к ограниченным аддитивным возмущениям.

3. Voice-UAP - эмпирический метод обеспечения приватности (анони-мизации) диктора, направленный на нарушение работы моделей голосовой биометрии в реальном времени в сценарии, независимом от конкретного диктора, за счет использования уязвимостей моделей голосовой биометрии.

4. AASIST-3 (KAN-AASIST) - новая модель голосового антиспуфинга, ориентированная на эмпирически устойчивое обнаружение искусственно сгенерированной или модифицированной речи.

Методология исследования. Методология исследования базируется на методах машинного и глубокого обучения, а также на классических алгоритмах и структурах данных. Применяемый в диссертации математический аппарат включает методы математического анализа, линейной алгебры, численные методы (в том числе методы цифровой обработки сигналов), теорию вероятностей и математическую статистику.

Положения, выносимые на защиту.

1. Теоретические гарантии сертификации устойчивости классификаторов к разрешимым преобразованиям и их композициям, а также соответствующая полуавтоматическая численная процедура сертификации.

2. Теоретический метод сертификации устойчивости прототипических моделей к аддитивным ограниченным по норме возмущениям и его применение для задачи идентификации диктора.

3. Метод обеспечения приватности (анонимизации) диктора, основанный на универсальных состязательных возмущениях, обучаемый с использованием экспоненциальной функции потерь полной вариации в постановке, не зависящей от длины аудио.

4. Модели голосового антиспуфинга, основанные на самообучающихся (self-supervised, SSL) аудиоэнкодерах и на включении слоев сетей Колмогорова-Арнольда.

Обоснованность и достоверность результатов и выводов. Полученные в рамках данной диссертационной работы теоретические результаты сформулированы в виде строгих математических утверждений и сопровождаются подробными доказательствами. Эффективность представленных доказуемых методов сертификации моделей и эмпирических подходов к голосовой анонимизации и антиспуфингу подтверждена в ходе обширной серии экспериментальных исследований, включая сравнительные оценки с современными (state-of-the-art) подходами, в которых предложенные в данной диссертации решения показали превосходящие результаты. Все методы и экспериментальные подробности подробно изложены в основном тексте, приложениях и опубликованном открытом исходном коде.

Публикации. В ходе выполнения диссертационной работы было опубликовано 6 научных трудов. Основные результаты диссертации представлены в 4 статьях, из которых три опубликованы на конференциях уровня CORE A/A*, а одна - на научном семинаре конференции уровня CORE A. Соответствующие теме диссертации результаты пятой статьи включены в приложение, тогда как шестая работа в данной диссертации не рассматривается. Список основных публикаций автора:

1. Dmitrii Korzh, Mikhail Pautov, Olga Tsymboi, and Ivan Oseledets. General Lipschitz: Certified Robustness Against Resolvable Semantic Transformations via Transformation-Dependent Randomized Smoothing //ECAI 2024. - IOS Press, 2024. - С. 1591-1598. (CORE A). [60].

2. Dmitrii Korzh, Elvir Karimov, Mikhail Pautov, Oleg Y. Rogov, and Ivan Oseledets. Certification of Speaker Recognition Models to Additive Perturbations //Proceedings of the AAAI Conference on Artificial Intelligence. - 2025. - Т. 39. -№. 17. - С. 17947-17956. (CORE A*). [61].

3. Elvir Karimov, Alexander Varlamov, Danil Ivanov, Dmitrii Korzh, Oleg Y. Rogov. Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy //Proc. Interspeech 2025. - 2025. - С. 1513-1517. (CORE A). [62].

4. Kirill Borodin*, Vasiliy Kudryavtsev*, Dmitrii Korzh*, Alexey Efimenko*, Grach Mkrtchian, Mikhail Gorodnichev, Oleg Y. Rogov. AASIST3: KAN-Enhanced AASIST Speech Deepfake Detection Using SSL Features and Additional Regularization for the ASVspoof 2024 Challenge //Proc. ASVspoof 2024. - 2024. - С. 48-55. This article [63] was accepted to the ASVspoof 2024 Workshop of the Interspeech 2024 conference.

Прочие публикации:

1. Artyom Iudin, Matvey Skripkin, Oleg Y. Rogov, Dmitrii Korzh. Clarispeech: LLM-Enhanced Speech Recognition Post-Correction //Записки научных семинаров ПОМИ. - 2025. - Т. 546. - С. 223-245. Данная статья [64] была принята к публикации на конференции Artificial Intelligence and Natural Language (AINL) 2025. Некоторые результаты этой работы обсуждаются в приложении к диссертации.

2. Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, and Elena Tutubalina. CLEAR: Character Unlearning in Textual and Visual Modalities //Findings of the

Association for Computational Linguistics: ACL 2025. - 2025. - P. 20582-20603. (CORE A*). Данная работа [65] в диссертации не рассматривается.

Апробация работы. Автор представлял результаты исследования на ряде конференций и научных семинаров:

1. ASVspoof 2024 Workshop (о. Кос, Греция; август 2024). Устный доклад. Тема: «AASIST3: KAN-Enhanced AASIST Speech Deepfake Detection Using SSL Features and Additional Regularization for the ASVspoof 2024 Challenge».

2. ECAI 2024 (Сантьяго-де-Компостела, Испания; октябрь 2024). Устный доклад. Тема: «General Lipschitz: Certified Robustness Against Resolvable Semantic Transformations via Transformation-Dependent Randomized Smoothing».

3. AINL 2024 (Новосибирск, Россия; апрель 2025). Устный доклад. Тема: «Clarispeech: LLM-Enhanced Speech Recognition Post-Correction».

4. RSI AIRI и SAIL MTUCI Workshop «Cybersecurity and Robustness in the AI Era» (Москва, Россия; август 2025). Устный доклад. Тема: «Trusted AI in Voice Biometrics and Multimodal Models».

5. Interspeech 2025 (Роттердам, Нидерланды; август 2025). Постерный доклад. Тема: «Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy».

Вклад автора. Вклад автора в представленные результаты исследований заключается в следующем:

- В работе «General Lipschitz: Certified robustness against resolvable semantic transformations via transformation-dependent randomized smoothing» [60] автор внес вклад в формулировку и доказательство теоремы и лемм, в частности, в разработку условия сертификации устойчивости к разрешимым семантическим преобразованиям, а также в оценку логарифма и его производной для функции плотности распределения случайного сглаживания применительно к разрешимым преобразованиям. Автор участвовал в численной реализации предложенных методов, провел все обширные эксперименты, проанализировал результаты, оценил погрешности численной схемы и привел пример аналитического вывода.

- В работе «Certification of speaker recognition models to additive perturbations» [61] автор предложил основную идею статьи, внес вклад в формулировку и доказательство теоремы (сертификация прототипи-ческой функции по отношению к аддитивным возмущениям). Автор участвовал в экспериментальной реализации предложенных методов, разработал методологию оценки, провел основные эксперименты и проанализировал результаты.

- В работе «Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy» [62] автор предложил подход, внес вклад в его экспериментальную разработку и подготовку финальной (наилучшей) версии метода. Автор принимал значительное участие в реализации, проведении экспериментов и оценке методов.

- В работе «AASIST3: KAN-enhanced AASIST speech deepfake detection using SSL features and additional regularization for the ASVspoof 2024 Challenge» [63] автор внес значительный вклад в экспериментальную разработку и создание итогового предложенного метода, разработал экспериментальную структуру и провел обширные эксперименты.

Структура и объем диссертации. Рукопись включает введение, 3 главы, заключение, 24 рисунка и 8 таблиц. Список литературы содержит 209 источников, включая 6 публикаций автора. Общий объем рукописи составляет 144 страницы.

Организация диссертации. Новый метод сертификации устойчивости к разрешимым семантическим преобразованиям представлен в главе 1. Соответствующее приложение А содержит доказательства теоремы и лемм, аналитический пример и дополнительные обсуждения. Улучшенный метод сертификации для few-shot моделей и его применение к задаче автоматической идентификации диктора представлены в главе 2. Соответствующее приложение в приложении Б содержит дополнительные экспериментальные результаты. Результаты, касающиеся приватности диктора и защиты от фальсификации голоса представлены в двух отдельных разделах главы 3. Приложение В включает ряд дополнительных результатов, посвященных эмпирической устойчивости языковых моделей посткоррекции из статьи [64], не включенных в основную часть работы.

Глава 1. Сертифицируемая устойчивость к разрешимым семантическим преобразованиям

Метод случайного сглаживания является современным подходом к построению классификаторов изображений, обладающий доказуемой устойчивостью к аддитивным состязательным возмущениям ограниченной величины. Однако получение качественных гарантий устойчивости к семантическим преобразованиям (например, размытие изображений, свдиги, гамма-коррекция) и их композициям является более сложной задачей. В данной главе описывается новый гибкий фреймворк под названием General Lipschitz (GL) для сертификации нейронных сетей относительно разрешимых семантических преобразований. В рамках этого подхода была проанализирована зависящая от преобразования липшицева непрерывность сглаженных классификаторов по параметрам преобразования и выведены соответствующие гарантии устойчивости. Предложенный метод был протестирован на различных наборах данных для задач классификации изображений и сравнен с несколькими современными методами сертификации для оценки эффективности. Данная глава основана на работе «Certified Robustness Against Resolvable Semantic Transformations via Transformation-Dependent Randomized Smoothing».

1.1 Введение

Глубокие нейронные сети демонстрируют выдающуюся производительность во множестве задач компьютерного зрения. Однако они обладают высокой уязвимостью к специальным возмущениям входных данных (называемым состязательными атаками) [19; 66], которые, однако, для человеческого восприятия могут не иметь значения. Рассмотрим нейронную модель / : ^ [0,1]^, которая сопоставляет входному изображению х вектор апостериорных вероятностей по С классам. Предсказания классификатора определяется правилом ¡(х) = а^шах^у /¡(х), где У = {1,2,...,С}. Можно подобрать такое состязательное возмущение малой нормы 6, что исходный х и возмущенное х + 5 изображения получат различные метки классов при применении классификато-

ра. Для некоторых приложений, таких как автономное вождение [67] и системы идентификации [68; 69], такая чувствительность модели к малым изменениям входных данных представляет собой серьезную проблему.

Рисунок 1.1 — Схематически процедура сертификации может быть описана следующим образом. Для входного изображения х, принадлежащего классу с, и параметрического преобразования ф формируется набор из Nmax ауг-ментированных примеров {ф(х, а1 ),..., ф(х, aNmax)}. На основе полученных выборок вычисляется нижняя оценка величины hc(х) через критерий Клоп-пера-Пирсона, задаваемая в виде hc(х) = В(а*/2,n,Nmax — п +1), где В обозначает бета-распределение, а п соответствует числу аугментированных изображений ф(х, а? ), для которых предсказание базового классификатора уверенно корректно fc(ф(х,а^)) > 1. Затем проверяется условие сертификации из

теоремы 1.3.1 для значения hс(х).

За последние годы было разработано значительное число методов генерации состязательных возмущений, а также подходов к защите от них, что привело к динамичному противостоянию между атакующими и защитными алгоритмами [70; 71]. При этом данное противоборство в существенной степени обошло стороной те прикладные области, в которых критически важно наличие доказуемых гарантий корректности работы нейронных моделей. В ответ на этот пробел интенсивно развивается направление сертифицируемой (доказуемой) устойчивости, ориентированное на получение формальных гарантий поведения

Список литературы диссертационного исследования кандидат наук Корж Дмитрий Сергеевич, 2026 год

Список литературы

1. Breiman, L. Random forests [Текст] / L. Breiman // Machine learning. — 2001. — Т. 45, № 1. — С. 5—32.

2. Alzubi, J. Machine learning from theory to algorithms: an overview [Текст] / J. Alzubi, A. Nayyar, A. Kumar // Journal of physics: conference series. Т. 1142. — IOP Publishing. 2018. — С. 012012.

3. Gradient-based learning applied to document recognition [Текст] / Y. LeCun [и др.] // Proceedings of the IEEE. — 2002. — Т. 86, № 11. — С. 2278—2324.

4. Krizhevsky, A. Imagenet classification with deep convolutional neural networks [Текст] / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in neural information processing systems. — 2012. — Т. 25.

5. Deep residual learning for image recognition [Текст] / K. He [и др.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — С. 770—778.

6. Khan, A. I. CoroNet: A deep neural network for detection and diagnosis of COVID-19 from chest x-ray images [Текст] / A. I. Khan, J. L. Shah, M. M. Bhat // Computer methods and programs in biomedicine. — 2020. — Т. 196. — С. 105581.

7. Arcface: Additive angular margin loss for deep face recognition [Текст] / J. Deng [и др.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2019. — С. 4690—4699.

8. Desplanques, B. Ecapa-tdnn: Emphasized channel attention, propagation and aggregation in tdnn based speaker verification [Текст] / B. Desplanques, J. Thienpondt, K. Demuynck // arXiv preprint arXiv:2005.07143. — 2020.

9. Bert: Pre-training of deep bidirectional transformers for language understanding [Текст] / J. Devlin [и др.] // arXiv preprint arXiv:1810.04805. — 2018.

10. Conformer: Convolution-augmented transformer for speech recognition [Текст] / A. Gulati [и др.] // arXiv preprint arXiv:2005.08100. — 2020.

11. A survey of autonomous driving from a deep learning perspective [Текст] / J. Zhao [и др.] // ACM Computing Surveys. — 2025. — Т. 57, № 10. — С. 1—60.

12. Generative adversarial nets [Текст] / I. J. Goodfellow [и др.] // Advances in neural information processing systems. — 2014. — Т. 27.

13. Analyzing and improving the image quality of stylegan [Текст] / T. Karras [и др.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2020. — С. 8110—8119.

14. Kong, J. Hifi-gan: Generative adversarial networks for efficient and high fidelity speech synthesis [Текст] / J. Kong, J. Kim, J. Bae // Advances in neural information processing systems. — 2020. — Т. 33. — С. 17022—17033.

15. Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis [Текст] / S. Liao [и др.]. — 2024. — arXiv: 2411. 01156 [cs.SD]. — URL: https://arxiv.org/abs/2411.01156.

16. The llama 3 herd of models [Текст] / A. Dubey [и др.] // arXiv preprint arXiv:2407.21783. — 2024.

17. Qwen Technical Report [Текст] / J. Bai [и др.] // arXiv preprint arXiv:2309.16609. — 2023.

18. Salmonn: Towards generic hearing abilities for large language models [Текст] / C. Tang [и др.] // arXiv preprint arXiv:2310.13289. — 2023.

19. Szegedy, C. Intriguing properties of neural networks [Текст] / C. Szegedy // arXiv preprint arXiv:1312.6199. — 2013.

20. Goodfellow, I. J. Explaining and harnessing adversarial examples [Текст] / I. J. Goodfellow, J. Shlens, C. Szegedy // arXiv preprint arXiv:1412.6572. — 2014.

21. A survey on adversarial attacks and defences [Текст] / A. Chakraborty [и др.] // CAAI Transactions on Intelligence Technology. — 2021. — Т. 6, № 1. — С. 25—45.

22. Xtts: a massively multilingual zero-shot text-to-speech model [Текст] / E. Casanova [и др.] // arXiv preprint arXiv:2406.04904. — 2024.

23. Madry, A. Towards deep learning models resistant to adversarial attacks [Текст] / A. Madry // arXiv preprint arXiv:1706.06083. — 2017.

24. Square attack: a query-efficient black-box adversarial attack via random search [Текст] / M. Andriushchenko [и др.] // European conference on computer vision. — Springer. 2020. — С. 484—501.

25. Muravev, N. Certified robustness via randomized smoothing over multiplicative parameters of input transformations [Текст] / N. Muravev, A. Petiushko // arXiv preprint arXiv:2106.14432. — 2021.

26. Dpatch: An adversarial patch attack on object detectors [Текст] / X. Liu [и др.] // arXiv preprint arXiv:1806.02299. — 2018.

27. Physical Adversarial Camouflage through Gradient Calibration and Regularization [Текст] / J. Liang [и др.] // arXiv preprint arXiv:2508.05414. — 2025.

28. Wong, E. Fast is better than free: Revisiting adversarial training [Текст] / E. Wong, L. Rice, J. Z. Kolter // arXiv preprint arXiv:2001.03994. — 2020.

29. Fort, S. Ensemble everything everywhere: Multi-scale aggregation for adversarial robustness [Текст] / S. Fort, B. Lakshminarayanan // arXiv preprint arXiv:2408.05446. — 2024.

30. Athalye, A. Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples [Текст] / A. Athalye, N. Carlini, D. Wagner // International conference on machine learning. — PMLR. 2018. — С. 274—283.

31. Evaluating the Robustness of the"Ensemble Everything Everywhere"Defense [Текст] / J. Zhang [и др.] // arXiv preprint arXiv:2411.14834. — 2024.

32. On the effectiveness of interval bound propagation for training verifiably robust models [Текст] / S. Gowal [и др.] // arXiv preprint arXiv:1810.12715. — 2018.

33. Li, L. Sok: Certified robustness for deep neural networks [Текст] / L. Li, T. Xie, B. Li // 2023 IEEE symposium on security and privacy (SP). — IEEE. 2023. — С. 1289—1310.

34. Certified robustness to adversarial examples with differential privacy [Текст] / M. Lecuyer [и др.] // 2019 IEEE Symposium on Security and Privacy (SP). — IEEE. 2019. — С. 656—672.

35. Cohen, J. Certified adversarial robustness via randomized smoothing [Текст] / J. Cohen, E. Rosenfeld, Z. Kolter // International Conference on Machine Learning. — PMLR. 2019. — С. 1310—1320.

36. Provably robust deep learning via adversarially trained smoothed classifiers [Текст] / H. Salman [и др.] // Advances in Neural Information Processing Systems. — 2019. — Т. 32.

37. Tss: Transformation-specific smoothing for robustness certification [Текст] / L. Li [и др.] // Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security. — 2021. — С. 535—557.

38. GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing [Текст] / Z. Hao [и др.] // International Conference on Machine Learning. — PMLR. 2022. — С. 8465—8483.

39. Smoothed embeddings for certified few-shot learning [Текст] / M. Pautov [и др.] // Advances in Neural Information Processing Systems. — 2022. — Т. 35. — С. 24367—24379.

40. WildSpoof Challenge Evaluation Plan [Текст] / Y. Wu [и др.]. — 2025. — arXiv: 2508.16858 [cs.SD]. — URL: https://arxiv.org/abs/2508. 16858.

41. Add 2022: the first audio deep synthesis detection challenge [Текст] / J. Yi [и др.] // ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2022. — С. 9216—9220.

42. Add 2023: the second audio deepfake detection challenge [Текст] / J. Yi [и др.] // arXiv preprint arXiv:2305.13774. — 2023.

43. Sasv challenge 2022: A spoofing aware speaker verification challenge evaluation plan [Текст] / J.-w. Jung [и др.] // arXiv preprint arXiv:2201.10283. — 2022.

44. Asvspoof 2021: Towards spoofed and deepfake speech detection in the wild [Текст] / X. Liu [и др.] // IEEE/ACM Transactions on Audio, Speech, and Language Processing. — 2023. — Т. 31. — С. 2507—2522.

45. ASVspoof 5: Crowdsourced speech data, deepfakes, and adversarial attacks at scale [Текст] / X. Wang [и др.] // arXiv preprint arXiv:2408.08739. — 2024.

46. Aasist: Audio anti-spoofing using integrated spectro-temporal graph attention networks [Текст] / J.-w. Jung [и др.] // ICASSP 2022-2022 IEEE international conference on acoustics, speech and signal processing (ICASSP). — IEEE. 2022. — С. 6367—6371.

47. wav2vec 2.0: A framework for self-supervised learning of speech representations [Текст] / A. Baevski [и др.] // Advances in neural information processing systems. — 2020. — Т. 33. — С. 12449—12460.

48. Wavlm: Large-scale self-supervised pre-training for full stack speech processing [Текст] / S. Chen [и др.] // IEEE Journal of Selected Topics in Signal Processing. — 2022. — Т. 16, № 6. — С. 1505—1518.

49. Aliyev, A. Intema system description for the ASVspoof5 Challenge: power weighted score fusion [Текст] / A. Aliyev, A. Kondratev // Proc. ASVspoof 2024. — 2024. — С. 152—157.

50. STC antispoofing systems for the ASVspoof2021 challenge [Текст] / A. Tomilov [и др.] // Proc. ASVspoof 2021 Workshop. — 2021. — С. 61—67.

51. Rawboost: A raw data boosting and augmentation method applied to automatic speaker verification anti-spoofing [Текст] / H. Tak [и др.] // ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2022. — С. 6382—6386.

52. Zhang, Y. One-class learning towards synthetic voice spoofing detection [Текст] / Y. Zhang, F. Jiang, Z. Duan // IEEE Signal Processing Letters. — 2021. — Т. 28. — С. 937—941.

53. Ding, S. SAMO: Speaker Attractor Multi-Center One-Class Learning for Voice Anti-Spoofing [Текст] / S. Ding, Y. Zhang, Z. Duan. — 2022. — arXiv: 2211. 02718 [eess.AS]. — URL: https://arxiv.org/abs/2211.02718.

54. {V-Cloak}: Intelligibility-, Naturalness-& {Timbre-Preserving}{Real-Time} Voice Anonymization [Текст] / J. Deng [и др.] // 32nd USENIX Security Symposium (USENIX Security 23). — 2023. — С. 5181—5198.

55. Vsmask: Defending against voice synthesis attack via real-time predictive perturbation [Текст] / Y. Wang [и др.] // Proceedings of the 16th ACM Conference on Security and Privacy in Wireless and Mobile Networks. — 2023. — С. 239—250.

56. Enabling fast and universal audio adversarial attack using generative model [Текст] / Y. Xie [и др.] // Proceedings of the AAAI conference on artificial intelligence. Т. 35. — 2021. — С. 14129—14137.

57. Imperceptible black-box waveform-level adversarial attack towards automatic speaker recognition [Текст] / X. Zhang [и др.] // Complex & Intelligent Systems. — 2023. — Т. 9, № 1. — С. 65—79.

58. Transferable universal adversarial perturbations against speaker recognition systems [Текст] / X. Liu [и др.] // World Wide Web. — 2024. — Т. 27, № 3. — С. 33.

59. Universal adversarial attack against speaker recognition models [Текст] / S. Hanina [и др.] // ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2024. —

C. 4860—4864.

60. General lipschitz: Certified robustness against resolvable semantic transformations via transformation-dependent randomized smoothing [Текст] / D. Korzh [и др.] // ECAI 2024. — IOS Press, 2024. — С. 1591—1598.

61. Certification of speaker recognition models to additive perturbations [Текст] /

D. Korzh [и др.] // Proceedings of the AAAI Conference on Artificial Intelligence. Т. 39. — 2025. — С. 17947—17956.

62. Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy [Текст] / E. Karimov [и др.] // Interspeech 2025. — 2025. — С. 1513—1517.

63. AASIST3: KAN-enhanced AASIST speech deepfake detection using SSL features and additional regularization for the ASVspoof 2024 Challenge [Текст] / K. Borodin [и др.] // Proc. ASVspoof 2024. — 2024. — С. 48—55.

64. Clarispeech: LLM-Enhanced Speech Recognition Post-Correction [Текст] / A. Iudin [и др.] // Zapiski Nauchnykh Seminarov POMI. Т. 546. — St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences, 2025. — С. 223—245. — URL: https : //pdmi . ras . ru/znsl/2025/v546.html.

65. CLEAR: Character Unlearning in Textual and Visual Modalities [Текст] / A. Dontsov [и др.] // Findings of the Association for Computational Linguistics: ACL 2025 / под ред. W. Che [и др.]. — Vienna, Austria : Association for Computational Linguistics, 07.2025. — С. 20582—20603. — URL: https://aclanthology.org/2025.findings-acl.1058/.

66. Evasion attacks against machine learning at test time [Текст] / B. Biggio [и др.] // Joint European conference on machine learning and knowledge discovery in databases. — Springer. 2013. — С. 387—402.

67. Exploring adversarial robustness of multi-sensor perception systems in self driving [Текст] / J. Tu [и др.] // arXiv preprint arXiv:2101.06784. — 2021.

68. Komkov, S. Advhat: Real-world adversarial attack on arcface face id system [Текст] / S. Komkov, A. Petiushko // 2020 25th International Conference on Pattern Recognition (ICPR). — IEEE. 2021. — С. 819—826.

69. On adversarial patches: real-world attack on arcface-100 face recognition system [Текст] / M. Pautov [и др.] // 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). — IEEE. 2019. — С. 0391—0396.

70. Akhtar, N. Threat of adversarial attacks on deep learning in computer vision: A survey [Текст] / N. Akhtar, A. Mian // Ieee Access. — 2018. — Т. 6. — С. 14410—14430.

71. Adversarial attacks and defenses in images, graphs and text: A review [Текст] / H. Xu [и др.] // International Journal of Automation and Computing. — 2020. — Т. 17. — С. 151—178.

72. Moosavi-Dezfooli, S.-M. Deepfool: a simple and accurate method to fool deep neural networks [Текст] / S.-M. Moosavi-Dezfooli, A. Fawzi, P. Frossard // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — С. 2574—2582.

73. Simple black-box adversarial attacks [Текст] / C. Guo [и др.] // International Conference on Machine Learning. — PMLR. 2019. — С. 2484—2493.

74. Real-world attack on MTCNN face detection system [Текст] / E. Kaziakhmedov [и др.] // 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). — IEEE. 2019. — С. 0422—0427.

75. Kaviani, S. Adversarial attacks and defenses on AI in medical imaging informatics: A survey [Текст] / S. Kaviani, K. J. Han, I. Sohn // Expert Systems with Applications. — 2022. — Т. 198. — С. 116815.

76. Prior-guided adversarial initialization for fast adversarial training [Текст] / X. Jia [и др.] // European Conference on Computer Vision. — Springer.

2022. — С. 567—584.

77. Ge, Z. Towards Trustworthy NLP: An Adversarial Robustness Enhancement Based on Perplexity Difference [Текст] / Z. Ge, H. Hu, T. Zhao // ECAI

2023. — IOS Press, 2023. — С. 803—810.

78. The Fourth International Verification of Neural Networks Competition (VNN-COMP 2023): Summary and Results [Текст] / C. Brix [и др.] // arXiv preprint arXiv:2312.16760. — 2023.

79. Wei, C. Certified robustness for deep equilibrium models via interval bound propagation [Текст] / C. Wei, J. Z. Kolter // International Conference on Learning Representations. — 2022.

80. Regularisation of neural networks by enforcing lipschitz continuity [Текст] / H. Gouk [и др.] // Machine Learning. — 2021. — Т. 110, № 2. — С. 393—416.

81. Tsuzuku, Y. Lipschitz-margin training: Scalable certification of perturbation invariance for deep neural networks [Текст] / Y. Tsuzuku, I. Sato, M. Sugiyama // Advances in neural information processing systems. — 2018. — Т. 31.

82. Wong, E. Provable defenses against adversarial examples via the convex outer adversarial polytope [Текст] / E. Wong, Z. Kolter // International Conference on Machine Learning. — PMLR. 2018. — С. 5286—5295.

83. Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks [Текст] / X. Zhang [и др.] // arXiv preprint arXiv:2307.16630. — 2023.

84. Olivier, R. Sequential Randomized Smoothing for Adversarially Robust Speech Recognition [Текст] / R. Olivier, B. Raj // Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing / под ред. M.-F. Moens [и др.]. — 11.2021.

85. The marabou framework for verification and analysis of deep neural networks [Текст] / G. Katz [и др.] // Computer Aided Verification: 31st International Conference, CAV 2019. — Springer. 2019. — С. 443—452.

86. Singla, S. Second-order provable defenses against adversarial attacks [Текст] / S. Singla, S. Feizi // International conference on machine learning. — PMLR. 2020. — С. 8981—8991.

87. Levine, A. J. Improved, Deterministic Smoothing for L_1 Certified Robustness [Текст] / A. J. Levine, S. Feizi // International Conference on Machine Learning. — PMLR. 2021. — С. 6254—6264.

88. Semantic adversarial attacks: Parametric transformations that fool deep classifiers [Текст] / A. Joshi [и др.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2019. — С. 4773—4783.

89. Deformrs: Certifying input deformations with randomized smoothing [Текст] / M. Alfarra [и др.] // Proceedings of the AAAI Conference on Artificial Intelligence. Т. 36. — 2022. — С. 6001—6009.

90. Towards practical verification of machine learning: The case of computer vision systems [Текст] / K. Pei [и др.] // arXiv preprint arXiv:1712.01785. — 2017.

91. Certifying geometric robustness of neural networks [Текст] / M. Balunovic [и др.] // Advances in Neural Information Processing Systems. — 2019. — Т. 32.

92. Towards verifying robustness of neural networks against a family of semantic perturbations [Текст] / J. Mohapatra [и др.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2020. — С. 244—252.

93. Rethinking lipschitz neural networks and certified robustness: A boolean function perspective [Текст] / B. Zhang [и др.] // Advances in Neural Information Processing Systems. — 2022. — Т. 35. — С. 19398—19413.

94. CC-Cert: A probabilistic approach to certify general robustness of neural networks [Текст] / M. Pautov [и др.] // Proceedings of the AAAI Conference on Artificial Intelligence. Т. 36. — 2022. — С. 7975—7983.

95. Probabilistic safety for bayesian neural networks [Текст] / M. Wicker [и др.] // Conference on uncertainty in artificial intelligence. — PMLR. 2020. — С. 1198—1207.

96. Towards compositional adversarial robustness: Generalizing adversarial training to composite semantic perturbations [Текст] / Y.-Y. Tsai [и др.] // arXiv preprint arXiv:2202.04235. — 2022.

97. Bjorck, A. Numerical methods for least squares problems [Текст] / A. Bjorck. — SIAM, 1996.

98. Jeong, J. Consistency regularization for certified robustness of smoothed classifiers [Текст] / J. Jeong, J. Shin // Advances in Neural Information Processing Systems. — 2020. — Т. 33. — С. 10558—10570.

99. Clopper, C. J. The use of confidence or fiducial limits illustrated in the case of the binomial [Текст] / C. J. Clopper, E. S. Pearson // Biometrika. — 1934. — Т. 26, № 4. — С. 404—413.

100. X-vectors: Robust dnn embeddings for speaker recognition [Текст] / D. Snyder [и др.] // 2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). — IEEE. 2018. — С. 5329—5333.

101. Generalized end-to-end loss for speaker verification [Текст] / L. Wan [и др.] // 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2018. — С. 4879—4883.

102. OpenVoice: Versatile Instant Voice Cloning [Текст] / Z. Qin [и др.] // arXiv preprint arXiv:2312.01479. — 2023.

103. Pyannote. audio: neural building blocks for speaker diarization [Текст] / H. Bredin [и др.] // ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2020. — С. 7124—7128.

104. Wespeaker: A research and production oriented speaker embedding learning toolkit [Текст] / H. Wang [и др.] // ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2023. — С. 1—5.

105. Hermans, A. In defense of the triplet loss for person re-identification [Текст] / A. Hermans, L. Beyer, B. Leibe // arXiv preprint arXiv:1703.07737. — 2017.

106. Wang, F. Understanding the behaviour of contrastive loss [Текст] / F. Wang, H. Liu // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2021. — С. 2495—2504.

107. Magface: A universal representation for face recognition and quality assessment [Текст] / Q. Meng [и др.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2021. — С. 14225—14234.

108. Cam++: A fast and efficient network for speaker verification using context-aware masking [Текст] / H. Wang [и др.] // arXiv preprint arXiv:2303.00332. — 2023.

109. Yu, Y.-Q. Densely Connected Time Delay Neural Network for Speaker Verification. [Текст] / Y.-Q. Yu, W.-J. Li // Interspeech. — 2020. — С. 921—925.

110. Khrulkov, V. Art of singular vectors and universal adversarial perturbations [Текст] / V. Khrulkov, I. Oseledets // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2018. — С. 8562—8570.

111. Su, J. One pixel attack for fooling deep neural networks [Текст] / J. Su, D. V. Vargas, K. Sakurai // IEEE Transactions on Evolutionary Computation. — 2019. — Т. 23, № 5. — С. 828—841.

112. Meta Gradient Adversarial Attack [Текст] / Z. Yuan [и др.] // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). — 2021. — С. 7748—7757.

113. Adversarial attacks and defenses in machine learning-empowered communication systems and networks: A contemporary survey [Текст] / Y. Wang [и др.] // IEEE Communications Surveys & Tutorials. — 2023.

114. Feature space perturbations yield more transferable adversarial examples [Текст] / N. Inkawhich [и др.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — С. 7066—7074.

115. Apostolidis, K. D. A survey on adversarial deep learning robustness in medical image analysis [Текст] / K. D. Apostolidis, G. A. Papakostas // Electronics. — 2021. — Т. 10, № 17. — С. 2132.

116. An analysis of adversarial attacks and defenses on autonomous driving models [Текст] / Y. Deng [и др.] // 2020 IEEE international conference on pervasive computing and communications (PerCom). — IEEE. 2020. — С. 1—10.

117. Adversarial attacks and defenses in Speaker Recognition Systems: A survey [Текст] / J. Lan [и др.] // Journal of Systems Architecture. — 2022. — Т. 127. — С. 102526.

118. Practical adversarial attacks against speaker recognition systems [Текст] / Z. Li [и др.] // Proceedings of the 21st international workshop on mobile computing systems and applications. — 2020. — С. 9—14.

119. On the Robustness of Split Learning against Adversarial Attacks [Текст] / M. Fan [и др.] // arXiv preprint arXiv:2307.07916. — 2023.

120. Andriushchenko, M. Understanding and improving fast adversarial training [Текст] / M. Andriushchenko, N. Flammarion // Advances in Neural Information Processing Systems. — 2020. — Т. 33. — С. 16048—16059.

121. Improving Robustness of Speaker Recognition to New Conditions Using Unlabeled Data. [Текст] / D. Castan [и др.] // INTERSPEECH. — 2017. — С. 3737—3741.

122. Adversarial data augmentation for robust speaker verification [Текст] / Z. Zhou [и др.] // Proceedings of the 2023 9th International Conference on Communication and Information Processing. — 2023. — С. 226—230.

123. Improving the adversarial robustness for speaker verification by self-supervised learning [Текст] / H. Wu [и др.] // IEEE/ACM Transactions on Audio, Speech, and Language Processing. — 2021. — Т. 30. — С. 202—217.

124. Scalable verified training for provably robust image classification [Текст] / S. Gowal [и др.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2019. — С. 4842—4851.

125. Fastened crown: Tightened neural network robustness certificates [Текст] / Z. Lyu [и др.] // Proceedings of the AAAI Conference on Artificial Intelligence. Т. 34. — 2020. — С. 5037—5044.

126. Pulina, L. An abstraction-refinement approach to verification of artificial neural networks [Текст] / L. Pulina, A. Tacchella // International Conference on Computer Aided Verification. — Springer. 2010. — С. 243—257.

127. Cheng, C.-H. Maximum resilience of artificial neural networks [Текст] / C.-H. Cheng, G. Niihrenberg, H. Ruess // International Symposium on Automated Technology for Verification and Analysis. — Springer. 2017. — С. 251—268.

128. Randomized smoothing of all shapes and sizes [Текст] / G. Yang [и др.] // International Conference on Machine Learning. — PMLR. 2020. — С. 10693—10705.

129. Siamese neural networks for one-shot image recognition [Текст] / G. Koch, R. Zemel, R. Salakhutdinov [и др.] // ICML deep learning workshop. Т. 2. — Lille. 2015. — С. 1—30.

130. Snell, J. Prototypical networks for few-shot learning [Текст] / J. Snell, K. Swersky, R. Zemel // Advances in neural information processing systems. — 2017. — Т. 30.

131. Hoeffding, W. Probability inequalities for sums of bounded random variables [Текст] / W. Hoeffding // The collected works of Wassily Hoeffding. — Springer, 1994. — С. 409—426.

132. Nagrani, A. Voxceleb: a large-scale speaker identification dataset [Текст] / A. Nagrani, J. S. Chung, A. Zisserman // arXiv preprint arXiv:1706.08612. — 2017.

133. Chung, J. S. Voxceleb2: Deep speaker recognition [Текст] / J. S. Chung, A. Nagrani, A. Zisserman // arXiv preprint arXiv:1806.05622. — 2018.

134. SpeechBrain: A general-purpose speech toolkit [Текст] / M. Ravanelli [и др.] // arXiv preprint arXiv:2106.04624. — 2021.

135. Hayes, J. Extensions and limitations of randomized smoothing for robustness guarantees [Текст] / J. Hayes // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. — 2020.

136. ASVspoof 2021: accelerating progress in spoofed and deepfake speech detection [Текст] / J. Yamagishi [и др.] // ASVspoof 2021 Workshop-Automatic Speaker Verification and Spoofing Coutermeasures Challenge. — 2021.

137. Universal adversarial perturbations [Текст] / S.-M. Moosavi-Dezfooli [и др.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — С. 1765—1773.

138. RawNet: Advanced end-to-end deep neural network using raw waveforms for text-independent speaker verification [Текст] / J.-w. Jung [и др.] // Proc. Interspeech. — 2019. — С. 1268—1272.

139. Universal Adversarial Perturbations for Speech Recognition Systems [Текст] / P. Neekhara [и др.] // 20th Annual Conference of the International Speech Communication Association, Interspeech 2019, Graz, Austria, September 15-19, 2019. — 2019. — URL: https://doi.org/10.21437/Interspeech. 2019-1353.

140. DAoB: A Transferable Adversarial Attack via Boundary Information for Speaker Recognition Systems. [Текст] / J. Zhang [и др.] // DADA@ IJCAI. — 2023. — С. 12—17.

141. Spoofing Speaker Verification System by Adversarial Examples Leveraging the Generalized Speaker Difference [Текст] / H. Luo [и др.] // Secur. Commun. Networks. — 2021. — URL: https://doi.org/10.1155/2021/6664578.

142. Robust speech recognition via large-scale weak supervision [Текст] / A. Radford [и др.] // International conference on machine learning. — PMLR. 2023. — С. 28492—28518.

143. Natural tts synthesis by conditioning wavenet on mel spectrogram predictions [Текст] / J. Shen [и др.] // 2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). — IEEE. 2018. — С. 4779—4783.

144. Speaker anonymization using orthogonal householder neural network [Текст] / X. Miao [и др.] // IEEE/ACM Transactions on Audio, Speech, and Language Processing. — 2023.

145. Analyzing Language-Independent Speaker Anonymization Framework under Unseen Conditions [Текст] / X. Miao [и др.] // Interspeech. — 2022.

146. Stoller, D. Wave-u-net: A multi-scale neural network for end-to-end audio source separation [Текст] / D. Stoller, S. Ewert, S. Dixon // arXiv preprint arXiv:1806.03185. — 2018.

147. Geoda: a geometric framework for black-box adversarial attacks [Текст] / A. Rahmati [и др.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2020. — С. 8446—8455.

148. Wang, B. Starshaped compact hypersurfaces in warped product manifolds II: A class of hessian type equations [Текст] / B. Wang //J. Geom. Anal. — 2025. — Jan. — Vol. 35, no. 1.

149. Traversing the Subspace of Adversarial Patches [Текст] / J. Bayer [и др.]. — 2024. — arXiv: 2412.01527 [cs. CV].

150. Shamir, O. A Variant of Azuma's Inequality for Martingales with Subgaussian Tails [Текст] / O. Shamir. — 2011. — arXiv: 1110.2392 [cs.LG]. — URL: https://arxiv.org/abs/1110.2392.

151. Bias-Based Universal Adversarial Patch Attack for Automatic Check-Out [Текст] / A. Liu [и др.] // Computer Vision - ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XIII. — Glasgow, United Kingdom : Springer-Verlag, 2020. — С. 395—410. — URL: https://doi.org/10.1007/978-3-030-58601-0_24.

152. Adversarial mask: Real-world universal adversarial attack on face recognition models [Текст] / A. Zolfi [и др.] // Joint European Conference on Machine Learning and Knowledge Discovery in Databases. — Springer. 2022. —

C. 304—320.

153. Steinmetz, C. J. pyloudnorm: A simple yet flexible loudness meter in Python [Текст] / C. J. Steinmetz, J. D. Reiss // 150th AES Convention. — 2021.

154. Tripathi, M. Speaker recognition using SincNet and X-vector fusion [Текст] / M. Tripathi, D. Singh, S. Susan // International Conference on Artificial Intelligence and Soft Computing. — Springer. 2020. — С. 252—260.

155. Kingma, D. P. Adam: A method for stochastic optimization [Текст] /

D. P. Kingma // arXiv preprint arXiv:1412.6980. — 2014.

156. Universal Adversarial Perturbations Generative Network For Speaker Recognition [Текст] / J. Li [и др.] // IEEE International Conference on Multimedia and Expo, ICME 2020, London, UK, July 6-10, 2020. — 2020.

157. ASVspoof 2019: A large-scale public database of synthesized, converted and replayed speech [Текст] / X. Wang [и др.] // Computer Speech & Language. — 2020. — Т. 64. — С. 101114.

158. SingFake: Singing Voice Deepfake Detection [Текст] / Y. Zang [и др.]. — 2024. — arXiv: 2309.07525 [cs.SD]. — URL: https://arxiv.org/abs/ 2309.07525.

159. STC Antispoofing Systems for the ASVspoof2019 Challenge [Текст] / G. Lavrentyeva [и др.] // Proc. Interspeech 2019. — 2019. — С. 1033—1037.

160. Choi, S. Overlapped Frequency-Distributed Network: Frequency-Aware Voice Spoofing Countermeasure [Текст] / S. Choi, I.-Y. Kwak, S. Oh // Proc. Interspeech 2022. — 2022. — С. 3558—3562.

161. Alzantot, M. Deep Residual Neural Networks for Audio Spoofing Detection [Текст] / M. Alzantot, Z. Wang, M. B. Srivastava // Proc. Interspeech 2019. — 2019. — С. 1078—1082.

162. ASSERT: Anti-Spoofing with Squeeze-Excitation and Residual Networks [Текст] / C.-I. Lai [и др.] // Proc. Interspeech 2019. — 2019. — С. 1013—1017.

163. Speaker-Targeted Synthetic Speech Detection [Текст] / D. Castan [и др.] // Proc. The Speaker and Language Recognition Workshop (Odyssey 2022). — 2022. — С. 62—69.

164. Voice Spoofing Detection Through Residual Network, Max Feature Map, and Depthwise Separable Convolution [Текст] / I.-Y. Kwak [и др.] // IEEE Access. — 2023. — Янв. — Т. PP. — С. 1—1.

165. UR Channel-Robust Synthetic Speech Detection System for ASVspoof 2021 [Текст] / X. Chen [и др.] // Proc. 2021 Edition of the Automatic Speaker Verification and Spoofing Countermeasures Challenge. — 2021. — С. 75—82.

166. Wu, L. Attentional Fusion TDNN for Spoof Speech Detection [Текст] / L. Wu, Y. Jiang // 2022 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI). — 2022. — С. 651—657.

167. Khan, A. SpoTNet: A spoofing-aware Transformer Network for Effective Synthetic Speech Detection [Текст] / A. Khan, K. Malik // 2nd ACM International Workshop on Multimedia AI against Disinformation (MAD'23). — 06.2023.

168. Improving Short Utterance Anti-Spoofing with AASIST2 [Текст] / Y. Zhang [и др.]. — 2024. — arXiv: 2309.08279 [eess.AS]. — URL: https://arxiv. org/abs/2309.08279.

169. Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation [Текст] / H. Tak [и др.]. — 2022. — arXiv: 2202. 12233 [eess.AS]. — URL: https://arxiv.org/abs/2202.12233.

170. Robust Audio Anti-Spoofing with Fusion-Reconstruction Learning on MultiOrder Spectrograms [Текст] / P. Wen [и др.] // Proc. INTERSPEECH 2023. — 2023. — С. 271—275.

171. Sharpness-Aware Minimization for Efficiently Improving Generalization [Текст] / P. Foret [и др.]. — 2021. — arXiv: 2010.01412 [cs.LG]. — URL: https://arxiv.org/abs/2010.01412.

172. ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [Текст] / J. Kwon [и др.]. — 2021. — arXiv: 2102. 11600 [cs.LG]. — URL: https://arxiv.org/abs/2102.11600.

173. Generalized Fake Audio Detection via Deep Stable Learning [Текст] / Z. Wang [и др.]. — 2024. — arXiv: 2406.03237 [cs.SD]. — URL: https ://arxiv. org/abs/2406.03237.

174. Beyond Silence: Bias Analysis through Loss and Asymmetric Approach in Audio Anti-Spoofing [Текст] / H.-j. Shim [и др.]. — 2024. — arXiv: 2406. 17246 [cs.SD]. — URL: https://arxiv.org/abs/2406.17246.

175. KAN: Kolmogorov-Arnold Networks [Текст] / Z. Liu [и др.]. — 2024. — arXiv: 2404.19756 [cs.LG]. — URL: https://arxiv.org/abs/2404.19756.

176. Kolmogorov, A. N. On the Representation of continuous functions of several variables as superpositions of continuous functions of a smaller number of variables. [Текст] / A. N. Kolmogorov // Dokl. Akad. Nauk. — 1956. — Т. 108, № 2.

177. Braun, J. On a constructive proof of Kolmogorov's superposition theorem [Текст] / J. Braun, M. Griebel // Constructive approximation. — 2009. — Т. 30. — С. 653—675. — Publisher: Springer.

178. Kolmogorov, A. N. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition [Текст] / A. N. Kolmogorov // Doklady Akademii Nauk. Т. 114. — Russian Academy of Sciences, 1957. — С. 953—956.

179. Ravanelli, M. Speaker Recognition from Raw Waveform with SincNet [Текст] / M. Ravanelli, Y. Bengio. — 2019. — arXiv: 1808 . 00158 [eess.AS]. — URL: https://arxiv.org/abs/1808.00158.

180. Improved rawnet with feature map scaling for text-independent speaker verification using raw waveforms [Текст] / J.-w. Jung [и др.] // arXiv preprint arXiv:2004.00526. — 2020.

181. Attention is all you need [Текст] / A. Vaswani [и др.] // Advances in neural information processing systems. — 2017. — Т. 30.

182. Common voice: A massively-multilingual speech corpus [Текст] / R. Ardila [и др.] // arXiv preprint arXiv:1912.06670. — 2019.

183. Kim, J. Conditional variational autoencoder with adversarial learning for end-to-end text-to-speech [Текст] / J. Kim, J. Kong, J. Son // International Conference on Machine Learning. — PMLR. 2021. — С. 5530—5540.

184. Attention Augmented Convolutional Networks [Текст] / I. Bello [и др.]. — 2019. — arXiv: 1904.09925 [cs.CV]. — URL: https://arxiv.org/abs/ 1904.09925.

185. Focal loss for dense object detection [Текст] / T.-Y. Lin [и др.] // Proceedings of the IEEE international conference on computer vision. — 2017. — С. 2980—2988.

186. Yang, T. Algorithmic Foundation of Deep X-risk Optimization [Текст] / T. Yang // arXiv preprint arXiv:2206.00439. — 2022.

187. LibAUC: A Deep Learning Library for X-risk Optimization [Текст] / Z. Yuan [и др.] // 29th SIGKDD Conference on Knowledge Discovery and Data Mining. — 2023.

188. Bartlett, P. Inequalities [Текст] / P. Bartlett. — 2013. — URL: https://www. stat.berkeley.edu/~bartlett/courses/2013spring-stat210b/notes/ 20notes.pdf ; Lecture notes for Stat 210B - Theoretical Statistics. Online.

189. Can generative large language models perform asr error correction? [Текст] / R. Ma [и др.] // arXiv preprint arXiv:2307.04172. — 2023.

190. Llama 2: Open foundation and fine-tuned chat models [Текст] / H. Touvron [и др.] // arXiv preprint arXiv:2307.09288. — 2023.

191. Whispering LLaMA: A cross-modal generative error correction framework for speech recognition [Текст] / S. Radhakrishnan [и др.] // arXiv preprint arXiv:2310.06434. — 2023.

192. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [Текст] / C. Raffel [и др.] // Journal of Machine Learning Research. — 2020. — Т. 21, № 140. — С. 1—67. — URL: http : //jmlr . org/papers/v21/20-074.html.

193. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks [Текст] / A. Graves [и др.] // Proceedings of the 23rd international conference on Machine learning. — 2006. — С. 369—376.

194. Lora: Low-rank adaptation of large language models [Текст] / E. J. Hu [и др.] // arXiv preprint arXiv:2106.09685. — 2021.

195. Neftune: Noisy embeddings improve instruction finetuning [Текст] / N. Jain [и др.] // arXiv preprint arXiv:2310.05914. — 2023.

196. Finetuned language models are zero-shot learners [Текст] / J. Wei [и др.] // arXiv preprint arXiv:2109.01652. — 2021.

197. Hemphill, C. T. The ATIS spoken language systems pilot corpus [Текст] / C. T. Hemphill, J. J. Godfrey, G. R. Doddington // Speech and Natural Language: Proceedings of a Workshop Held at Hidden Valley, Pennsylvania, June 24-27, 1990. — 1990.

198. CHiME-6 challenge: Tackling multispeaker speech recognition for unsegmented recordings [Текст] / S. Watanabe [и др.] // arXiv preprint arXiv:2004.09249. — 2020.

199. Farrington, C. Contextualizing the corpus of regional African American Language, DC: AAL in the nation's capital [Текст] / C. Farrington, N. Schilling // American Speech: A Quarterly of Linguistic Usage. — 2019. — Т. 94, № 1. — С. 21—35.

200. Lip reading sentences in the wild [Текст] / J. Son Chung [и др.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — С. 6447—6456.

201. Librispeech: an asr corpus based on public domain audio books [Текст] / V. Panayotov [и др.] // 2015 IEEE international conference on acoustics, speech and signal processing (ICASSP). — IEEE. 2015. — С. 5206—5210.

202. Godfrey, J. J. SWITCHBOARD: Telephone speech corpus for research and development [Текст] / J. J. Godfrey, E. C. Holliman, J. McDaniel // Acoustics, speech, and signal processing, ieee international conference on. Т. 1. — IEEE Computer Society. 1992. — С. 517—520.

203. TED-LIUM 3: Twice as much data and corpus repartition for experiments on speaker adaptation [Текст] / F. Hernandez [и др.] // Speech and Computer: 20th International Conference, SPECOM 2018, Leipzig, Germany, September 18-22, 2018, Proceedings 20. — Springer. 2018. — С. 198—208.

204. Open-source Multi-speaker Corpora of the English Accents in the British Isles [Текст] / I. Demirsahin [и др.] // Proceedings of The 12th Language Resources and Evaluation Conference (LREC). — Marseille, France : European Language Resources Association (ELRA), 05.2020. — С. 6532—6541. — URL: https://www.aclweb.org/anthology/2020.lrec-1.804.

Ma, E. NLP Augmentation [Текст] / E. Ma. — 2019. — https://github.com/makced

Carlini, N. Audio adversarial examples: Targeted attacks on speech-to-text [Текст] / N. Carlini, D. Wagner // 2018 IEEE security and privacy workshops (SPW). — IEEE. 2018. — С. 1—7.

Adversarial Example Attacks against ASR Systems: An Overview [Текст] / X. Zhang [и др.] // 2022 7th IEEE International Conference on Data Science in Cyberspace (DSC). — IEEE. 2022. — С. 470—477.

Olivier, R. Recent improvements of ASR models in the face of adversarial attacks [Текст] / R. Olivier, B. Raj // Interspeech. — 2022. — URL: https: //arxiv.org/abs/2203.16536.

Hyporadise: An open baseline for generative speech recognition with large language models [Текст] / C. Chen [и др.] // Advances in Neural Information Processing Systems. — 2023. — Т. 36. — С. 31665—31688.

205.

206.

207.

208. 209.

Список рисунков

1.1 Схематически процедура сертификации может быть описана следующим образом. Для входного изображения х, принадлежащего классу с, и параметрического преобразования ф формируется набор из Хтах аугментированных примеров

{ф(х, а1),..., ф(х, аМтах)}. На основе полученных выборок вычисляется нижняя оценка величины Нс(х) через критерий Клоппера-Пирсона, задаваемая в виде Нс(х) = В (а*/2, п, ^тах — п + 1), где В обозначает бета-распределение, а п соответствует числу аугментированных изображений ф(х,а3), для которых предсказание базового классификатора уверенно корректно ¡'с(ф(х,а3)) > ^. Затем проверяется условие сертификации из теоремы 1.3.1 для значения %с(х)..................................... 19

1.2 Визуализация СИЛ для различных типов преобразований на наборе данных 1ша§еКе1. В соответствии с конструкцией предложенного подхода, если классификатор сертифицирован в точке входа х для параметра [5, то он сертифицирован для всех параметров

¡3* € [Ро, Р]. Значения СИЛ показаны цветовой шкалой. Примечание: значение СИЛ, приведенное в таблице 1, соответствует инфинуму СИЛ на соответствующем графике.............. 34

1.3 Зависимость £(Н) от ^ для преобразования «Контрастность-Яркость»......................... 35

1.4 Зависимость д(0,0) от <Ль для преобразования «Контрастность-Яркость»......................... 35

2.1 Схема, иллюстрирующая предлагаемый алгоритм. Алгоритм принимает в качестве входных данных аудиосигнал х, базовую модель f и множество центроидов Sc = {с\,... , ск}. На рисунке д(х) соответствует оценке сглаженного эмбеддинга д(х) из формулы (2.4), вычисленной в форме (2.14). При выполнении алгоритма 3 вычисляются доверительные интервалы (li,ui) для расстояния между д(х) и соответствующим центроидом q для всех i <Е [1,... ,К]. Затем, на основе отсортированных доверительных интервалов {(Iil ,uil),..., (lix ,uiK)} определяются два ближайших центроида cil и ci2. На заключительном этапе алгоритма вычисляется нижняя граница Я(ф(д,cil, ci2)) сертифицированного радиуса Я(ф(д,cil, ci2)) из теоремы 2.3.1.................. 41

2.2 Модель Pyannote. Few-shot постановка. Зависимость сертифицированной точности от дисперсии а аддитивного шума, уровня доверия а и числа примеров (сэмплов) в выборке Xmax. Пунктирные линии соответствуют результатам метода SE,

сплошные - предложенному подходу................... 49

2.3 Модель Pyannote. Few-shot постановка. Зависимость сертифицированной точности от числа регистрационных аудиозаписей М для каждого диктора, числа зарегистрированных дикторов К (числа центроид) и длительности аудио (в секундах). Пунктирные линии соответствуют результатам метода SE,

сплошные - предложенному подходу................... 50

2.4 Модель ECAPA-TDNN. Few-shot постановка. Зависимость сертифицированной точности от дисперсии добавляемого шума а, уровня доверия а и числа примеров (сэмплов) в выборке Xmax. Пунктирные линии соответствуют результатам метода SE,

сплошные - предложенному подходу................... 54

2.5 Модель ECAPA-TDNN. Few-shot постановка. Зависимость сертифицированной точности от числа М аудиозаписей одного диктора, числа зарегистрированных дикторов К и длины аудиофрагмента в секундах. Пунктирные линии соответствуют результатам метода SE, сплошные - предложенному методу...... 55

2.6 Модель Pyannote. Few-shot постановка. Эмпирическая устойчивая точность (ERA) функций f и д при различных типах возмущений: гауссов шум, состязательная атака PGD и универсальное состязательное возмущение (UAP) [58]. Пунктирные линии соответствуют аудио длительностью 3 с, а сплошные линии - аудио длительностью 5 с.............................. 56

3.1 Распределение уровней громкости (12-норма) в датасете VoxCeleb2. . 70

3.2 Сравнение Fooling Rate между предложенным методом (с использованием LExp tv) и методом [59] при различных длительностях тестовых аудио....................... 72

3.3 Распределения значений косинусного сходства между векторами оригинальных аудиозаписей и центроидами дикторов, между векторами анонимизированных аудиозаписей и центроидами, между векторами различных анонимизированных аудиозаписей одного диктора, а также между векторами анонимизированных аудиозаписей разных дикторов...................... 73

3.4 Схема модели AASIST3 (KAN-AASIST)................. 84

А.1 Зависимость £(h) от Ns для преобразования

«Контрастность-Яркость».........................124

А.2 Зависимость g(fi, 0) от Ns для преобразования

«Контрастность-Яркость».........................125

А.3 Зависимость g(fi, 0) от db для преобразования

«Контрастность-Яркость».........................125

А.4 Зависимость £(h) от db для преобразования контраст-яркость .... 126

Б.1 Модель Pyannote. Постановка - классификация диктора (RS). Зависимость сертифицированной точности от числа регистрационных аудиозаписей М для каждого диктора, числа зарегистрированных дикторов К (числа центроид) и длительности аудио (в секундах).............................131

Б.2 Модель Pyannote. Постановка - классификация диктора.

Зависимость сертифицированной точности от а, а и Nmax.......132

Б.3 Модель ECAPA-TDNN. Постановка - классификация диктора (RS). Зависимость сертифицированной точности от числа регистрационных аудиозаписей M для каждого диктора, числа зарегистрированных дикторов К (числа центроид) и длительности

аудио (в секундах).............................133

Б.4 Модель ECAPA-TDNN. Постановка - классификация диктора (RS).

Зависимость сертифицированной точности от а, а и Nmax.......134

Б.5 Прочие модели. Задача классификации (RS). Зависимость

сертифицированной точности от а. Все параметры дефолтные,

кроме Nmax = 5000............................. 135

В.1 Схема рассматриваемого метода. Модель ASR получает

аудиосигнал на вход, формирует 5 возможных транскрипций методом beam-search. Эти гипотезы передаются в LLM, которая выполняет посткоррекцию.........................137

Список таблиц

1 Количественные результаты (CRA) на наборе данных ImageNet. Для предложенного подхода и методов конкурентов приведены сглаживающие распределения и CRA. Наилучшие результаты выделены жирным шрифтом, подчеркнутыми обозначены эквивалентные показатели. Символ "—" в таблице соответствует преобразованию, для которого метод не обеспечивает сертификацию модели при заданных параметрах распределения. Величина CRA оценивается в фиксированном диапазоне параметров Ri < ß < Rr для каждого типа преобразования. Обозначения с, Ъ, 7, (ТХ,ТУ), гъ соответствуют параметрам атак: контрастности, яркости, гамма-коррекции, сдвига и гауссова размытия соответственно. Сокращение GL обозначает General Lipschitz - предложенный в диссертации метод. Базовая модель f -ResNet-50.................................. 37

2 В таблице приведены вычислительные затраты (в секундах), требуемые для процедуры сертификации на наборе данных ImageNet. При построении сглаженного классификатора использовалось Nmax = 1000 сэмплов. Для предложенного метода отдельно указано время этапа построения (constr). Время сертификации (cert) указано для сертификации 500 изображений. . . 38

3 CRA(%) для некоторых типов атак на наборах данных CIFAR-10 и CIFAR-100. Жирным шрифтом выделены наилучшие показатели, а подчеркнутым шрифтом выделены эквивалентные показатели. Базовая модель ResNet-110................. 38

4 Сравнение предлагаемых методов с решением уровня SOTA. Модель ECAPA-TDNN. Датасет VoxCeleb2. Длительность входных аудио - 20 секунд.............................. 72

5 Итоговые метрики качества подготовленных моделей на тестовом наборе данных соревнования ASVspoof 5 (результаты модели

AASIST были оценены после соревнования)............... 86

6 Результаты дополнительных исследований на расширенных наборах данных. Все значения округлены до 4 значащих цифр после запятой. EER - Equal Error Rate, ROC AUC - площадь под кривой характеристик ошибок, Acc - точность, BF - bona fide (истинная

речь). Класс bona fide рассматривается как положительный...... 87

7 Результаты WER (%) для различных целевых модулей при дообучении T5 с использованием LoRA и NEFTune. Чем меньше значение метрики, тем лучше.......................140

8 WER на различных наборах данных. LLM обучались на тренировочной части Mozilla Common Voice 18 (английский поднабор). Чем меньше значение метрики, тем лучше.........142

Приложение А

Сертификация к разрешимым семантическим возмущениям. Доказательства и дополнительные замечания.

А.1 Доказательства

Пусть ф-разрешимое преобразование (определенное в 1.1), аß : [0,1] ^ в - гладкая кривая, для которой /3(0) = ß0 (тождественное преобразование). Рассмотрим сглаженный классификатор (определенный в (1.2)) с условной плотностью p(ylx) (определенной в (1.4))

h(ß)=/ f(у)p(ylx)dy, ж = ф(х,ß) (А.1)

JRn

Пусть х Е X - входной объект класса с, и предположим, что сглаженный классификатор h корректно классифицирует х с высокой уверенностью, то есть hc(ßo) > 2■ Предположим, что h является гладким и что существуют фиксированные, заданные неотрицательные функции р : [0,1] ^ R>0 и g : в ^ R>0, для которых выполняется следующее ограничение на производную по направлению:

Vß Е в Уи Е Rdime ||и||2 = 1 : (Vßh(ß),и) < p(h)g(ß)■ (А.2) Введем вспомогательные конструкции

£(h) = J -h)dh, 9(ß) = J 9(ß)dß, (А.3)

Следует отметить, что такие функции р() и $(•) существуют, поскольку h( ) предполагается гладкой (например, р = 1,g(ß) = supMsup^(Vßh(ß),u)). Тогда справедливо следующее утверждение:

Теорема А.1.1 (Переформулировка). Условие сертификации. Если g(ß) < —(1 — hc(x)) + £(1/2), то для всех t Е [0,1] классификатор h является устойчивым (robust) в точке х (предсказание инвариантно):

argmax hi{^>(x, 'ß(t))) = с■ (А.4)

1Е[1,..,С }

Доказательство. Напомним, что сглаженный классификатор имеет вид математического ожидания по плотности возмущения, обусловленной входным объектом х, а именно:

Н(ф(х, Р)) = К(х) = К(х, Р) (А.5)

= К(Р) = / Мр(у\Х)(!у, (А.6)

где р(у\Х) определяется в Ед. (1.4). Заметим, что К(Р0) = К(х).

Пусть теперь х - фиксированный входной объект класса с. Далее упростим обозначения: К(Р) = КС(Р), чтобы рассматривать только с-ю компоненту сглаженного классификатора. Предположим также, что х классифицируется корректно с высокой уверенностью, то есть К(Р) > 2.

Для построения критерия сертификации заметим, что производная по направлению К(Р) по Р ограничена произведением двух функций р : [0,1] ^ М>0 ид : в ^ М>0, таких что

(Ч рН(Р),и) = / №{Чрр(у\х),и)йу < д(к,Р) < р(Ь(Р))д(Р) (А.7)

Jшn

для всех и € МЙ1™е : ||и||2 = 1. Такие функции р(^) и $(•) существуют, поскольку предполагается гладкой (например, можно положить р = 1, д(Р) = вирм вирр (Ч р К(Р), и)).

Запишем выражение градиента

(ЧрКР),и) = / ¡Шу,х)р(у\х)(1у, (А.8)

Jшn

где г](у, х) = (Чр logp(y\х),и), а и фиксирован.

Чтобы оценить супремум в Ед. (А.8) при данном Р, необходимо решить задачу оптимизации вида

а^шах / я(у)т](у,х)р(у\х)с1у,

^ (А.9)

К = Ч(У)Р(У\х)dy,

Jмn

где О, = {д : X ^ [0,1]} - множество базовых классификаторов, удовлетворяющих ограничению в Ед. (А.9). Иными словами, решая задачу (А.9), требуется найти наихудший базовый классификатор , то есть тот, для которого градиент максимален при данном Р.

Известно [128], что задача (А.9) имеет оптимальное решение в виде

1, если т](у, ж) > Г-1,Л(1 — к), д*(у) = ^ ' ) ь (А.10)

I 0, иначе,

где Г-1 - обратная функция распределения случайной величины г](у, ж). Следовательно,

/ Я* (УМУ ,х)Р(У\х)((у =

* I

Г

(А.11)

'геМп:г]( г,Х)>Е-(1&) (1-Ь)

т](г,х)р(г\х)(х := д(к,().

г/(г,х)(1

Таким образом,

{Урк(/3),и)< ~д(к,(), (А.12)

где последняя величина ограничена сверху:

д(к,() = \\ яиР д(к,()

д(М) р д(к,/)) Т

< яир ( ) ^ ) яир д(к () = р(к)д(().

(А.13)

Интегрируя неравенство (А.12) вдоль гладкой кривой / = /3(р) : /(0) = /0,((1) = /1, получаем:

/{Урк(/),и)(/ < (_р(к)д(/)(/. (А.14)

Введем вспомогательную функцию ^(к) = / ■^^(к, тогда

т/3)) - да((о))=/ {Ур№Р)),и)М< [ д(т = дф). (А.15)

Функция монотонно возрастает по к((3) (так как р(к) > 0), а д(/) неубывает вдоль /3(£), поскольку д(/) неотрицательна. Заметим, что неравенство (А.15) выполняется для всех компонент сглаженного классификатора, так как правая часть не зависит от к.

Рассмотрим наихудший случай - вторую наиболее вероятную компоненту предсказания сглаженного классификатора. Пусть сглаженный классификатор бинарный (без потери общности, это эквивалентно постановке опе-уэ-аП для класса с); рассмотрим компоненту к=с((3), соответствующую вероятности классификации изображения не к классу .

Для состязательного 3, такого что h=c((3) > 1/2:

£(h=c((3)) > £(1/2), £(h=c(30)) = £(1 - h(30)), (А.16)

что влечет

£(1/2) - £(1 - hc(30)) < £(h=c(3)) - £(h=c(30)) < 9(3). (А.17)

Следовательно, если неравенство в Eq. (А.17) не выполняется, то соответствующее значение ( не является состязательным. Иными словами,

£(1/2) - £(1 - hc(30)) > д(3) (А.18)

является достаточным условием сертификации классификатора h для данного параметра преобразования 3. Наконец, напомним, что д(3) возрастает вдоль 3(t), что завершает доказательство. □

Доказательство леммы 1. Логарифм условной плотности для разрешимого преобразования.

Лемма 1 (Переформулировка). Пусть ^(а,3) - разрешающая функция:

ф(ф(х,3 ),a) = ф(х,7 (а,3)). (А.19)

Тогда формула для логарифма условной плотности из Eq. (1.4) имеет предел при а ^ 0 следующего вида:

log р(у |х) = z(a, 3) = -1 logdet JT J + log г (a),

J = di (А.20)

da

Доказательство. При а ^ 0 предел нормальной плотности, из которой сэмплируются шум £, есть дельта-функция Дирака.

р(у|х) = J S(y - ф(х, a))r(a)da ©

= Т(Ф-1(У,X))(det(JTJ)) 2 .

□

Доказательство леммы 2.

Лемма 2 (Переформулировка). Градиент логарифма плотности для разрешимых преобразований

Рассмотрим логарифм плотности (1.4) logр(у\х) = z(a, ft) = z(a(ft), = dz _ dz (&A t

тогда V ¡зz = — (^J , где 7 - разрешающая функция преобразования: (x,ft),а) = ф(х,7(a, ft)).

(А.21)

(А.22)

Доказательство. Для дифференциала ^ имеем

dz = — + — da. ор да

Следовательно, градиент ^ по [5 имеет вид

(Ь дz дz da др да

Аналогично, для 7 = 7(а(Р):

^ = д^ +

dp др + да ( ' 3

Поскольку требуется вычислить , фиксирование у означает, что 7 = 7(а(Р) = 70 - константа. Тогда

Отсюда градиент по ft

д7 д7 0 = d^y = — dft + — da. dp да

д7 д7 da + = 0

dft да dft

влечет

da

( ^ \

\da)

д7 dft'

В результате

dz dz dz

Vi3 log Р(У\x) = ^ = ^ — ^ ^

dft dft da

(^ Y

\daj

d7

(А.24)

(А.25) (А.26)

(А.27)

□

t

t

А.2 Пример оценки сертифицированного радиуса устойчивости

В этом разделе представлен аналитический вывод для случая аддитивного возмущения. ф(х,а) = х + а, т(а) = —=2е 2«2

V 2 К К

1 [ _\\у-ф(х,а)\\2 1 Г _ \\у-(х+а+р)\\2 , ,

е т(а)аа = е 2^ т(а)аа =

л/2тт а2 ] л/2т1 а

1 -(у—-1)2

2

(А.28)

^/2к\/а2 + г2

Выражение для логарифма плотности принимает вид:

1оер(2/ | X) = -1 (^(2тг) + ^(к2 + а2) + . (А.29)

Аналогичный результат может быть получен с помощью Леммы 2.

0 у - X — р

^У, х) = до 1 х) = -2~, (А.30)

др а2 + к,2

дК [ д [