Анализ, построение и обоснование алгоритмов численного решения многопараметрических оптимизационных задач методами машинного обучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Лю Шуан

• Лю Шуан
• кандидат наук
• 2026

Оглавление диссертации кандидат наук Лю Шуан

Аннотация...................................................................................................Ошибка! Закладка не определена.

Введение

Глава 1. Линейные нейронные сети и системы линейных алгебраических уравнений

1.1. Описание методов регуляризации LNNs в машинном обучении

1.1.1. Регуляризация на основе оптимизации

1.2. Описание методов регуляризации SLAE

1.2.1. Обобщенное число обусловленности

1.2.2. Обобщение понятия решения: псевдо-решение

1.2.3. Классический метод регуляризации

1.2.4. Итерационные регуляризующие алгоритмы и асимптотическая регуляризация

1.3. Приложения линейных нейронных сетей

1.4. Приложения KAN-линейных нейронных сетей

Глава 2. Решение нелинейного уравнения Шредингера с использованием метода PINNs

2.1. Описание метода PINNs

2.1.1. Адаптивные функции активации

2.1.2. Функция потерь в методе PINNs

2.1.3. Латинская гиперкубическая выборка

2.2. Нелинейное уравнение Шрёдингера

2.2.1. Применения нелинейного уравнения Шрёдингера

2.2.2. Описание нелинейного уравнения Шрёдингера

2.3. Описание алгоритма PINNs для задачи нелинейного уравнения Шрёдингера

2.4. Приложения физических информационных нейронных сетей

Заключение

Основные публикации по теме диссертации

Список литературы

Примечание

3.1. Описание метода разложения по сингулярным значениям

3.2. Описание линейной регрессии и методов её расширения

3.3. Описание метода конечных разностей для нелинейных уравнений Шредингера

3.4. Краткий обзор уравнений Шрёдингера

Введение диссертации (часть автореферата) на тему «Анализ, построение и обоснование алгоритмов численного решения многопараметрических оптимизационных задач методами машинного обучения»

Введение

Машинное обучение (Machine Learning, ML) является важным направлением искусственного интеллекта (Artificial Intelligence, AI) [1], направленным на выявление скрытых закономерностей в больших объемах данных для решения сложных задач без явного программирования [2]. В последние годы ML добилось значительных успехов в таких областях, как распознавание изображений, анализ жидкостной хроматографии [3], науки о Земле и дистанционное зондирование [4], прогностическое моделирование и решение обратных задач [5], а также обработка естественного языка (Natural Language Processing NLP) [6]. Методы ML основываются на математике, статистике и теории оптимизации для моделирования сложных систем [7-9].

Нейронные сети (Neural Networks, NN) являются одной из ключевых технологий ML благодаря своей высокой нелинейной аппроксимирующей способности и гибкости, что делает их особенно эффективными при решении обратных задач. Обратные задачи широко распространены в физике, инженерии, науках о Земле и медицинской визуализации. Их цель — восстановление неизвестных параметров или внутренних механизмов по наблюдаемым данным, однако из-за некорректности задачи даже небольшие возмущения могут привести к нестабильным решениям. В зависимости от особенностей задачи применяются различные структуры NN: прямые нейронные сети (Feed-forward Neural Network FNN) подходят для параметрической регрессии [10], сверточные нейронные сети (Convolutional Neural Networks, CNN) — для реконструкции изображений и подавления шума [11], генеративно-состязательные сети (Generative Adversarial Network, GAN) — для создания изображений высокого качества [12]. Физически-информационные нейронные сети (Physics -Informed Neural Networks, PINNs) [13], интегрируя физические законы в функцию потерь, позволяют повысить физическую согласованность при сохранении точности аппроксимации.

Нейросети демонстрируют высокую эффективность в задачах реконструкции медицинских изображений [14], геофизического инверсного моделирования [15], распознавания материалов [16] и обратной кинематики в робототехнике [17]. Тем

не менее, остаются проблемы, связанные с высокой зависимостью от качества и объема данных, низкой интерпретируемостью и склонностью к переобучению. В будущем необходимо разрабатывать более устойчивые и интерпретируемые модели, а также исследовать гибридные подходы, объединяющие физические априорные знания с методами, основанными на данных, для повышения практической применимости и надежности нейросетей в решении обратных задач.

Линейные нейронные сети (Linear Neural Networks, LNNs) представляют собой класс нейронных сетей, в которых операции, выполняемые нейронами, являются линейными [18]. Хотя LNNs являются вычислительно эффективными и простыми для интерпретации, они ограничены в способности захватывать сложные, нелинейные взаимосвязи [19]. Каждый нейрон в LNNs обрабатывает входные данные, используя линейные преобразования, определяемые весами, после чего применяется линейная функция активации для генерации конечного вывода [20]. Обучение LNNs включает оптимизацию весов с целью минимизации ошибок предсказания, и может использовать различные методы оптимизации на основе градиента, такие как градиентный спуск, стохастический градиентный спуск (SGD) и адаптивные методики, например, Adam [21]. Этот итеративный процесс корректирует веса для уменьшения разницы между предсказанными и фактическими значениями, используя функции потерь, такие как среднеквадратичная ошибка (Mean Squared Error, MSE) [22] или средняя абсолютная ошибка (Mean Absolute Error, MAE) [23].

LNNs обладают высокой вычислительной эффективностью и способны быстро обучаться, что делает их особенно подходящими для задач регрессии с высокоразмерными данными [24]. По сравнению с более сложными архитектурами нейронных сетей, такими как сверточные нейронные сети (CNNs) и рекуррентные нейронные сети (RNN) [25], LNNs обеспечивают простоту и скорость, предлагая преимущество в тех случаях, когда интерпретируемость модели и эффективность обучения имеют приоритет над сложным обучением признаков. Однако их простота ограничивает применение LNNs для задач, требующих сложных представлений, таких как обработка изображений или последовательностей, где

глубокие архитектуры, такие как сверточные и рекуррентные нейронные сети, более эффективны благодаря своей способности извлекать сложные признаки.

Для повышения производительности модели и предотвращения переобучения регуляризационные техники необходимы в обучении нейронных сетей [26]. Методы, такие как L1 и L2 регуляризация, Dropout, ранняя остановка, пакетная нормализация и регуляризация с помощью аугментации данных, улучшают устойчивость модели, уменьшают чувствительность к шуму и повышают адаптивность к сложным задачам [27-29]. Эти методы имеют свои корни в классических математических подходах численной линейной алгебры [30], в которых регуляризация применяется для стабилизации решений некорректных задач, таких как несоответствующие линейные системы Aq = f , позволяя получать более надежные и обоснованные результаты [31].

Алгоритмы обучения для LNNs, включая градиентный спуск, обратное распространение ошибки, стохастический градиентный спуск (SGD), адаптивную оценку момента (Adam) и адаптивные градиентные методы, оптимизируют веса для минимизации функции потерь [21], [32-37]. Эти методы обеспечивают эффективное обучение, обновляя веса в направлении градиента функции потерь, что приводит к уменьшению ошибок и способствует сходимости алгоритма к оптимальному решению.

Алгоритмы машинного обучения, включая LNNs, нашли широкое применение в биомедицинских областях, таких как анализ результатов анализов крови, прогнозирование рисков заболеваний и идентификация аномальных параметров [38, 39]. LNNs также используются в анализе геномных данных [40], классификации рака [41] и исследованиях биомаркеров [42], что демонстрирует их потенциал в поддержке принятия решений в области здравоохранения, например, путем повышения точности диагностики и персонализации лечения.

В данной работе рассматриваются связи между LNNs [43] и классической теорией регуляризации [26], объединяющей современные методы ML с устоявшимися математическими принципами [44-46]. Используя эти теоретические основы, мы стремимся повысить устойчивость и эффективность

обучения LNNs, особенно в таких практических приложениях, как финансовое прогнозирование [47] и принятие медицинских решений [48].

Пересечение нейронных сетей и физики привело к разработке физически информационных нейронных сетей (Physics-Informed Neural Networks, PINNs), мощного инструмента для аппроксимации функций с учётом физических законов. PINNs предлагают уникальное преимущество в интеграции физических знаний в процессе обучения, что особенно полезно при решении задач, связанных с частными дифференциальными уравнениями (PDE), но также может быть применимо к более широкому спектру физических задач [49]. Этот синтез вычислительных и физических принципов имеет значительные перспективы для решения сложных задач, особенно тех, которые связаны с нелинейными явлениями.

Нелинейные дифференциальные уравнения представляют собой серьёзные проблемы, во многом из-за присущей сложности их природы, включая отсутствие принципа суперпозиции и недостаток хорошо обоснованных математических теорий, аналогичных тем, что существуют для линейных уравнений. В 1961 году Винер предложил, что для нахождения решений нелинейных дифференциальных уравнений зачастую необходимы вычислительные методы, которые помогают исследовать разнообразные специфические случаи и разрабатывать общие теоретические подходы. Пионерская работа Забуски и Крускала в 1965 году [50], а позднее в 1967 году Гарднера и др. [51] положила начало пониманию нелинейной волновой механики, с приложениями, охватывающими от солитонных решений до дисперсионных явлений. В 1972 году Захаров и др. [52, 53] решили нелинейное уравнение Шрёдингера (nonlinear Schredinger equation, NLSE), используя метод обратного рассеяния, и численно решили это уравнение. Дополнительные подробности, включая методики и применения, представлены в [54, 55].

В 1984 году Гриффитс и др. [56] провели численное исследование нелинейного уравнения Шрёдингера. Были получены численные результаты эволюции одного солитона и взаимодействия двух солитонов. С тех пор математики начали интересоваться решением нелинейных дифференциальных уравнений. Методы, предложенные Кудряшовым [57] и Свецкицким и др. [58],

представили новые идеи, в то время как в 2018 году Райсси и др. [59] стали пионерами подходов, основанных на данных, для решения этих уравнений. Последующие работы Райсси и др. [13] представили РШ№, которые обеспечили надёжную основу для решения как прямых, так и обратных задач, связанных с нелинейными дифференциальными уравнениями. Эти достижения, наряду с исследованиями Заида и др. [60, 61] и Кудряшова [62], значительно расширили репертуар техник, доступных для изучения нелинейных явлений.

-а -4 -а -г -1 о 1 2 3 4

Рис. 1.0: Решение нелинейного уравнения Шрёдингера.

Одним из примечательных применений PINNs является решение нелинейного уравнения Шрёдингера (Nonlinear Schrödinger Equation, NLSE), которое является основным для моделирования в различных областях, таких как оптика и квантовая механика. В 2021 году Пу и др. [63] идентифицировали уравнения из пространственно-временных данных, используя PINNs напрямую.

Кудряшов [64] и другие учёные использовали нейронные сети для решения PDE, применяя подход, основанный на новом солитонном решении, которое представляет собой стабильное и локализованное волновое решение для обобщённого уравнения Шрёдингера с мультиполями. Это позволяет эффективно моделировать динамику нелинейных явлений и предсказать поведение сложных систем. В 2020 году

Двиведи и др. [65] использовали адаптивные функции активации для повышения вычислительной эффективности. В 2022 году Беднякова и др. [66] предложили убедительный подход к PINNs для моделирования сложных систем, таких как волоконные лазеры на основе полупроводниковых оптических усиливателей (Semiconductor Optical Amplifiers, SOA). Эти системы демонстрируют нелинейное поведение и могут точно настраивать спектры импульсов. Это заключение было подтверждено Мао и др. [67].

Обучение машинного обучения занимает больше времени, чем использование прямого численного моделирования. Однако с увеличением сложности системы и числа неизвестных переменных методы машинного обучения становятся всё более популярными [3, 4, 68]. Для некоторых нелинейных PDE могут существовать различные решения с разными характеристиками. Как (приблизительно) сконструировать конкретное решение нелинейных PDE — это сложная задача на практике. Например, для NLSE исследуются солитонные решения, которые являются специальными решениями, обладающими свойством поддержания своей формы и скорости. Некоторые численные схемы, такие как определенные реализации метода конечных разностей, могут сталкиваться с трудностями в захвате солитонных решений NLSE, особенно при высоких уровнях нелинейности, что подчеркивает необходимость разработать более устойчивые и адаптивные численные методы. На рисунке 1.0 мы представляем результат стандартного метода конечных разностей (см. Приложение 2.6 для подробностей, а связанный анализ и описание подробно изложены в [69]) для решения нелинейного уравнения Шрёдингера (2.16), на основе которого мы продемонстрировали, что традиционные численные схемы не могут точно восстановить солитонное решение нелинейного уравнения Шрёдингера. Это побуждает нас разработать подход, основанный на машинном обучении, для

эффективного аппроксимирования солитонного решения нелинейных уравнений Шрёдингера.

В последние годы наблюдается растущий интерес и инновации в области PINN и нелинейных дифференциальных уравнений. В 2021 году Лу и др. [70] исследовали потенциал нейронных сетей для решения частичных дифференциальных уравнений, опираясь на такие структуры, как библиотека DeepXDE. Несмотря на эти достижения, остаются определённые вызовы. В 2022 году Шокри и др. [71] представили новый восьми-шаговый сингулярный p-устойчивый метод для численного решения радиального уравнения Шрёдингера. Акбулут и др. [72] изучали ограниченность оператора Кальдерона-Зигмунда, связанного с оператором Шрёдингера в исчезающих обобщённых пространствах Моррея. В 2023 году Мусаева и др. [73] исследовали проблему идентификации одномерных нелинейных уравнений типа Шрёдингера с граничными наблюдениями. В 2023 году Гурьева и др. [74] обнаружили необходимость в мощных численных методах и интеграции законов сохранения в архитектуры нейронных сетей при изучении процесса решения.

В свете этих событий данная работа направлена на использование PINNs для решения нелинейного уравнения Шрёдингера с особым акцентом на методы решения в прикладных задачах моделирования волоконных лазеров на основе полупроводниковых оптических усиливателей. Оптимизируя скорости сходимости с помощью адаптивных функций активации, мы иллюстрируем эффективность PINNs в моделировании тонких динамических изменений нелинейных систем, тем самым способствуя как теоретическому пониманию, так и практическим приложениям в физике и инженерии [75].

Структура данной работы организована следующим образом В главе 1 проблема LNNs пере-формулируется как система линейных алгебраических уравнений, что устанавливает математическую базу. В разделе 1.1 рассматриваются техники регуляризации в машинном обучении

для повышения обобщающей способности модели. В разделе 1.2 исследуются методы регуляризации из классических обратных задач для систем линейных алгебраических уравнений, включая вариационные и итеративные подходы. В разделе 1.3 приводятся примеры, иллюстрирующие практическую применимость метода LNN. В разделе 1.4 описывается расширение LNNs до KAN-LNN, что позволяет повысить эффективность базовой модели LNNs.

В главе 2 представляется метод PINNs, а в разделе 2.1 описываются адаптивная функция активации и латинская гиперкубная выборка. В разделе 2.2 мы сначала обсуждаем практические приложения нелинейного уравнения Шрёдингера, а затем рассматриваем причины возникновения этого уравнения. В разделе 2.3 мы предлагаем алгоритм PINNs для класса нелинейных уравнений Шрёдингера. В разделе 2.4 рассматривается численная реализация алгоритма для PINNs, применяемых к нелинейному уравнению Шрёдингера, и представлены полученные численные результаты для анализа.

Наконец, в заключении подводятся итоги работы, обобщаются основные выводы и основные публикации по теме статьи.

Глава 1. Линейные нейронные сети и системы линейных алгебраических уравнений

Линейные нейронные сети состоят исключительно из линейных преобразований - точнее, аффинных преобразований, которые включают умножение матриц и необязательное сложение смещений. Без нелинейных функций активации такая сеть, независимо от количества слоев, функционально эквивалентна одному линейному преобразованию, что ограничивает ее способность моделировать сложные зависимости в данных [25]. Пример простых линейных нейронных сетей, состоящих из 6 слоев, показан на рисунке 1.1.

1111

Input layers hidden layers output layer

Рис. 1.1: Линейные нейронные сети с 4 скрытыми слоями. Входная матрица сети С^к

= [д(1)>д(2^>--- ,д(К->] Е ЖЫхК. Соответствующая выходная матрица сети Нмк = [к(1\к(2\---,к(кЦ Е ЖМхК . Матрицы весов для 4 скрытых слоев обозначены как QLN Е Ж1хМ, QKL Е ЖКхЬ, QFK Е ЖЕхК и QMF Е ЖМхЕ.

Определяющей характеристикой линейного слоя является то, что он выполняет только аффинные преобразования, не вводя нелинейных функций активации. Это гарантирует, что преобразование остается линейным во всей сети. Следовательно, при наложении нескольких линейных слоев получается единое линейное отображение для входа. Например, в нейронной сети, изображенной на рисунке 1.1, конечная матрица весов задается

QмN = QмF • QкF • QкL • QLN , где QMN Е ЖМхМ Таким образом, комбинированный эффект можно эквивалентно выразить как:

ь(к) = 1ЩМмд(к)+ Ь), к = 1,2,-,К.

где - линейная функция активации, которая имеет свойство быть пропорциональной входному сигналу 1, (Функция активации: Функция, которая сжимает весовой суммированный сигнал, чтобы выходной сигнал находился в ограниченном диапазоне, например, [0,1] или [-1,1] [76]), Ь - вектор смещения, а - конечный выходной вектор. Эта формула отражает основное содержание линейной нейронной сети, где выход является линейной комбинацией входов. За более подробной информацией можно обратиться к [18].

Как показано на рисунке 1.2, матрица весов QMN = [Ч1]-]1<{<М1^<И играет

центральную роль в линейных нейронных сетях, сопоставляя входные данные с выходными предсказаниями. Связи между входными данными, выходными предсказаниями и матрицей весов можно строго анализировать с использованием методов разложения матриц, таких как сингулярное разложение (SVD) и анализ собственных значений. Эти методы предоставляют ценные сведения о структурных свойствах QMN, которые имеют решающее значение для применения в линейной регрессии, основных задачах классификации и многовариантных предсказательных задачах [77]. Чтобы прояснить, линейные задачи машинного

обучения часто могут быть переформулированы как системы линейных алгебраических уравнений (Systems of linear algebraic equations, SLAE).

Рис. 1.2: Связь между линейными нейронными сетями и системами линейных алгебраических уравнений. Для каждого ¿ = 1,2,-,М , у = 1,2,---,И и к = 1,2,••• ,К матрица весов задается как QMN = [Чц]1<<м <м, а входной вектор

£ ^. Соответствующий выходной т

представляет собой д(к) = вектор сети задается как h(k) =

(к) (k)

( k) gN)

т

( k) ( k) ( k) hl , h2 >'">hM

е м

M

Линейные нейронные сети (LNNs) представляют собой класс нейронных сетей, в которых каждый нейрон генерирует один выходной сигнал, выполняя исключительно линейные операции. В LNNs каждый нейрон получает входные данные, умножает их на набор весов и выдает результат. В отличие от нелинейных нейронных сетей, LNNs не включают функции активации, которые вводят нелинейность. Эта линейная структура делает LNNs вычислительно эффективными и более удобными для анализа, особенно в сочетании с классическими методами линейной алгебры [20].

Контролируемое обучение в LNN, например алгоритм наименьшего среднего квадрата (Least Mean Square, LMS), работает по схеме, схожей с правилом обучения перцептрона. В этой парадигме алгоритм обучается на наборе данных, состоящем из пар вход-выход, которые демонстрируют желаемое поведение сети. Рассмотрим обучающий набор данных, состоящий из пар GNK, HMK . Здесь GNK = [g(1),g(2),' ,g(K)] е MNXK представляет входную матрицу, и HM K =

Е обозначает соответствующую целевую выходную

матрицу.

Здесь каждый Е и

Е представляют собой к -ый вход и

целевой выход, соответственно.

Без потери теоретической обобщенности в данной работе мы предполагаем, что вектор смещения равен нулю Ь = 0, а линейная функция активации имеет единичный масштаб. Когда обучающие данные согласованы (т.е. пара [СМК, Нмк} удовлетворяет точному отображению), система линейных уравнений для весовой матрицы QMN Е ЖМхМ имеет следующий вид:

QмNg{к) = h(к\ к = 1,2,->к. (1.1)

Эта формулировка подчеркивает эквивалентность обучения LNNs и решения линейных систем, что дает ясную теоретическую основу для оптимизации весов в задачах контролируемого обучения.

В компактном матричном виде (1.1) имеет следующий вид:

QмN^NK =НмК ■ (1.2)

Такая формулировка LNNs как SLAE упрощает их математическое представление и подчеркивает их зависимость от классической линейной алгебры. Благодаря эффективному решению этих систем LNNs решают широкий спектр практических задач регрессии, классификации и многомерного прогнозирования, тем самым соединяя традиционные численные методологии с современными подходами к машинному обучению.

Когда М = N = К и Скк хорошо обусловлены, система (1.2) может быть решена в явном виде:

Qкк = НККСКК ■ (1.3)

Уравнение (1.3) выполняется тогда и только тогда, когда матрица вкк обратима, причем обозначает ее обратную матрицу. Если вкк сингулярна, то задача (1.2) становится плохо обусловленной, что требует применения соответствующих методов регуляризации.

Лемма 1. Пусть М = N = К. Если det(Gkк) ф 0, то весовая матрица (кк однозначно определяется по (1.3). Еслиdet(Gкк) = 0, то линейная система (1.2) определяет р • К линейно независимых комбинаций элементов матрицы (кк, где р = тапк^кк).

Доказательство. Согласно разложению сингулярного значения матрицы Gкк, имеем

Gкк = икк£ккикк ■ (14)

где иккЕЖкхк —ортогональная матрица, и Екк = {а1,а2,- ,ар,0,- ,0}

удовлетворяет а1 > о2 >,- ,ор > 0. Применяя (1.4) к системе QккGкк = Нкк,

получаем:

(ккикк^кк икк = Нкк>

Умножив обе части на матрицу икк справа, получаем:

(ккикк^кк = Нккикк > из чего можно вывести р • К линейных комбинаций элементов матрицы (кк ,

соответствующих подпространству, натянутому на первые р столбцы матрицы

икк.

г Ч11и1к + Ч12и2к + + Чгкикк = -1(Нккикк)1к Ч21и1к + Ч22и2к + + Ч2кикк = ~ (Нкк

икк) 2 к

ах

^(НккПкк^2к, к = 1,2,-, К. (1.5)

1

Чр1и1к + Чр2и2к + + Чркикк = ~(Нккикк) рк

Теперь рассмотрим общий случай, когда N, М и К не равны между собой. Сначала, применив преобразования из (1.2), получаем

^к(Мы = Нмк , (16)

Определив G^к = Аш иНМк = Ркм, уравнение (1.6) можно переписать в виде матричного уравнения первого рода, что соответствует стандартной нотации, часто используемой в литературе по обратным задачам.

где Аш = К^к^к,^ и рмм = Ы1)]

' ^1<\<к,1<]<М I J J 1<\<к ,1<]<М

Акы(мм = ^км (1.7)

Прежде чем изучать матричное уравнение (1.7), напомним о сингулярном разложении (Singular Value Decomposition, SVD) прямоугольной матрицы. Для любой матрицы А^м существуют две ортогональные матрицы

U Е ЖКхК и V ERNxN а также диагональная матрица ZMN Е RKxN следующего вида EKN — [diag{ ai, о2, —, ор}, O] (ор ф 0 для всех i — 1,2, ••• ,р) и р — rank(AKN), такая что

Akn = Ukk^knVnn . (1.8)

Подставив (1.8) в (1.7), мы получаем U^^Z^^ ^nnQmn — ^км, что приводит к следующему уравнению:

VnnQmn — Укк^км. (1.9)

Сингулярные значения ot в матрице IKN играют ключевую роль в определении устойчивости комбинаций параметров, представленных матрицей Qmn . Конкретно, уравнение (1.9) приводит к следующим р • М уравнениям для Qmn :

(У^м^ц—^ФкАм^ц, i — 1,2,-,p.j — 1,2,-,M.

Это выражение подчеркивает, что устойчивость определения параметров зависит обратно пропорционально сингулярным значениям \sigma_i. Меньшие сингулярные значения соответствуют большей чувствительности к возмущениям, что требует регуляризации для плохо обусловленных задач. Исследование SVD для SLAE (1.7), LNNs порождают несколько фундаментальных вопросов:

При каких условиях на K, M, N и обучающие пары [GNK, Нмк}, LNNs имеет единственное устойчивое решение? Как формально определить условия корректности для LNNs?

Какие методы регуляризации применимы, когда эти условия корректности не выполняются?

В какой степени алгоритмы регуляризации LNNs - особенно с участием нейронных сетей-могут быть прояснены и, в некоторых случаях, строго обоснованы?

В данной работе мы стремимся рассмотреть отдельные аспекты вышеупомянутых вопросов. Хотя всестороннее изучение пунктов 1-3 выходит за рамки данного исследования, мы сосредоточимся на том, чтобы дать представление о конкретных аспектах этих проблем.

1.1. Описание методов регуляризации LNNs в машинном обучении

В предыдущих разделах мы подробно представили В предыдущих разделах мы подробно рассмотрели определения и уникальные особенности LNNs [78]. Для дальнейшего повышения производительности LNNs и обеспечения их эффективности в практических приложениях крайне важна реализация методов регуляризации. Регуляризация не только предотвращает переобучение модели и улучшает её способность к обобщению, но также повышает стабильность и интерпретируемость модели. Этот раздел систематически обзирает различные методы регуляризации для LNNs, используемые в машинном обучении, акцентируя внимание на их принципах, преимуществах и областях применения.

Методы вариационной регуляризации.

Методы вариационной регуляризации [79] изменяют функцию потерь, вводя штрафные члены, которые ограничивают величину параметров модели. В линейных нейронных сетях широко используются регуляризации L1, L2 и Elastic Net для эффективного контроля сложности модели и улучшения её способности к обобщению.

Регуляризация L1. Эта регуляризация, также известная как Lasso регуляризация [80], является мощным методом для решения проблем переобучения и работы с высоко размерными данными. Введение L1 штрафа позволяет Lasso уменьшить некоторые коэффициенты регрессии до нуля, что способствует выбору переменных и повышает разреженность модели. Штраф определяется как сумма абсолютных значений элементов матрицы весов:

?i(QMN) = ^IWQMNWI, = aiYl?=iY?!=Mijl (1.10)

где at обозначает параметр регуляризации L1. Эта особенность не только упрощает структуру модели, но и повышает интерпретируемость и снижает

сложность. Кроме того, Лассо особенно эффективен в борьбе с мультиколлинеарностью и выявлении значимых предикторов, что делает его широко применимым в геномике для идентификации ключевых генов [81], в финансах для прогнозирования и выбора переменных [82], а также в машинном обучении для разреженного моделирования и выбора признаков [83].

Регуляризация L2. Этот подход также известен как регуляризация Ridge [84]. Это эффективный метод для смягчения переобучения и решения проблем мультиколлинеарности. Вводя штраф L2, регуляризация Ridge подавляет большие колебания коэффициентов регрессии, не приводя их к нулю, сохраняя вклад всех предсказателей при контроле сложности модели. Штраф определяется как сумма квадратов элементов матрицы весов:

Список литературы диссертационного исследования кандидат наук Лю Шуан, 2026 год

Список литературы

1. S. Shalev-Shwartz and S. Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, New York, 2014.

2. Sarker, I. H. "Machine learning: Algorithms, real-world applications and research directions." SN Computer Science, 2(3):160, 2021.

3. Xu, C., & Zhang, Y. "Estimating adsorption isotherm parameters in chromatography via a virtual injection promoting double feed-forward neural network." Journal of Inverse and Ill-Posed Problems, 30(5):693-712, 2022.

4. Yang, J., Xu, C., & Zhang, Y. "Reconstruction of the s-wave velocity via mixture density networks with a new Rayleigh wave dispersion function." IEEE Transactions on Geoscience and Remote Sensing, 60:1-13, 2022.

5. Long, H., Zhang, Y., & Gao, G. "An accelerated inexact Newton regularization scheme with a learned feature-selection rule for non-linear inverse problems." Inverse Problems, 40(8):085011, 2024.

6. Chowdhary, K. R. Fundamentals of Artificial Intelligence. Springer India, New Delhi, 2020.

7. Bengio, Y. Learning Deep Architectures for AI. Now Publishers Inc., Hanover,

2009.

8. Cunningham, P., Cord, M., & Delany, S. J. "Supervised learning." In: Machine Learning Techniques for Multimedia: Case Studies on Organization and Retrieval, Springer Berlin Heidelberg, pp. 21-49, 2008.

9. Barlow, H. B. "Unsupervised learning." Neural Computation, 1(3):295-311,

1989.

10. Bebis, G., & Georgiopoulos, M. "Feed-forward neural networks." IEEE Potentials, 13(4):27-31, 1994.

11. Li, Z., Liu, F., Yang, W., et al. "A survey of convolutional neural networks: analysis, applications, and prospects." IEEE Transactions on Neural Networks and Learning Systems, 33(12):6999-7019, 2021.

12. Goodfellow, I., Pouget-Abadie, J., Mirza, M., et al. "Generative adversarial networks." Communications of the ACM, 63(11): 139-144, 2020.

13. Raissi, M., Perdikaris, P., & Karniadakis, G. E. "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations." Journal of Computational Physics, 378:686-707, 2019.

14. Zhang, H. M., & Dong, B. "A review on deep learning in medical image reconstruction." Journal of the Operations Research Society of China, 8(2):311-340, 2020.

15. Calderon-Macias, C., Sen, M. K., & Stoffa, P. L. "Artificial neural networks for parameter estimation in geophysics." Geophysical Prospecting, 48(1):21-47, 2000.

16. Koujelev, A., Sabsabi, M., Motto-Ros, V., et al. "Laser-induced breakdown spectroscopy with artificial neural network processing for material identification." Planetary and Space Science, 58(4):682-690, 2010.

17. Demby's, J., Gao, Y., & DeSouza, G. N. "A study on solving the inverse kinematics of serial robots using artificial neural network and fuzzy neural network." In: Proceedings of the 2019 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE), IEEE, pp. 1-6, 2019.

18. E. Oja. Principal components, minor components, and linear neural networks. Neural Netw., 5(6):927-935, 1992.

19. J. A. K. Suykens, J. P. L. Vandewalle, and B. L. De Moor. Artificial Neural Networks for Modelling and Control of Non-Linear Systems. Springer, Berlin, 2012.

20. K. Fukumizu. Special statistical properties of neural network learning. In Proceedings of 1997 International Symposium on Nonlinear Theory and Its Applications, volume 2, 747-750, 1997.

21. J. Duchi, E. Hazan, and Y. Singer. Adaptive subgradient methods for online learning and stochastic optimization. J. Mach. Learn. Res., 12(7):2121-2159, 2011.

22. C. J. Willmott and K. Matsuura. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance. Clim. Res., 30(1):79-82, 2005.

23. D. Chicco, M. J. Warrens, and G. Jurman. The coefficient of determination R-squared is more informative than SMAPE, MAE, MAPE, MSE and RMSE in regression analysis evaluation. PeerJ Comput. Sci., 7:623, 2021.

24. S. Chatterjee and A. S. Hadi. Regression Analysis by Example. John Wiley & Sons, Hoboken, 2015.

25. I. Goodfellow, Y. Bengio, and A. Courville. Deep Learning. MIT Press, Cambridge, 2016.

26. F. Girosi, M. Jones, and T. Poggio. Regularization theory and neural networks architectures. Neural Comput., 7(2):219-269, 1995.

27. N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. The J. Mach. Learn. Res., 15(1): 1929-1958, 2014.

28. C. Shorten and T. M. Khoshgoftaar. A survey on image data augmentation for deep learning. J. Big Data., 6(1):1-48, 2019.

29. S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of the 32nd International Conference on Machine Learning, volume 37, 448-456, 2015.

30. J. W. Demmel. Applied Numerical Linear Algebra. SIAM, Philadelphia, 1997.

31. L. N. Trefethen and D. Bau. Numerical Linear Algebra. SIAM, Philadelphia,

2022.

32. L. Bottou. Large-scale machine learning with stochastic gradient descent. In Proceedings of COMPSTAT'2010: 19th International Conference on Computational Statistics, Paris, France, 177-186, 2010.

33. P. J. Werbos. Backpropagation through time: what it does and how to do it. Proc. IEEE, 78(10): 1550-1560, 1990.

34. L. Bottou. Stochastic gradient descent tricks. In Neural Networks: Tricks of the Trade, pages 421-436. Springer, Berlin, 2012.

35. R. W. B. Lewis. The American Adam. University of Chicago Press, Chicago, USA, 2009.

36. D. P. Kingma. Adam: A method for stochastic optimization. In Proceedings of the 3rd International Conference on Learning Representations, 2015.

37. S. J. Reddi, S. Kale, and S. Kumar. On the convergence of adam and beyond. In Proceedings of the 6th International Conference on Learning Representations, 1-23, 2019.

38. I. Kononenko. Machine learning for medical diagnosis: history, state of the art and perspective. Artif. Intell. Med., 23(1):89-109, 2001.

39. I. Kavakiotis, O. Tsave, A. Salifoglou, N. Maglaveras, I. Vlahavas, and I. Chouvarda. Machine learning and data mining methods in diabetes research. Comput. Struct. Biotechnol. J., 15:104-116, 2017.

40. M. W. Libbrecht and W. S. Noble. Machine learning applications in genetics and genomics. Nat. Rev. Genet., 16(6):321-332, 2015.

41. K. Kourou, T. P. Exarchos, K. P. Exarchos, M. V. Karamouzis, and D. I. Fotiadis. Machine learning applications in cancer prognosis and prediction. Comput. Struct. Biotechnol. J., 13:8-17, 2015.

42. Y. Qin, M. Huo, X. Liu, and S. C. Li. Biomarkers and computational models for predicting efficacy to tumor ICI immunotherapy. Front. Immunol., 15:1368749, 2024.

43. H. Abdi. A neural network primer. J. Biol. Syst., 2(3):247-281, 1994.

44. E. Alpaydin. Machine Learning. MIT Press, Cambridge, 2021.

45. M. I. Jordan and T. M. Mitchell. Machine learning: Trends, perspectives, and prospects. Science, 349(6245):255-260, 2015.

46. T. M. Mitchell. Machine Learning. McGraw-Hill, New York, 1997.

47. E. Gately. Neural Networks for Financial Forecasting. John Wiley & Sons, Hoboken, 1995.

48. R. C. Deo. Machine learning in medicine. Circulation, 132(20):1920-1930,

2015.

49. M. Raissi, P. Perdikaris, and G. E. Karniadakis. Physics informed deep learning (part i): Data-driven solutions of nonlinear partial differential equations. arXiv preprint arXiv:1711.10561, 2017.

50. N. Wiener. Cybernetics or Control and Communication in the Animal and the Machine. MIT press, 2019.

51. C. S. Gardner, J. M. Greene, M. D. Kruskal, and R. M. Miura. Method for solving the korteweg-devries equation. Phys. Rev. Lett., 19(19): 1095, 1967.

52. A. Shabat and V. Zakharov. Exact theory of two-dimensional self-focusing and one-dimensional self-modulation of waves in nonlinear media. Sov. Phys. JETP, 34(1):62, 1972.

53. V. E. Zakharov and S. V. Manakov. On the complete integrability of a nonlinear schr'odinger equation. Theor. Math. Phys., 19(3):551-559, 1974.

54. S. I. Kabanikhin. Definitions and examples of inverse and ill-posed problems. J. Inverse Ill-Posed Probl., 16(4):317-357, 2008.

55. S. Kabanikhin, M. Shishlenin, N. Novikov, and N. Prokhoshin. Spectral, scattering and dynamics: Gelfand-levitan-marchenko-krein equations. Mathematics, 11(21):4458, 2023.

56. D. E. Griffiths, A. R. Mitchell, and J. L. I. Morris. A numerical study of the nonlinear Schrodinger equation. Comput. Methods Appl. Mech. Eng., 45:177-215, 1984.

57. N. A. Kudryashov. Method of the logistic function for finding analytical solutions of nonlinear differential equations. Model. Anal. Inform. Syst., 22(1):23-37, 2015.

58. I. Swiecicki, T. Gobron, and D. Ullmo. Schrodinger approach to mean field games. Phys. Rev. Lett., 116(12):128701, 2016.

59. M. Raissi, P. Perdikaris, and G. E. Karniadakis. Multistep neural networks for data-driven discovery of nonlinear dynamical systems. arXiv preprint arXiv:1801.01236, 2018.

60. E. M. E. Zayed, M. E. M. Alngar, A. Biswas, M. Ekici, A. K. Alzahrani, and M. R. Belic. Chirped and chirp-free optical solitons in fiber bragg gratings with

kudryashov's model in presence of dispersive reflectivity. J. Commun. Technol. Electron., 65:1267-1287, 2020.

61. E. M. E. Zayed, M. E. M. Alngar, A. Biswas, M. Asma, M. Ekici, A. K. Alzahrani, and M. R. Belic. Solitons in magneto-optic waveguides with kudryashov's law of refractive index. Chaos, Solitons Fractals, 140:110129, 2020.

62. N. A. Kudryashov. Highly dispersive optical solitons of an equation with arbitrary refractive index. Regul. Chaotic Dyn., 25:537-543, 2020.

63. J. C. Pu, J. Li, and Y. Chen. Soliton, breather, and rogue wave solutions for solving the nonlinear Schrodinger equation using a deep learning method with physical constraints. Chinese Phys. B, 30(6):060202, 2021.

64. N. A. Kudryashov. Embedded solitons of the generalized nonlinear Schrodinger equation with high dispersion. Regul. Chaotic Dyn., 27(6):680-696, 2022.

65. V. Dwivedi and B. Srinivasan. Physics informed extreme learning machine (pielm)-a rapid method for the numerical solution of partial differential equations. Neurocomputing, 391:96-118, 2020.

66. A. Bednyakova, D. Khudozhitkova, and S. Turitsyn. Nonlinear spectral tunability of pulsed fiber laser with semiconductor optical amplifier. Sci. Rep., 12(1): 13799, 2022.

67. Z. Mao, A. D. Jagtap, and G. E. Karniadakis. Physics-informed neural networks for high-speed flows. Comput. Methods Appl. Mech. Eng., 360:112789, 2020.

68. J. Gurieva, E. Vasiliev, and L. Smirnov. Application of conservation laws to the learning of physics-informed neural networks. Procedia Comput. Sci., 212:464-473, 2022.

69. F. Hosseini, V. Pouyafar, and S. A. Sadough. Finite-difference solutions of a non-linear Schrodinger. In Proc. 11th WSEAS Int. Conf. Math. Comput. Methods Sci. Eng., pages 92-97, 2009.

70. L. Lu, X. Meng, Z. Mao, and G. E. Karniadakis. Deepxde: A deep learning library for solving differential equations. SIAM Rev., 63(1):208-228, 2021.

71. A. Shokri, B. Neta, and M. M. Khalsaraei. A new eight-step singularly p-stable method for the numerical solution of the radial Schrodinger equation. TWMS J. Pure Appl. Math., 13(2), 2022.

72. A. Akbulut, R. Guliyev, and I. Ekincioglu. Calderon-zygmund operators associated with schrodinger operator and their commutators on vanishing generalized morrey spaces. TWMS J. Pure Appl. Math., 13(2), 2022.

73. M. A. Musayeva and S. A. Hashimov. Identification problem for nonlinear Schrodinger type equation. TWMS J. Pure Appl. Math., 14(2): 162-177, 2023.

74. Ю. В. Гурьева, Е. П. Васильев, and Л. А. Смирнов. УЧЕТ ЗАКОНОВ СОХРАНЕНИЯ ПРИ НЕЙРОСЕТЕВОМ ПОДХОДЕ К ЧИСЛЕННОМУ РЕШЕНИЮ НЕЛИНЕЙНОГО УРАВНЕНИЯ ШРЕДИНГЕРА. Проблемы информатики, (2 (59)):5-10, 2023.

75. W. Deng, K. T. P. Nguyen, C. Gogu, J. Morio, and K. Medjaher. Physics-informed lightweight temporal convolution networks for fault prognostics associated to bearing stiffness degradation. In PHM Society European Conference, volume 7, pages 118-125, 2022.

76. S. Sharma, S. Sharma, and A. Athaiya. Activation functions in neural networks. Int. J. Eng. Appl. Sci. Technol., 6(12):310-316, 2017.

77. S. I. Kabanikhin. Siberian IT-industry artificial intelligence. Sci. Tech. Sib., 10:9-15, 2023.

78. S. Haykin. Neural Networks and Learning Machines. Pearson Education India, New York, 2009.

79. D. Lorenz and N. Worliczek. Necessary conditions for variational regularization schemes. Inverse Probl., 29(7):075016, 2013.

80. R. Tibshirani. Regression shrinkage and selection via the lasso. J. R. Stat. Soc. Ser. B Stat. Methodol., 58(1):267-288, 1996.

81. M. Y. Park and T. Hastie. L1 regularization path algorithm for generalized linear models. J. R. Stat. Soc. Ser. B Stat. Methodol., 69(4):659-677, 2007.

82. J. Fan and R. Li. Variable selection via nonconcave penalized likelihood and its oracle properties. J. Am. Stat. Assoc., 96(456):1348-1360, 2001.

83. T. Friedman, J. Hastie and R. Tibshirani. Regularization paths for generalized linear models via coordinate descent. J. Stat. Softw., 33(1): 1-20, 2010.

84. A. E. Hoerl and R. W. Kennard. Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1):55-67, 1970.

85. T. Hastie, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, Berlin, 2009.

86. A. Y. Ng. Feature selection, L1 vs L2 regularization, and rotational invariance. In Proceedings of the Twenty-First International Conference on Machine Learning, page 78, 2004.

87. H. Zou and T. Hastie. Regularization and variable selection via the elastic net. J. R. Stat. Soc. Ser. B, 67(2):301-320, 2005.

88. P. Buhrmann and S. Van De Geer. Statistics for high-dimensional data: methods, theory and applications. Springer Science & Business Media, Berlin, 2011.

89. T. Hastie, R. Tibshirani, and M. Wainwright. Statistical Learning with Sparsity: The Lasso and Generalizations. CRC Press, New York, 2015.

90. L. Prechelt. Early stopping-but when? In Neural Networks: Tricks of the trade, 55-69. Springer, Berlin, Germany, 2002.

91. V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, et al. Human-level control through deep reinforcement learning. Nature, 518(7540):529-533, 2015.

92. A. Esteva, B. Kuprel, R. A. Novoa, J. Ko, S. M. Swetter, H. M. Blau, and S. Thrun. Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639):115-118, 2017.

93. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770-778, 2016.

94. J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 779-788, 2016.

95. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 30, 1-11, 2017.

96. X. Liang, L. Wu, J. Li, Y. Wang, Q. Meng, T. Qin, W. Chen, M. Zhang, and T. Liu. R-drop: Regularized dropout for neural networks. In Advances in Neural Information Processing Systems, volume 34, 10890-10905, 2021.

97. A. Nguyen, J. Yosinski, and J. Clune. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 427-436, 2015.

98. Y. Gal and Z. Ghahramani. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In Proceedings of the 33rd International Conference on Machine Learning, 1050-1059, 2016.

99. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proc. IEEE, 86(11):2278-2324, 1998.

100. A. Mikolajczyk and M. Grochowski. Data augmentation for improving deep learning in image classification problem. In 2018 International Interdisciplinary PhD Workshop, 117-122, 2018.

101. P. Y. Simard, D. Steinkraus, and J. C. Platt. Best practices for convolutional neural networks applied to visual document analysis. In Seventh International Conference on Document Analysis and Recognition, 2003. Proceedings, volume 3, 958-963, 2003.

102. A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems, 25, 1-9, 2012.

103. J. Wei and K. Zou. Eda: Easy data augmentation techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

104. D. S. Park, W. Chan, Y. Zhang, C.-C. Chiu, B. Zoph, E. D. Cubuk, and Q. V. Le. Specaugment: A simple data augmentation method for automatic speech recognition. Proc. Interspeech 2019, page 2613, 2019.

105. M. A. Olshanskii and E. E. Tyrtyshnikov. Iterative methods for linear systems: theory and applications. SIAM, Moscow, 2014.

106. V. K. Ivanov, V. V. Vasin, and V. P. Tanana. Theory of Linear Ill-Posed Problems and its Applications. De Gruyter, Berlin, 2002.

107. V. A. Morozov. Pseudo-solutions. USSR Comput. Math. Math. Phys., 9(6):196-203, 1969.

108. S. K. Mitra and C. R. Rao. Projections under seminorms and generalized moore penrose inverses. Linear Algebra Appl., 9:155-167, 1974.

109. A. N. Tikhonov. On the solution of ill-posed problems and the method of regularization. Dokl. Akad. Nauk SSSR, 151(3):501-504, 1963.

110. M. M. Lavrentiev. On integral equations of the first kind. DAN USSR, 127(1):31-33, 1959.

111. V. A. Morozov and A. B. Nazimov. The necessary and sufficient conditions of regularizability of degenerate sets of linear algebraic equations using the shift method. USSR Comput. Math. Math. Phys., 26(5):1-6, 1986.

112. C. O. Dzhumayev. Approximate pseudo-solution computation. In Papers of the Academy of Sciences of the Tajik SSR, 25, 584-587, 1982.

113. A. B. Bakushinsky, M. Yu. Kokurin, and A. Smirnova. Iterative Methods for Ill-posed Problems: An Introduction. Berlin: Walter de Gruyter GmbH, 2011.

114. B. Kaltenbacher, A. Neubauer, and O. Scherzer. Iterative Regularization Methods for Nonlinear Ill-posed Problems. Berlin: Walter de Gruyter GmbH, 2008.

115. G. M. Vainikko. Error estimates of the successive approximation method for ill-posed problems. Avtom. Telemekh., 41(3):84-92, 1980.

116. U. Tautenhahn. On the asymptotical regularization of nonlinear ill-posed problems. Inverse Probl., 10:1405-1418, 1991.

117. Y. Zhang. On the acceleration of optimal regularization algorithms for linear ill-posed inverse problems. Calcolo, 60(1):6, 2023.

118. Y. Zhang and B. Hofmann. On the second-order asymptotical regularization of linear ill-posed inverse problems. Applicable Analysis, 99:1000-1025, 2020.

119. Y. Zhang and B. Hofmann. On fractional asymptotical regularization of linear ill-posed problems in hilbert spaces. Fractional Calculus and Applied Analysis, 22:699721, 2019.

120. Y. Zhang and C. Chen. Stochastic asymptotical regularization for linear inverse problems. Inverse Problems, 39:015007, 2023.

121. Y. Zhang and C. Chen. Stochastic linear regularization methods: random discrepancy principle and applications. Inverse Problems, 40:025007, 2024.

122. A. H. Shurrab and A. Y. Maghari. Blood diseases detection using data mining techniques. In Proceedings of the 2017 8th International Conference on Information Technology, pages 625-631, 2017.

123. Y. Y. Song and L. Ying. Decision tree methods: applications for classification and prediction. Shanghai Arch. Psychiatry, 27(2):130-135, 2015.

124. A. M. Javid, S. Das, M. Skoglund, and S. Chatterjee. A ReLU dense layer to improve the performance of neural networks. In Proceedings of the 2021 IEEE International Conference on Acoustics, Speech and Signal Processing, 2810-2814, 2021.

125. N. Bjorck, C. P. Gomes, B. Selman, and K. Q. Weinberger. Understanding batch normalization. In Advances in Neural Information Processing Systems, 31, 1-12, 2018.

126. K. He, X. Zhang, S. Ren, and J. Sun. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE International Conference on Computer Vision, pages 1026-1034, 2015.

127. E. Okewu, S. Misra, and F. S. Lius. Parameter tuning using adaptive moment estimation in deep learning neural networks. In Computational Science and Its

Applications-ICCSA 2020: 20th International Conference, Cagliari, Italy, July 1-4, 2020, Proceedings, Part VI 20, pages 261-272. Springer, 2020.

128. Z. Liu, X. Xu, D. Fang, and D. Gan. Optimizing cnn using adaptive moment estimation for image recognition. In 2023 IEEE Int. Conf. Control, Electronics Computer Technol. (ICCECT), 454-463. IEEE, 2023.

129. A. M. Legendre. Nouvelles methods pour la determinations des orbits des cometes. Firmin Didot, 1806.

130. C. F. Gauss. Theory of the motion of the heavenly bodies moving about the sun in conic sections: a translation of Gauss's " Theoria Motus " with an appendix. Little, Brown, 1857.

131. M. H. A. Newman. Hermann weyl, 1885-1955, 1957.

132. A. Turing. Turing machine. Proc. London Math. Soc., 242:230-265, 1936.

133. Y. Nesterov. A method of solving a convex programming problem with convergence rate 0(1/^2). In Sov. Math. Dokl., volume 27, 1986.

134. J. H. Kalivas. Overview of two-norm (l2) and one-norm (l1) Tikhonov regularization variants for full wavelength or sparse spectral multivariate calibration models or maintenance. J. Chemometrics, 26(6):218-230, 2012.

135. S. H. Haji and A. M. Abdulazeez. Comparison of optimization techniques based on gradient descent algorithm: A review. PalArch's J. Archaeol. Egypt/Egyptology, 18(4):2715-2743, 2021.

136. Y. LeCun, Y. Bengio, et al. Convolutional networks for images, speech, and time series. Handb. Brain Theory Neural Netw., 3361(10): 1995, 1995.

137. Y. Bengio, R. Ducharme, and P. Vincent. A neural probabilistic language model. Adv. Neural Inf. Process. Syst., 13, 2000.

138. D. E. Rumelhart, J. L. McClelland, PDP Research Group, et al. Parallel Distributed Processing, Volume 1: Explorations in the Microstructure of Cognition: Foundations. MIT Press, 1986.

139. L. Datta. A survey on activation functions and their relation with xavier and he normal initialization. arXiv preprint arXiv:2004.06632, 2020.

140. Z. Liu, Y. Wang, S. Vaidya, F. Ruehle, J. Halverson, M. Solanco's, T. Y. Hou, and M. Tegmark. Kan: Kolmogorov-arnold networks. arXiv preprint arXiv:2404.19756, 2024.

141. T. Jiang and J. Cheng. Target recognition based on cnn with leakyrelu and prelu activation functions. In 2019 Int. Conf. Sensing, Diagnostics, Prognostics, Control (SDPC), pages 718-722. IEEE, 2019.

142. Q. Qiu, T. Zhu, H. Gong, L. Chen, and H. Ning. Relu-kan: New kolmogorov-arnold networks that only need matrix addition, dot multiplication, and relu. arXiv e-prints, pages arXiv-2406, 2024.

143. S. Cuomo, V. S. Di Cola, F. Giampaolo, G. Rozza, M. Raissi, and F. Piccialli. Scientific machine learning through physics-informed neural networks: Where we are and what's next. J. Sci. Comput., 92(3 ):88, 2022.

144. Regina Padmanabhan, Hadeel S Abed, Nader Meskin, Tamer Khattab, Mujahed Shraim, and Mohammed Abdulla Al-Hitmi. A review of mathematical modelbased scenario analysis and interventions for covid-19. Computer Methods and Programs in Biomedicine, 209:106301, 2021.

145. Jing Lei, Qibin Liu, and Xueyao Wang. Physics-informed multi-fidelity learning-driven imaging method for electrical capacitance tomography. Engineering Applications of Artificial Intelligence, 116:105467, 2022.

146. Z. He, F. Ni, W. Wang, and J. Zhang. A physics-informed deep learning method for solving direct and inverse heat conduction problems of materials. Mater. Today Commun., 28:102719, 2021.

147. Y. Jiang, J. Xie, and D. Zhang. An adaptive offset activation function for cnn image classification tasks. Electronics, 11(22):3799, 2022.

148. A. D. Jagtap, K. Kawaguchi, and G. E. Karniadakis. Adaptive activation functions accelerate convergence in deep and physics-informed neural networks. J. Comput. Phys., 404:109136, 2020.

149. X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In Proc. Thirteenth Int. Conf. Artif. Intell. Stat., 249-256. JMLR Workshop and Conf. Proc., 2010.

150. Y. LeCun, Y. Bengio, and G. Hinton. Deep learning. Nature, 521(7553):436-444, 2015.

151. W. M. P. Van der Aalst, V. Rubin, H. M. W. Verbeek, B. F. van Dongen, E. Kindler, and C. W. G'unther. Process mining: a two-step approach to balance bet en underfitting and overfitting. Softw. Syst. Model., 9:87-111, 2010.

152. W. Koehrsen. Overfitting vs. underfitting: A complete example. Towards Data Sci., 405:15, 2018.

153. M. Vo^rechovsk'y. Hierarchical refinement of latin hypercube samples. Comput. Aided Civ. Infrastruct. Eng., 30(5):394-411, 2015.

154. D. P. Bertsekas, W. Hager, and O. Mangasarian. Nonlinear programming. athena scientific belmont. Massachusetts, USA, 1999.

155. A. G. Baydin, B. A. Pearlmutter, A. A. Radul, and J. M. Siskind. Automatic differentiation in machine learning: a survey. J. Mach. Learn. Res., 18(153): 1-43, 2018.

156. M. Keramat and R. Kielbasa. Latin hypercube sampling monte carlo estimation of average quality index for integrated circuits. Analog Integr. Circuits Signal Process., 14:131-142, 1997.

157. D. E. Huntington and C. S. Lyrintzis. Improvements to and limitations of latin hypercube sampling. Probab. Eng. Mech., 13(4):245-253, 1998.

158. M. Stein. Large sample properties of simulations using latin hypercube sampling. Technometrics, 29(2): 143-151, 1987.

159. T. Okoshi. Optical Fibers. Elsevier, 2012.

160. M. J. Connelly. Semiconductor optical amplifier fundamentals. In Handbook Optoelectron. Device Modeling Simul., pages 611-630. CRC Press, 2017.

161. T. Saktioto and R. Ikhsan. Optical amplifiers for next-generation telecommunication. Telecomm. Netw. Trends Dev., 5:81-104, 2019.

162. N. K. Dutta and Q. Wang. Semiconductor Optical Amplifiers. World Sci.,

2013.

163. N. A. Kudryashov. A generalized model for description of propagation pulses in optical fiber. Optik, 189:42-52, 2019. 155. F. Copie, S. Randoux, and P. Suret. The physics of the one-dimensional nonlinear schr"odinger equation in fiber optics: Rogue waves, modulation instability and self-focusing phenomena. Rev. Phys., 5:100037, 2020.

164. И. Б. Годунов. Влияние микроудобрений на урожай кукурузы. Научн. тр. ин-та сел. хоз-ва Центрально-черноземной полосы им. В. В. Докучаева, 4:31-40, 1966.

165. И. Б. Годунов. Решение систем линейных уравнений. Наука. Сиб. отд-ние, page 177, 1980.

166. S. I. Kabanikhin. Обратные задачи и искусственный интеллект. Успехи кибернетики, 2(3):33-43, 2021.

167. S. K. Godunov, A. G. Antonov, O. P. Kirilyuk, and V. I. Kostin. Guaranteed accuracy of solving systems of linear equations in euclidean spaces. Novosibirsk, Sci., 1988.

168. A. Biswas, M. Ekici, A. Sonmezoglu, and M. R. Belic. Optical solitons in fiber bragg gratings with dispersive reflectivity for quadratic-cubic nonlinearity by extended trial function method. Optik, 185:50-56, 2019.

169. S. Weisberg. Applied linear regression[M]. John Wiley & Sons, 2005.58.

170. C. Dismuke, Lindrooth R. Ordinary least squares[J]. Methods and designs for outcomes research, 2006, 93(1): 93-104.

171. G. K. Uyanik, N Guler. A study on multiple linear regression analysis[J]. Procedia-Social and Behavioral Sciences, 2013, 106: 234-240.

172. T. J. Hastie, D Pregibon. Generalized linear models.Statistical models in S. Routledge, 2017: 195-247.

173. P. C. Consul, F. Famoye, Generalized Poisson regression model. Communications in Statistics-Theory and Methods, 1992, 21(1): 89-109.

174. J. A. Nelder, R. W. M. Wedderburn. Generalized linear models. Journal of the Royal Statistical Society Series A: Statistics in Society, 1972, 135(3): 370-384.

175. A. Biswas, Y. Yildirim, E. Ya,sar, and M. M. Babatin. Conservation laws for gerdjikov-ivanov equation in nonlinear fiber optics and pcf. Optik, 148:209-214, 2017.

176. A. Kashefi and T. Mukerji. Physics-informed pointnet: A deep learning solver for steady-state incompressible flows and thermal fields on multiple sets of irregular geometries. J. Comput. Phys., 468:111510, 2022.

177. E. M. Zayed, M. E. Alngar, A. Biswas, A. H. Kara, M. Asma, M. Ekici, S. Khan, A. K. Alzahrani, and M. R. Belic. Solitons and conservation laws in magneto-optic waveguides with generalized kudryashov's equation. Chin. J. Phys., 69:186-205, 2021.

178. Z. Zhu, D. Zhang, C. Chi, M. Li, and D. J. Lee. A complementary dual-branch network for appearance-based gaze estimation from low-resolution facial image. IEEE Trans. Cogn. Dev. Syst., 15(3):1323-1334, 2022.

179. H. Zhang, Y. Sun, A. Slowik, L. Zhang, and J. Lv. Deep learning driven smart education: Teaching management mechanism based on metaverse and big data analysis. Appl. Comput. Math., 2023.

180. A. Shokri, H. Ramos, M. Mehdizadeh Khalsaraei, F. A. Aliev, and M. Bohner. Fourth derivative singularly p-stable method for the numerical solution of the Schrodinger equation. Adv. Differ. Equ., 2021:1-16, 2021.

181. N. Kadkhoda and H. Jafari. Analytical solutions of the gerdjikov-ivanov equation by using exp (- 0 ( <f))-expansion method. Optik,139:72-76, 2017.

Примечание

3.1. Описание метода разложения по сингулярным значениям

Рассмотрим систему линейных алгебраических уравнений [165], [166]:

Сык • Чы = , (2.23)

где вык — вещественная матрица размерности К X N , чы Е , Е Мк . Необходимо решить эту систему для неизвестного вектора чы . Любое ортогональное преобразование определяется ортогональной матрицей, то есть матрицей и, такой, что ити = иит = I, где ит —транспонированная матрица, а I — единичная матрица. Свойство сохранения нормы при ортогональных преобразованиях позволяет искать псевдорешения вырожденных систем, заменяя исходную задачу минимизации остатка \\Сык • чы — кы\\ минимизацией функционала \\ит(Сык • чы — кы)\\ , в котором матрица итвык имеет более простую (например, блочную) структуру за счет специальной конструкции ортогональной матрицы и.

Наиболее известным из полных ортогональных разложений является сингулярное разложение матрицы Сык размерности К X N, то есть разложение вида:

Сык = икк^кы ^ыы, (2.24)

где V — ортогональная матрица размерности N X N, и — ортогональная матрица размерности К X К, а £ — диагональная матрица размерности К X N, с Оц = 0 для у и Оц = 01 > 0 . Значения а^ называются сингулярными значениями матрицы Сык. Мы всегда предполагаем, что сингулярные значения а^ упорядочены в неубывающем порядке, то есть а^ < а^.

Напомним, что диагональная К X N — матрица 1кы — это К X N — матрица с а^, удовлетворяющими

Например, при диагонали N > К матрица имеет вид:

"01 О О О

= О 02 О— О

• • :

О О О

И в том, и в другом случае диагональную К X N—матрицу для краткости будем обозначать =diag(o■1, 02, —, ар), р = тт{К, N1 [167].

Теорема 3. (о сингулярном разложении). Для любой вещественной К X N—матрицы Сш можно подобрать ортогональные К X К—матрицу и и N X N—матрицу V, а также диагональную —матрицу

= diag(o■1, 02, —, 0"р), р = тт(К, N1. (2.27)

такие, что

= ^гм> (2.28) О < < 0"_1 < — < 02 < .

Числа 0 = , ^ = 1,Р, определяются однозначно и называются

сингулярными числами матрицы

Лемма 5. (о взаимной ортогональности сингулярных векторов)

Пусть и^) и — соответственно правые и левые сингулярные векторы матрицы , тогда (и>),и(у)) = О и (иХ),^(у)) = О при к Ф у.

и, следовательно, правые сингулярные векторы К X N—матрицы Скы являются

т

собственными векторами N X N —матрицы Скы Скы , а левые — К X N — матрицы СкыСкыТ.

Теорема 4. Для каждой К X N —матрицы Скы существует ортонормированная систсма из п правых сингулярных векторов и ортонормированная система из К левых сингулярных векторов, которые называются сингулярными базисами матрицы Скы.

Лемма 6. Квадратная N XN—матрица Скы нормальна (С* = С*С) в том и только в том случае, если

Скы)\ = аАСкы), I = 0,1,2 . (2.29)

Лемма 7. Пусть задано сингулярное разложение К X N—матрицы Скы = икк1км V]**N и Ск] — псевдообратная матрица. Тогда

Ск] = ^ыСкы*икк .

Здесь

GKN* = diag (011,а2.2, — ,ar 1, r = rank GKN, р = min{K, N},

т. е. Gkn* — диагональная К X N—матрица, у которой по диагонали стоят числа, обратные ненулевым сингулярным числам матрицы Gkn , а на остальных местах нули.

Еще одним замечательным свойством сингулярного разложения К X N— матрицы Gkn = UKKZKN Vnn является явное представление ядра и образа отображения GKN: Жк —» M.N , а именно, правые сингулярные векторы V(k) соответствующие нулевым сингулярным числам, порождают ядро GKN, а левые

сингулярные векторы и^), соответствующие ненулевым сингулярным числам, порождают образ с Мп.

= /V (2.30)

Г^ = д (2.31)

Пусть К X N —матрица имеет ранг г < р = тт(К, N1 . Тогда в сингулярном разложении = матрица имеет вид =

diag( о", о"р-1, —, о"0_г+1, О, — ,0) . При г<К для совместности системы (2.31) необходимо, чтобы дг+1 = дг+1 = — = 0 . При г < N переменные гг+2, гг+3, —, в уравнение (2.31) не входят и, значит, в случае совместности системы компоненты решения гг+1, гг+2, —, могут быть выбраны произвольно.

Выберем 2 так, чтобы норма вектора. Невязки Хг — д =

ор-г+12г-,г "5г+1

\ /

была минимальной [168].

3.2. Описание линейной регрессии и методов её расширения

Линейная регрессия [169] и методы её расширения являются основными инструментами статистического моделирования и предиктивного анализа. Суть линейной регрессии заключается в количественной оценке взаимосвязи между переменными или прогнозировании зависимой переменной путём построения модели корреляции между зависимой и независимой переменными. Ниже представлен обзор её основных форм и характеристик:

Линейная регрессия используется для моделирования линейной взаимосвязи между независимыми и зависимыми переменными. Форма модели:

h(k) = qng(t) +qi29{2) +- +qiN gN + bik,

(2.32)

i = 1,2,-,M, j = 1,2,-,N, к = 1,2,-,К.

Тогда h(k — это зависимые переменные, g(k) =

(k) (k) (k) 91 ,g2 ),-,9N)

T

e

— это независимые переменные, Qmn = [ qd 1 <;<м i <i<N коэффициенты

регрессии, а b— ошибка. Параметры оцениваются методом обычных наименьших квадратов (Ordinary Least Squares, OLS) [170], то есть минимизация суммы

квадратов l1ZI^=1\\h(k^ — hi(k^\\2 , h(lk) — прогнозируемое значение). Основные

предположения включают: линейную связь между переменными, нулевое среднее ошибки, гомоскедастичность, отсутствие автокорреляции и нормальное распределение.

Множественная линейная регрессия расширена на случай нескольких независимых переменных[171], здесь данной статье предполагается, что ошибка равна нулю b = 0 (то есть пара [Gnk, Hmk} удовлетворяет множественной линейной регрессии), и модель выглядит следующим образом:

h(I = qijg!^) +qijg?) +- + qij9N) + b, (2.33)

i = 1,2,-, M, j = 1,2,-, N, к = 1,2,-,К.

где К —количество независимых переменных (К > 2),

QMN = [qd <N— коэффициенты регрессии.

GNK = [g(1\ 9(2\ -, 9(КЦ e MNXK —матица независимых переменных.

HMK = [h(1),h(2),- ,h(K^] e ЖМхК — матица зависимых переменных. В нашей работе показана при каких условиях на матрицы GNK и HMK коэффициенты регрессии QMN могут быть восстановлены точно или

приближенно (нормальное решение и квазирешение). Предположения основаны на линейной регрессии: отсутствие мультиколлинеарности между независимыми переменными (чтобы избежать нестабильной оценки коэффициентов) и независимость независимых переменных и членов ошибок. Параметры по-прежнему оцениваются методом наименьших квадратов, что подходит для сценариев многофакторного анализа совместного воздействия.

Обобщённые линейные модели (ОЬМ) [172] не использует предположение о нормальном распределении зависимой переменной, свойственное традиционной линейной регрессии, позволяя зависимой переменной следовать экспоненциальному семейству распределений (например, распределению Пуассона, гамма-распределению), и связывают математическое ожидание зависимой переменной с линейным предиктором посредством функции связи. Например, регрессия Пуассона [173] (количество данных, логарифмическая связь), гамма-регрессия [174] (неотрицательные непрерывные данные, обратная связь), значительно расширяют область применения линейных моделей.

3.3. Описание метода конечных разностей для нелинейных уравнений Шредингера

В этом приложении мы предлагаем метод конечных разностей, основанный на работе [69], для решения следующих нелинейных уравнений Шредингера (2.16).

Тогда уравнение (2.16) можно преобразовать в следующий вид:

Для переменных х и t используем целые числа ] и п для представления дискретизированных узлов соответственно. Пусть ^х и ^ обозначают дифференциальные приращения х и , а также разницу между узлами, тогда

(2.34)

ди/ 1 32ик , о , 2\ л

(2.35)

х) и его производные могут быть аппроксимированы дискретизированной

п

разностью вида и].

Обозначим ^х и ^ как шаг сетки по пространству и времени соответственно, и пусть и] представляет значение и на узле ] и в момент времени nЛt. Мы рассматриваем всё пространство у'еЪ, п£Ъ, где Ъ — множество целых чисел, а N — множество неотрицательных целых чисел. Следовательно, мы можем разложить дифференциальную форму следующим образом.

и = ^ . (2.36)

и (2 37)

иХХ (Лх)2 ■ (2.3/)

Подставив уравнения (2.36) - (2.37) в (2.34) - (2.35), мы можем получить следующий результат.

и"/1 = иП] + 2(^х)2 [иП,]_1 + иП,;+1 — 2иК,]] + ^(иД,] + и2])иК,]>

иП,1 = иП,у + ^ [иППу_1 + иППу+1 — 2иЩ;] + + и°,;)иПП;,

Мы вычисляем и]г+1, решая и]2 с помощью итерационного метода. Таким образом, соответствующая разностная схема выглядит следующим образом

+ 1и,-1-2и,+1+ип + |ип|2ип = 0^ (2.38)

ЛС 2 (Лх)2 I ] I ] ^ '

Чтобы решить уравнение (2.38) численно, необходимо вывести итерационную формулу. Далее мы опишем, как вычислить солитонное решение с помощью метода конечных разностей.

Наконец, итерационная формула может быть получена в следующем виде

иГ1 = ^ [и]_1 + 2 и]2 — 2и]+1] + (1 + ¿Л|и-|2)и7 ■

3.4. Краткий обзор уравнений Шрёдингера

В этом приложении мы исследуем следующее нелинейное уравнение Шрёдингера (NLSE) [60]:

Ьщ + аихх + ( Ь1 | и |2+ Ь2 | и |4+ Ь3 | и |6 )и = 0^ (2.39)

где а, Ь1, Ь2 и Ь3 - вещественныеконстанты.

Приведена безразмерная форма связанной НЛСЭ в волоконной решетке Брэгга с полиномиальными нелинейными законами [175].

шг + а1ихх + (Ь1 | и |2+ ^ | г |2)и + (^ | и |4+ | и |2| г |2+ ^ | г |4)и + (г1|и|6 + ш1|и|4 | г |2+п1 | и |2| г |4+р1 | и |6)и + ш1их + = 0 ,

¿Гс + а2ихх + (Ь2 |г |2+С1 |и|2)г + (^ |г |4+^2 |г |2| и |2+ С2 | и |4 > + (¿2И6 + ш2 | г |4| и |2+ п2 | г |2| и |4+ р2 | г |6)г + ш2гх + Д2и = 0 ■

Из приведенных выше двух уравнений следует, что и(^ х) и г( Ь, х) представляют собой волны прямого и обратного распространения, соответственно. Кроме того, а](у = 1,2) — коэффициент дисперсионного отражения, £] — коэффициент самофазной модуляции (СФМ), а с] — перекрестная фазовая модуляция (ПФМ) трех нелинейных частей. Что касается пятой нелинейной части, — это коэффициент SPM, а и ^ — коэффициенты ХРМ. Из септической нелинейности следует, что коэффициенты SPM равны I], а коэффициенты ХРМ задаются Ш], П] и . Наконец, а] представляет собой интермодальную дисперсию, а Д] — параметр отстройки. Все коэффициенты являются вещественными константами.

Цель приведенного выше уравнения (2.39) — найти новые оптические солитоны, периодические волновые решения и другие решения в связанной НЛСЭ

в волоконных брэгговских решетках с полиномиальной нелинейностью. Для того чтобы улучшить возможности общего описания NLSE, мы также исследуем следующее связанное нелинейное уравнение Шрёдингера.

Важной областью применения оптических солитонов является связь с магнитооптическими волноводами [60]. Преимущество таких волноводов в том, что они позволяют контролировать эффект беспорядка в солитонах и тем самым обеспечивают их беспрепятственное распространение на сверхбольшие расстояния. В настоящее время исследуется волновод, основанный на новом законе преломления, предложенном Кудряшовым [176], который исследовал влияние степени нелинейности на структуру периодических и изолированных волн [177]. Степень нелинейности позволяет управлять амплитудой и длиной импульса как периодических, так и изолированных волн.

Управляющее нелинейное уравнение Шрёдингера с законом Ъ1 ■ Ъ2 ,и

Ьщ + аихх + + + Ьз\и\пи + Ь4\и\2пи) и = 0,

хх " У\и\п " \и\2

где первый член представляет линейную временную эволюцию, а а — коэффициент дисперсии (CD) и постоянный коэффициент Ьу для данной самофазной модуляции ^РМ). Наконец, показатель нелинейности п является параметром силового закона.

Связанная система нелинейных уравнений Шрёдингера для уравнения Кудряшова в магнитооптических волноводах с произвольной силовой нелинейностью впервые была записана в виде

iиt + а1Uхх + (^ + ■U^ + d1\и\п + e1\и\2п+]¡1п + ■^ + h1\v\п + к±\у\2п) и = QlV + ^их + Л1(\и\2пи)х + У1(\и\2п)хи + 01\и\2пих],

Ъ + а2Vхх + {\^пп + ]^Fп + d2\v\п + ^\v\2п+■Urп + ■Uk + ^\и\п +

к2^\2п) V = Q2U + ¿[^х + ^2(Ы2пУ)х + У2(М2п^ + в2Ы2^х].

где а] , Ь] , С] , с, е,-, , , Я] , Л] , , Д] , Я] , у,- и 0] из У = 1,2 — вещественные константы. Здесь в обеих формулах зависимые переменные и(^ х) и х) обозначают комплексные значения распределения солитонов. х — пространственная переменная, t — временная переменная, соответственно, а] — коэффициенты CD, а Ь], С], С], - коэффициенты SPM. Параметры /], , Л], Л] означают кросс-фазовую модуляцию (ХРМ). В правой части , Д] — коэффициенты магнитооптического параметра и межмодовой дисперсии, соответственно. Параметр Я] дает свертывание члена, чтобы избежать образования ударных волн. Наконец, у] и 0] — коэффициенты нелинейной дисперсии [178-180].

Одним из самых популярных уравнений, описывающих изолированные волны в оптических волокнах, является уравнение Герджикова-Иванова [62]. Оказалось, что оно является нелинейным PDE, и это уравнение является обобщением известного нелинейного уравнения Шрёдингера [181]. Решение обобщенного уравнения Герджикова-Иванова для бегущей волны имеет вид

¿иС + аихх + Ь|и|4и + ¿си2их = ¿[ аих + Я(|и|2ти)х + д(|и|2т)хи]. (2.40)

где и(^ х) — комплексная функция, а, Ь, с, а, Я ид- параметры. Когда а = Я = д = 0 , ¿иС + аихх + Ь|и|4и + ¿си2их = 0 , где иС — линейная временная эволюция, а коэффициент а — дисперсия групповой скорости, Ь — коэффициент квинтовой нелинейности, ¿си2их — форма нелинейной

1

дисперсии. Когда а = с = 1, Ь = 0, ¿иС + аихх + Ь|и|4и + ¿си2их = 0, где и*

— комплексное сопряжение и, уравнение (2. 40) является специальной формой одномерного нелинейного уравнения Шрёдингера [164].