Метод и алгоритмы нейросетевой классификации гиперспектральных изображений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Фирсов Никита Александрович

• Фирсов Никита Александрович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Фирсов Никита Александрович

Содержание

Введение

Глава 1 Формирование и анализ гиперспектральных изображений

1.1 Формирование гиперспектральных изображений

1.1.1 Формирование гиперспектральных изображений при линейном сканировании

1.2 Разметка гиперспектральных изображений

1.2.1 Ручная разметка данных

1.2.2 Автоматизированная разметка данных

1.3 Анализ гиперспектральных изображений

1.3.1 Методы поэлементной классификации гиперспектральных изображений

1.3.2 Поэлементная классификация гиперспектральных изображений

1.3.3 Оценка качества классификации

Выводы к главе

Глава 2 Алгоритм поэлементной классификации гиперспектральных изображений на основе пространственно-спектральной нейросети-трансформера

2.1 Нейросетевые архитектуры для задачи поэлементной классификации гиперспектральных изображений

2.2 Применение пространственно-спектральных экстракторов признаков совместно с сетями-трансформерами

2.3 Пространственно-спектральный трансформер DSST

2.3.1 Выбор глубокого экстрактора признаков

2.3.2 Архитектура 3DCNN He et al

2.3.3 Модификация архитектуры 3DCNN

2.3.4 Архитектура пространственно-спектральной сети-трансформера DSST53

Выводы к главе

Глава 3 Метод повышения качества классификации гиперспектральных изображений на основе сетей колмогорова-арнольда

3.1 Сети Колмогорова-Арнольда (KAN)

3.2 KAN-блоки

3.2.1 Линейный KAN-блок

3.2.2 Свёрточные KAN-блоки

3.2.3 Трансформерный KAN-блок

3.3 Экспериментальное исследование

3.3.1 Наборы данных

3.3.2 Исследуемые нейросетевые архитектуры

3.3.3 MLP vs KAN

3.3.4 Частичная замена на KAN-блоки

3.3.5 Свёрточные сети и трансформеры

3.3.6 Обсуждение результатов

Выводы к главе

Глава 4 Классификация гиперспектральных изображений растительности, полученных сканирующим гиперспектрометром

4.1 Набор данных

4.2 Разметка набора данных

4.2.1 Ручная разметка

4.2.2 Автоматизированная разметка

4.2.3 Алгоритм подготовки наборов данных на основе адаптивного вегетационного индекса

4.3 Классификация типов растительности с учётом вариаций освещенности гиперспектральных изображений

4.3.1 Формирование обучающей выборки

4.3.2 Обучение и исследование нейросетевых моделей

4.4 Классификация типов растительности без учета вариаций освещенности гиперспектральных изображений

4.4.1 Предобработка данных

4.4.2 Формирование обучающей выборки

4.4.3 Обучение сети

4.4.4 Сравнение с существующими классификаторами

Выводы к главе

Заключение

Определения, обозначения и сокращения

Список использованных источников

Приложение А

Приложение Б

Приложение В

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Метод и алгоритмы нейросетевой классификации гиперспектральных изображений»

Актуальность темы и степень ее разработанности

Гиперспектральное изображение (ГСИ) с математической точки зрения представляет собой матрицу пикселов, где каждый пиксель является вектором, элементы которого определяют мощность (интенсивность) зарегистрированного излучения для конкретной длины волны [1]:

Л хо(П1>П2) Л

X (« , «2 ) =

х1(«1, «2)

, пх =0,Л^ -1, п2 =0,ТУ2 -1.

х„-1(п1> «2),

Для цифровых изображений она указывается в условных единицах. Учитывая наличие в формальном представлении ГСИ трёх независимых координат, где п1, п2 отвечают за пространственную составляющую ГСИ, а условный индекс п характеризует число спектральных каналов, ГСИ часто интерпретируют как трёхмерный массив данных и называют «гиперкубом» [1]. Пример такого изображения приведен на рисунке Введение.1.

Длина волны, X

Рисунок Введение. 1 - Представление гиперспектрального изображения

в декартовых координатах

В отличие от полутоновых, цветных и мультиспектральных изображений,

ГСИ характеризуется и более широким спектральным диапазоном, и, что особенно

важно, высоким спектральным разрешением по шкале длин волн 5-10 нм [1].

Каждый материал, имеющий уникальную спектральную сигнатуру, может быть однозначно идентифицирован на ГСИ [2-4] (рисунок Введение.2). Это позволяет выполнять такие аналитические задачи, как семантическая сегментация (поэлементная классификация), кластеризация, отслеживание изменений во временных рядах и т. д. [1, 2, 4, 5], с более высоким качеством по сравнению с обычными цветными или мультиспектральными изображениями [5].

Рисунок Введение.2 - Спектральная отражательная способность различных объектов (лиственные и хвойные деревья)

Такие изображения формируются изображающей гиперспектральной аппаратурой (ГСА, или гиперспектрометром), функциональные возможности которой намного превосходят возможности интегрального неизображающего спектрометра и существенно расширяют возможности анализа:

- контуры сцены съёмки позволяют точно определить объект исследования;

- упрощается анализ спектрального слоя ГСИ с локальными неоднородностями анализируемого объекта. Примером является анализ видов растений, однородно выглядящих в интегральном освещении;

- появляется возможность объединить спектральный и текстурный (пространственный) анализ объектов.

В рамках настоящей работы использовались открытые наборы гиперспектральных изображений, а также гиперспектральные изображения

высокого пространственного разрешения, полученные изображающими щелевыми ГСА, основанными на схеме Оффнера [6, 7]. Актуальность развития методов и алгоритмов анализа ГСИ, в том числе поэлементной классификации, обусловлена развитием малых космических аппаратов, оборудованных компактными ГСА [6, 7], а также беспилотных авиационных систем (БАС), применяемых в широком спектре задач [8, 9], и распространением изображающих спектрометров в бытовых приборах, таких как мобильные телефоны [10].

Степень разработанности темы

Систематизацию исследований отражательной способности (спектральных сигнатур) природных образований одним из первых вёл Е.Л. Кринов в 1930-е гг. [3]. Им были описаны методы регистрации отражательной способности объектов, включая съемку с борта самолёта, таблицы значений коэффициентов спектральной яркости различного растительного покрова и искусственных материалов. Для регистрации отражательной способности применялся фотографический метод, в основе которого лежала оценка степени почернения освещаемого фотографического материала [3].

В 1970-х гг. создан первый бортовой спектрометр для дистанционного зондирования Airborne Imaging Spectrometer (AIS). AIS обеспечил первую прямую идентификацию полезных ископаемых на поверхности Земли. Гиперспектральные данные наземных сцен были получены дистанционно впервые на борту самолета. После успеха AIS в 1983 году Александр Ф.Х. Гетц и его коллеги из Лаборатории реактивного движения (JPL) приступили к проектированию и разработке AVIRIS. Разработка AVIRIS началась в 1984 году. AVIRIS был впервые запущен на борту самолета NASA ER-2 на высоте 20 км в 1986 году, первые научные данные были получены в 1987 году, а полностью пригодным для работы он стал с 1989 года. Это первый гиперспектральный сенсор, который измеряет отраженный от Солнца спектр от 400 до 2 500 нм с интервалами спектральной дискретизации в 10 нм [11, 12].

В 1997 году вышла работа Р.А. Шовенгердта «Дистанционное зондирование. Модели и методы обработки изображений» [13], охватывающая получение, обработку и анализ спектральных спутниковых данных, в том числе

гиперспектральных изображений.

На момент 2015 г. на орбите Земли действовало более 100 космических аппаратов (КА) в сегменте среднего и высокого пространственного разрешения. В 2013-2015 гг. ракетно-космическим центром «Прогресс» (г. Самара) были запущены КА «Ресурс-П» и «Ресурс-П-2», которые позволяли получать гиперспектральные данные в оптическом и ближнем инфракрасном диапазоне длин волн. В 2015 г. НИЛ-97 (г. Самара) выпустила монографию «Перспективные информационные технологии дистанционного зондирования Земли» под редакцией В.А. Сойфера, уделяющую особое внимание гиперспектральным данным, получаемым с КА, и их методам анализа, классификации, компрессии, верификации и защиты данных космической съёмки [1].

Параллельно развивались и сами ГСА. В 2015 г. научный коллектив под руководством Н.Л. Казанского представил прототип компактной щелевой ГСА на основе схемы Оффнера для размещения на борту КА [14]. Она характеризовалась высоким пространственным и спектральным разрешением, оставаясь в то же время более компактной, чем аналогичные ГСА. Данная ГСА применялась не только как бортовая ГСА КА, но и в качестве наземной штативной аппаратуры в различных прикладных задачах [15, 16].

Анализ данных ГСА включает в себя широкий спектр задач: снижение размерности ГСИ [17], поэлементной классификации [7], кластеризации [18], оценки временных рядов [19], индексного анализа [13, 18] и т.д.

В рамках настоящей работы рассматривается задача поэлементной классификации ГСИ, где каждому фрагменту изображения присваивается определенная метка класса на основе его отдельных спектральных, пространственных или пространственно-спектральных характеристик (рисунок Введение.3). Такого рода задачи широко востребованы в дистанционном зондировании, особенно для сельскохозяйственных задач [20], мониторинга окружающей среды [21], картографии [22] (например, определение границ водохранилищ [22] и ледников [23]) и т. д.

ш •

V

. ' ,, л У^

Ш*

а

б

Рисунок Введение.3 - Цветосинтез ГСИ (а) и метки классов в псевдоцветах

для целевых гиперпикселей ГСИ (б)

Поскольку ГСИ содержат как пространственную, так и подробную спектральную информацию о захваченной сцене, анализ, а особенно поэлементная классификация таких изображений, требует специальных инструментов [24]. Для решения задач анализа ГСИ используются классические методы, к примеру метод спектрального угла (Spectral Angle Mapper - SAM) [25], спектральные индексы (NDVI, NDWI и т. д.) [13, 19] и другие. Кроме того, используются методы машинного обучения общего назначения, такие как метод опорных векторов (Support Vector Machine - SVM) [1, 26], деревья решений [27], случайный лес [28] и т. д. Однако такие методы не учитывают пространственную информацию, содержащуюся в ГСИ, и, более того, не могут извлекать более глубокие зависимости в спектральных данных. Для более эффективного извлечения глубоких признаков из спектральных данных использовались глубокие архитектуры. Эти архитектуры были основаны на сверточных нейронных сетях (СНС), а именно одномерных сетях [29], а также на все более популярных архитектурах трансформерах [30].

Большой вклад в решение задач поэлементной классификации ГСИ внесли такие исследователи, как В.А. Сойфер, Е.А. Лупян, Р.А. Шовенгердт,

И.В. Оселедец, Е.В. Бурнаев, Н.А. Обухова, Н.И. Глумов, А.В. Кузнецов, В.В. Мясников, В.В. Сергеев, Е.В. Мясников, В.А. Фурсов, А.В. Куприянов, Н.Л. Казанский, Р.В. Скиданов, М. Хе, В. Хейдрих, Л. Сун, Ю. Чен, Ж. Лин, Г. Кэмпс-Вальс, Ф. Мелгани, Ч.-И. Чанг, Д.К. Ду, У. Стилла.

В монографии «Перспективные информационные технологии дистанционного зондирования Земли» (2015, под ред. В.А. Сойфера) были достигнуты показатели точности классификации для открытых наборов данных Indian Pines и Beltsville в 83 и 98 % соответственно при использовании SVM с радиальной базисной функцией [1]. В 2014 г. Фурсов В.А. и др. добились значения показателя точности классификации на наборе данных Indian Pines в 71,6 % [31], в 2023 г. в работе [32] значение точности классификации на Indian Pines было повышено до 95 %. Одномерная свёрточная сеть, представленная в 2015 г. Ху и др. [33], показала точность классификации в 90,1 % на Indian Pines, 92,6 % на Salinas, 92,5 % на Pavia University.

До последнего времени при решении задачи поэлементной классификации классическими методами машинного обучения и одномерными нейронными сетями пространственная информация ГСИ высокого разрешения не использовалась [34]. Для учета пространственной составляющей необходимо использовать инструменты глубокого обучения, основанные на пространственных или пространственно-спектральных экстракторах признаков. Такие экстракторы строятся на основе двумерных сверточных слоев [35] или трехмерных сверточных слоев [36]. В случае высокого пространственного разрешения это позволяет значительно улучшить качество классификации в некоторых случаях по сравнению с подходами, которые используют только спектральные данные [37]. В 2017 г. Хе и др. [38] за счёт применения трёхмерных свёрточных блоков для учёта пространственно-спектральных признаков добились точности классификации в 97,61 % на Indian Pines, 98,49 % на Pavia University и 91,34 % на Salinas. В 2022 г. Сун и др. в работе [39] добились значений точности классификации на Indian Pines в 97,47 %, на Pavia University в 99,21 %, на Houston 13 98,92 % за счёт совместного применения пространственно-спектрального экстрактора признаков, обучаемого

токенизатора и блока трансформера.

Для сканирующих ГСА на основе схемы Оффнера [6, 7, 14], описанных выше, до текущего времени решались задачи, связанные с определением спектральных индексов, в частности индекса влажности [40], задачи, связанные с калибровкой самой ГСА [41] и повышением качества регистрируемого ГСИ [42]. Задачи поэлементной классификации ГСИ для данного типа ГСА не были исследованы на текущий момент. Разработке методов, алгоритмов и инструментария поэлементной классификации с учетом пространственной составляющей ГСИ, необходимых для дальнейшего прикладного использования указанного типа ГСА, и посвящена настоящая работа. Также в работе решается проблема нормализации вариаций освещения, которая, как показано в ряде работ [43-45], является ключевой для прикладного использования ГСА при съемке вне помещения.

Для обучения классификаторов ГСИ необходима разметка (аннотирование) обучающей выборки, заключающаяся в соотнесении фрагментов ГСИ со значением целевой метки класса. Проведение такой разметки вручную оператором требует существенных затрат времени особенно в случае высокого пространственного разрешения [46, 47]. При ручной разметке также возникают затруднения визуальной идентификации принадлежности пикселя вследствие визуальных шумов (рисунок Введение.4). Для сканирующих гиперспектрометров могут наблюдаться неоднородные пространственные искажения, вызванные изменением положения снимаемого объекта во время съемки, неоднородностями освещенности сцены, а также особенностями регистрирующей аппаратуры [48-50]. Такие искажения значительно усложняют разметку данных и увеличивают трудозатраты на ее выполнение [51].

Рисунок Введение.4 - Цветосинтезированное изображение нескольких ГСИ, где визуальное соотнесение конкретного пикселя с меткой растения затруднено из-за особенностей получения ГСИ сканирующим гиперспектрометром

Сложность получения и разметки данных ГСИ высокого разрешения приводит к недостатку открытых наборов данных. Такая нехватка качественных данных для обучения ограничивает практическое применение глубоких нейронных сетей и приводит к ухудшению качества классификации традиционными методами, требующими больших объемов данных для обучения [52]. Таким образом, для задачи анализа ГСИ актуален поиск новых методов поэлементной классификации ГСИ, которые могут преодолеть указанные проблемы [53], а также разработка алгоритмов повышения эффективности разметки гиперспектральных наборов данных [54].

Таким образом, тематика настоящей работы является актуальной и посвящена решению важных проблем в сфере поэлементной классификации и анализа ГСИ.

Целью работы является разработка и исследование нейросетевых методов и алгоритмов поэлементной классификации гиперспектральных изображений высокого разрешения, в том числе полученных ГСА, основанными на схеме Оффнера.

В соответствии с поставленной целью сформулированы следующие основные задачи:

1) Разработать алгоритм поэлементной классификации гиперспектральных изображений, учитывающий пространственно-спектральные признаки в гиперспектральных изображениях высокого разрешения, полученных в

условиях вариаций освещения сканирующими гиперспектрометрами на основе схемы Оффнера.

2) Разработать метод повышения качества поэлементной классификации гиперспектральных изображений классических свёрточных сетей и сетей-трансформеров.

3) Разработать алгоритм подготовки наборов данных для обучения нейросетевых классификаторов гиперспектральных изображений высокого разрешения, полученных в том числе сканирующими гиперспектрометрами на основе схемы Оффнера.

Научная новизна работы состоит в следующих впервые полученных результатах:

1) Разработана пространственно-спектральная нейросеть-трансформер DSST с блоками параллельных трёхмерных свёрток с пакетной нормализацией и основанный на ней алгоритм поэлементной классификации гиперспектральных изображений, в том числе полученных в различных условиях освещения сканирующим гиперспектрометром на основе схемы Оффнера.

2) Впервые предложен метод повышения точности классификации, основанный на модификации существующих глубоких полносвязных, свёрточных и трансформерных архитектур на основе сетей Колмогорова-Арнольда с PReLU активацией в блоке сквозной связи.

3) Разработан адаптивный вегетационный индекс АМОУ1 и основанный на нем алгоритм подготовки обучающих наборов данных по гиперспектральным изображениям растительности полученным сканирующим гиперспектрометром на основе схемы Оффнера.

Практическая значимость работы состоит в повышении качества анализа гиперспектральных изображений, получаемых как с наземных ГСА, так и с установленных на беспилотные летательные аппараты или космические аппараты, а также возможности подготовки наборов данных, содержащих ГСИ, полученные сканирующими ГСА основанными на схеме Оффнера.

Работы по теме диссертации выполнялись в рамках: гранта Фонда

Содействия Инновациям КодЦТ-231563 и гранта Аналитического Центра при правительстве Российской Федерации 000000D730324P540002 N0 70-2023-001317.

Результаты работы по теме диссертации были запатентованы как «Программный модуль для анализа гиперспектральных изображений на базе свёрточной нейронной сети» (свидетельство №2023686406) (Приложение А).

Результаты работы внедрены в ООО «Локус» и используются в рамках проекта «Разработка открытой платформы сбора и анализа гиперспектральных изображений для решения прикладных задач цифровой экономики» (Приложение Б).

Результаты работы внедрены в учебный процесс кафедры киберфотоники и включены в курсы «Нейронные сети», «Нейронные сети и глубокое обучение», «Технологии искусственного интеллекта» (Приложение В).

Методология и методы исследования. В диссертации используются: математические методы обработки изображений, методы обучения искусственных нейронных сетей. В ходе выполнения диссертационной работы разработаны алгоритмы решения поставленных задач, а также программные средства, реализующие данные алгоритмы. Обучение нейронных сетей проводилось с использованием открытой программной библиотеки для машинного обучения РуТогсИ.

Соответствие паспорту специальности. Диссертация соответствует паспорту научной специальности 1.2.1 Искусственный интеллект и машинное обучение и охватывает следующие области исследования, входящие в данную специальность:

4. Разработка методов, алгоритмов и создание систем искусственного интеллекта и машинного обучения для обработки и анализа текстов на естественном языке, для изображений, речи, биомедицины и других специальных видов данных.

13. Методы и средства формирования массивов данных и прецедентов, включая «большие данные», необходимых для решения задач искусственного интеллекта и машинного обучения. Проблемно-ориентированные коллекции данных для важных прикладных областей.

17. Исследования в области многослойных алгоритмических конструкций, в

том числе - многослойных нейросетей.

Основные положения, выносимые на защиту:

1) Разработанный алгоритм поэлементной классификации ГСИ на основе пространственно-спектральной свёрточной сети NM3DCNN, компенсирующей вариации освещения за счёт применения пакетной нормализации, обеспечил повышение точности классификации ГСИ образцов почвы, полученных гиперспектрометром на основе схемы Оффнера, по содержанию минеральных веществ до 3 %, достигнув лучшей точности 95,8 %, а для ГСИ растительности -до 0,9 %, достигнув лучшей среди рассмотренных свёрточных сетей до точности 94,1%.

2) Разработанный алгоритм поэлементной классификации ГСИ на основе пространственно-спектральной сети-трансформера DSST, обеспечил лучшую точность классификации ГСИ образцов почвы, полученных гиперспектрометром на основе схемы Оффнера, по содержанию минеральных веществ в 98,5 %, а для ГСИ растительности в двух экспериментах - до 94,6 %.

3) Разработанный метод повышения качества классификации ГСИ основанный на модификации существующих глубоких полносвязных, свёрточных и трансформерных архитектур на основе сетей Колмогорова-Арнольда позволил повысить качество классификации различных архитектур нейронных сетей от 0,31 до 5,05 % без изменения их структуры и достичь точности классификации на открытых наборах данных в 99,28%, а на ГСИ, полученных сканирующими гиперспектрометрами на основе схемы Оффнера, до 94,8%.

4) Разработанный алгоритм автоматизированной разметки на основе адаптивного вегетационного индекса А№ОУ1 позволил сократить затрачиваемое время на подготовку наборов данных по ГСИ растительности, полученные сканирующими гиперспектрометрами на основе схемы Оффнера, в 16,65 раза, сохраняя точность в 98,45% относительно полностью ручной разметки.

Достоверность полученных результатов подтверждена посредством

воспроизводимых вычислительных экспериментов на наборах гиперспектральных

изображений, полученных в том числе щелевой ГСА на основе схемы Оффнера, а

именно нейросетевой поэлементной классификации. Часть собранных наборов

гиперспектральных изображений и разработанных нейросетевых моделей

выложена в общий доступ. Описания предложенных методов нейросетевой

поэлементной классификации гиперспектральных изображений допускают их

воспроизводимость и опубликованы в ведущих научных журналах и трудах

конференций по машинному зрению и обработке изображений.

Апробация работы. Результаты работы были представлены на 3 международных конференциях:

1) VIII International conference on information technology and nanotechnology (ITNT -

2022), Samara, 2022.

2) IX International conference on information technology and nanotechnology (ITNT -

2023), Samara, 2023.

3) IOP Conference Series: Earth and Environmental Science, 2023.

Авторский вклад в работу является определяющим. Все изложенные в работе и выносимые на защиту результаты получены автором лично. Постановка задач и формализация результатов проводились совместно с научным руководителем. В диссертации использованы результаты совместных исследований: формирование и подготовка наборов гиперспектральных изображений выполнена А.Р. Макаровым совместно с Н.А. Ивлевым, В.В. Подлипновым; гиперспектральная аппаратура, исследованная в работе, разработана Н.Л. Казанским, Р.В. Скидановым, Н.А. Ивлевым, В.В. Подлипновым.

Публикации. Основные результаты по теме диссертации изложены в 8 печатных работах: 6 из которых изданы в журналах, индексируемых Scopus и WoS; 2 - в журналах, рекомендованных ВАК; 3 - в тезисах докладов.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 3 приложений. Объём диссертации составляет 144 страницы, включая 89 изображений и 37 таблиц. Список литературы содержит 141 наименование.

ГЛАВА 1 ФОРМИРОВАНИЕ И АНАЛИЗ ГИПЕРСПЕКТРАЛЬНЫХ

ИЗОБРАЖЕНИЙ

В настоящей главе описываются гиперспектральные изображения, приведены модель наблюдения гиперспектрального изображения, методы формирования гиперспектральных изображений, полученных сканирующим гиперспектрометром, и обзор существующих методов анализа, в том числе разметка гиперспектральных изображений, описана задача поэлементной классификации гиперспектральных изображений и введены критерии оценки качества классификации гиперспектральных изображений.

1.1 Формирование гиперспектральных изображений

Гиперспектральная съёмка представляет собой метод сбора информации об отражательной способности объектов. Каждый объект имеет уникальную спектральную отражательную характеристику, что позволяет однозначно идентифицировать материалы, составляющие его структуру [55]. Кроме двух стандартных пространственных координат к каждому пикселю ГСИ добавляется спектральная координата, что обеспечивает трёхмерность пространства данных. Иными словами, каждой точке изображения соответствует спектр, полученный в этой точке снимаемого объекта [55].

Как было описано ранее, ГСИ представляет собой матрицу пикселов, каждый из которых суть вектор, элементы которого определяют мощность (интенсивность) зарегистрированного излучения для конкретной длины волны [1]:

' ХМ,п2) ^ х (щ, Щ) - -

х(щ,щ) = 141,27 , щ = о,^ -1, щ = о,N -1. (1.1)

Стоит учитывать, что диспергирующий элемент ГСА выполняет разложение в спектр изображения щелевой диафрагмы по пространству сенсора, который в свою очередь представлен набором регулярно распределенных

светочувствительных пикселей с линейными размерами Р х р. В связи с этим распределение интенсивностей длин волн дискретизируется по этому пространству согласно конечной ширине щелевой диафрагмы и линейным размерам пикселя, формируя регистрирующие каналы, захватывающие не конкретную длину волны, а некоторый диапазон длин волн. Такой диапазон можно представить как конкретную длину волны X. и его ширину А\. При регистрации отдельным

пикселем такого диапазона длин волн интенсивность зарегистрированного сигнала можно описать как [37]:

X+АХ

х. (п, п2) = | I(Х)Я(п, п2,Х)Т(Х)&, (1.2)

л

где X - длина волны /-го регистрирующего канала; АX - ширина 1-го регистрирующего канала ГСА; I (X) - интенсивность падающего излучения;

Т (X) - чувствительность датчика регистрирующей камеры ГСА (спектральный

отклик сенсора и пропускающая способность оптической системы);

Я(п, п, X) - значение отражательной способности объекта, зарегистрированной ГСА.

Диапазон длин волн определяется диапазоном спектральной чувствительности регистрирующей камеры.

В предположении равенства спектральных интервалов регистрации ГСИ в (1.1) получим следующую модель наблюдения ГСИ:

Ъ1+АХ

х.(п,п) = | I(Х)Я(п,п,Х)Т(Х)&. (1.3)

С технической точки зрения, существует четыре способа производить съёмку ГСИ (рисунок 1.1) [56]:

- точечное сканирование - информация извлекается для каждого отдельного пикселя за одну итерацию съёмки;

- линейное сканирование - изображение формируется из множества снятых

линии, которые в конечном счёте записываются в массив полилинеинои записи спектральных каналов;

- плоское сканирование - для каждого канала ГСИ снимается отдельная сцена

мира;

- съёмка одним кадром - ГСИ снимается за одну итерацию съёмки, но с меньшим количеством каналов.

Рисунок 1.1 - Подходы получения ГСИ: точечное сканирование (А), линейное сканирование (В), плоское сканирование (С), сканирование одним кадром (Э)

Плоское сканирование и съёмка одним кадром обеспечивают малое количество спектральных каналов из-за особенностей конструкции гиперспектрометра в отличие от точечного и линеиного сканирования, которые могут формировать до нескольких сотен каналов.

Линейное сканирование позволяет снимать ГСИ с большей скоростью, чем при точечнои съёмке, за счёт получения дифракционнои картины распределения тонкого среза изображения. Далее для простоты будем называть ГСА, снимающие по такому принципу, просто сканирующими.

В настоящей диссертации будут рассмотрены, в частности,

гиперспектральные изображения, полученные сканирующим гиперспектрометром, построенным по схеме Оффнера. Описание формирования данного типа ГСИ будет рассмотрено далее.

1.1.1 Формирование гиперспектральных изображений при линейном сканировании

Получение ГСИ одинаково для всех типов сканирующих гиперспектрометров (рисунок 1.2). Щель гиперспектрометра выделяет полосу изображения, которая строится системой формирования изображения. Затем в фотодетекторе создаётся спектральное разложение полосы (пространственная спектрограмма) [13, 37, 57].

Рисунок 1.2 - Пример съёмки микропрепарата гиперспектральным

микроскопом

(красной рамкой на участке сцены слева выделена полоса реальной сцены)

Список литературы диссертационного исследования кандидат наук Фирсов Никита Александрович, 2025 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

[1] Гашников, М.В. Перспективные информационные технологии дистанционного зондирования Земли: моногр. / М. В. Гашников, Н. И. Глумов, Е.В. Гошин, А.Ю. Денисова, А.В. Кузнецов, В. А. Митекин, В.В. Мясников, В.В. Сергеев, В. А. Сойфер, В.А. Федосеев, В.А. Фурсов, М.А. Чичева, П. Ю. Якимов // под ред. В. А. Сойфера. - Самара: Новая техника, 2015. - 256 с.

[2] Lu, G. Medical hyperspectral imaging: A review. / G. Lu, B. Fei // J. Biomed. Opt. -2014. - Vol. 19, no. 6.

[3] Кринов, Е.Л. Спектральная отражательная способность природных образований / под ред. члена-корреспондента АН СССР К. В. Чибисова. - Москва: Издательство Академии Наук СССР, 1947. - 270 с.

[4] Klein, M.E. Quantitative Hyperspectral Reflectance Imaging / M.E. Klein, B.J. Aalderink, R. Padoan, G. de Bruin, T.A.G. Steemers // Sensors. - 2008. - Vol. 8. - P. 5576-5618.

[5] Барталев, С.А. Мультиспектральный интеллектуальный мониторинг природной и техногенной среды / С.А. Барталев, Е.В. Бурнаев, В.С. Верба, Н.А. Ивлиев, Н.Л. Казанский, А.Ф. Каперко, Е.А. Лупян, А.В. Никоноров, Р.В. Скиданов, А.А. Черниенко // под ред. Академика РАН В.Я, Панченко. - Самара: Новая техника, 2023. - 184 с.

[6] Kazanskiy, N. An Airborne Offner Imaging Hyperspectrometer with Radially-Fastened Primary Elements / N. Kazanskiy, N. Ivliev, V. Podlipnov, R. Skidanov // Sensors 2020, 20, 3411

[7] Ivliev, N. 3U CubeSat-Based Hyperspectral Remote Sensing by Offner Imaging Hyperspectrometer with Radially-Fastened Primary Elements / N.Ivliev, V. Podlipnov, M. Petrov, I. Tkachenko, M. Ivanushkin, S. Fomchenkov, M. Markushin, R. Skidanov, Y. Khanenko, A. Nikonorov, N. Kazanskiy, V. Soifer // Sensors 2024, 24, 2885

[8] Zhang, Z. UAV Hyperspectral Remote Sensing Image Classification: A Systematic Review / Z. Zhang, L. Huang, Q. Wang, L. Jiang, Y. Qi, S. Wang, T. Shen, B.-H. Tang, Y. Gu // IEEE Journal of Selected Topics in Applied Earth Observations and Remote

Sensing, vol. 18, pp. 3099-3124, 2025

[9] Fumin, W. Combining spectral and textural information in UAV hyperspectral images to estimate rice grain yield / W. Fumin, Y. Qiuxiang, H. Jinghui, X. Lili, Y. Xiaoping, X. Tianyue, Z. Jueyi // International Journal of Applied Earth Observation and Geoinformation. - 2021. - Vol. 102. - P. 102397.

[10] Tominaga, S. Measurement and Estimation of Spectral Sensitivity Functions for Mobile Phone Cameras / S. Tominaga, S. Nishi, R. Ohtera // Sensors. - 2021. - Vol. 21.

- P. 4985.

[11] Gao, B.-C. Retrieval of equivalent water thickness and information related to biochemical components of vegetation canopies from AVIRIS data / Bo-Cai Gao, Alexander F.H. Goetzt / Remote Sensing of Environment. - 1995. - Vol. - 52 (3). -P. 155-162.

[12] Проксима [Электронный ресурс]. - 2025. - URL: https://gisproxima.ru/hsi_sputniki (Дата обращения 05.06.2025)

[13] Шовенгердт Р.А. Дистанционное зондирование. Методы и модели и методы обработки изображений / Р.А. Шовенгердт Москва: Техносфера, 2010. - 560 c.

[14] Kazanskiy, N.L. Modeling the performance of a spaceborne hyperspectrometer based on the offner scheme / N.L. Kazanskiy, S.I. Kharitonov, L.L. Doskolovich, A.V. Pavelyev // Computer Optics. - 2015. - Vol. 39 (1). - P. 70-76.

[15] Podlipnov, V.V. Experimental determination of soil moisture on hyperspectral images / V.V Podlipnov, V.N. Shchedrin, A.N. Babichev, S.M. Vasilyev, V.A. Blank // Computer Optics. - 2018. - Vol. 42 (5). - P. 877-884.

[16] Hamza, M. Visualization of Subcutaneous Blood Vessels Based on Hyperspectral Imaging and Three-Wavelength Index Images / M. Hamza, R. Skidanov, V. Podlipnov // Sensors. - 2023. - Vol. 23 (8895).

[17] Yu, P. Applications of cluster analysis (CLA) and principal component analysis (PCA) in feed structure and feed molecular chemistry research, using synchrotron based FTIR microspectroscopy / P. Yu // Journal of Agricultural and Food Chemistry. - 2005.

- Vol. 53. - P. 7115-7127.

[18] Ahmed K.R. Analysis of landcover change in southwest Bengal delta due to floods

by NDVI, NDWI and K-means cluster with landsat multi-spectral surface reflectance satellite data / K.R. Ahmed, S. Akter // Remote Sensing Applications: Society and Environment. - 2017. - Vol. 8. - P. 168-181.

[19] Ju, Y. Classification of Wetland Vegetation Based on NDVI Time Series from the HLS Dataset / Y. Ju, G. Bohrer // Remote Sensing. - 2022. - Vol 14. - P. 2107.

[20] Wang, C. A review of deep learning used in the hyperspectral image analysis for agriculture / C. Wang, B. Liu, L. Liu, Y. Zhu, J. Hou, P. Liu, X. Li, // Artificial Intelligence Review. - 2021. - Vol. 54. - P. 5205-5253.

[21] Sun, G. Hyperspectral image-based vegetation index (HSVI): A new vegetation index for urban ecological research / G. Sun, Z. Jiao, A. Zhang, F. Li, H. Fu, Z. Li, // International Journal of Applied Earth Observation and Geoinformation. - 2021, Vol. 103, no. 102529.

[22] Liu, C. Joint Classification of Hyperspectral and Multispectral Images for Mapping Coastal Wetlands. / C. Liu, R. Tao, W. Li, M. Zhang, W. Sun, Q. Du // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. -2020. - Vol. 99, no. 3040305.

[23] Sood, V. Glacier Boundary Mapping Using Deep Learning Classification over Bara Shigri Glacier in Western Himalayas / V. Sood, R.K. Tiwari, S. Singh, R. Kaur, B.R. Parida // Sustainability. - 2022. - Vol. 14, no. 13485.

[24] Nalepa, J. Recent Advances in Multi- and Hyperspectral Image Analysis. / K. Nalepa // Sensors. - 2021. - Vol. 21, no. 6002.

[25] Chakravarty, S. Hyperspectral Image Classification using Spectral Angle Mapper. / S. Chakravarty, B.K. Paikaray, R. Mishra, S. Dash // In Proceedings of the 2021 IEEE International Women in Engineering (WIE) Conference on Electrical and Computer Engineering (WIECON-ECE), Dhaka, Bangladesh. - 2021. - P. 87-90.

[26] Wang, Y. Multiple Kernel-Based SVM Classification of Hyperspectral Images by Combining Spectral, Spatial, and Semantic Information. / Y. Wang, W. Yu, Z. Fang // Remote Sensing. - 2020. - Vol. 12, no. 120.

[27] Xu, S. A Hyperspectral Image Classification Approach Based on Feature Fusion and Multi-Layered Gradient Boosting Decision Trees / S. Xu, S. Liu, H. Wang, W. Chen, F.

Zhang, Z. Xiao // Entropy. - 2021. - Vol. 23, no. 20.

[28] Wang, Z. Fine Crop Classification Based on UAV Hyperspectral Images and Random Forest. / Z. Wang, Z. Zhao, C. Yin // ISPRS International Journal of Geo-Information. - 2022. - Vol. 11, no. 252.

[29] Huang, J. Non-destructive detection and classification of textile fibres based on hyperspectral imaging and 1D-CNN / J. Huang, H. He, R. Lv, G. Zhang, Z. Zhou, X. Wang // Analytica Chimica Acta. - 2022. -Vol. 1224, no. 340238.

[30] Hong, D. SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers. / D. Hong, Z. Han, J. Yao, L. Gao, A. Plaza, J. Chanussot // IEEE Transactions on Geoscience and Remote Sensing. - 2021. - Vol. 60, no. 5518615.

[31] Фурсов, В.А. Тематическая классификация гиперспектральных изображений по показателю сопряжённости / В. А. Фурсов, С. А. Бибиков, О. А. Байда // Компьютерная оптика. - 2014. - Т. 38 (1). - С. 154-158.

[32] Fursov, V. Hyperspectral Image Recognition with Selection of Informative Observations by Conjugacy Criterion / V. Fursov // Pattern Recognition, Computer Vision, and Image Processing. - 2022. - Vol. 13644. - P. 456-463.

[33] Hu, W. Deep Convolutional Neural Networks for Hyperspectral Image Classification / W. Hu, Y. Huang, L. Wei, F. Zhang, H. Li // Journal of Sensors. - 2015. - Vol. 258619

[34] Benediktsson, J. A. Spectral-spatial classification of hyperspectral remote sensing images / J.A. Benediktsson, P. Ghamisi // Artech House, 2015.

[35] Hsieh, T.-H. Comparison of CNN Algorithms on Hyperspectral Image Classification in Agricultural Lands / T.-H. Hsieh, J.-F. Kiang // Sensors. - 2020. - Vol. 20, no. 1734.

[36] Yu, Z, Robust hyperspectral image classification using generative adversarial networks / Z. Yu, W. Cui // Information Sciences. - 2024. - Vol. 666, no. 120452

[37] Makarov, A. Deep Spectral-Spatial Transformer for Robust Hyperspectral Image Segmentation in Varying Field Conditions. IEEE Access. - 2025.

[38] He, M. Multi-scale 3D deep convolutional neural network for hyperspectral image classification / M. He, B. Li, H. Chen // Proceedings of the 2017 IEEE International Conference on Image Processing (ICIP), Beijing, China. - 2017. - P. 3904-3908.

[39] Sun, L. Spectral-spatial feature tokenization transformer for hyperspectral image

classification / W. Lu, X. Wang, L. Sun, Y. Zheng //IEEE Transactions on Geoscience and Remote Sensing. - 2022. - Vol. 60. - P. 1-14.

[40] Blank, V. Spectral diffractive lenses for measuring a modified red edge simple ratio index and a water band index / V. Blank, R. Skidanov, L. Doskolovich // Sensors (Switzerland) 2021. — Vol. 21, (22).

[41] Подлипнов, В.В. Калибровка изображающего гиперспектрометра / В.В. Подлипнов, Р.В. Скиданов // Компьютерная оптика. - 2017. - Т. 41 (6).

[42] Nikonorov, A. Deep Learning-Based Enhancement of Hyperspectral Images Using Simulated Ground Truth / A. Nikonorov, M. Petrov, S. Bibikov, V. Kutikova, P. Yakimov, A. Morozov // 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Beijing, China. - 2018, pp. 1-9.

[43] Mishra, P. Utilising variable sorting for normalisation to correct illumination effects in close-range spectral images of potato plants / P. Mishra, G. Polder, A. Gowen, D. N. Rutledge, J.-M. Roger // Biosystems Engineering. - 2020. -Vol. 197. - P. 318-323.

[44] Mishra, P. Homogenising and segmenting hyperspectral images of plants and testing chemicals in a high-throughput plant phenotyping setup / P. Mishra, M. Schmuck, S. Roth, A. Nicol, A. Nordon // 2019 10th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS) IEEE. - 2019. - pp. 1-5.

[45] Asaari, M.S.M. Close-range hyperspectral image analysis for the early detection of stress responses in individual plants in a high-throughput phenotyping platform / M.S.M. Asaari, P. Mishra, S. Mertens, S. Dhondt, D. Inze, N. Wuyts, P. Scheunders // ISPRS Journal of Photogrammetry and Remote Sensing. - 2018. - Vol. 138. - pp. 121-138.

[46] Puustinen, S. Hyperspectral placenta dataset: Hyperspectral image acquisition, annotations, and processing of biological tissues in microsurgical training / S. Puustinen, J. Hyttinen, A.-P. Elomaa, H. Vrzakova // Data in Brief. - 2023. - Vol. 50. - PP. 109526.

[47] Yao, X. Semantic Annotation of High-Resolution Satellite Images via Weakly Supervised Learning / X. Yao, J. Han, G. Cheng, X. Qian, L. Guo // IEEE Transactions on Geoscience and Remote Sensing. - 2016. - Vol. 54, (6). - pp. 3660-3671.

[48] Gaidel, A.V. Agricultural plant hyperspectral imaging dataset / A.V. Gaidel, V.V. Podlipnov, N.A Ivliev, R.A. Paringer, P.A. Ishkin, S.V. Mashkov, R.V. Skidanov //

Computer Optics. - 2023. - Vol. 47, no. 3. - P. 442-450.

[49] Schlapfer, D. Spatial PSF Nonuniformity Effects in Airborne Pushbroom Imaging Spectrometry Data / D. Schlapfer, J. Nieke, K. I. Itten // IEEE Transactions on Geoscience and Remote Sensing. - 2007. - Vol. 45, no. 2. - P. 458-468.

[50] Wang, Y. Advancements, limitations and challenges in hyperspectral imaging for comprehensive assessment of wheat quality: An up-to-date review / Y. Wang, X. Ou, H.J. He, M. Kamruzzaman // Food Chemistry: X. - 2024. - Vol. 16, no. 21.

[51] Jia, S. A survey: Deep learning for hyperspectral image classification with few labeled samples / S. Jia, S. Jiang, Z. Lin, N. Li, M. Xu, S. Yu // Neurocomputing. - 2021.

- Vol. 448. P. 179-204.

[52] Luca, M.A. Impact of quality, type and volume of data used by deep learning models in the analysis of medical images / M.A. Luca, T.F. Ursuleanu, L. Gheorghe, R. Grigorovici, S. Iancu, M. Hlusneac, A. Grigorovici // Informatics in Medicine Unlocked.

- 2022. - Vol. 29, no. 100911.

[53] Shenming, Q. A new hyperspectral image classification method based on spatial-spectral features / Q. Shenming, L. Xiang, G. Zhihua // Scientific Reports. - 2022. - Vol. 12, no. 1541.

[54] Paoletti, M.E. Deep learning classifiers for hyperspectral imaging: A review / M.E. Paoletti, J.M. Haut, J. Plaza, A. Plaza // ISPRS Journal of Photogrammetry and Remote Sensing. - 2019. - Vol. 158. - P. 279-317.

[55] Хотилин, М.И. Классификация объектов натурных гиперспектральных изображений / М.И. Хотилин, Н.С. Кравцова, И.А. Рыцарев, А.В. Куприянов // Информационные технологии и нанотехнологии (ИТНТ-2020). Сборник трудов по материалам VI Международной конференции и молодежной школы (г. Самара, 2629 мая): в 4 т. / Самар. нац.-исслед. ун-т им. С. П. Королева (Самар. ун-т), Ин-т систем. обраб. изобр. РАН-фил. ФНИЦ "Кристаллография и фотоника" РАН; [под ред. В. А. Фурсова]. - Самара: Изд-во Самар. ун-та, 2020. - Том 4. Науки о данных.

- 2020. - С. 86-90.

[56] Arablouei, R. Fast and robust pushbroom hyperspectral imaging via DMD-based scanning / R. Arablouei, E. Goan, S. Gensemer, B. Kusy // ArXiv. - 2016.

[57] Nikonorov, A. Deep learning-based enhancement of hyperspectral images using simulated ground truth / A. Nikonorov, M. Petrov, S. Bibikov, V. Kutikova, P. Yakimov, A. Morozov // 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). - 2018.

[58] Behman, J. Calibration of hyperspectral close-range pushbroom cameras for plant phenotyping / J. Behmann, A.-K. Mahlein, S. Paulus, H. Kuhlmann, E.-C. Oerke, L. Plümer // ISPRS Journal of Photogrammetry and Remote Sensing. - 2015. - Vol. 106. -P. 172-182.

[59] Sowmya, V. Hyperspectral Image: Fundamentals and Advances [Текст] / V. Sowmya, K. P. Soman & M. Hassaballah // Studies in Computational Intelligence. -2019. - Vol. 804. - P. 366-399.

[60] Ravi N. et al. Sam 2: Segment anything in images and videos / N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. Rädle, C. Rolland, L. Gustafson, E. Mintun, J.Pan, K.V. Alwala, N. Carion, C.-Y. Wu, R. Girshick, P. Dollar, C. Feichtenhofer // arXiv. - 2024.

[61] Shafri, H.Z.M. The performance of maximum likelihood, spectral angle mapper, neural network and decision tree classifiers in hyperspectral image analysis / H.Z.M. Shafri, A. Suhaili and S. Mansor // Journal of Computer Science. - 2007. - Vol. 3, no. 6.

- P. 419-423.

[62] Deborah, H. A comprehensive evaluation of spectral distance functions and metrics for hyperspectral image processing / H. Deborah, N. Richard, J. Y. Hardeberg // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2015.

- Vol. 8, no. 6. - P. 3224-3234.

[63] Bazi, Y. Toward an optimal SVM classification system for hyperspectral remote sensing images / Y. Bazi, F. Melgani // IEEE Transactions on geoscience and remote sensing. - 2006. - Vol. 44, no. 11. - P. 3374-3385.

[64] Makarov, A.R. et al. Neural network classification of coffee varieties on hyperspectral images / A.R. Makarov, V.V. Podlipnov, N.A. Ivliev, A.V. Nikonorov, D.I. Ulyanov, N.A. Firsov // IEEE 2022 VIII International Conference on Information Technology and Nanotechnology (ITNT). - 2022. - P. 1-3.

[65] Jung, A. Hyperspectral Technology in Vegetation Analysis / A. Jung, P. Kardevan, L. Tokei // Progress in agricultural engineering sciences. - 2006. - Vol. 2.

[66] Kwan, C. An Accurate Vegetation and Non-Vegetation Differentiation Approach Based on Land Cover Classification / C. Kwan, D. Gribben, B. Ayhan, J. Li, S. Bernage, A. Plaza // Remote Sensors. - 2020. - Vol. 12, no. 23, - P. 3880-3888.

[67] Xie, H. New hyperspectral difference water index for the extraction of urban water bodies by the use of airborne hyperspectral images / H. Xie, X. Luo, X. Xu, X. Tong, Y. Jin, P. Haiyan, B. Zhou //Journal of Applied Remote Sensing. - 2014. - Vol. 8, no. 1. -P. 085098-085098.

[68] Ahmed, K.R. Analysis of landcover change in southwest Bengal delta due to floods by NDVI, NDWI and K-means cluster with landsat multi-spectral surface reflectance satellite data / K.R. Ahmed, S. Akter // Remote Sensing Applications: Society and Environment. - 2017. - Vol. 8. - P. 168-181.

[69] Van der Meer, F.D. Multi- and hyperspectral geologic remote sensing: A review / F. D. van der Meer, H.M.A. van der Werff, F.J.A. van Ruitenbeek, C.A. Hecker, W.H. Bakker, M.F. Noomen, M. van der Meijde, E.J.M. Carranza, J.B. de Smeth, T. Woldai, // International journal of applied Earth observation and geoinformation. - 2012. - Vol. 14, no. 1. - P. 112-128.

[70] Negi, H.S. Snow and glacier investigations using hyperspectral data in the Himalaya / H.S. Negi, C. Shekhar, S.K. Singh // Current Science. - 2015. - P. 892-902.

[71] Yang, C. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM) / C. Yang, J.H. Everitt, J.M. Bradford // Transactions of the ASABE. - 2008. -Vol. 51, no. 2. - P. 729-737.

[72] Chang, C. I. Spectral information divergence for hyperspectral image analysis / C.I. Chang // IEEE 1999 International Geoscience and Remote Sensing Symposium. IGARSS'99 (Cat. No. 99CH36293). - 1999. - Vol. 1. - P. 509-511.

[73] Theiler, J.P. Contiguity-enhanced k-means clustering algorithm for unsupervised multispectral image segmentation / J.P. Theiler, G. Gisler // Algorithms, devices, and systems for optical information processing. - 1997. - Vol 3159. - P. 108-119.

[74] Lavenier, D. Fpga implementation of the k-means clustering algorithm for

hyperspectral images / D. Lavenier // Los Alamos National Laboratory. - 2000.

[75] Lee, S. Unsupervised multistage image classification using hierarchical clustering with a bayesian similarity measure / S. Lee, M.M. Crawford // IEEE Transactions on Image Processing. - 2005. - Vol. 14, no. 3. - P. 312-320.

[76] Yu, P. Applications of cluster analysis (CLA) and principal component analysis (PCA) in feed structure and feed molecular chemistry research, using synchrotron based FTIR microspectroscopy / P. Yu // Journal of Agricultural and Food Chemistry. - 2005. - Vol. 53. - P. 7115-7127.

[77] Prasad, S. Hyperspectral Image Analysis / S. Prasad, J. Chanussot// Springer. - 2020.

[78] Bhargava, R. High throughput assessment of cells and tissues: Bayesian classification of spectral metrics from infrared vibrational spectroscopic imaging data / R. Bhargava, D.C. Fernandez, S.M. Hewitt, I.W. Levin // Biochimica et Biophysica Acta (BBA) - Biomembranes. - 2006. - Vol. 1758, no. 7.

[79] Villa, A. Hyperspectral Image Classification With Independent Component Discriminant Analysis / A. Villa, J.A. Benediktsson, J. Chanussot, C. Jutten // IEEE Transactions on Geoscience and Remote Sensing. - 2011. - Vol. 49, no. 12.

[80] Großerueschkamp, F. Marker-free automated histopathological annotation of lung tumour subtypes by FTIR imaging / F. Großerueschkamp, A. Kallenbach-Thieltges, T. Behrens, T. Brüning, M. Altmayer, G. Stamatis, D. Theegarten, K. Gerwert // Analyst. -2015. - Vol. 140, no. 7.

[81] Mayerich, D.M. Breast histopathology using random decision forests-based classification of infrared spectroscopic imaging data / D.M. Mayerich, M. Walsh, A. Kadjacsy-Balla, S. Mittal, R. Bhargava // Proceedings of SPIE —the international society for optical engineering. - 2014. - Vol. - 9041, no. 904107.

[82] Melgani, F. Classification of hyperspectral remote sensing images with support vector machines / F. Melgani, L. Bruzzone // IEEE Transactions on Geoscience and Remote Sensing. - 2004. - Vol. 42, no. 8.

[83] Mercier, G. Support Vector Machines for Hyperspectral Image Classification with Spectral-based kernels / G. Mercier, M. Lennon // Proceedings of the 2003 IEEE international on geoscience and remote sensing symposium IGARSS. - 2003. - Vol 1. -

P. 288-290.

[84] Bandos, T.V. Classification of Hyperspectral Images With Regularized Linear Discriminant Analysis / T.V. Bandos, L. Bruzzone, G. Camps-Valls // IEEE Transactions on Geoscience and Remote Sensing. - 2009. - Vol. 47, no. 3.

[85] Fu, Z. An instance selection approach to multiple instance learning / Z. Fu, A. Robles-Kelly // IEEE conference on computer vision and pattern recognition. - 2009. -P. 1-7.

[86] Subramanian, S. Algorithms for multispectral and hyperspectral imagery / S. Subramanian, N. Gat, M. Sheffield, J. Barhen, N. Toomarian // International Society for Optics and Photonics. - 1997. - Vol. 3071. - P.128-138.

[87] Jimenez, L.O. Classification of hyperdimensional data based on feature and decision fusion approaches using projection pursuit, majority voting, and neural networks / L.O. Jimenez, A. Morales-Morell, A. Creus // IEEE Transactions on Geoscience and Remote Sensing. - 1999. - Vol. 37, no. 3.

[88] Plaza, J. On the use of small training sets for neural network-based characterization of mixed pixels in remotely sensed hyperspectral images / J. Plaza, A. Plaza, R. Perez, P. Martinez // Pattern Recognition. - 2009. - Vol 42, no. 11.

[89] Ratle, F. Semisupervised Neural Networks for Efficient Hyperspectral Image Classification / F. Ratle, G. Camps-Valls, J. Weston // IEEE Transactions on Geoscience and Remote Sensing. - 2010. - Vol. 48, no. 5.

[90] Licciardi, G.A. Pixel Unmixing in Hyperspectral Data by Means of Neural Networks / G.A. Licciardi, F. Del Frate // IEEE Transactions on Geoscience and Remote Sensing. - 2011. - Vol. 49, no. 11.

[91] Lin, Z. Spectral-spatial classification of hyperspectral image using autoencoders / Z. Lin, Y. Chen, X. Zhao, G. Wang // The international conference on information, communications and signal processing. - 2013. - P.1-5.

[92] Chen, Y. Deep learning-based classification of hyperspectral data / Y. Chen, Z. Lin, X. Zhao, G. Wang, Y. Gu // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2014. - Vol. 7, no. 6.

[93] Deng, L. Deep Learning: Methods and Applications / L. Deng, D. Yu // Found

Trends Signal Process. - 2014. - Vol. 7, no. 3.

[94] Goodfellow, I. Deep learning / I. Goodfellow, Y. Bengio, A. Courville, Y. Bengio // MIT Press, Cambridge. - 2016. - Vol 1.

[95] Tao, C. Unsupervised spectral-spatial feature learning with stacked sparse autoencoder for hyperspectral imagery classification / C. Tao, H. Pan, Y. Li, Z. Zou // IEEE Geoscience and Remote Sensing Letters. - 2015. - Vol. 12, no. 12.

[96] Makantasis, K. Deep supervised learning for hyperspectral data classification through convolutional neural networks / K. Makantasis, K. Karantzalos, A. Doulamis, N. Doulamis // In Proceedings of the 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Milan, Italy. - 2015. - P. 4959-4962.

[97] Yue, J. Spectral-spatial classification of hyperspectral images using deep convolutional neural networks / J. Yue, W. Zhao, S. Mao, H. Liu // Remote Sensing Letters. - 2015. - Vol. 6, no. 6.

[98] Ma, X. Hyperspectral image classification via contextual deep learning / X. Ma, J. Geng, H. Wang // EURASIP Image Video Process. - 2015. - Vol. 1.

[99] Mou, L. Deep Recurrent Neural Networks for Hyperspectral Image Classification / L. Mou, P. Ghamisi, X. X. Zhu // IEEE Transactions on Geoscience and Remote Sensing. - 2017. - Vol. 55, no. 7. - P. 3639-3655.

[100] Liu, B. Spectral-Spatial Classification of Hyperspectral Imagery Based on Recurrent Neural Networks / B. Liu, X. Yu, A. Yu, P. Zhang, G. Wan // Remote Sensing Letters. - 2018. - Vol. 9, no. 12.

[101] Guo, Y. Guided filter based deep recurrent neural net- works for hyperspectral image classification / Y. Guo, S. Han, H. Cao, Y. Zhang, Q. Wang // Procedia Computer Science. - 2018. - Vol. 129, no. 219.

[102] Lin, Z. A structured self-attentive sentence embedding / Z. Lin, M. Feng, C. Santos, M. Yu, B. Xiang, B. Zhou, Y. Bengio // arXiv. - 2017.

[103] Vaswani, A. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez // Advances in Neural Information Processing Systems (NIPS). - 2017.

[104] He, X. Spatial-spectral transformer for hyperspectral image classification / X. He,

Y. Chen, Z. Lin // Remote Sensing. - 2021. - Vol. 13, no. 3. - P. 498.

[105] Li, S. Li Deep Learning for Hyperspectral Image Classification: An Overview / S. Li, W. Song, L. Fang, Y. Chen, P. Ghamisi, J. A. Benediktsson // IEEE Transactions on Geoscience and Remote Sensing. - 2019. - Vol. 57, no. 9. - P. 6690-6709.

[106] Jia, X. Fea ture mining for hyperspectral image classification / X. Jia, B.-C. Kou, M. Crawford // Proceedings of IEEE. - 2013. - Vol. 101, no. 3. P. 676-697.

[107] He, M. Advance in feature mining from hyperspectral remote sensing data / M. He, W. Chang, S. Mei // Spacecraft Recovery & Remote Sensing. - 2013. - Vol. 34, no. 1. -P. 1-12.

[108] Lecun, Y. Gradient-based learning applied to document recognition / Y. Lecun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE. - 1998. - Vol. 86, no. 11. - P. 2278-2324.

[109] Mauricio, J. Comparing Vision Transformers and Convolutional Neural Networks for Image Classification: A Literature Review / J. Mauricio, I. Domingues, J. Bernardino, // Applied Science. - 2023, - Vol. 13, no. 5521.

[110] Yang, X. Hyperspectral Image Transformer Classification Networks / X. Yang, W. Cao, Y. Lu, Y. Zhou // IEEE Transactions on Geoscience and Remote Sensing. - 2022. -Vol. 60.

[111] Zhong, Z. Spectral-Spatial Transformer Network for Hyperspectral Image Classification: A Factorized Architecture Search Framework / Z. Zhong, Y. Li, L. Ma, J. Li and W. -S. Zheng // IEEE Transactions on Geoscience and Remote Sensing. - 2022. -Vol. 60. - P. 1-15.

[112] Luo, Y. HSI-CNN: A Novel Convolution Neural Network for Hyperspectral Image / Y. Luo, J. Zou, C. Yao, X. Zhao, T. Li and G. Bai // International Conference on Audio, Language and Image Processing (ICALIP), Shanghai, China. - 2018. - P. 464-469.

[113] Li, Y. Spectral-Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network / Y. Li, H. Zhang, Q. Shen // Remote Sensing. - 2017. -Vol. 9, no. 67

[114] Zhu, Y. Soil organic carbon content retrieved by UAV-borne high-resolution spectrometer / Y. Zhu, D. Wang, H. Zhang, P. Shi // Transactions of the Chinese Society

of Agricultural Engineering. - 2021. - Vol. 37, no. 6. - P. 66-72

[115] Firsov, N.A. Ensembles of spectral-spatial convolutional neural network models for classifying soil types in hyperspectral images / Firsov, N.A.; Podlipnov, V.V.; Ivliev, N.A.; Ryskova, D.D.; Pirogov, A.V.; Muzyka, A.A.; Makarov, A.R.; Lobanov, V.; Platonov, V.I.; Babichev, A.N.; R.V. Skidanov, A.V. Nikonorov // Computer Optics. -2023. - Vol. 47. - P.795-805.

[116] Firsov, N.A. Neural network-aided classification of hyperspectral vegetation images with a training sample generated using an adaptive vegetation index / N.A. Firsov, V.V. Podlipnov, N.A. Ivliev, P.P. Nikolaev, S.V. Mashkov, P.A. Ishkin, RV. Skidanov, A.V. Nikonorov // Computer Optics. - 2021. - Vol. 45, no. 6. - P. 887-896.

[117] Pirogov, A.V. Hyperspectral images neural network analysis of unstained micropreparations / A. Pirogov, A. Nikonorov, A. Muzyka, A. Makarov, D. Ryskova, N. Ivliev, V. Podlipnov, N. Firsov, P. Boriskin // 2023 IX International Conference on Information Technology and Nanotechnology (ITNT), Samara, Russian Federation. -2023. - P. 1-5.

[118] Firsov, N. HyperKAN: Kolmogorov-Arnold Networks Make Hyperspectral Image Classifiers Smarter / N. Firsov, N. E. Myasnikov, V. Lobanov, R. Khabibullin, N. Kazanskiy, S. Khonina, M.A. Butt, A. Nikonorov // Sensors. - 2024. - Vol. 24, no. 7683.

[119] Ioffe, S. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift / S. Ioffe, C. Szegedy // ICML 15: Proceedings of the 32nd International Conference on International Conference on Machine Learning. - 2015. -Vol. 37. - P. 448-456.

[120] Santurkar, S. How Does Batch Normalization Help Optimization? / S. Santurkar, D. Tsipras, A. Ilyas, A. Madry // 32nd Conference on Neural Information Processing Systems (NIPS). - 2018.

[121] Liu, Z. KAN: Kolmogorov-Arnold Networks / Z. Liu, Y. Wang, S.Vaidya, F. Ruehle, J. Halverson, M. Soljacic, T. Y. Hou, M. Tegmark // arXiv. - 2024.

[122] Agostinelli, F. Learning Activation Functions to Improve Deep Neural Networks / F. Agostinelli, M. Hoffman, P. Sadowski, P. Baldi // ICLR. - 2015.

[123] He, K. Delving Deep into Rectifiers: Surpassing Human-Level Performance on

ImageNet Classification / K. He, X. Zhang, S. Ren, J. Sun // 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile. - 2015. - pp. 1026-1034.

[124] Li, C. U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation / C. Li, X. Liu, W. Li, C. Wang, H. Liu, Y. Yuan // arXiv. - 2024.

[125] De Boor, C. A Practical Guide to Splines / C. De Boor // Springer: New York. -1978. - P. 392.

[126] Yang, X. Hyperspectral Image Transformer Classification Networks / X. Yang, W. Cao, Y. Lu, Y. Zhou // IEEE Transactions on Geoscience and Remote Sensing. - 2022. -Vol. 60

[127] Bonder, A.D. Convolutional Kolmogorov-Arnold Networks / A.D. Bonder, J.N. Spolsky, A.S. Tepsich, S. Pourteau // arXiv. - 2024.

[128] Meng, Z. SS-MLP: A Novel Spectral-Spatial MLP Architecture for Hyperspectral Image Classification / Z. Meng, F. Zhao, M. Liang // Remote Sensing. - 2021. - Vol. 13, no. 4060.

[129] Lin, M. Multi-Scale U-Shape MLP for Hyperspectral Image Classification / M. Lin, W. Jing, D. Di, G. Chen, H. Song // IEEE Geoscience Remote Sensing Letters. - 2022. -Vol. 19, no. 6006105.

[130] Jamali, A. Hyperspectral image classification using multi-layer perceptron mixer (MLP-MIXER) / A. Jamali, M. Mahdianpari, A.A. Rahman // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2023.

[131] Hamza, M.M. Spectral lenses to highlight blood vessels in the skin / M.M. Hamza, V.A. Blank, V.V. Podlipnov, L.L. Doskolovich, R.V. Skidanov, B. Fan // Computer Optics. - 2022. - Vol. 46, no. 6. - P. 899-904.

[132] Okamoto, H. Plant classification for weed detection using hyperspectral imaging with wavelet analysis / H. Okamoto // Weed biology and Management. - 2007. - Vol. 7, (1). - P. 31-37.

[133] Sulaiman, N. The application of hyperspectral remote sensing imagery (HRSI) for weed detection analysis in rice fields: A review / N. Sulaiman //Applied Sciences. - 2022. - Vol. 12, (5). - C. 2570.

[134] Herrmann, I. Ground-level hyperspectral imagery for detecting weeds in wheat

fields // Precision agriculture. - 2013. - Vol. 14, (6). - P. 637-659.

[125] Jung, A. Hyperspectral Technology in Vegetation Analysis / A. Jung, P. Kardevan,

L. Tokei // Progress in agricultural engineering sciences. - 2006. - Vol. 2.

[136] Kwan, C. An Accurate Vegetation and Non-Vegetation Differentiation Approach Based on Land Cover Classification / C. Kwan, D. Gribben, B. Ayhan, J. Li, S. Bernage, A. Plaza // Remote Sensors. - 2020. - Vol. 12, no. 23, - P. 3880-3888.

[137] Hamida, A.B. 3-D Deep Learning Approach for Remote Sensing Image Classification / A.B. Hamida, A. Benoit, P. Lambert, C.B. Amar // IEEE Transactions on Geoscience and Remote Sensing. - 2018. - Vol. 56, no. 8. - P. 4420-4434

[138] Sousa, J.J. UAV-Based Hyperspectral Monitoring Using Push-Broom and Snapshot Sensors: A Multisite Assessment for Precision Viticulture Applications / J.J. Sousa, P. Toscano, A. Matese, S.F. Di Gennaro, A. Berton, M. Gatti, S. Poni, L. Padua, J. Hruska, R. Morais // Sensors. - 2022. - Vol. 22, no. 6574.

[139] Shaikh, M.S. Calibration of a Hyper-Spectral Imaging System Using a Low-Cost Reference / M.S. Shaikh, K. Jaferzadeh, B. Thornberg, J. Casselgren // Sensors. - 2021. - Vol. 21, no. 3738

[140] Li, C Channel-Layer-Oriented Lightweight Spectral-Spatial Network for Hyperspectral Image Classification / C. Li, B. Rasti, X. Tang, P. Duan, J. Li, Y. Peng, // IEEE Transactions on Geoscience and Remote Sensing. - 2024. - Vol. 62. - P. 1-14.

[141] Zhao, Z. Hyperspectral image classification using groupwise separable convolutional vision transformer network / Z. Zhao, X. Xu, S. Li, and A. Plaza // IEEE Transactions on Geoscience and Remote Sensing. - 2024. - Vol. 62. - P. 1-17.

ПРИЛОЖЕНИЕ А Свидетельство о государственной регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ Б

Акт о внедрении

ООО ЛОКУС

•»43051. Самарская область, г. Самара, Кировский район,

ул. Республиканская, дом 65. кв. 38 ИНН 7731315489 КПП 631201001 ОГРН 1167746437<»0 ОКПО 2337363 ОКВЭД 72.19.2. 72.19.3 Тел./факс:[phone] апшки^гцпнн! «чп

АКТ о внедрении

результата исследовании ио теме «Метод и алгоритмы нейроеггевой классификации гиперспектральных изображений»

Настоящий Акт свидетельствует, что результаты исследований H.A. Фирсова ио теме «Метод и алгоритмы нейросстевой классификации гиперспектра.зьных изображений» внедрены в ООО «Локус» н используются в рамках проекта «Разработка открытой платформы сбора и анализа гиперспектральных изображений для решения прикладных задач цифровой экономики».

Разработки H.A. Фирсова по алгоритму подготовки наборов данных на основе автоматизированной разметки гипсрспсктралкных изображений при помощи адаптивного вегетационного индекса ANDVI и нсйросстсвому алгоритму поэлементной классификации гиперспектральных изображений успешно используются в прикладных задачах анализа гиперспектральных изображений. Данные разработки позволяют существенно сократить время разметки гмперспепральных изображений, а также повысить качество поэлементной классификации гиперспектральных изображений.

Данные разработки позволили существенно оптимизировать реализацию проекта «Разработка открытой платформы сбора и анализа гиперспектральных изображений для решения прикладных задач цифровой экономики».

Директор по науке ООО «Локус». д.ф.-м.н.

P.D. Скнданов

ПРИЛОЖЕНИЕ В

Акт о внедрении результатов диссертационного исследования в учебный процесс

АКТ

о внедрении (использовании) результатов диссертационного исследования в учебный процесс

Результаты диссертационного исследования «Метод и алгоритмы нейросетевой классификации гиперспектральных изображений», выполненного на кафедре киберфотоники. внедрены (использованы) в учсбный(ом) процесс(е) на кафедре киберфотоники на основании решения кафедры протокол № 1 от «26» августа 2025 г.

Указанные результаты включены в курс «Нейронные сети». «Нейронные сети и глубокое обучение». «Технологаи искусственного интеллекта», направления подготовки 01.03.02 Прикладная математика и информатика. 01.04.02 - Прикладная математика и информатика.

Заведующий кафедрой киберфотоники Соискатель ученой степени

А

Начальник методического отдела учебно-методического управления

Начальник отдела сопровождения научных исследований

«