Методы компьютерного зрения для прогнозирования циклических пространственновременных полей тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Борисова Юлия Ивановна

• Борисова Юлия Ивановна
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Борисова Юлия Ивановна

Оглавление

Стр.

Реферат

Synopsis

Введение

1. Постановки задачи предсказательного моделирования

пространственно-временных данных

1.1 Моделирование пространственно-временных данных как последовательности изображений

1.2 Моделирование пространственно-временных полей как совокупности временных рядов

1.3 Ограничения подходов к прогностическому моделированию пространственно-временных данных

1.4 Подходы к повышению интерпретируемости предсказательного моделирования

1.5 Выводы к главе

2. Метод автоматизированного прогнозирования

пространственно-временных данных на основе глубокого

обучения

2.1 Метод построения прогностических моделей глубокого обучения

на основе свёрточных слоёв

2.2 Алгоритм идентификации периодичности пространственно-временных данных

2.3 Алгоритм автоматизированной подготовки набора данных для обучения прогностической CNN

2.4 Алгоритмы для автоматизированного построения архитектуры прогностической CNN на основе размерностей входных данных

2.4.1 Алгоритм расчёта размерностей внутренних представлений

2.4.2 Алгоритмы сборки архитектур CNN типа

«кодировщик-декодировщик»

2.5 Программная реализация с открытым исходным кодом

2.6 Выводы к главе

3. Метод поиска топологической структуры данных

3.1 Алгоритм поиска топологической структуры данных с помощью методов оптимизации

3.1.1 Определение топологической структуры данных и алгоритмов поиска отображения

3.1.2 Обучение модели на многообразии

3.2 Алгоритм преобразования признакового пространства на основе топологии данных для повышения качества моделей глубокого обучения

3.3 Выводы к главе

4. Экспериментальные исследования

4.1 Валидация метода автоматизированного построения

нейросетевых моделей с выделением и учётом периодичности

данных для прогнозирования пространственно-временных данных

4.1.1 Прогнозирование классических бенчмарков для прогнозирования видео — датасеты Moving MNIST, KTH

4.1.2 Долгосрочное прогнозирование состояния атмосферы — бенчмарк WeatherBench

4.1.3 Оценка процесса сходимости и качества прогнозирования разработанных алгоритмов на синтетических циклических видеоданных

4.1.4 Долгосрочное прогнозирование ледовых условий в морях российской Арктики

4.2 Валидация метода поиска топологии на данных и ее применения

для повышения качества предсказательного моделирования

4.2.1 Оценка качества алгоритма поиска топологии на синтетических данных с известной топологией

4.2.2 Оценка качества алгоритма поиска топологии на природных данных

Заключение

Список сокращений и условных обозначений

Список литературы

5. ПРИЛОЖЕНИЕ А. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ ПРОГРАММ ДЛЯ ЭВМ

6. ПРИЛОЖЕНИЕ Б. ТЕКСТЫ ПУБЛИКАЦИЙ

Введение диссертации (часть автореферата) на тему «Методы компьютерного зрения для прогнозирования циклических пространственновременных полей»

Реферат

Актуальность темы обусловлена высокой потребностью в долгосрочных прогнозах пространственно-временных данных в различных отраслях промышленности. Зачастую возникает необходимость в моделировании параметров, представленных в виде сплошных полей, заданных на пространственной сетке - сеточных полей значений. В отличие от случайно распределенных в пространстве точечных данных, представленных в виде временных рядов, пространственно-временные данные характеризуются многомерностью. Для их качественного прогностического моделирования необходимо учитывать не только структурные признаки изображений, но и их изменчивость во времени.

Пространственно-временные данные могут характеризовать динамику физических природных процессов, таких как гидрометеорологические параметры, свойства активной материи, движение живых клеток в среде и т. п. Прогностическое моделирование природных процессов является актуальной задачей для поддержки принятия решений и планирования процессов эксплуатации оборудования. Качественные прогнозы климатической и ледовой обстановки позволяют экономически эффективно осуществлять нефтедобычу и морскую навигацию. Классическими методами для моделирования природных сред являются модели на основе систем дифференциальных уравнений, отражающих реальные взаимосвязи физических процессов. Однако такие модели требуют значительных усилий предметного специалиста для параметризации под каждую конкретную задачу, а также большое количество вычислительных ресурсов, что делает их внедрение в промышленную эксплуатацию затруднительным. Развитие методов глубокого обучения и накопление массивов исторических данных позволило нейронным сетям стать альтернативой физическим моделям. Решения на основе рекуррентных и сверточных нейронных сетей успешно применяются для локального моделирования, нейросетевые ансамбли и графовые нейронные сети -для глобальных прогнозов.

Прогнозирование пространственно-временных медиаданных рассматривается в основном как задача генерации видео на основе имеющихся кадров. В настоящее время генеративные модели активно применяются для создания контента, неотличимого от созданного человеком. Применение сгенерированного

контента в дизайне и творческих профессиях позволяет экономить время специалистов, а иногда и вовсе исключить потребность в нем. Однако для качественной долгосрочной генерации видео необходимо реалистичное повторение периодических паттернов, присутствующих в предыдущих кадрах, таких как циклическая смена яркости изображения либо перемещение объектов в кадре.

Многомерность данных и сложность внутренних взаимосвязей делает процесс их моделирования вычислительно затратным. Поэтому основным ограничением предсказательных нейросетевых моделей для видео является их практическая применимость в условиях ограниченных вычислительных и кадровых ресурсов. Промышленность заинтересована в решениях, которые можно эффективно развернуть без создания сложной MLOps-инфраструктуры и привлечения узкоспециализированных инженеров. Следовательно, актуальной задачей становится разработка несложных и легковесных моделей, качество которых обеспечивается не за счет масштаба, а за счет эффективного использования информации о природе данных. Поэтому данная диссертация посвящена методам повышения качества предсказательного моделирования пространственно-временных данных за счет методов выделения дополнительной информации из предыстории.

Степень разработанности темы. Проблема прогнозирования пространственно-временных полей активно исследуется в научном сообществе. В области нейросетевого моделирования для видеоданных фундаментальные результаты были получены Бурнаевым Е.В., предложившими архитектуры на основе механизма внимания [1], а также подходы к изучению топологии данных [2]. Тема нейросетевого моделирования гидрометеорологических полей активно разработана Криницким М.В. в работах, посвященных нейросетевым архитектурам на основе сверточных слоев (U-Net) для моделирования климата [3], высоты волнения [4], ледовой обстановки [5]. Аспекты генерации пространственно-временных полей как видео с помощью нейросетей изучены Кузнецовым А.В. [6; 7]. Методы анализа временных рядов, включая выделение периодичностей, разрабатывались P. Welch [8] и J. D. Scargle [9]. Несмотря на существующий задел, задача создания легковесных и эффективных моделей, которые целенаправленно используют периодичность и топологию данных для повышения качества прогноза, остается недостаточно проработанной.

Объект исследования: модели глубокого обучения для решения долгосрочных прогностических задач для пространственно-временных полей на основе сверточных слоев с неизвестной структурой и параметрами.

Предмет исследования: выбор архитектуры нейросетевых моделей на основе сверточных слоев с использованием топологии пространственно-временных данных и их периодичности.

Цель: повышение качества долгосрочного прогностического моделирования пространственно-временных данных на основе глубокого обучения за счет методов автоматизированного выделения и учета периодичности, а также топологии данных.

Задачи:

1. Обоснование требований к методам предсказательного моделирования циклических пространственно-временных полей, а также методам извлечения дополнительных свойств из данных на основе аналитического обзора.

2. Разработка метода адаптивной сборки нейросетевых прогностических моделей с учетом размерностей входных данных.

3. Разработка метода подготовки обучающей выборки на основе выделения периодичности пространственно-временных данных.

4. Разработка метода поиска топологической структуры пространственно-временных данных и ее применения для повышения качества прогностического моделирования.

5. Проведение экспериментальных исследований применимости разработанных алгоритмов на примере синтетических и реальных данных, в том числе бенчмарках.

На защиту выносятся:

1. Метод автоматизированной сборки нейросетевых архитектур для задач компьютерного зрения, основанных на сверточных слоях, который, в отличие от существующих методов, автоматически адаптирует архитектуру сети к доминантной периодичности входных пространственно-временных полей, что позволяет повысить точность прогноза;

2. Метод поиска топологической структуры данных, применимый для задач компьютерного зрения, который, в отличие от существующих ме-

тодов, выполняет итеративный поиск многообразия с применением оптимизации матрицы расстояний между точками данных.

Научная новизна определяется тем, что предложены методы компьютерного зрения для автоматизированного прогностического моделирования пространственно-временных полей, отличающиеся от существующих методов использованием извлеченных интерпретируемых признаков данных - периодичности и топологии. Предложенные методы обладают признаками полезности, выражающимися в автоматизации подбора архитектуры сети и повышении точности долгосрочного прогноза за счет учета ключевых свойств данных.

Теоретическая значимость состоит в развитии методов долгосрочного предсказательного моделирования пространственно-временных данных, а также методов обучения многообразий.

Практическая значимость определяется разработкой открытой библиотеки TorchCNNBuilder на языке Python 3.10, включающей реализацию разработанных методов автоматизации сборки нейросетевых моделей для предсказательного моделирования пространственно-временных данных. Библиотека применима для отраслевых данных различных областей и позволяет осуществлять сборку предсказательных моделей, а также адаптивную настройку ее архитектуры с учетом знаний специалиста. Библиотека доступна по ссылке https://github.com/ChrisLisbon/TorchCNNBuilder и имеет 37 "звезд".

Достоверность полученных результатов обеспечивается корректной постановкой задачи, использованием математических подходов для разработки метода поиска топологической структуры данных и извлечения доминантной периодичности, а также при реализации метода автоматизированной сборки нейросетевых архитектур. Была произведена валидация, в рамках которой была подтверждена способность разработанных методов к извлечению заранее заданной топологической структуры и периодичности синтетических данных. Валидация на данных, отражающих реальные природные процессы, продемонстрировала качество и работоспособность разработанных автоматизированных методов, что было также подтверждено предметными специалистами в области моделирования природных процессов.

Соответствие паспорту специальности 1.2.1:

— п. 2. исследования в области оценки качества и эффективности алгоритмических и программных решений для систем искусственного

интеллекта и машинного обучения. Методики сравнения и выбора алгоритмических и программных решений при многих критериях. -в части экспериментальных исследований эффективности разработанных методов предсказательного моделирования пространственно-временных данных в условиях наличия периодичности с выделением периодической компоненты в данных и методов ансамблевого предсказательного моделирования с применением нескольких функций потерь.

— п. 17. исследования в области многослойных алгоритмических конструкций, в том числе - многослойных нейросетей. - в части разработки алгоритмов по подбору оптимальной структуры многослойных сверточных нейронных сетей для повышения качества предсказательного моделирования пространственно-временных данных.

Внедрение результатов работы. Результаты диссертационного исследования были использованы в рамках проектов Национального центра когнитивных разработок Университета ИТМО, Лаборатории композитного искусственного интеллекта (FSER-2024-0004), а также при выполнении проектов по заказу Арктического научного центра в интересах компании «Роснефть». Результаты работы из части автоматизированной сборки нейросетевых моделей вынесены в отдельный продукт с открытым исходным кодом TorchCNNBuilder, реализация которого была поддержана грантом от Фонда содействия инновациям по конкурсу «Код Искусственный Интеллект (очередь VI)» в рамках национальной программы «Цифровая экономика Российской Федерации».

Апробация работы. Основные результаты, полученные в процессе исполнения работы, докладывались на следующих международных научных конференциях:

— RecSys 2025 (19th ACM Conference on Recommender Systems), Прага, Чехия, 22.09.2025-26.09.2025, CORE A rank;

— GECCO 2025 (The Genetic and Evolutionary Computation Conference), Малага, Испания, 14.07.2025-18.07.2025, CORE A rank;

— ICCS 2025 (International Conference on Computational Science), Сингапур, 7.07.2025-9.07.2025, CORE Multiconference rank;

— IJCNN 2025 (International Joint Conference on Neural Networks), Рим, Италия, 30.06.2025-5.07.2025, CORE B rank;

— CEC 2024 (IEEE Congress on Evolutionary Computation), Йокогама, Япония, 30.06.2024-05.07.2024, CORE B rank;

— The 38th Annual AAAI Conference on Artificial Intelligence - 4th Annual AAAI Workshop on AI to Accelerate Science and Engineering, Ванкувер, Канада, 20.02.2024-27.02.2024 - CORE A* rank;

— YSC 2023 (12th International Young Scientist Conference on Computational Science), online, 09.10.2023-13.10.2023;

— YSC 2021 (10th International Young Scientists Conference in Computational Science), online, 28.06.2021-02.07.2021.

Помимо этого, результаты работы представлялись сообществу на технологической конференции DataFest 2024 и нескольких семинарах цикла Open Source Scientific Meetup. Научно-популярное изложение материалов исследования публиковались на сайте Хабр в статье "Нейросети со льдом: как мы разрабатываем методы ИИ для повышения эффективности прогнозирования морского льда в Арктике" и "Как мы "повернули реки вспять" на Emergency DataHack 2021, объединив гидрологию и AutoML". В 2024 году исследование было поддержано в рамках стипендии Президента РФ для аспирантов и адъюнктов.

Личный вклад. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые представляют личный вклад автора. В работе [1] разработанный автором алгоритм автоматизированной сборки нейросетевых моделей для предсказания пространственно-временных данных был апробирован на данных о ледовой обстановке в сравнении со state-of-the-art моделями данной области. В работе [2] разработанный алгоритм применен для автоматизированной сборки ансамблевой нейросетевой модели, произведена апробация гипотезы о повышении качества предсказательного моделирования на основе информации о периодической компоненте данных. В работе [3] автором была произведена оценка работоспособности автоматически собранных нейросетевых архитектур для задачи прогнозирования пространственно-временных полей в сравнении с другими методами прогностического моделирования. В работах [4, 5] осуществляется подбор параметров периодичности временных данных с помощью методов автоматического машинного обучения. Работа [6] положила начало разработке методов для пространственных данных в области гидрометеорологии. Рассмотрены специфика данных на регулярной сетке, особенности их обработки и физической интерпретации. Работа [7] включает результаты

разработки методов для пространственно-временных полей. Рассматриваются возможности перехода между данными разных размерностей: пространственно-временными полями на регулярной сетке и временными рядами, производится валидация точечных значений со стационарными измерениями.

Публикации. По результатам диссертации опубликовано семь статей в научных изданиях, входящих в международные реферативные базы данных и системы цитирования Scopus, Web of Science:

1. Никитин Н. О., Борисова Ю. И., Аксенкин Я. В. и др. Предвычисле-ние ледовых условий для обеспечения хозяйственной деятельности в морях российской Арктики с помощью методов глубокого обучения // Арктика: экология и экономика. — 2025 — Т. 15, № 1 - Q2;

2. Borisova J., Nikitin N. Lightweight Neural Ensemble Approach for Arctic Sea Ice Forecasting // IEEE Congress on Evolutionary Computation, CEC 2024 - 2024, pp. 1-8;

3. Borisova J., Titov R., Shakhkyan K., Hvatov A. Forecasting of Sea Ice Concentration using CNN, PDE discovery and Bayesian Networks // Procedia Computer Science - 2023, Vol. 229, pp. 177-187;

4. Borisova J., Aladina A., Nikitin N.O. Hybrid Modelling of Environmental Processes using Composite Models // Procedia Computer Science - 2021, Vol. 193, pp. 256-265;

5. Sarafanov M.I., Borisova Y., Maslyaev M., Revin I., Maximov G., Nikitin N.O. Short-Term River Flood Forecasting Using Composite Models and Automated Machine Learning: The Case Study of Lena River // Water -2021, Vol. 13, No. 24, pp. 3482 - Q1;

6. Kazakov E.E., Borisova Y.I. Open-Source Software Implementation and Validation of the Split-Window Method for Automated Land Surface Temperature Retrieval from Landsat 8 Data // Izvestiya - Atmospheric and Oceanic Physics - 2021, Vol. 57, No. 9, pp. 1171-1178 - Q3;

7. Казаков Э.Э., Борисова Ю.И. Оценка применимости алгоритма атмосферной коррекции SREM для анализа временных рядов на примере данных Landsat и его открытая программная реализация [Evaluation of the SREM atmospheric correction algorithm applicability to time series analysis using Landsat data example and its open source software implementation] // Современные проблемы дистанционного зонди-

рования Земли из космоса [Зоугешеппуе РгоЫешу Distantsionnogo Zondiгovaniya Zeшli iz Козшоэа] - 2020. - Т. 17. - № 2. - С. 30-39 -

Результаты интеллектуальной деятельности

1. Свидетельство о регистрации № 2025619128 от 14.04.2025 «Расчет ледовых условий в арктических морях Российской Федерации» // Борисова Ю.И., Деева И.Ю., Якимушкин Д.О., Луценко Е.И., Аксенкин Я.В., Калюжная А.В., Никитин Н.О., Башкова К., Каргальцева А.А.

2. Свидетельство о регистрации № 622022100192-7 от 21.02.2022 «Программный комплекс для автоматического построения моделей на муль-тимодальных данных Fedot.Multimodal» // Сарафанов М.И., Ревин И.Е., Борисова Ю.И., Вычужанин П.В., Калюжная А.В., Никитин Н.О., Барабанова И.В., Максимов Г.И., Полонская Я.С.

3. Свидетельство о регистрации № 622123000097-0 от 30.12.2022 «Программный комплекс pytsbe для оценки эффективности методов автоматического машинного обучения в задачах прогнозирования временных рядов» // Калюжная А.В., Никитин Н.О., Борисова Ю.И.

Заключение диссертации по теме «Другие cпециальности», Борисова Юлия Ивановна

Результаты

Самый общий вид анализа — оценка средней квадратической ошибки за весь временной период по всем пикселям всех сцен — показал, что метод 8ЯБМ прекрасно работает для каналов в спектральном диапазоне от 0,53 до 0,88 мкм, т. е. в красном, зелёном и ближнем инфракрасном. Совокупная ошибка по всем сезонам для каждого из этих каналов составила менее 0,01 в единицах спектрального альбедо (0,0075; 0,0057 и 0,0054 для красного, зелёного и ближнего инфракрасного соответственно), достаточно равномерно распределяясь по времени и значимо (до 0,02) увеличиваясь только в зимний период (рис. 2). Ошибка в определении индекса напрямую связана с ошибками коррекции 4-го и 5-го каналов и с марта по октябрь, т. е. месяцы, охватывающие основные фазы вегетации, по методу 8ЯБМ вычисляется с ошибкой около 0,02.

16.08.2018 03.10.2018 20.11.2018 22.12.2018 08.02.2019 13.04.2019 16.06.2019

Рис. 2. Временная динамика средней квадратической ошибки (Root Mean Square Error — RMSE) метода SREM для 3-5-го каналов и индекса NDVI сенсора OLI (Landsat-8)

Однако для всех остальных каналов корректность вычислений оказалась ниже. Для синего диапазона длин волн совокупная ошибка составила 0,043 в единицах спектрального альбедо, а для каналов среднего инфракрасного диапазона (6-й и 7-й каналы) — 0,093 и 0,123 соответственно, что существенно превышает приемлемые для решения большинства задач допуски. В сравнении, для 2-го канала наилучшую эффективность показал метод DOS (с ошибкой 0,014), а для среднего инфракрасного диапазона исходные неоткорректирован-ные данные оказались более точными (0,011 и 0,012 для 6-го и 7-го каналов соответственно), т. е. оба вида коррекции (SREM и DOS) оказались избыточными и даже ухудшающими данные. Общие характеристики совокупных ошибок для разных методов и каналов/индексов показаны на рис. 3 (см. с. 36).

При анализе временных рядов по отдельным типам ландшафтов (в точках и по зонам) наблюдается сохранение порядка ошибок для всех спектральных диапазонов и индексов по всем типам ландшафтов. Временная корреляция (по Пирсону) для 3-5-го каналов и NDVI у SREM колеблется в районе 0,98-0,99; для сравнения, у DOS корреляция падает до 0,84. Типичный пример временного ряда средних значений NDVI в пределах ландшафта (на примере болота) показан на рис. 4 (см. с. 36). Временной ход индексов NDWI и NDBI, зависящих от каналов в среднем инфракрасном диапазоне, имеет низкие показатели корреляции с эталонным рядом и высокие ошибки, доходящие до 0,5 спектрального альбедо.

0,2

RAW

SREM

DOS

NDVI NDWI NDBI

Рис. 3. Совокупная средняя квадратическая ошибка (RMSE) для разных каналов/индексов трёх типов коррекции: данные без атмосферной коррекции (RAW), откорректированные методом SREM, откорректированные методом DOS

U

5 к го

0,8 -

0,7 -

0,6 -

0,5 -

0,4 -

0,3 -

0,2 -31.07

МАЕ:

raw = 0,08761 dos = 0,04131 srem = 0,03345

Pearson's г: raw = 0,98488 dos = 0,98558 srem = 0,99579

.2018 17.09.2018 19.10.2018 06.12.2018 07.01.2019 12.03.2019 15.05.2019 18.07.2019 16.08.2018 03.10.2018 20.11.2018 22.12.2018 08.02.2019 13.04.2019 16.06.2019

Рис. 4. Временной ход средних значений NDVI в болотных ландшафтах при использовании различных методов коррекции (RAW — неоткорректированные данные). Также приведены сведения о средней абсолютной ошибке (Mean Absolute Error — MAE) и корреляции временных рядов (Pearson's correlation

coefficient (r))

Открытая программная реализация

Линейность вычислений и отсутствие зависимостей от внешних данных позволяют полностью автоматизировать обработку информации и получение откорректированных материалов. Мы предлагаем собственную реализацию на языке Python, весьма распространённом в сообществах, связанных с науками о Земле и окружающей среде. Исходный код распространяется по открытой лицензии GNU GPL v.3 и доступен по адресу https://github.com/ eduard-kazakov/SREMPy-landsat.

Открытая реализация включает три блока: блок чтения метаданных Landsat, блок радиометрической калибровки и собственно блок атмосферной коррекции по методу SREM. Основная документация доступна на приведённой выше веб-странице. Для удобной и быстрой работы с модулем пользователям предлагается единая функция process_full_landsat_da-taset_with_usgs_util, осуществляющая автоматическую коррекцию всех каналов (за исключением тепловых) исходного набора Landsat-8 уровня обработки L1C, требуется только указать пути до всех необходимых файлов. Для полноценной и правильной работы алгоритма атмосферной коррекции необходимо загрузить и скомпилировать утилиту USGS с открытым исходным кодом, выполняющую функцию расчёта зенитных углов и азимутов Солнца и сенсора, ссылка приведена в документации.

Заключение и дискуссия

Авторы надеются, что публикация открытого программного модуля для работы с новым методом атмосферной коррекции привлечёт внимание сообщества и будет способствовать появлению работ, исследующих его, и, возможно, использующих такой метод для коррекции материалов спутниковой съёмки. Сам метод демонстрирует высокий уровень достоверности при коррекции данных съёмки в красном, зелёном и ближнем инфракрасном диапазонах длин волн и, соответственно, при применении его для расчёта вегетационных индексов, использующих эти каналы. При этом использование SREM для синего диапазона требует определённой осторожности, а для среднего инфракрасного, по нашим оценкам, он вовсе не применим.

Основным вопросом дискуссии остаётся следующий: за счёт чего методом SREM достигаются высокие показатели качества для диапазонов длин волн 0,53—0,88 мкм, если он никаким образом не ассимилирует данные о фактическом газовом состоянии атмосферы? Мы предполагаем, что общие атмосферные эффекты на этих длинах волн, учитываемые алгоритмом, оказывают более существенное влияние на сигнал, по сравнению с которым эффекты частного газового состава можно считать незначительными. Однако этот вопрос требует отдельной проработки и исследований.

Список литературы диссертационного исследования кандидат наук Борисова Юлия Ивановна, 2025 год

Литература

1. Лысенко С. А. Атмосферная коррекция многоспектральных спутниковых снимков на основе ап-проксимационной модели переноса солнечного излучения // Оптика атмосферы и океана. 2017. Т. 30. № 09. С. 775-788.

2. Тарасенков М. В., Белов В. В. Алгоритм атмосферной коррекции спутниковых изображений неоднородной земной поверхности в видимом и УФ-диапазонах длин волн // Вычислительные технологии. 2014. Т. 19. № 3. С. 48-56.

3. Тарасенков М. В., Зимовая А.В., Белов В. В., Энгель М. В. Восстановление коэффициентов отражения земной поверхности по спутниковым измерениям MODIS с учетом поляризации излучения // Оптика атмосферы и океана. 2019. Т. 32. № 08. С. 641-649.

4. Bilal M., Nazeer M., Nichol J. E., Bleiweiss M. P., Qiu Z., Jäkel E., Campbell J. R., Atique L., Huang X., Lolli S. A Simplified and Robust Surface Reflectance Estimation Method (SREM) for Use over Diverse Land Surfaces Using Multi-Sensor Data // Remote Sensing. 2019. V. 11. No. 11. P. 1344.

5. Chavez Jr. P. S. An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data // Remote Sensing of Environment. 1988. V. 24. No. 3. P. 459-479.

6. Chavez Jr. P. S. Image-based atmospheric corrections — revisited and improved // Photogrammetric engineering and remote sensing. 1996. V. 62. No. 9. P. 1025-1035.

7. Chuvieco E. Earth observation of global change: The role of satellite remote sensing in monitoring the global environment. Springer, 2008. 223 p.

8. Cooley T., Anderson G. P., Felde G. W., Hoke M. L., Ratkowski A. J., Chetwynd J. H., Gardner J. A., AdlerGolden S. M., Matthew M. W., Berk A., Bernstein L. S., Acharya P. K., Miller D., Lewis P. FLAASH, a MODTRAN4-based atmospheric correction algorithm, its application and validation // Proc. IEEE Intern. Geoscience and Remote Sensing Symp. 2002. V. 3. P. 1414-1418.

9. Doraiswamy P. C., Hatfield J. L., Jackson T. J., Akhmedov B., Prueger J., Stern A. Crop condition and yield simulations using Landsat and MODIS // Remote Sensing of Environment. 2004. V. 92. No. 4. P. 548-559.

10. Ilori C. O., Pahlevan N., Knudby A. Analyzing Performances of Different Atmospheric Correction Techniques for Landsat 8: Application for Coastal Remote Sensing // Remote Sensing. 2019. V. 11. No. 4. P. 469.

11. Kondratyev K. Y, Kozoderov V. V, Smokty O. I. Remote sensing of the Earth from space: atmospheric correction. Berlin, Heidelberg: Springer-Verlag, 1992. 478 p.

12. Mahiny A. S., Turner B. J. A comparison of four common atmospheric correction methods // Photogram-metric Engineering and Remote Sensing. 2007. V. 73. No. 4. P. 361-368.

13. Masek J. G., Lindsay F. E., Goward S. N. Dynamics of urban growth in the Washington DC metropolitan area, 1973-1996, from Landsat observations // Intern. J. Remote Sensing. 2000. V. 21. No. 18. P. 3473-3486.

14. Vermote E. F., Tanre D., DeuzeJ. L., Herman M, Morcette J. J. Second simulation of the satellite signal in the solar spectrum, 6S: An overview // Proc. IEEE Trans. Geoscience and Remote Sensing. 1997. V. 35. No. 3. P. 675-686.

15. Vermote E., Justice C., Claverie M., Franch B., Preliminary analysis of the performance of the Landsat 8/OLI land surface reflectance product // Remote Sensing of Environment. 2016. V. 185. P. 46-56.

16. Vermote E, Roger J. C, Franch B., Skakun S. LASRC (Land Surface Reflectance Code): Overview, application and validation using MODIS, VIIRS, LANDSAT and Sentinel 2 data's // Proc. Intern. Geoscience and Remote Sensing Symp. (IGARSS). 2018. P. 8173-8176.

17. Vogelmann J. E., Tolk B., Zhu Z. Monitoring forest changes in the southwestern United States using multitemporal Landsat data // Remote Sensing of Environment. 2009. V. 113. No. 8. P. 1739-1748.

Evaluation of the SREM atmospheric correction algorithm applicability to time series analysis using Landsat data example and its open source software implementation

E. E. Kazakov1, Yu. I. Borisova1' 2

1 State Hydrological Institute, Saint Petersburg 199178, Russia E-mail: [e-mail] Saint Petersburg State University, Saint Petersburg 199178, Russia E-mail: [e-mail]

The problem of Earth remote sensing data atmospheric correction remains one of the most uncertain, but at the same time acute, especially for processing and interpretation of different-time data. The provision of terrestrial atmospheric data for most of the planet is still unsatisfactory, and the qualitative configuration of atmospheric correction models involving assimilation of atmospheric data is often very difficult, especially for non-specialists. The SREM atmospheric correction algorithm, proposed by an international team of scientists in 2019, does not require additional atmospheric data other than those already contained in the metadata of a satellite image. Authors show a high level of correction quality. In this paper, we offer a description of the SREM algorithm in Russian, an additional assessment of the quality of the SREM algorithm for Landsat data based on a comparison of correction results with the results of several common methods (authoritative LaSRC algorithm, popular DOS algorithm, raw non-corrected reflectance data) for the annual time series, as well as an open software implementation of SREM in Python, available for public use, which, we hope, will help to attract the attention of the professional community to the original algorithm. Additional quality assessment shows satisfactory performance for some spectral ranges (0.53-0.88 microns) and index images (e.g. NDVI), and unsatisfactory for others (<0.53 ^m, >0.88 ^m, index images based on them, e.g. NDWI, NDBI).

Keywords: Landsat, atmospheric correction, SREM, LaSRC, DOS, time-series, surface reflectance, NDVI, NDBI, NDWI

Accepted: 11.03.2020 DOI: 10.21046/2070-7401-2020-17-2-30-39

References

1. Lysenko S. A., Atmosfernaya korrektsiya mnogospektral'nykh sputnikovykh snimkov na osnove approksi-matsionnoi modeli perenosa solnechnogo izlucheniya (Atmospheric correction of multispectral satellite images based on the approximate model of the solar radiation transfer), Optika atmosfery i okeana, 2017, Vol. 30, No. 9, pp. 775-788.

2. Tarasenkov M. V., Belov V. V., Algoritm atmosfernoi korrektsii sputnikovykh izobrazhenii neodnorodnoi zemnoi poverkhnosti v vidimom i UF-diapazonakh dlin voln (Atmospheric correction algorithm for satellite images of nonuniform Earth's surface in the visible and UV ranges), Vychislitel'nye tekhnologii, 2014, Vol. 19, No. 3, pp. 48-56.

3. Tarasenkov M.V, Zimovaya A. V., Belov V. V., Engel M. V., Vosstanovlenie koeffitsientov otrazheniya zemnoi poverkhnosti po sputnikovym izmereniyam MODIS s uchetom polyarizatsii izlucheniya (Reconstruction of the Earth surface reflection coefficients from MODIS satellite measurements with allowance for radiation polarization), Optika atmosfery i okeana, 2019, Vol. 32, No. 8, pp. 641-649.

4. Bilal M., Nazeer M., Nichol J. E., Bleiweiss M. P., Qiu Z., Jäkel E., Campbell J. R., Atique L., Huang X., Lolli S., A Simplified and Robust Surface Reflectance Estimation Method (SREM) for Use over Diverse Land Surfaces Using Multi-Sensor Data, Remote Sensing, 2019, Vol. 11, No. 11, p. 1344.

5. Chavez Jr. P. S., An improved dark-object subtraction technique for atmospheric scattering correction of multispectral data, Remote Sensing of Environment, 1988, Vol. 24, No. 3, pp. 459-479.

6. Chavez Jr. P. S., Image-based atmospheric corrections — revisited and improved, Photogrammetric Engineering and Remote Sensing, 1996, Vol. 62, No. 9, pp. 1025-1035.

7. Chuvieco E., Earth observation of global change: The role of satellite remote sensing in monitoring the global environment, Springer, 2008, 223 p.

8. Cooley T., Anderson G. P., Felde G. W., Hoke M. L., Ratkowski A.., Chetwynd J. H., Gardner J. A., AdlerGolden S. M., Matthew M. W., Berk A., Bernstein L. S., Acharya P. K., Miller D., Lewis P., FLAASH, a MODTRAN4-based atmospheric correction algorithm, its application and validation, Proc. IEEE Intern. Geoscience and Remote Sensing Symp., 2002, Vol. 3, pp. 1414-1418.

9. Doraiswamy P. C., Hatfield J. L., Jackson T. J., Akhmedov B., Prueger J., Stern A., Crop condition and yield simulations using Landsat and MODIS, Remote Sensing of Environment, 2004, Vol. 92, No. 4, pp. 548-559.

10. Ilori C. O., Pahlevan N., Knudby A., Analyzing Performances of Different Atmospheric Correction Techniques for Landsat 8: Application for Coastal Remote Sensing, Remote Sensing, 2019, Vol. 11, No. 4, p. 469.

11. KondratyevK. Y., Kozoderov V. V., SmoktyO. I., Remote Sensing of the Earth from Space: Atmospheric Correction, Berlin, Heidelberg: Springer-Verlag, 2013, 478 p.

12. Mahiny A. S., Turner B. J., A comparison of four common atmospheric correction methods, Photogrammetric Engineering and Remote Sensing, 2007, Vol. 73, No. 4, pp. 361-368.

13. Masek J. G., Lindsay F. E., Goward S. N., Dynamics of urban growth in the Washington DC metropolitan area, 197-1996, from Landsat observations, Intern. J. Remote Sensing, 2000, Vol. 21, No. 18, pp. 3473-3486.

14. Vermote E. F., Tanre D., Deuze J. L., Herman M., Morcette J. J., Second simulation of the satellite signal in the solar spectrum, 6S: An overview, IEEE Trans. Geoscience and Remote Sensing, 1997, Vol. 35, No. 3, pp. 675-686.

15. Vermote E., Justice C., Claverie M., Franch B., Preliminary analysis of the performance of the Landsat 8/OLI land surface reflectance product, Remote Sensing of Environment, 2016, Vol. 185, pp. 46-56.

16. Vermote E., Roger J. C., Franch B., Skakun S., LASRC (Land Surface Reflectance Code): Overview, application and validation using MODIS, VIIRS, LANDSAT and Sentinel 2 data, Proc. Intern. Geoscience and Remote Sensing Symp. (IGARSS), 2018, pp. 8173-8176.

17. Vogelmann J. E., Tolk B., Zhu Z., Monitoring forest changes in the southwestern United States using multitemporal Landsat data, Remote Sensing of Environment, 2009, Vol. 113, No. 8, pp. 1739-1748.