Адаптивные методы и технологии контроля качества гидрометеорологической информации на основе гибридных данных тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Арайа Лопес Хосе Луис

• Арайа Лопес Хосе Луис
• кандидат наук
• 2018

Введение диссертации (часть автореферата) на тему «Адаптивные методы и технологии контроля качества гидрометеорологической информации на основе гибридных данных»

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертационной работы связана с развитием измерительных гидрометеорологических сетей, измерительных методов и методов численного моделирования параметров природной среды. Увеличение объемов и номенклатуры источников доступных гидрометеорологических данных предъявляет новые требования к методам и технологиям контроля качества и восстановления пропусков в них. Пропуски и аномалии в гидрометеорологических данных объективно обусловлены особенностями информационных процессов их измерения, обработки и передачи в неблагоприятных внешних условиях. При этом основным фактором, определяющим потребность в развитии технологий контроля качества данных, на данном этапе является гибридность современных баз гидрометеорологической информации, которые характеризуются одновременно свойствами разных типов (например, в одной базе данных для характеристики одного и того же объекта используются скалярные поля на регулярной сетке и векторные временные ряды, полученные различными методами измерений). В целом это требует создания не только системного подхода, унифицирующего работу с различными источниками данных, но и позволяет ожидать принципиального улучшения качества данных в тех ситуациях, где это ранее было невозможно без применения гибридных данных (например, контроль качества измерений в районе не обеспеченном историей наблюдений, но обеспеченном результатами численного моделирования среды). Одновременно с этим, увеличивающийся объем данных делает необходимой автоматизацию процесса обработки данных без потери качества результата за счет обобщения технологии на гибридные данные.

Степень разработки проблемы. Созданию методов восстановления данных и контроля качества гидрометеорологической информации посвящены многие научные работы (например, работы научных школ Е. Калнай, В.А. Рожкова, В.А. Огородникова, С. Левитуса, Х. Стефанакоса). В целом существующие на практике подходы можно разделить на две категории: (а) базовые, использующие лишь общие статистические закономерности и (б) специализированные, учитывающие особенности данных и специфику предметной области для конкретных гидрометеорологических процессов и источников данных. При этом задача тиражирования специализированных методов, адаптируемых для разных гидрометеорологических процессов и источников данных, в настоящее время не является решенной, что и определяет актуальность темы диссертации.

Объектом исследования являются статистические методы и методы машинного обучения, позволяющие осуществлять контроль

качества гидрометеорологической информации как по данным натурных наблюдений, так и численного моделирования.

Целью данного исследования является повышение эффективности обработки и использования массивов гибридных гидрометеорологических данных за счет адаптивной технологии контроля качества и восстановления целостности данных на основе технологий машинного обучения. Исследование соответствует паспорту специальности 05.13.17 в части п.1, 5, 11.

Задачи исследования:

- разработка статистических методов и технологий контроля качества и восстановления целостности гибридных данных с учетом априорных знаний об их природе и пространственно-временной связности;

- разработка методов и технологий для выявления выбросов на основе сравнения с эталонными значениями, получаемыми по статистической модели;

- разработка имитационной модели для генерации синтетических данных, воспроизводящих свойства обучающей выборки гибридных данных в целях исследования характеристик разработанных методов;

- разработка адаптивных методов и технологий на основе ансамбля статистических моделей и моделей машинного обучения для контроля и восстановления качества гибридных гидрометеорологических данных;

- разработка программного комплекса для адаптивного контроля качества и восстановления гибридных гидрометеорологических данных;

- экспериментальные исследования и оценка эффективности применяемых методов на реальных массивах данных в области метеорологии и океанологии.

Научная новизна работы состоит в комплексном подходе к решению проблем, связанных с созданием технологии контроля и восстановления качества данных. который позволяет совокупно использовать статистические методы и методы машинного обучения для в рамках единой технологии, адоптируемой для различных видов гидрометеорологической информации и источников поступления данных.

На защиту выносятся:

- Метод контроля и восстановления качества гибридных гидрометеорологических данных на основе расширенного метода главных компонент (ePCA);

- ансамблевая адаптивная технология контроля и восстановления качества гибридных гидрометеорологических данных на основе комбинации статистических методов и методов машинного обучения.

Диссеминация результатов представлена публикациями и докладами на международных научных конференциях, семинарах и совещаниях, в том числе:

- The International Conference on Computational Science (ICCS 2016) "Data through the Computational Lens" 6 - 8 июля 2016 года.

- 6th International Young Scientist Conference on Computational Science, YSC 2017, 01-03 ноября 2017 года.

- 7th International Young Scientists Conference in Computational Science 2 -6 июля 2018 года.

Практическая значимость результатов подтверждается их использованием при выполнении следующих научно-исследовательских проектов: "Математическое моделирование и расчет параметров гидрометеорологического режима за период не менее 50 лет для морей Российской Арктики" (заказчик - Арктический научный центр компании «Роснефть»), "Высокопроизводительные вычислительные технологии усвоения данных в гибридных динамических моделях для прогнозирования поведения сложных систем" (заказчик - РНФ). Результаты работы воплощены в форме программы для ЭВМ.

Публикации. По теме диссертации опубликовано 11 работ, в том числе 3 статьи в изданиях, индексируемых в SCOPUS и 1 свидетельство о регистрации программы для ЭВМ.

Личный вклад автора в работах, выполненных в соавторстве, заключается в разработке, реализации и сравнении методов (статистические и машинного обучения) контроля качества и восстановления пропусков в гидрометеорологических данных; разработке модели синтетических данных для оценки качества разрабатываемых методов; разработке ансамблевой адаптивной технологии контроля и восстановления качества гибридных гидрометеорологических данных на основе методов машинного обучения (включая создание программного комплекса).

Структура и объем работы. Диссертационная работа состоит из четырех глав, введения, заключения, двух приложений и списка использованной литературы (116 источников). Содержит 130 страниц текста, включая 48 рисунков и 10 таблиц.

Заключение диссертации по теме «Теоретические основы информатики», Арайа Лопес Хосе Луис

Заключение. В ходе выполнения диссертационной работы получены следующие результаты:

- разработаны и реализованы статистические методы контроля качества и восстановления целостности гибридных данных на основе расширенного метода главных компонент (ePCA)

- разработаны методы идентификации выбросов на основе метода ePCA и методов машинного обучения;

- разработана модель генерации синтетических данных, имитирующих обучающую выборку гибридных данных;

- разработан метод и реализующая его технология контроля качества и восстановления гибридных данных на основе адаптивного ансамбля статистических моделей и моделей машинного обучения;

- разработан программный комплекс для адаптивного контроля качества и восстановления гибридных данных;

- проведена оценка эффективности применяемых методов на реальных массивах гидрометеорологических данных.

Список литературы диссертационного исследования кандидат наук Арайа Лопес Хосе Луис, 2018 год

Список публикаций по теме диссертации: Публикации в изданиях, индексируемых в SCOPUS:

1. Araya-Lopez J., Kaluzhnaya A.V., Kosukhin S.S., Ivanov S.V. Data Quality Control for St. Petersburg flood warning system // Procedia Computer Science - 2016, Vol. 80, 2128-2140.

2. Araya-Lopez J.L., Uteuov A., Kalyuzhnaya A.V. Quality control and data restoration of metocean Arctic data. Procedia Computer Science - 2017, Vol. 119, 315-324.

3. Araya-Lopez J. L., Nikitin N. O., and Kaluzhnaya A. V., Case-adaptive ensemble technique for met-ocean data restoration, Procedia Computer Science, vol. 136, pp. 311-320, Jan. 2018.

Прочие публикации по теме диссертации:

1. Araya-Lopez, J.L., Alfaro, E., 2008. Testing and Implementing of quality control algorithms for air surface temperature in an operational

context. Tecnología en Marcha. 21-3,47-61. (опубликовано на испанском)

2. Araya-López, J.L., Alfaro, E., 2008. Quality control algorithms for detecting atypical inter-tip time sequences in rain gauges. Tecnología en Marcha. 22-2,63-78. (опубликовано на испанском)

3. Araya-López, J.L., 2011. Results on a quality control study for air surface temperature and relative humidity. Tecnología en Marcha. 24,1, 33-49. (опубликовано на испанском)

4. Araya-López, J.L., 2011. Results on a quality control study for radiance, precitiptation and wind data. Revista de Climatología. 11, 11-29.

5. Araya-López, J.L., 2014. Development of an application for quality control of meteorological data. Tópicos Meteorológicos y Oceanográficos. 13, 27-42. (опубликовано на испанском)

6. Araya-López, J.L., 2014. Experiences in the implementation of a multivariate approach to data restoration of meteorological data. Tecnología en Marcha, 27, 3, 70-79. (опубликовано на испанском)

7. Araya-López, J.L., 2015. Use of a cross-validation approach for evaluation of a multivariate data restoration method. Tópicos Meteorológicos y Oceanográficos. 14, 27-36. (опубликовано на испанском)